Лекция · 5.2

Big Data

Facebook-ке күн сайын 500 терабайт жаңа дерек жүктеледі дегенді елестете аласың ба? Бұл — сенің ноутбугыңның қатты дискісінен мыңдаған есе көп! Кәдімгі Excel файлы немесе тіпті кәдімгі деректер қоры мұндай көлемге ешқашан төтеп бере алмайды. Дәл осы мәселе «үлкен деректер» (Big Data) деген жаңа технологияны дүниеге әкелді.

Big Data деген не

Ұйымдарда жылдар бойы web-журналдар, бейнежазбалар, датчик көрсеткіштері секілді ЕСЕПСІЗ көп дерек жиналады. Ақпаратты талдаудың ДӘСТҮРЛІ әдістері мұндай тез жаңарып отыратын үлкен көлемге ілесе алмайды.

📰
Терминнің шығу тегі: «Big Data» терминін *Nature* журналының редакторы Клиффорд Линч 2008 жылы енгізген.

Дәстүрлі деректер қоры мен Big Data арасында КӨП айырмашылық бар:

СипаттамасыДәстүрлі ДҚBig Data
КөлеміГигабайт—терабайтПетабайт—эксабайт
СақтауОрталықтандырылғанОрталықтандырылмаған
ҚұрылымыҚұрылымдалғанЖартылай/құрылымдалмаған

Үлкен деректер үш дереккөзден түседі: Интернет (әлеуметтік желі, БАҚ), корпоративтік мұрағат және датчиктер/аспаптар көрсеткіштері.

5V белгісі

Жиналған деректің БӘРІН «үлкен дерек» деп атауға болмайды. Big Data-ны ажырататын бес белгі бар:

БелгіМағынасы
Volume (көлем)Дәстүрлі әдіспен өңдеу МҮМКІН ЕМЕС үлкен көлем
Variety (алуандық)Құрылымдалған және құрылымдалмаған (аудио, видео) алуан форматтар
Velocity (жылдамдық)Нақты уақыт режимінде жинау мен өңдеу жылдамдығы
Veracity (дұрыстық)Деректің дәлдігі мен сенімділігі
Value (құндылық)Ұйым үшін ақпараттың пайдасы мен маңыздылығы
💡
Балама жіктеу: кейбір дереккөздер Veracity/Value орнына бесінші белгі ретінде Variability (өзгергіштік) — деректің уақыт өте тұрақсыздығын — қосады. Екі жіктеу де қатар қолданылады, қайшылық емес.
Нақты сандар мен мысалдар

Big Data көлемін елестету үшін нақты сандарды қарастырайық:

ДереккөзДерек көлемі
Нью-Йорк қор биржасы (күнде)~1 терабайт сауда деректері
Facebook (күнде)~500 терабайт жаңа дерек
Реактивті қозғалтқыш (30 минутта)10 терабайт
Күнделікті сандық медиа (6 млн адам)~2,5 квинтиллион байт

Іс жүзінде Big Data көптеген салада қолданылады: Amazon мен AliExpress сатып алу тарихын талдап жеке ұсыныс жасайды; «Сбербанк» 2014 жылдан бастап клиенттерді фото арқылы идентификациялап, алаяқтықтың алдын алатын «компьютерлік көру» жүйесін қолданады.

АртықшылықтарыКемшіліктері
Шешім қабылдау тиімділігі, алаяқтықты анықтауІТ мамандарына қажеттілік, шығын
Клиентке қызмет көрсетуді жақсартуҚұпиялылық пен киберқауіпсіздік тәуекелі
🎯 ҰБТ байланысы
5V белгісін дәл жаттау Big Data тақырыбының негізгі талабы.
1
5V: Volume, Variety, Velocity, Veracity, Value — барлығын атай білу.
2
Big Data — тек көлем емес, СТРУКТУРАСЫЗ/жартылай құрылымды деректі де қамтиды.
3
Дәстүрлі ДҚ орталықтандырылған, Big Data — орталықтандырылмаған сақталады.
Сабақ қорытындысы
  • Big Data — дәстүрлі әдіспен өңдеу мүмкін емес, үлкен көлемдегі әрі алуан құрылымдағы дерек.
  • 5V: Volume (көлем), Variety (алуандық), Velocity (жылдамдық), Veracity (дұрыстық), Value (құндылық).
  • Big Data Интернет, корпоративтік мұрағат және датчик көздерінен жиналады.
  • Банк, сауда, медиа секторлары Big Data-ны шешім қабылдау мен алаяқтықты анықтауда қолданады.