Розуміння Масштабу Великих Даних

Визначення Великих Даних

Традиційно ‘даними’ називали структуровану інформацію, що зберігалася в реляційних базах даних. Однак, експоненційний ріст даних з таких джерел, як соціальні мережі, датчики та журнали машинного логу, призвів до появи того, що ми зараз називаємо ‘Великими Даними’.

Поширеним визначенням Великих Даних є характеристика за трьома ‘P’: Об’єм (масивні обсяги даних), Швидкість (швидкість генерації та обробки даних) та Різноманітність (різні типи даних – структуровані, напівструктуровані та неструктуровані).

Ключові характеристики: П'ять «В»

Хоча три «В» забезпечують базове розуміння, багато джерел зараз визнають п’ять «В», щоб повністю описати Великі дані. Це обсяг (Volume), швидкість (Velocity), різноманітність (Variety), достовірність (Veracity) та цінність (Value).

Достовірність стосується надійності даних – часто великі набори даних містять помилки або невідповідності. Цінність представляє потенційні висновки, які можна отримати з аналізу цих даних.

Volume > Velocity > Variety > Veracity > Value

Методи обробки даних

Традиційні системи баз даних мають труднощі з обробкою масштабу та швидкості, характерних для великих даних. Потрібні нові методи.

Hadoop, розповсюджений обчислювальний фреймворк, часто використовується для зберігання та обробки величезних наборів даних у кластерах комп'ютерів. MapReduce – це модель програмування, яка спрощує цей процес.

MapReduce: Input -> Map Phase -> Reduce Phase -> Output

Застосування Великих Даних

Аналіз великих даних трансформує безліч галузей промисловості. Прикладами є персоналізований маркетинг, виявлення шахрайства, прогнозна підтримуюча робота (аналіз даних датчиків для передбачення відмов обладнання) та наукові дослідження.

Здатність визначати закономірності та кореляції в великих наборах даних дозволяє оптимізувати прийняття рішень у широкому спектрі застосувань.

Часті запитання

Спробуйте наживо

Усе, що вище, працює прямо у вашому браузері — відкрийте SPH Fluid і змінюйте параметри під час роботи. Нічого не встановлюється, нічого не завантажується на сервер, уся модель живе в одній вкладці.