Як Прогнозування Попиту Насправді Пророкує Бізнесні Результати

Чому це називається 'прогнозуванням', а не просто описом?

Бізнес-аналітика традиційно орієнтована на минуле: описовий аналіз підсумовує, що сталося, діагностичний аналіз пояснює, чому. Прогнозування – це окремий крок: воно використовує статистичні методи та моделі машинного навчання, навчені на історичних даних, щоб оцінити, що станеться далі, чи то попит наступного кварталу, які клієнти збираються відійти, чи то транзакції, які можуть бути шахрайськими.

Це розрізнення має значення, оскільки методи відрізняються. Описовий аналіз в основному полягає в агрегуванні та візуалізації даних. Прогнозування вимагає навченої моделі, яка узагальнює з минулих прикладів для невідомих випадків, що призводить до всієї механіки вибору моделі, навчання та валідації, описаної нижче.

Алгоритми, які фактично прогнозують

Вибір моделі залежить від того, що прогнозується. Лінійна регресія обробляє прогнози безперервних значень, такі як проектування обсягу продажів на основі історичних тенденцій. Дерева рішень та випадкові ліси обробляють задачу класифікації — клікне ця реклама, чи закриється цей рахунок. Штучні нейронні мережі, включаючи архітектури глибокого навчання з кількома шарами обробки, використовуються, коли дані про введення неструктуровані — текст, зображення, потоки датчиків, і патерни занадто тонкі для того, щоб простіші моделі їх помітили, наприклад, почуття, приховані в тексті соціальних мереж.

Перевага глибокого навчання полягає в глибині: з'єднання шарів дозволяє мережі створювати все більш абстрактні представлення безпосередньо з сирих даних, тому воно перевершує менш глибокі моделі на складних, багатовимірних вхідних даних. Це також пояснює, чому практичний підйом глибокого навчання слідував за доступністю обчислювальних ресурсів GPU — обчислення достатньо важкі, щоб їх потрібно було реалізувати на дешевому паралельному обладнанні для досягнення масштабу бізнесу.

Збір даних та підготовка: перетворення неструктурованих даних у структурований набір для навчання моделі

П’ять етапів перетворюють дані в робочу систему прогнозування. По-перше, збір та підготовка даних — вилучення записів із CRM-систем, продажів, веб-трафіку, IoT-датчиків і видалення помилок та невідповідностей. Проведення інженерії ознак, вибір та перетворення змінних, які несуть сигнал, відбувається тут і має значний вплив на точність кінцевого результату.

По-друге, вибір моделі на основі завдання прогнозування. По-третє, навчання: алгоритм подається на підготовлені дані та коригує внутрішні параметри шляхом ітеративного оптимізації, зазвичай градієнтом зниження, щоб мінімізувати помилку прогнозування. По-четверте, валідація та тестування на вихідному наборі даних, який модель не бачила під час навчання, кількісно оцінюється за допомогою таких показників, як Середнє абсолютне відхилення (MAE) і Корений середній квадратний відхилення (RMSE) — обидва вимірюють, наскільки прогнози відхиляються від фактичних результатів, але з різною чутливістю до великих помилок. По-п’ятому, розгортання та постійний моніторинг, оскільки точність моделі погіршується зі змінами реальних шаблонів від того, на чому вона була навчена, що робить повторне навчання свіжою інформацією необхідним завданням, а не одноразовою дією.

Інфраструктура, що лежить в основі

Продуктивна система прогнозування (production predictive analytics) зазвичай складається з чотирьох видів інструментів: хмарне або локальне сховище даних (AWS S3, Google Cloud Storage) для зберігання необроблених наборів даних; розподілені обчислювальні двигуни, такі як Apache Spark та Hadoop, для очищення та трансформації даних у великих масштабах; керовані платформи машинного навчання (Amazon SageMaker, Google AI Platform), які надають попередньо розроблені алгоритми та інфраструктуру розгортання; і шари візуалізації, такі як Tableau або Power BI, що перетворюють вихідні дані моделі на дашборди, які нетехнічний зацікавлений може прочитати.

Жоден з цих елементів не є строго необхідним — невеликий пілотний проект може працювати на одному комп'ютері з використанням відкритих бібліотек — але це той стек, який найчастіше зустрічається, коли модель потрібно постійно запускати проти даних у реальному часі.

Застосування

Роздрібні торговці використовують його для прогнозування попиту на рівні продуктів проти погоди, акцій та історії продажів. Фінанси використовують його для виявлення шахрайства в реальному часі та оцінки кредитного ризику — спроби прогнозувати ціни на акції здійснюються з набагато більшими похибками, ніж у цих інших випадках. Охорона здоров'я застосовує його для прогнозування ризику повторної госпіталізації пацієнтів і виявлення осіб, схильних до розвитку хронічних захворювань. Виробництво використовує його для прогнозування відмов обладнання перед їх настанням, щоб запланувати обслуговування замість реактивного, а також планування виробництва та контроль якості.

Загальна нитка через усі чотири: модель така ж хороша, як і дані історичних даних із мітками, на яких вона навчається, тому прогнозування відмов обладнання та виявлення шахрайства — сфери з великою кількістю добре позначених попередніх прикладів — зазвичай дають більш надійні прогнози, ніж, наприклад, ціни на акції, де основний процес ближчий до шуму.

Часті запитання

Спробуйте наживо

Усе, що вище, працює прямо у вашому браузері — відкрийте the simulation і змінюйте параметри під час роботи. Нічого не встановлюється, нічого не завантажується на сервер, уся модель живе в одній вкладці.