Глибоке навчання

🧠 Що таке глибоке навчання

Визначення та відмінність

Визначення: Підгалузь ML, що використовує багатошарові (глибокі) нейронні мережі для автоматичного навчання складних представлень.

Глибина: "Глибоке" означає багато прихованих шарів (зазвичай 3+), на відміну від "поверхневих" мереж (1-2 шари).

Автоматичність: Мережа автоматично навчається представленням на різних рівнях абстракції.

Перевага: Може обробляти складні, нелінійні патерни, які важко для традиційних ML алгоритмів.

Історичний контекст

1950-ті: Перший перцептрон (Rosenblatt).

1980-ті: Backpropagation, але обмеження через обчислювальні ресурси.

2000-ні: Покращення алгоритмів, але все ще обмеження.

2010-ті: Прорив: GPU, великі дані, нові архітектури (CNN, RNN).

2017+: Transformers революціонізували NLP.

🏗️ Архітектури нейронних мереж

CNN (Convolutional Neural Networks)

Призначення: Спеціалізовані для обробки зображень та даних з просторовою структурою.

Компоненти: Згорткові шари (виявлення ознак), пулінгові шари (зменшення розміру), повнозв'язні шари (класифікація).

Переваги: Інваріантність до зсувів, зменшення параметрів через weight sharing.

Застосування: Розпізнавання зображень, обробка відео, медична візуалізація, автономні транспортні засоби.

Приклади: LeNet, AlexNet, VGG, ResNet, Inception, EfficientNet.

RNN та LSTM

RNN: Рекурентні нейронні мережі для обробки послідовностей.

Проблема: Vanishing gradient problem для довгих послідовностей.

LSTM: Long Short-Term Memory — рішення проблеми, зберігає інформацію на довгий час.

GRU: Gated Recurrent Unit — спрощена версія LSTM.

Застосування: Обробка тексту, машинний переклад, розпізнавання мовлення, аналіз часових рядів.

Transformers

Архітектура: Attention mechanism, encoder-decoder структура.

Переваги: Паралельна обробка, краща для довгих послідовностей, ефективніше за RNN.

Прорив: BERT, GPT серії, T5, революціонізували NLP.

Застосування: Машинний переклад, текстова генерація, питання-відповіді, summarization.

Vision Transformers: Адаптація для обробки зображень.

GAN (Generative Adversarial Networks)

Концепція: Дві мережі: генератор (створює дані) та дискримінатор (розрізняє реальні та згенеровані).

Навчання: Адверсарний процес, де генератор навчається обдурити дискримінатор.

Застосування: Генерація зображень, стиль-трансфер, data augmentation, deepfakes.

Типи: DCGAN, StyleGAN, CycleGAN.

Autoencoders

Структура: Encoder (стискає дані) та decoder (відновлює дані).

Застосування: Зниження розмірності, denoising, anomaly detection, генерація.

Типи: Vanilla autoencoders, variational autoencoders (VAE), denoising autoencoders.

⚙️ Компоненти нейронних мереж

Нейрони та шари

Нейрон: Основний елемент, приймає входи, обчислює зважену суму, застосовує функцію активації.

Шари: Вхідний (приймає дані), приховані (обробляють), вихідний (видає результат).

Повнозв'язні шари: Кожен нейрон з'єднаний з усіма нейронами наступного шару.

Параметри: Ваги (weights) та зміщення (biases) — параметри, що навчаються.

Функції активації

ReLU: f(x) = max(0, x). Найпоширеніша, вирішує проблему vanishing gradient. Швидка, проста.

Sigmoid: f(x) = 1/(1+e⁻ˣ). Виводить значення від 0 до 1. Для бінарної класифікації.

Tanh: f(x) = (eˣ-e⁻ˣ)/(eˣ+e⁻ˣ). Виводить від -1 до 1. Центрована версія sigmoid.

Softmax: Для багатокласової класифікації, виводить ймовірності для кожного класу.

Вибір: Залежить від задачі та шару.

Функції втрат

MSE (Mean Squared Error): Для регресії. Карає великі помилки більше.

MAE (Mean Absolute Error): Для регресії. Менш чутлива до викидів.

Cross-Entropy: Для класифікації. Добре працює з ймовірностями.

Binary Cross-Entropy: Для бінарної класифікації.

Вибір: Залежить від типу задачі.

Оптимізатори

SGD: Stochastic Gradient Descent. Класичний, але може бути повільним.

Adam: Adaptive Moment Estimation. Найпопулярніший, адаптує learning rate. Швидко сходиться.

RMSprop: Адаптивний learning rate для кожного параметра.

AdamW: Покращена версія Adam з weight decay.

Вибір: Залежить від задачі, Adam часто працює добре.

📚 Процес навчання

Backpropagation

Принцип: Обчислення градієнтів функції втрат відносно кожного параметра через ланцюгове правило.

Процес: Forward pass (обчислення виходу), backward pass (обчислення градієнтів), оновлення ваг.

Ефективність: Дозволяє ефективно навчати багатошарові мережі.

Автоматизація: Сучасні фреймворки (TensorFlow, PyTorch) автоматично обчислюють градієнти.

Градієнтний спуск

Принцип: Оновлення ваг у напрямку, протилежному градієнту, для мінімізації втрат.

Learning rate: Крок оновлення. Занадто великий — нестабільність, занадто малий — повільне навчання.

Batching: Навчання на батчах (підмножинах даних) замість всього датасету. Швидше та ефективніше.

Епохи: Кількість проходів через весь датасет.

Регуляризація

Dropout: Випадкове вимкнення нейронів під час навчання. Зменшує overfitting.

Batch Normalization: Нормалізація активацій в батчах. Прискорює навчання, стабілізує.

Weight Decay: L2 регуляризація, штрафує великі ваги.

Early Stopping: Зупинка навчання, коли валідаційна помилка перестає зменшуватися.

Data Augmentation: Збільшення датасету через трансформації (для зображень).

🎯 Застосування

Комп'ютерний зір

Розпізнавання зображень: Класифікація об'єктів, розпізнавання облич, сцен.

Сегментація: Визначення меж об'єктів на зображеннях.

Детекція об'єктів: Виявлення та локалізація об'єктів (YOLO, R-CNN).

Застосування: Автономні транспортні засоби, медицина, безпека, розваги.

Обробка природної мови

Машинний переклад: Google Translate, DeepL використовують transformers.

Генерація тексту: GPT, ChatGPT для генерації тексту.

Розуміння: BERT, T5 для розуміння контексту.

Застосування: Чати, асистенти, аналіз тональності, summarization.

Розпізнавання мовлення

Speech-to-Text: Конвертація мовлення в текст.

Text-to-Speech: Синтез мовлення з тексту.

Застосування: Віртуальні асистенти, транскрипція, навігація.

Інші застосування

Рекомендації: Netflix, Spotify використовують deep learning для рекомендацій.

Фінанси: Торгові алгоритми, оцінка ризиків, фрод-детекція.

Медицина: Діагностика, аналіз зображень, відкриття ліків.

Ігри: AlphaGo, шахові рушії, комп'ютерні ігри.

⚠️ Виклики та обмеження

Дані та обчислення

Великі дані: Потрібні великі обсяги якісних даних для навчання.

Обчислювальні витрати: Потрібні GPU, TPU для швидкого навчання. Може бути дорого.

Час навчання: Великі моделі можуть навчатися дні або тижні.

Інтерпретативність

Чорний ящик: Важко зрозуміти, чому модель приймає рішення.

Explainable AI: Розробка методів для пояснення рішень (SHAP, LIME).

Важливість: Особливо важливо в медицині, фінансах, де потрібна довіра.

Overfitting

Проблема: Модель запам'ятовує тренувальні дані замість навчання загальних патернів.

Симптоми: Висока точність на тренувальних даних, низька на тестових.

Рішення: Регуляризація, dropout, більше даних, data augmentation.

📚 Гайд з прикладами

Приклад 1: Проста нейронна мережа для класифікації

Задача: Класифікувати зображення кішок та собак.

Архітектура: CNN з 3 згортковими шарами, пулінговими шарами, 2 повнозв'язними шарами.

Навчання: 10000 зображень, 20 епох, Adam оптимізатор, learning rate 0.001.

Результат: Точність 92% на тестовому наборі.

Приклад 2: Fine-tuning трансформера

Задача: Sentiment analysis для української мови.

Підхід: Fine-tuning попередньо навченого BERT для української мови.

Переваги: Менше даних, швидше навчання, краща якість.

Результат: Точність 88% на тестовому наборі.

Приклад 3: Аналіз часових рядів з LSTM

Задача: Прогнозування продажів на наступний місяць.

Архітектура: LSTM з 2 прихованими шарами по 64 нейрони.

Дані: 5 років щомісячних продажів.

Результат: MAE 8.5%, краще за традиційні методи на 15%.

Спробуйте наживо

Усе, що вище, працює прямо у вашому браузері — відкрийте Dimensionality Reduction: PCA, t-SNE & UMAP і змінюйте параметри під час роботи. Нічого не встановлюється, нічого не завантажується на сервер, уся модель живе в одній вкладці.