Нейронні мережі

🧠 Що таке нейронні мережі

Біологічне натхнення

Біологічні нейрони: Нейрони в мозку отримують сигнали через дендрити, обробляють та передають через аксони.

Штучні нейрони: Спрощена модель біологічного нейрона. Приймає входи, обчислює, видає вихід.

Мережа: Багато нейронів, з'єднаних разом, утворюють мережу, що може навчатися складним патернам.

Перцептрон

Структура: Входи (x₁, x₂, ..., xₙ), ваги (w₁, w₂, ..., wₙ), зміщення (b), функція активації.

Обчислення: z = w₁x₁ + w₂x₂ + ... + wₙxₙ + b, потім y = f(z), де f — функція активації.

Навчання: Оновлення ваг для мінімізації помилки. Градієнтний спуск.

Обмеження: Один перцептрон може розв'язати тільки лінійно роздільні задачі.

Багатошарові перцептрони

Структура: Вхідний шар, один або більше прихованих шарів, вихідний шар.

Потужність: Можуть наблизити будь-яку неперервну функцію (теорема універсального наближення).

Глибина: Більше шарів = більша складність, але важче навчати.

⚙️ Компоненти нейронних мереж

Шари

Вхідний шар: Приймає дані, кількість нейронів = кількість ознак.

Приховані шари: Обробляють дані, можуть бути кілька, кількість нейронів вибирається.

Вихідний шар: Видає результат, кількість нейронів = кількість класів (класифікація) або 1 (регресія).

Функції активації

ReLU: f(x) = max(0, x). Найпоширеніша, вирішує vanishing gradient.

Sigmoid: f(x) = 1/(1+e⁻ˣ). Виводить 0-1, для бінарної класифікації.

Tanh: f(x) = (eˣ-e⁻ˣ)/(eˣ+e⁻ˣ). Виводить -1 до 1, центрована.

Softmax: Для багатокласової класифікації, виводить ймовірності.

Ваги та зміщення

Ваги: Параметри, що визначають силу зв'язку між нейронами. Навчаються.

Зміщення: Додатковий параметр для кожного нейрона, дозволяє зміщувати активацію.

Ініціалізація: Ваги ініціалізуються випадково (наприклад, нормальний розподіл). Важливо для навчання.

📚 Навчання нейронних мереж

Backpropagation

Принцип: Обчислення градієнтів функції втрат відносно кожного параметра через ланцюгове правило.

Процес: Forward pass (обчислення виходу), backward pass (обчислення градієнтів), оновлення ваг.

Ефективність: Дозволяє ефективно навчати багатошарові мережі.

Градієнтний спуск

Принцип: Оновлення ваг у напрямку, протилежному градієнту, для мінімізації втрат.

Learning rate: Крок оновлення. Важливий гіперпараметр.

Batching: Навчання на батчах замість всього датасету.

Епохи: Кількість проходів через весь датасет.

Функції втрат

MSE: Для регресії. Карає великі помилки більше.

Cross-Entropy: Для класифікації. Добре працює з ймовірностями.

Вибір: Залежить від типу задачі.

🎯 Застосування

Класифікація

Бінарна: Два класи (наприклад, спам/не спам).

Багатокласова: Багато класів (наприклад, розпізнавання цифр 0-9).

Приклади: Розпізнавання зображень, аналіз тексту, медична діагностика.

Регресія

Задача: Передбачення неперервних значень.

Приклади: Прогнозування цін, температури, продажів.

Інші застосування

Розпізнавання образів: Зображення, мовлення.

Обробка природної мови: Машинний переклад, генерація тексту.

Рекомендації: Системи рекомендацій.

📚 Гайд з прикладами

Приклад 1: Проста мережа для класифікації

Задача: Класифікувати електронні листи як спам/не спам.

Архітектура: Вхідний шар (1000 ознак), 2 приховані шари (64, 32 нейрони), вихідний (1 нейрон).

Навчання: 10000 листів, 20 епох, Adam оптимізатор.

Результат: Точність 95%.

Приклад 2: Регресія для прогнозування

Задача: Прогнозування ціни будинку.

Архітектура: Вхідний (10 ознак), 3 приховані (128, 64, 32), вихідний (1).

Результат: MAE 15,000 доларів.

Спробуйте наживо

Усе, що вище, працює прямо у вашому браузері — відкрийте Dimensionality Reduction: PCA, t-SNE & UMAP і змінюйте параметри під час роботи. Нічого не встановлюється, нічого не завантажується на сервер, уся модель живе в одній вкладці.