Глибоке навчання — це підрозділ машинного навчання, що використовує нейронні мережі з багатьма прихованими шарами. Це дозволяє моделям автоматично виявляти складні патерни та особливості в даних без явного програмування.

Функція активації вводить нелінійність в нейронну мережу, дозволяючи їй навчатися складних патернів. ReLU (Rectified Linear Unit) — одна з найпопулярніших функцій, яка повертає максимум між 0 та вхідним значенням.

Overfitting (перенавчання) — це коли модель навчається "запам'ятовувати" навчальні дані замість виявляти загальні патерни. Це призводить до поганої продуктивності на нових даних. Методи боротьби: регуляризація, dropout, раннє зупинення.

Вибір архітектури залежить від задачі: для зображень — CNN, для тексту — RNN/LSTM, для загальних задач — звичайні feedforward мережі. Важливо експериментувати з кількістю шарів та нейронів.

Градієнтний спуск — це алгоритм оптимізації, який знаходить мінімум функції втрат, рухаючись у напрямку найшвидшого спаду. Швидкість навчання визначає розмір кроку в цьому процесі.

Dropout — це техніка регуляризації, де під час навчання випадково "вимикаються" деякі нейрони. Це запобігає overfitting, змушуючи мережу не покладатися на конкретні нейрони та навчатися більш робастних представлень.

Batch normalization нормалізує вхідні дані кожного шару, стабілізуючи навчання глибоких мереж. Це прискорює збіжність, дозволяє використовувати більші швидкості навчання та зменшує залежність від ініціалізації ваг.

Якість моделі вимірюється метриками: точність, прецизія, recall, F1-score для класифікації; MSE, MAE для регресії. Важливо тестувати на валідаційному та тестовому наборах даних, які не використовувалися для навчання.

Transfer learning — це техніка, де попередньо навчена модель адаптується для нової задачі. Це дозволяє досягти кращих результатів з меншою кількістю даних та часом навчання, особливо в задачах комп'ютерного зору.

Основні типи: Feedforward (звичайні), CNN (для зображень), RNN/LSTM (для послідовностей), GAN (генеративні), Transformer (для NLP). Кожен тип оптимізований для конкретних задач та типів даних.