Переносне навчання

🔬 Підходи

Feature Extraction

Фіксація ваг попередньо навченої моделі, використання як витягувача ознак. Навчання лише нового класифікатора. Швидке, потребує мало даних. Добре коли цільова задача схожа на вихідну.

Fine-tuning

Розморожування ваг попередньо навченої моделі, доопрацювання з низькою швидкістю навчання. Адаптація до нової задачі. Краща продуктивність, але потребує більше даних. Частковий fine-tuning останніх шарів.

Domain Adaptation

Адаптація моделі між різними доменами (source → target). Методи: adversarial training, domain adversarial networks. Важливо коли розподіли даних різні, labels недоступні для target.

🎯 Для комп'ютерного зору

ImageNet моделі

ResNet, VGG, EfficientNet, навчені на ImageNet (1.2M зображень, 1000 класів). Загальні ознаки (краї, текстури) корисні для багатьох задач. Заміна класифікатора, fine-tuning для медицини, спеціалізованих задач.

Vision Transformers

ViT моделі також використовуються для transfer learning. Показують хорошу продуктивність на великих даних. Поширюються як альтернатива CNN.

Стратегії

Заміна останнього шару, progressive unfreezing (поступове розморожування), data augmentation, lower learning rate для ранніх шарів. Експерименти для оптимізації.

💻 Для NLP

BERT

Bidirectional encoder, навчений на великих текстах. Fine-tuning для багатьох NLP задач (classification, Q&A, NER). Контекстуальні embeddings. Стандарт для розуміння.

GPT

Generative pre-trained transformer. Few-shot learning, prompt engineering. GPT-3, GPT-4: великі мовні моделі з in-context learning. Менше потребують fine-tuning.

T5, RoBERTa

Інші популярні моделі. T5: text-to-text підхід для уніфікованого навчання. RoBERTa: покращений BERT. Вибір залежить від задачі.

🏭 Застосування

Медицина

Малі набори даних, дорогі анотації. ImageNet → медичні зображення (рентген, МРТ). Значно покращує продуктивність на малих даних. Критично для практичного застосування.

Автономні системи

ImageNet моделі для розпізнавання об'єктів у реальному світі. Адаптація до різних умов (погода, освітлення). Transfer learning для швидкого навчання.

Спеціалізовані домени

Сільське господарство, робототехніка, безпека. Переваги transfer learning особливо помітні при обмежених даних. Ключ до практичного ML.

Спробуйте наживо

Усе, що вище, працює прямо у вашому браузері — відкрийте Hash Function Avalanche Visualizer і змінюйте параметри під час роботи. Нічого не встановлюється, нічого не завантажується на сервер, уся модель живе в одній вкладці.