Contrastive Learning та контрастне навчання

🎓 Основні концепції

Positive та Negative Pairs

Positive Pairs: Схожі приклади (augmentations одного зображення, однакові об'єкти). Мають бути близько.

Negative Pairs: Несхожі приклади (різні об'єкти). Мають бути далеко.

Мета: Навчити representations, де схожі близько, несхожі далеко.

InfoNCE Loss

Формула: L = -log(exp(sim(z_i, z_j+)/τ) / Σ exp(sim(z_i, z_k)/τ)).

Інтерпретація: Мінімізує відстань позитивних, максимізує негативних через softmax.

Temperature τ: Контролює концентрацію розподілу. Менший = більш концентрований.

🔧 Алгоритми

SimCLR

Архітектура: Encoder + Projection head. Augmentation для позитивних.

Negatives: Інші зображення з batch.

Переваги: Простий, ефективний.

Недоліки: Потребує великих batch.

MoCo

Архітектура: Query encoder + Momentum encoder. Queue для negatives.

Momentum: Momentum encoder оновлюється через momentum. Стабільніший.

Переваги: Менше залежить від batch size, ефективніший.

SwAV

Концепція: Swapping Assignments between Views. Використовує clustering.

Переваги: Не потребує explicit negatives, ефективніший.

📚 Практичні приклади

Приклад 1: SimCLR для зображень

Augmentation: Створити позитивні пари через augmentation.

Encoder: Навчити encoder + projection head.

Loss: InfoNCE loss з batch negatives.

Evaluation: Linear evaluation на downstream.

Приклад 2: MoCo для обмежених ресурсів

Momentum Encoder: Створити momentum encoder для negatives.

Queue: Зберігати negatives в queue.

Навчання: Навчити з MoCo. Менше залежить від batch.

© 2025 Науковий Симулятор. Всі права захищені.

Contrastive Learning: навчання через порівняння

Спробуйте наживо

Усе, що вище, працює прямо у вашому браузері — відкрийте Dimensionality Reduction: PCA, t-SNE & UMAP і змінюйте параметри під час роботи. Нічого не встановлюється, нічого не завантажується на сервер, уся модель живе в одній вкладці.