Self-Supervised Learning та самокероване навчання

🎓 Pretext Tasks

Rotation Prediction

Концепція: Обертає зображення, передбачає кут обертання.

Переваги: Простий, ефективний для зображень.

Застосування: Computer vision pre-training.

Jigsaw Puzzle

Концепція: Розбиває зображення на частини, передбачає порядок.

Переваги: Навчає spatial relationships.

Colorization

Концепція: Перетворює в grayscale, передбачає кольори.

Переваги: Навчає semantic representations.

🔧 Contrastive Learning

SimCLR

Концепція: Contrastive learning з data augmentation. Позитивні пари (augmentations одного зображення) близько.

Переваги: Простий, ефективний, добре працює.

MoCo

Концепція: Momentum Contrast. Використовує momentum encoder для негативних.

Переваги: Ефективний, масштабується до великих batch.

📚 Практичні приклади

Приклад 1: Rotation Prediction для зображень

Pretext Task: Обертати зображення на 0°, 90°, 180°, 270°. Передбачати кут.

Навчання: Навчити модель на pretext task.

Transfer: Fine-tune на цільовій задачі (classification).

Приклад 2: SimCLR для contrastive learning

Augmentation: Створити позитивні пари через augmentation.

Contrastive: Навчити через InfoNCE loss.

Evaluation: Linear evaluation на downstream задачі.

© 2025 Науковий Симулятор. Всі права захищені.

Self-Supervised Learning: навчання без labels

Спробуйте наживо

Усе, що вище, працює прямо у вашому браузері — відкрийте Dimensionality Reduction: PCA, t-SNE & UMAP і змінюйте параметри під час роботи. Нічого не встановлюється, нічого не завантажується на сервер, уся модель живе в одній вкладці.