Wizja komputerowa: CNNs, sieci residualne i transformery wizualne

Kluczowy pomysł

Sieci neuronowe konwolucyjne (CNN) są potężnym podejściem do wizji komputerowej, wykorzystującym zasadę lokalności do skutecznej ekstrakcji cech przestrzennych z obrazów.

Architektury kluczowe, takie jak LeNet, AlexNet i VGG, poszerzyły podstawy, podczas gdy użycie bloków residualnych w ResNet wprowadziło rewolucję w treningu bardzo głębokich sieci poprzez zmniejszenie problemu znikającej gradientu.

Rozszerzanie Horyzontów

Po CNNach, DenseNets i Inception networkach wprowadziły nowe podejścia do ekstrakcji cech, wykorzystując gęste połączenia oraz wielowymiarowe filtry odpowiednio.

W detekcji obiektów dominują modele takie jak Faster R-CNN, YOLO i SSD, podczas gdy U-Net i DeepLab wyróżniają się w zadaniach segmentacji obrazu.

Transformery widzenia (ViT)

Transformery widzenia (ViT) reprezentują znaczące przesunięcie, zastępując warstwy convolucyjne mechanizmami uwagi na siebie do wykrycia zależności globalnych w obrazach.

Najważniejsze techniki ulepszenia danych, takie jak Mixup i CutMix, oraz metody uczenia nadzorowanego samonadoglądowego, takie jak SimCLR, MoCo i DINO, są kluczowe dla treningu skutecznych modeli ViT.

Często zadawane pytania