Kontrastowe Wzmacnianie Obrazu-Tekstu: Jak CLIP Uczy Się Dopasowywania Zdjęć i Słów

Wspólne Przestrzenie dla Obrazów i Słów

Podstawą CLIP jest prosta, lecz potężna koncepcja: przekształcenie zarówno obrazów, jak i tekstu na wektory, lub embeddingi, które żyją w tej samej przestrzeni o wysokiej wymiarowości. Dwa oddzielne sieci neuronowe dokonują tego przekształcenia – jedna dla obrazów, a druga dla tekstu – jednak są one trenowane tak, aby wynikowe wektory były bezpośrednio porównywalne. Gdy obraz i jego opis tekstowy dotyczą tego samego, ich embeddingi powinny wskazywać w niemal tej samej kierunku, co pozwala na obliczenie prostej miary podobieństwa, takiej jak cosinus kąta między nimi, która mówi modelowi, jak dobrze dany obraz i fraza pasują do siebie. Niezwiązane pary, takie jak zdjęcie psa dopasowane do opisu „talerz makaronu”, powinny znaleźć się w tej przestrzeni daleko od siebie.

Trenowanie w oparciu o kontrast – InfoNCE w akcji

CLIP nie jest trenowany na pojedynczych parach obraz-tytuł. Zamiast tego, przetwarza całą partię takich par, np. 256 obrazów i ich 256 prawdziwych opisów, a następnie koduje każdy obraz i każdy opis do wektorów. Następnie buduje pełną siatkę ocen podobieństwa między każdym obrazem a każdym opisem w partii, a sieci trenuje się tak, aby ocena prawdziwego tytułu dla każdego obrazu była wyższa niż oceny wszystkich innych tytułów w tej partii, a ocena prawdziwego obrazu dla każdego tytułu była wyższa niż oceny wszystkich innych obrazów. Jest to strata kontrastowa InfoNCE: nagradza poprawne pary i jednocześnie karze każdą kombinację niepasującą, co jest znacznie bardziej informatywne na każdym kroku treningowego niż po prostu mówienie „ta para pasuje” lub „ta para nie pasuje.”

Dlaczego Szumy Danych Internetowych Były Rzeczywistym Przełomem

Tradycyjne klasyfikatory obrazów były trenowane na starannie oznaczonych zbiorach danych z ustaloną, ograniczoną liczbą kategorii, np. 1000 klas ImageNet. CLIP natomiast trenowano na około 400 milionach par obraz-opis pochodzących z publicznego internetu, gdzie opisy są chaotyczne, nieformalne i obejmują ogromny zakres koncepcji, stylów i sformułowań. Ponieważ model uczy się łączyć obrazy z językiem naturalnym zamiast sztywnej listy etykiet, wyłapuje bogatsze pojęcie wizualnych kategorii i potrafi generalizować do kategorii, których nie widział w przykładach podczas treningu. To daje CLIP silną wydajność zero-shot: w czasie testowania wystarczy opisać nową kategorię słowami, a model porówna obraz z tymi opisami tekstowymi bez dodatkowego uczenia.

Od Pomysłu Badawczego do Narzędzia AI w Życiu Codziennym

Ten rodzaj wspólnej przestrzeni embeddingowej obecnie leży u podstaw zero-shotowej klasyfikacji obrazów, generowania obrazów z tekstu i wyszukiwania obrazów i tekstów. Służy również do moderacji treści oraz zapewnia „kierunek” dla generatorów obrazów z tekstu, takich jak DALL-E i Stable Diffusion, prowadząc je do podanych poleceń. Jednakże, podejście dziedziczy wszelkie uprzedzenia i stereotypy obecne w danych treningowych zebranych z internetu, a jego wydajność może być zaskakująco wrażliwa na sposób sformułowania zapytania. Dopasowywanie podpisów do obrazów nie jest tożsame z rzeczywistym rozumieniem żadnego z nich. Naukowcy i inżynierowie wdrażający te embeddingi muszą aktywnie testować te słabe punkty, zamiast zakładać, że model rozumie świat w taki sam sposób jak człowiek.

Często zadawane pytania

Wypróbuj na żywo

Wszystko powyżej działa bezpośrednio w Twojej przeglądarce — otwórz Contrastive Image-Text Embedding: How CLIP Learns to Match Pictures and Words i zmieniaj parametry podczas działania. Nic nie jest instalowane ani przesyłane na serwer, cały model działa w jednej karcie.