U-Net: Perfectne Segmentowanie Obrazu Pixelejowe |…

Klasyfikacja vs. Segmentacja: Nazwanie zdjęcia vs. Określanie wszystkiego widocznego na nim

Standardowy klasyfikator obrazu analizuje całe zdjęcie i zwraca pojedynczy etykietę, taką jak „kot”, zmniejszając miliony pikseli do jednej decyzji. Segmentacja semantyczna zaś pyta sieć, aby etykietowała każdy pojedynczy piksel według klasy, której należy, tworząc pełny mapę, która rozdziela futko kota od sofki oraz ściany za nią. To znacznie trudniejsze z powodu konieczności zachowania precyzyjnych szczegółów przestrzennych przez sieć, jednocześnie zrozumiając kontekst wyższoziarnisty, tak jak „ta grupa pikseli jest zwierzęciem”. Błędy w granicach nawet o kilka pikseli mają duży znaczenie w aplikacjach takich jak określanie obrzeżeń tkaniny, gdzie same obrzeża są klinicznie ważne informacją.

Architektura: Kontraktujący Encodery Spotykają Rozwijający się Dekodery

U-Net składa się z dwóch symetrycznych części. Encodery (kontraktująca ścieżka) powtarzają operacje convolucji i poolingu, aby zmniejszyć rozmiar obrazu w przestrzeniach, jednocześnie zwiększając liczbę kanałów cech, co pozwala na wydobywanie kolejno coraz bardziej abstrakcyjnych wzorców od krawędzi do tekstur i części obiektów. Dekodery (rozwijająca ścieżka), w swoim czasie, odwracają ten proces, używając upsamplingu i convolucji, aby powiększyć zastąpiony reprezentacji ponownie do oryginalnej rozdzielczości obrazu. Samo skrócenie encodera-decoder by mogło stracić za dużo szczegółów detali finansowych, co jest dokładnie problemem, który kolejna cecha U-Net rozwiązuje.

Połączenia skokowe: Sztuka za 'U'-kształtem

Kluczowym innowacją U-Net jest zestaw połączeń skokowych, które kopiują mapy cech wygenerowane na każdym poziomie kodera bezpośrednio do pasującego poziomu dekodera, łącząc je z funkcjami wzwyższoneymi tam. To pozwala dekoderowi łączyć szersze, wysokiej poziomu semantyczne zrozumienie wygenerowane przez głębsze warstwy z ostro, wysokoelementarnym szczegółowym lokalizacyjnym informacją zebrane wczesniej w kodercie, taką jak dokładne krawędzie obiektów, które inaczej by były zniszczone powtarzającym się wzwyższeniem. Przykłanianie ścieżki kodera w dół, ścieżki dekodera w górę i te poziome połączenia skokowe między nimi rysują kształt U, nadając architekturze swoją nazwę. Bez tych połączeń mapy segmentacyjne tendencjowo wyglądają rozmyte i nieporównanie na granicach; z nimi krawędzie pozostają ostre.

Od skanów medycznych do satelitów i modeli rozproszonego rozpraszania

U-Net wprowadził Olaf Ronneberger, Philipp Fischer i Thomas Brox w 2015 roku specjalnie dla segmentacji obrazów biomedycznych, gdzie dostępne etykietowane dane treningowe są rzadkie i drogie, ponieważ wymagają ekspertowego zaznaczania komórek, orgań lub tarczy podczas mikroskopii i skanowania. Efektywny wykorzystanie ograniczonych danych, połączone z intensywną augmenacją danych, pozwoliło mu zwyciężyć w wyzwaniach segmentacyjnych na podstawie tylko kilku dziesiątek obrazów treningowych. Projekt udowodnił tyle skuteczności i ogólności, że od tego czasu rozszerzył się znacznie poza medycynę, do segmentacji obrazów satelitarnych i fotografii powietrznej dla mapowania użytków terenowych, podnoszenia systemów percepji w samochodach odrzucanych i tworzenia korelowego bloku zbudowanego do usuwania szumów w wielu współczesnych modelach generujących obrazy.

Często zadawane pytania

Dlaczego architektura U-Net ma kształt litery U?

Bo jej diagram architektoniczny rzeczywiście tworzy ten kształt: ścieżka kodująca opada na lewo, gdy obraz jest comprymowany, a ścieżka dekodująca podnosząca się na prawo, gdy jest przekompresowany powrotem do pełnej rozdzielczości, z poziomymi połączeniami przezskokowymi łączącymi odpowiednie poziomy wśród. Wizualny układ sieci bezpośrednio dał jej swoją nazwę.

Jakie problemu rozwiązują właściwie połączenia przezskokowe?

W czasie comprymowania, sieć zaniedbuje detale przestrzennych merytorycznych takie jak dokładne krawędzie w zamian za skompaktowany i wyższy poziom rozumienia zawartości obrazu. Połączenia przezskokowe ponownie wprowadzają te stracone detale z każdego etapu kodującego bezpośrednio do odpowiadającego mu etapu dekodującego, tak że końcowy wyjście pikselowym może być zarówno merytorycznie poprawne, jak i przestrzennie precyzyjne.

Czy U-Net nadal jest używane dzisiaj, czy zastąpiło go coś innego?

U-Net nadal jest szeroko stosowany i został rozszerzony na wiele wariantów (takich jak 3D U-Net i Attention U-Net), zwłaszcza w fotografii medycznej, gdzie jego efektywność danych jest wartościowa. Znajduje się też nieoczekiwany drugi życie jako standardowy szkielet wewnątrz modeli rozcieńczania typu, takich jak te za tłem popularnych generatorów obrazów, które powtarzają oczyszczenie obrazu przy użyciu U-Net na każdym kroku.

Wypróbuj na żywo

Wszystko powyżej działa bezpośrednio w Twojej przeglądarce — otwórz U-Net: Encoder-Decoder Architecture for Image Segmentation i zmieniaj parametry podczas działania. Nic nie jest instalowane ani przesyłane na serwer, cały model działa w jednej karcie.

▶ Otwórz symulację U-Net: Encoder-Decoder Architecture for Image Segmentation