Wizja komputerowa do wykrywania królowej pszczół: modele, dane i wdrożenie

Dlaczego automatyczne wykrywanie królowej jest prawdziwie trudnym problemem widzenia

Królik zaszczytnie przypomina robaczkę, a różnica między nimi polega głównie na dłuższym grzbiecie i innej postawie, niż na jasnych różnicach kolorowych. W przeciwieństwie do tego, co robi wielu hodowców owiec, który markują królowe odcieniem barwy dla uproszczenia manualnego wykrywania, różnice kolorowe nie są zbyt widoczne. Na ramce zalanej setkami ciągle ruchących się robaczków, królowa jest małą, często częściowo ukrytą cechą w enormnym, podobnie wyglądającym tłumie, co stanowi dokładny problem typu szukaj-kilka-w-tłoczniku. Jest to znacznie trudniejsze niż problem liczenia wejścia, gdzie każdy wykryty obiekt jest prawie tą rzeczą, której szukamy; tu jednak większość wykryć jest jasno określone nie są cechami docelowymi.

Praktyczna wartość rozwiązywania tego problemu w sposób wiarygodny jest rzeczywista: automatyczne wykrywanie królowej mogłoby zapisywać znaczące czas podczas regularnych kontroli dla doświadczonych hodowców owiec i pomagać nowicjuszom, którzy mają trudności z widocznym rozróżnieniem królowej, choć do tej pory żaden dostępny na rynku produkt nie wykazuje wystarczającej wiarygodności do całodobowego zastąpienia oczu z przeszkolonym wzrokiem w różnych warunkach światła i sytuacjach colony.

Podchodzenia modeli i ich zrównoważone ryzyka

Dla tej problematyki zostały badane trzy szerokie podchody modelowania, każde ze swoimi unikatowymi zrównoważonymi ryzykami. Modely detekcji obiektów, takie jak YOLOv8 lub warianty SSD, oferują szybką inferencję odpowiednią dla użycia niemal w czasie rzeczywistym, ale potrzebują znaczącej ilości etykietowanej danych treningowych do wykonywania na poziomie, z powodu rzadkości i visualnej niewizualności królowej w porównaniu do robotów. Podchodzenia typu segmentacji, takie jak Mask R-CNN, oferują bardziej precyzyjną lokalizację pikselewise, co jest przydatne dla potwierdzenia detekcji z większą pewnością, ale na cenie wyższych wymagań obliczeniowych, które sprawiają, że inferencja niemal w czasie rzeczywistym na małych urządzeniach staje się trudniejsza. Modely oparte na kluczowych punktach lub postawie, które próbują złapać podświetlające zachowania takie jak unikalny sposób orientacji robotów w kierunku i opiekę nad królową, są najmniej dojrzałym podejściem, ale potencjalnie najbardziej odpornym na zablokowanie widocznego, ponieważ korzystają z zachowania otaczających robotów jako drugiego sygnału, a nie tylko z bezpośredniego widzenia ciała królowej.

W praktyce wiele działających systemów łączy podchody: początkowy szybki detektor propozuje kandydatów obszarów, a mniejszy, bardziej ostrożny drugorzędowy klasyfikator potwierdza lub odrzucenie każdego kandydata, balansując prędkość przeciwko dokładności potrzebnej do uniknięcia zbyt wielu fałszywych sygnałów pozytywnych, które szybko frustrują użytkownika, jeśli system ciągle oznacza robotów jako królową.

Tworzenie zestawu danych, który rzeczywiście generalizuje się

Zasada polega na tym, że królowe są rzadkością w porównaniu do robaków na każdym ramku, więc jakość zestawu danych ma większą wagę niż jego ilość dla tego konkretnego problemu. Polecamy zapisywanie pod jednolitymi i kontrolowanymi warunkami oświetlenia, ponieważ cienie i odbicia powierzchownie wpłyną na wiarygodność detekcji. Ponadto warto włączyć różnorodne podrodzaje i wzory barwnicze, ponieważ model treningowy zbudowany tylko na ozdobionych królowych jednego typu może nie działać dla nieozdobnych królowych innego typu. Dodatkowo należy etykietować trudne przypadki negatywne, gęste grupy robaków, które powierzchownie przypominają wzór królewski z niektórych kątów, aby nauczyć modelu, co to nie jest królowa, a nie tylko co to jest.

Krytyczny i często pomijany krok polega na rozdzieleniu danych treningowych i walidacyjnych według kolonii lub miejsca apiarniczego zamiast losowego podziału wszystkich zbiorów obrazów. Losowy podział ramek z tej samej sesji gniazda ryzykuje, że model efektywnie przypomni się cechom wizualnym, oświetleniu i wyglądowi konkretnego gniazda zamiast nauczyć się prawdziwie generalizowalnego wzoru detekcji. To prowadzi do fałszywie wysokiej dokładności podczas testowania, która nie utrzymuje się na nowym, niewidocznym gnieździe.

Realizmsze wdrożenia i etyczne zarządzanie danymi

Opcje wdrożenia odzwierciedlają te widziane w innym kontekście obserwacji komputerowych: lighweight modele przekonwertowane na formaty takie jak TFLite lub ONNX mogą działać bezpośrednio na małej platformie podłączonym do ramki z aparatem fotograficznym, co pozwala uzyskać wyniki prawie w czasie rzeczywistym. Przetwarzanie w grupach poprzez interfejs API chmury służy barwnikom owiec, którzy preferują przeglądanie wyników po fakcie zamiast natychmiastowo, a uogólnione rozwiązania łączą przetwarzanie na miejscu z wykrywaniem cięższym w oddali. Aktualnie żadne z podejść nie obsługuje pełnej i casualnej operacji 'każdego zdjęcia na dowolnym obrazie' z wysoką wiarygodnością; większość praktycznych rozwiązań nadal wymaga specjalistycznego aparatu fotograficznego z kontrolowanym, zgodnym ramkowaniem.

Zbieranie zestawów danych również podnosi praktyczne zagadnienia etyczne i dotyczące zgody, które są ważne do poważnego podejścia: uzyskiwanie zgody od właścicieli apiarii przed udostępnieniem obrazu miejsca, zmywania dowolnie nagranych twarzy lub numerów rejestracyjnych w tle zdjęć skrzynek owcowych, oraz jasno definiowanie warunków licencyjnych podczas przyczyniania się do lub korzystania ze wspólnych zestawów danych publicznych, ponieważ zestawy danych komputerowych obserwacji owiec są coraz częściej budowane w sposób kolaboracyjny między wieloma apiariami.

Często zadawane pytania