Standardy metadanych i otwarte praktyki w badaniach apiarniczych

Dlaczego metadane są ważniejsze od wyjściowych liczb

Arkusz kalkulacyjny zawierający wagi tarników lub liczby chrząszczy jest prawie bezużyteczny po pięciu latach, jeśli nikt nie może określić, z jakiego dworu apiarniczego pochodzą te dane, jakie jednostki zostały użyte, czy nagle spadające wartości odbiegają od rzeczywistych zdarzeń w colonies lub wynikają z awarii czujnika. Metadane, strukturalne informacje opisujące zestaw danych, a nie same dane, przekształcają kolumnę liczb w coś, co drugi badacz może zaufać i ponownie wykorzystać. W każdym razie każdy zestaw danych apiarniczy powinien rejestrować, kto go zebrał, kiedy i gdzie, z użyciem jakiego instrumentu lub metody, w jakich jednostkach oraz pod jakimi kontroli jakości.

Zasady FAIR (Findable, Accessible, Interoperable, Reusable), pierwotnie opracowane dla nauki medycznej i środowiskowej, przetwarzają się prosto na badania apiarnicze. Zestaw danych jest FAIR, gdy ma identyfikator trwały, jest zapisywany w miejsce do wyszukiwania, używa standardowych formatów i terminologii, które inne narzędzia mogą czytać, a towarzyszy mu jasna licencja i dokumentacja umożliwiająca drugiemu badaczowi zrozumienie i legalne ponowne wykorzystanie danych bez konieczności kontaktu z oryginalnym autorom.

Tworzenie słownika danych, który przetrwa zmiany kadry

Najwyższa wartość dokumentu, jaki może wyprodukować grupa badawcza, to słownik danych: tabela zawierająca wszystkie nazwy zmiennych używanych w całym projekcie arkuszy kalkulacyjnych, pełne opisy tych zmiennych, dozwolone wartości lub jednostki, oraz dowolne znane nieporozumienia (na przykład, że 'siła kolonii' była oceniana na skali 1-10 przed 2022 rokiem i na skali 1-6 od 2022 roku). Bez takiego dokumentu przychodzący studenti lub partnerzy zawsze powtarzają nazwy zmiennych, błądzą w interpretacji kodów, czyli niewolnie łączą niekompatybilne kolumny.

Dobry słownik danych jest dokumentem żywym, który jest aktualizowany co chwilę, gdy dodany jest nowa zmienna lub zmieni się schemat kodowania, a przechowywany jest obok oryginalnych danych, a nie ukryty w osobnym folderze metod, który nikt nie pamięta. Kontrolowanie wersji słownika samego siebie, tak aby zmiany były datowane i przypisane, uniemożliwia typowy błąd, gdy dwa partnerzy badawcze pracują na różnych wersjach tej samej potencjalnie udzielonej wspólnie terminologii.

Zabezpieczenie jakości i kontrola jakości w praktyce

Sprawdzenie jakości i kontrola jakości w badaniach polowych naturalnie rozdziela się na dwa fazy: zastosowanie środków zapewniających jakość przed i podczas zbierania danych, aby uniknąć błędu (kalibrowane instrumenty, szkoleniowi obserwatorzy, standardowe formularze, dwukrotne wprowadzanie dla kluczowych pole), oraz kontrolovalne sprawdzenia przeprowadzone po zbiorach, które złapują to, co zapewniałość nie odniosła (sprawdzenie zakresu, które oznacza wartości 4kg lub 400kg jako niemożliwe, sprawdzenie zgodności między polami, które oznaczają kolonię martwą zliczoną z liczbą brodu aktywnego, oraz detekcja powtórzonych rekordów).

Automatyzacja jak najbardziej tego jest korzystne. Krótki skrypt walidacyjny uruchamiany przy każdym przesyłaniu nowych danych polowych sprawdza wartości poza zakresem, brak wymaganych pól oraz niezgodności formatów dat, złapując błędy w transkrypcji w ciągu kilku dni zamiast odkryć je w trakcie analizy wiele miesięcy później, gdy obserwator pierwotny może już nie pamiętać tego, co naprawdę nastąpiło podczas badań polowych.

Wybieranie formatów i słownicji, które są łatwe do przekształcenia

Formaty arkuszy elektronicznych z własnymi prawa autorskie i nieformalne nazwy kolumn sprawiają, że dane są trudne do połączenia między różnymi badaniami lub instytucjami. Preferowanie otwartych, dobrze dokumentowanych formatów takich jak proste CSV lub TSV dla danych tabelarnych, z towarzyszącym plikiem schematu opisującym typy kolumn i jednostki, zapewnia czytelność zbioru danych niezależnie od tego, które oprogramowanie lub wersja stało się nieważne. Gdzie to możliwe, przyjmowanie istniejących kontrolek słowniczych (na przykład standardowych nazw taxonomicznych dla szkodników i chorób, czy zaakceptowanych jednostek takich jak stopnie-dni dla danych fenologicznych) sprawia, że zbior danych jest bezpośrednio porównywalny z innymi danymi używającymi tego samego standardu, a nie wymaga konieczności przeprowadzenia manuelnej przekształcenia przed każdą porownawczością.

Dla zbiorów danych przeznaczonych do publikowego udostępniania, zapisywanie ich w rozpoznawanym repozytorium (instytucjonalnym, specjalistycznym lub ogólnodostępnej arcywum emitującym identyfikator trwały taki jak DOI) zamiast tylko na osobistym serwerze internetowym lub dysku udostępnionym znacząco zwiększa szanse, że dane przetrwają zmiany personelu, awarie sprzętu czy rozpad grupy badawczej. Lista repozytorium powinna zawierać słownik danych, krótki podsumowanie metod oraz jasno określony licencja na ponowne wykorzystanie.

Interoperability among narzędzi i współpracowników

Zespoly badawcze coraz częściej łączą pracę polifoniczną opartą na arkuszach kalkulacyjnych, telemetryczne czujniki oraz statystyczne oprogramowanie takie jak R lub Python. Problemy z interoperabilnością powstają, gdy każdy narzędzie przyjmuje różne formy danych. Zastosowanie konwencji 'tidy data', gdzie każda zmienna jest kolumną, każda obserwacja wierszem, a każdy typ jednostki obserwacyjnej ma własną tabelę, sprawia, że bazy danych są znacznie łatwiejsze do zaimportowania w dowolne narzędzie dolistanskie bez potrzeby rozszerzania ich formy.

Dokumentacja dokładnego interfejsu programistycznego lub formatu eksportu używanego przez każdy czujnik lub platformę zapisu jest równie ważna, ponieważ producenci okresowo modyfikują firmware lub schematy eksportu w sposób, który cichym sposobem łamie istniejące skrypty importu. Zachowanie małych, wersjonowanych skryptów importu dla każdego źródła danych zamiast ręcznego przekształcania wyjść każdej sezonu, obniża czas i tworzy audytowalny rekord dokładnie tego, jak wyjście czujników stało się gotowe do analizy.

Często zadawane pytania

Wypróbuj na żywo

Wszystko powyżej działa bezpośrednio w Twojej przeglądarce — otwórz Metadata Standards and Open Data Practices for Apiary Research i zmieniaj parametry podczas działania. Nic nie jest instalowane ani przesyłane na serwer, cały model działa w jednej karcie.