Problem organizacyjny powstający z wieloletnich badań
Grupa badawcza prowadząca kilka równocześnie trwających ekspertyz apiarniczych po różnych sezonach szybko akumuluje setki pokrywających się folderów, arkuszy kalkulacyjnych i skrótów. Bez systemu świadomie zaplanowanego staje się naprawdę trudnym zadaniem odpowiedzi na podstawowe pytania, takie jak który zestaw danych odpowiada danemu badaniu, czy 'Badanie 3' z notatek jednego badacza jest tym samym co 'Eksperyment C' drugiego. To nie jest jedynie nieudobne; bezpośrednio zagroża to integridzie danych, ponieważ niezgodne lub niejasne identyfikatory są główną przyczyną przypadkowego łączenia się niestosownych zestawów danych podczas analizy.
Rejestr identyfikatorów eksperymentu rozwiązuje to problem, przydzielając każdemu osobemu badaniu unikalny, strukturalny kod w chwili jego zaplanowania, już przed pierwszym odwiedzeniem pola, a następnie zapisując ten kod razem z krótkim opisem w centralnym dzienniku, do którego mogą się odwoływać wszystkie członkowie zespołu. Rejestr staje się źródłem prawdziwej prawdy, do której odwołują się wszystkie dalsze zestawy danych, notatniki i skrypty analizy.
Projektowanie identyfikatorów unikalnych i czytelnych dla maszyn
Dobrze zaprojektowany identyfikator zazwyczaj koduje kilka strukturalnych elementów: krótki prefix projektu lub programu, rok lub sezon, kolejny numer oraz czasem kod lokalizacyjny lub kod traktamentu, połączone jednolitym separatorem, takim jak ujemny znak. Na przykład identyfikator APR24-VAR-003 mógłby oznaczać trzecią ekspresję w projekcie 2024 dotyczącym varroa. Cel jest tworzenie identyfikatora, który można szybko przeczytać przez człowieka i który również może być sortowany, filtrowany i zweryfikowany przez oprogramowanie bez niepewności, co zasługuje na wykluczeniu opisów tekstowych lub identyfikatorów o różnej długości lub strukturze w zależności od ekspresji.
Niezależnie od wybranego schematu, powinien być zaprojektowany krótki przewodnik stylowy i zastosowany jednolity od pierwszego dnia. Przeprowadzenie rozszerzenia logiki nazewnictwa na istniejące identyfikatory ad hoc jest znacznie bardziej bolesne niż ustalenie konwencji przed rozpoczęciem pierwszej ekspresji. Nowi członkowie zespołu powinni natychmiast odnaleźć ten przewodnik, ponieważ niezgodność w nazewnictwie zazwyczaj wynika z tego, że ktoś przyjął na siebie improvisację kodu ze względu na brak świadomości istniejącej konwencji.
Co właściwej przeregistracji zawiera
Preregistracja oznacza publiczne lub instytucyjne zapisanie hipotez badawczych, rozmiaru planowanej próby, głównych miar wyników i podejścia do analizy przed rozpoczęciem zbierania danych, tworząc datowany rekord, który odmiennie rozróżnia testowanie potwierdzające hipotezy od eksploracyjnej analizy odkrytej po fakcie. Wydatna przeregistracja jest dostatecznie konkretna, aby być fałszywiała, a nie zawiera tylko ogólnego zamiaru 'badania wpływu dodatkowego podlewania na zdrowie kolonii'. Zamiast tego przegłosowuje konkretne główne miary wyników (na przykład otożsamość przeżycia nadzimnego), konkretną porównanie (kolonie podlewanie w porównaniu z niepodlewanej) oraz test statystyczny, który będzie używany do oceny tych wyników.
Preregistracja nie uniemożliwia dodatkowej eksploracyjnej analizy; jedynie wymaga, aby takana analiza była jasno etykietowana jako eksploracyjna w dowolnym późniejszym raportie, umożliwiając czytelnikom prawidłowe ocenianie potwierdzonych, podlegających przeddefiniowanej wyników inaczej niż wzory zauważone po fakcie w tym samym zestawie danych. Ta rozróżnienie ma ogromne znaczenie dla wiarygodności badań, ponieważ wzory odkryte przez badanie wielu możliwych porównań w jednym zestawie danych są znacznie bardziej prawdopodobne, że są fałszywymi pozytywami niż pojedynczy podlegający przeddefiniowany test.
Połączenie rejestracji i przegłosowań w jednym procesie
Identyfikator eksperymentu i dokument przegłosowania działają najlepiej jako partnerzy: identyfikator jest przydzielony najpierw, a następnie przegłosowanie jest wpisane pod ten identyfikator przed rozpoczęciem prac polowych. Każdy kolejny zestaw danych, notatnik z polowych obserwacji i skrypt analizy odnosi się do tego samego identyfikatora przez całą trwałość eksperymentu. Ta połączenie oznacza, że każda osoba auditująca program badawczy później, czy to współautor, recenzent czasopisma lub przyszły student doktorski kontynuujący pracę, może odnowić pełną historię danego eksperymentu na podstawie jednego punktu wyjścia.
Dla grup badawczych nie związanej z formalnym platformą przegłosowania, nawet proste dokument datowany wpisany do wspólnego folderu kontrolowanego wersji przed rozpoczęciem zbierania danych osiąga większość korzyści w zakresie zaufania; kluczowym elementem jest niewzruszony, zapisany w czasie dokument stworzony przed znalezieniem wyników, a nie konkretna platforma używana do hostowania go.
Często zadawane pytania
Czy przeregistracja jest potrzebna tylko w przypadku dużych, finansowanych badań?
Nie; korzyść złożona w obietnicach hipotez i planów analiz przed oglądanem wyników dotyczy równie dobrze małych indywidualnych badań, a proste datowane dokumenty kontrolowane w wersjach osiągają większość tej samej korzyści bez wymagania formalnej platformy.
Czym jest, jeśli potrzebuję odchylać się od przeregistrowanego planu analiz?
Odchylenia są akceptowalne i powszechnie występujące, ale powinny być jasno zaznaczone w końcowym raporcie, oddzielając oryginalną zaplanowaną analizę potwierdzającą od jakiejkolwiek dodatkowej analizy eksploracyjnej dodanej później.
Jaki powinien być poziom szczegółowości schematu identyfikatora eksperymentu?
Powinien zawierać wystarczającą strukturę, aby był unikalny i sortowalny, co zwykle oznacza prefiks projektu, rok i numer sekwencyjny, bez stania się tak długim ani złożonym, że członkowie zespołu będą skłonni do niezgodnych skróconych wersji.
Czy mogę przeregistrować badanie po zbiorze pewnych danych pilotowych?
Tak, ale przeregistracja powinna jasno stwierdzić, że dane pilotowe były zbierane i używane tylko do informowania projektu (takich jak szacunki wielkości efektu dla analizy mocy), a dane pilotowe nie powinny być uwzględnione w analizie potwierdzającej głównego badania.
Kto powinien utrzymywać rejestr identyfikatorów eksperymentu dla grupy badań?
Jedna osoba zazwyczaj wyróżniona, często menedżer laboratorium lub starszy badacz, powinna zarządzać rejestratem, aby uniknąć kolizji identyfikatorów, choć każdy członek zespołu powinien mieć dostęp do odczytu i jasny proces żądania nowego identyfikatora.
▶ Wypróbuj na żywo
Wszystko powyżej działa bezpośrednio w Twojej przeglądarce — otwórz Experiment Registries and Preregistration for Bee Research i zmieniaj parametry podczas działania. Nic nie jest instalowane ani przesyłane na serwer, cały model działa w jednej karcie.