Skrócony tytuł: Projekt 4 Przykład: Mieszana lista kontrolna hybrydy

Ten eksperyment jest jednym z członków „pakietu” eksperymentów BESH, które zostały zarejestrowane w ramach procesu składania wniosków o grant. Nie jest możliwe ani sensowne zarejestrowanie pakietu eksperymentów w jednym zgłoszeniu CT.gov, dlatego jako przykład tego pakietu zarejestrowano „Mixed Hybrid Checklist”.

To jest tekst wstępnej rejestracji Mixed Hybrid Checklist, która pierwotnie została umieszczona w Open Science Framework: https://osf.io/j6h4s

UWAGA: Ponieważ komentarz dotyczący zaimka ma charakter doradczy, zostawimy to na później. Witryna jest rzeczywiście działającą stroną OSF.

========

Jakie jest główne zadawane pytanie lub testowana hipoteza w tym badaniu?

Podczas wyszukiwania w świecie rzeczywistym (a zwłaszcza w radiologii) ważne może być „uważanie” na interesujące przedmioty, które nie są głównym przedmiotem wyszukiwania. W radiologii są one znane jako „przypadkowe ustalenia” i stanowią istotny problem, ponieważ od klinicystów oczekuje się wykrycia elementów o znaczeniu klinicznym, nawet jeśli odpowiadają na inne pytanie (np. musisz wykryć zapalenie płuc, nawet jeśli twoim zadaniem było badanie przesiewowe w kierunku raka płuc). Opracowaliśmy „system modelowy” w postaci zadania „wyszukiwania mieszanego hybrydowego”, którego można użyć do zbadania podstawowych procesów poznawczych leżących u podstaw przypadkowych błędów wyszukiwania. W tym mieszanym hybrydowym zadaniu wyszukiwania obserwatorzy wyszukują jeden z wielu określonych celów (np. wszelkie maski, meble i rośliny). We wszystkich dotychczas przeprowadzonych eksperymentach z „mieszanymi poszukiwaniami hybrydowymi” cele kategoryczne są pomijane w znacznie większym stopniu niż cele szczegółowe. W ten sposób cele kategoryczne stają się odpowiednikiem błędu przypadkowego, a naszym celem jest zmniejszenie tych błędów w naszym systemie modelowym w nadziei, że dostarczy to wskazówek, jak zredukować błędy w rzeczywistych zadaniach.

Przetestowaliśmy dwie strategie mające na celu zmniejszenie liczby nietrafionych celów kategorycznych. W eksperymencie 5 przypomnieliśmy obserwatorom o celach kategorycznych poprzez próby niezwiązane z wyszukiwaniem, w których wyraźnie zaznaczono cele kategoryczne. W eksperymencie 6 zmusiliśmy obserwatorów do dwukrotnej odpowiedzi w każdej próbie: raz w celu potwierdzenia obecności lub braku określonych celów i raz w celu potwierdzenia obecności lub braku celów kategorycznych. Obie te interwencje nie powiodły się.

Ten eksperyment „Hybrydowa lista kontrolna” jest kolejną próbą opracowania strategii, która pomoże nam zredukować te kategoryczne błędy. Podobnie jak w poprzednich eksperymentach, obserwatorzy zaczynają od zapamiętania trzech konkretnych celów i trzech celów kategorycznych. Po obejrzeniu celów obserwatorzy muszą przejść stary/nowy test rozpoznawania ze 100% poprawnymi odpowiedziami, aby przejść do fazy wyszukiwania. Każdy test pamięci składa się z 2 x N elementów, gdzie N to rozmiar zestawu pamięci, a 50% elementów to stare (cele), a 50% to nowe. Po zdaniu testu pamięci obserwatorzy wyszukują swoje cele na ekranach z 4, 8 lub 12 pozycjami. Obserwatorzy muszą wskazać, czy każdy cel w zestawie pamięci jest obecny lub nieobecny na bieżącym ekranie, klikając myszką. Istnieje 6 celów (3 szczegółowe, 3 kategoryczne), więc obserwatorzy udzielają 6 odpowiedzi w każdej próbie. Błąd i czas reakcji będą rejestrowane dla każdego kliknięcia i dla każdej próby.

Hipoteza (H1):

- Stawiamy hipotezę, że ta procedura listy kontrolnej poprawi dokładność i zmniejszy błędy pomyłek. Biorąc jednak pod uwagę, że w każdym badaniu jest 6 odpowiedzi, czas na badanie (lub czas na przypadek w przypadku radiologów) prawdopodobnie znacznie się wydłuży.

Opisz kluczowe zmienne zależne, określając sposób ich pomiaru.

Kluczowymi zmiennymi zależnymi są błędy chybienia i czasy reakcji. Zostaną one uśrednione dla prób o tym samym stanie (konkretny cel, kategoryczny cel i nieobecne próby) i wielkości zestawu wizualnego (4, 8, 12). Należy zauważyć, że pomiary te zostaną porównane z wynikami z poprzednich eksperymentów, a nie z projektem obserwatora.

Do ilu i do jakich warunków zostaną przydzieleni uczestnicy?

W tym eksperymencie uczestnicy są przypisywani do jednego warunku „listy kontrolnej”. Wszyscy obserwatorzy zapamiętują zestaw trzech konkretnych i trzech kategorycznych celów. Następnie muszą przejść test pamięci, zanim przejdą do wykonania 20 prób praktycznych i 300 prób eksperymentalnych zadania wyszukiwania wizualnego. Z tych 300 prób:

70% to próby z obecnym celem 45% prób z obecnym celem będzie miało jeden cel

• 80% prób z jednym celem ma jeden konkretny cel
• 20% prób z jednym celem ma jeden kategoryczny cel 25% prób z obecnym celem będzie miało dwa cele
• 65% prób z dwoma celami ma dwa określone cele
• 5% prób z dwoma celami ma dwa kategoryczne cele
• 30% prób z dwoma celami ma jeden konkretny i jeden kategoryczny cel Pozostałe 30% prób nie będzie miało celów

Określ dokładnie, jakie analizy przeprowadzisz w celu zbadania głównego pytania/hipotezy.

Czas reakcji i poziom błędów zostaną porównane z tymi z poprzedniego eksperymentu z mieszanymi hybrydami wyszukiwania — projekt między podmiotami (Wolfe, Soce i Schill, 2017). Analizy zostaną przeprowadzone zarówno pod kątem czasu reakcji, jak i wskaźnika błędów chybienia. W przypadku czasu reakcji zostanie przeprowadzona analiza ANOVA z powtarzanymi pomiarami z dwoma czynnikami: warunkiem (określona wartość docelowa, wartość docelowa jakościowa i nieobecność) oraz wielkość zestawu wizualnego. W przypadku wskaźnika błędów chybienia analiza statystyczna błędów zostanie przeprowadzona na współczynnikach błędów przekształconych w przebieg sinusoidalny (Hogg i Craig, 1995).

Jakieś dodatkowe analizy?

Przeanalizujemy dane pod kątem innych interesujących nas wzorców: np.

- Efekty porządkowe: Czy kategoryczny cel w próbie N wpływa na prawdopodobieństwo wykrycia takiego celu w N+1.

Ile obserwacji zostanie zebranych lub co zadecyduje o wielkości próby? Nie trzeba uzasadniać decyzji, ale należy dokładnie określić, w jaki sposób zostanie ustalona liczba.

Aby zachować spójność z poprzednimi eksperymentami „Mixed Hybrid Search”, zbierzemy dane od 12 obserwatorów. Uczestnicy są wykluczeni, jeśli nie są w wieku od 18 do 55 lat, jeśli ich ostrość wzroku jest gorsza niż 20/25 lub jeśli nie przejdą testu kolorów Ishihara.

Czy chcesz coś jeszcze wstępnie zarejestrować? (np. wykluczenia danych, zmienne zbierane do celów eksploracyjnych, planowane nietypowe analizy?)

Nie dotyczy