Kort titel: Projekt 4 Eksempel: Mixed Hybrid Checklist

Dette eksperiment er et medlem af en 'bundt' af BESH-eksperimenter, der blev registreret som en del af ansøgningsprocessen. Det er ikke muligt eller meningsfuldt at registrere et bundt af eksperimenter i en enkelt CT.gov-fil, så "Mixed Hybrid Checklist" bliver registreret som et eksempel på dette bundt.

Dette er teksten til præregistreringen af ​​Mixed Hybrid Checklist, der oprindeligt blev placeret på Open Science Framework: https://osf.io/j6h4s

BEMÆRK: Da pronomenkommentaren er vejledende, lader vi dette stå til senere. Hjemmesiden er i sandhed en fungerende OSF-side.

========

Hvad er hovedspørgsmålet, der bliver stillet eller hypotesen, der testes i denne undersøgelse?

I søgninger i den virkelige verden (og især i radiologi) kan det være vigtigt at holde "øje" for emner af interesse, som ikke er det primære emne for søgningen. I radiologi er disse kendt som "tilfældige fund", og de er et væsentligt problem, fordi klinikere forventes at opdage emner af klinisk betydning, selv om de besvarer et andet spørgsmål (f.eks. du skal opdage lungebetændelse, selvom din opgave var at screene for lungekræft). Vi har udviklet et "modelsystem" i form af en 'mixed hybrid search'-opgave, der kan bruges til at undersøge de fundamentale kognitive processer, der ligger bag tilfældige fundfejl. I denne blandede hybridsøgningsopgave søger observatører efter et hvilket som helst af flere specifikke mål (f.eks. denne kanin, denne lastbil og denne ske) og flere kategoriske mål (f.eks. eventuelle masker, møbler og planter). I alle de 'blandede hybridsøgning'-eksperimenter, der er udført indtil videre, savnes de kategoriske mål i meget højere grad end de specifikke mål. De kategoriske mål bliver således analogen til den tilfældige fejl, og vores mål er at reducere disse fejl i vores modelsystem i håb om, at dette vil give vejledning til, hvordan man kan reducere fejl i opgaver i den virkelige verden.

Vi har testet to strategier, der har til formål at reducere antallet af mistede kategoriske mål. I eksperiment 5 mindede vi observatører om de kategoriske mål via ikke-søgningsforsøg, hvor kategoriske mål var tydeligt markeret. I eksperiment 6 tvang vi observatører til at svare to gange på hvert forsøg: Én gang for at bekræfte tilstedeværelsen eller fraværet af specifikke mål, og én gang for at bekræfte tilstedeværelsen eller fraværet af kategoriske mål. Begge disse indgreb mislykkedes.

Dette 'Hybrid Checkliste'-eksperiment er endnu et forsøg på at udvikle en strategi, der hjælper os med at reducere disse kategoriske fejl. Ligesom de tidligere eksperimenter begynder observatører med at huske tre specifikke mål og tre kategoriske mål. Efter at have set målene skal observatører bestå en gammel/ny genkendelsestest med 100 % korrekte svar for at gå videre til søgefasen. Hver hukommelsestest består af 2×N elementer, hvor N er hukommelsessætstørrelsen, og 50 % af emnerne er gamle (mål) og 50 % er nye. Efter at have bestået hukommelsestesten søger observatører efter deres mål på displays med 4, 8 eller 12 genstande. Observatører skal angive, om hvert mål i hukommelsessættet er til stede eller fraværende i det aktuelle display ved at klikke med en mus. Der er 6 mål (3 specifikke, 3 kategoriske), så observatører giver 6 svar på hvert forsøg. Fejl og reaktionstid vil blive registreret for hvert klik og for hvert forsøg.

Hypotese (H1):

- Vi antager, at denne tjeklisteprocedure vil forbedre nøjagtigheden og reducere fejlfejl. Men da der er 6 svar på hvert forsøg, vil tiden pr. forsøg (eller tid pr. sag for radiologer) sandsynligvis stige betydeligt.

Beskriv de(n) nøgleafhængige variable(r), der specificerer, hvordan de vil blive målt.

Miss fejl og reaktionstider er de vigtigste afhængige variabler. Disse vil blive beregnet som gennemsnit på tværs af forsøg med samme tilstand (specifikt mål, kategorisk mål og fraværende forsøg) og visuel sætstørrelse (4, 8, 12). Bemærk, at disse mål vil blive sammenlignet med resultater fra tidligere eksperimenter i stedet for et inden-observatørdesign.

Hvor mange og hvilke betingelser vil deltagerne blive tildelt?

I dette eksperiment tildeles deltagerne en enkelt 'tjekliste'-tilstand. Alle observatører husker et sæt af tre specifikke og tre kategoriske mål. De skal derefter bestå en hukommelsestest, før de går videre til at udføre 20 øvelsesforsøg og 300 eksperimentelle forsøg med den visuelle søgeopgave. Af disse 300 forsøg:

70 % er mål-nuværende forsøg 45 % af mål-nuværende forsøg vil have ét mål

• 80 % af forsøg med ét mål har ét specifikt mål
• 20 % af et-mål-forsøg har ét kategorisk mål 25 % af mål-nuværende forsøg vil have to mål
• 65 % af forsøg med to mål har to specifikke mål
• 5 % af forsøg med to mål har to kategoriske mål
• 30 % af forsøg med to mål har ét specifikt og ét kategorisk mål. De resterende 30 % af forsøgene har ingen mål

Angiv præcis, hvilke analyser du vil foretage for at undersøge hovedspørgsmålet/hypotesen.

Reaktionstid og fejlrate vil blive sammenlignet med dem i det tidligere blandede hybride søgeeksperiment - et design mellem emner (Wolfe, Soce og Schill, 2017). Der vil blive udført analyser på både reaktionstid og fejlrate. For reaktionstid vil en ANOVA med gentagne mål blive kørt med to faktorer: tilstand (specifikt mål, kategorisk mål og fraværende) og visuel sætstørrelse. For fejlfrekvensen vil statistisk analyse af fejl blive udført på arcsine-transformerede fejlrater (Hogg & Craig, 1995).

Nogen sekundære analyser?

Vi vil udforske dataene for andre mønstre af interesse: F.eks.

- Ordreeffekter: Påvirker et kategorisk mål på forsøg N sandsynligheden for at opdage et sådant mål på N+1.

Hvor mange observationer vil der blive indsamlet, eller hvad vil bestemme stikprøvestørrelsen? Ingen grund til at begrunde beslutningen, men vær præcis om, præcis hvordan antallet vil blive bestemt.

For at være i overensstemmelse med de tidligere 'Mixed Hybrid Search'-eksperimenter vil vi indsamle data fra 12 observatører. Deltagere udelukkes, hvis de ikke er mellem 18 og 55 år, hvis deres synsstyrke er dårligere end 20/25, eller hvis de ikke består Ishihara-farvetesten.

Er der andet, du gerne vil forhåndstilmelde? (f.eks. dataekskluderinger, variabler indsamlet til udforskningsformål, usædvanlige analyser planlagt?)

N/A