Kort tittel: Prosjekt 4 Eksempel: Sjekkliste for blandet hybrid

Dette eksperimentet er ett medlem av en "bunt" av BESH-eksperimenter som ble registrert som en del av søknadsprosessen. Det er ikke mulig eller meningsfullt å registrere en bunt med eksperimenter i en enkelt CT.gov-fil, så "Mixed Hybrid Checklist" blir registrert som et eksempel på denne bunten.

Dette er teksten til forhåndsregistreringen av Mixed Hybrid Checklist som opprinnelig ble plassert på Open Science Framework: https://osf.io/j6h4s

MERK: Siden pronomenkommentaren er rådgivende, lar vi dette stå til senere. Nettstedet er faktisk en fungerende OSF-side.

========

Hva er hovedspørsmålet eller hypotesen som testes i denne studien?

I søk i den virkelige verden (og spesielt innen radiologi) kan det være viktig å holde "øye ut" for gjenstander av interesse som ikke er hovedemnet for søket. I radiologi er disse kjent som "tilfeldige funn", og de er et betydelig problem fordi klinikere forventes å oppdage gjenstander av klinisk betydning selv om de svarer på et annet spørsmål (f. du må oppdage lungebetennelse selv om oppgaven din var å screene for lungekreft). Vi har utviklet et «modellsystem» i form av en «mixed hybrid search»-oppgave som kan brukes til å undersøke de grunnleggende kognitive prosessene som ligger bak tilfeldige funnfeil. I denne blandede hybridsøkeoppgaven søker observatører etter et av flere spesifikke mål (f.eks. denne kaninen, denne lastebilen og denne skjeen) og flere kategoriske mål (f.eks. eventuelle masker, møbler og planter). I alle "blandet hybridsøk"-eksperimentene som er utført så langt, blir de kategoriske målene savnet i mye høyere hastighet enn de spesifikke målene. De kategoriske målene blir dermed analogen til den tilfeldige feilen, og målet vårt er å redusere disse feilene i modellsystemet vårt i håp om at dette vil gi veiledning om hvordan man kan redusere feil i oppgaver i den virkelige verden.

Vi har testet to strategier for å redusere antall savnede kategoriske mål. I eksperiment 5 minnet vi observatører om de kategoriske målene via ikke-søkeforsøk der kategoriske mål var tydelig merket. I eksperiment 6 tvang vi observatører til å svare to ganger på hvert forsøk: En gang for å bekrefte tilstedeværelse eller fravær av spesifikke mål, og en gang for å bekrefte tilstedeværelse eller fravær av kategoriske mål. Begge disse inngrepene mislyktes.

Dette «Hybrid Sjekkliste»-eksperimentet er nok et forsøk på å utvikle en strategi som hjelper oss å redusere disse kategoriske feilene. Som de forrige eksperimentene begynner observatører med å huske tre spesifikke mål og tre kategoriske mål. Etter å ha sett målene, må observatører bestå en gammel/ny gjenkjennelsestest med 100 % korrekte svar for å gå til søkefasen. Hver minnetest består av 2×N elementer der N er størrelsen på minnesett, og 50 % av elementene er gamle (mål) og 50 % er nye. Etter å ha bestått minnetesten, søker observatører etter målene sine på skjermer med 4, 8 eller 12 elementer. Observatører må angi om hvert mål i minnesettet er tilstede eller fraværende i gjeldende visning ved å klikke med en mus. Det er 6 mål (3 spesifikke, 3 kategoriske), så observatører gir 6 svar på hver prøve. Feil og reaksjonstid vil bli registrert for hvert klikk og for hver prøveversjon.

Hypotese (H1):

– Vi antar at denne sjekklisteprosedyren vil forbedre nøyaktigheten og redusere feilfeil. Men gitt at det er 6 svar på hvert forsøk, vil tiden per prøve (eller tid per sak for radiologer) sannsynligvis øke betydelig.

Beskriv nøkkelavhengige variabler og spesifisere hvordan de vil bli målt.

Missfeil og reaksjonstider er de viktigste avhengige variablene. Disse vil bli beregnet på tvers av forsøk med samme tilstand (spesifikt mål, kategorisk mål og fraværende forsøk) og visuell settstørrelse (4, 8, 12). Legg merke til at disse målene vil bli sammenlignet med resultater fra tidligere eksperimenter i stedet for et innen-observatørdesign.

Hvor mange og hvilke betingelser vil deltakerne bli tildelt?

I dette eksperimentet blir deltakerne tilordnet en enkelt "sjekkliste"-betingelse. Alle observatører husker et sett med tre spesifikke og tre kategoriske mål. De må deretter bestå en hukommelsestest før de går videre til å utføre 20 øvelsesforsøk og 300 eksperimentelle forsøk med den visuelle søkeoppgaven. Av disse 300 forsøkene:

70 % er mål-nærværende forsøk 45 % av mål-nærværende forsøk vil ha ett mål

• 80 % av forsøkene med ett mål har ett spesifikt mål
• 20 % av forsøkene med ett mål har ett kategorisk mål 25 % av forsøkene med ett mål vil ha to mål
• 65 % av forsøkene med to mål har to spesifikke mål
• 5 % av forsøkene med to mål har to kategoriske mål
• 30 % av forsøkene med to mål har ett spesifikt og ett kategorisk mål. De resterende 30 % av forsøkene vil ikke ha noen mål

Spesifiser nøyaktig hvilke analyser du skal gjennomføre for å undersøke hovedspørsmålet/hypotesen.

Reaksjonstid og feilrate vil bli sammenlignet med de i forrige blandede hybridsøkeeksperiment – ​​et design mellom emner (Wolfe, Soce og Schill, 2017). Det vil bli utført analyser på både reaksjonstid og feilrate. For reaksjonstid vil en gjentatt mål ANOVA kjøres med to faktorer: tilstand (spesifikt mål, kategorisk mål og fraværende) og visuelt settstørrelse. For miss error rate, vil statistisk analyse av feil bli utført på arcsine transformerte feilrater (Hogg & Craig, 1995).

Noen sekundære analyser?

Vi vil utforske dataene for andre mønstre av interesse: F.eks.

- Ordreeffekter: Påvirker et kategorisk mål på forsøk N sannsynligheten for å oppdage et slikt mål på N+1.

Hvor mange observasjoner vil bli samlet inn, eller hva vil bestemme prøvestørrelsen? Du trenger ikke å begrunne avgjørelsen, men vær presis om nøyaktig hvordan antallet vil bli bestemt.

For å være konsistent med de tidligere «Mixed Hybrid Search»-eksperimentene, vil vi samle inn data fra 12 observatører. Deltakere ekskluderes hvis de ikke er mellom 18 og 55 år, hvis synsstyrken er dårligere enn 20/25, eller hvis de ikke består Ishihara-fargetesten.

Noe annet du ønsker å forhåndsregistrere? (f.eks. dataekskluderinger, variabler samlet inn for utforskende formål, planlagte uvanlige analyser?)

N/A