Korte titel: Project 4 Voorbeeld: Mixed Hybrid Checklist

Dit experiment maakt deel uit van een 'bundel' van BESH-experimenten die werden geregistreerd als onderdeel van het subsidieaanvraagproces. Het is niet mogelijk of zinvol om een ​​bundel experimenten te registreren in een enkele CT.gov-archivering, dus "Mixed Hybrid Checklist" wordt geregistreerd als een voorbeeld van deze bundel.

Dit is de tekst van de pre-registratie van Mixed Hybrid Checklist die oorspronkelijk op het Open Science Framework is geplaatst: https://osf.io/j6h4s

OPMERKING: aangezien de opmerking bij het voornaamwoord adviserend is, laten we dit voor later. De website is inderdaad een functionerende OSF-pagina.

========

Wat is de belangrijkste vraag die wordt gesteld of de hypothese die wordt getest in deze studie?

Bij zoeken in de echte wereld (en met name bij radiologie) kan het belangrijk zijn om "een oogje in het zeil" te houden voor interessante items die niet het primaire onderwerp van de zoekopdracht zijn. In de radiologie staan ​​deze bekend als "incidentele bevindingen", en ze zijn een belangrijk probleem omdat van clinici wordt verwacht dat ze items van klinisch belang detecteren, zelfs als ze een andere vraag beantwoorden (bijv. u longontsteking moet opsporen, zelfs als het uw taak was om op longkanker te screenen). We hebben een 'modelsysteem' ontwikkeld in de vorm van een 'mixed hybrid search'-taak waarmee de fundamentele cognitieve processen achter incidentele bevindingsfouten kunnen worden onderzocht. In deze gemengde hybride zoektaak zoeken waarnemers naar meerdere specifieke doelen (bijv. dit konijn, deze vrachtwagen en deze lepel) en meerdere categorische doelen (bijv. alle maskers, meubels en planten). In alle 'gemengde hybride zoek'-experimenten die tot nu toe zijn uitgevoerd, worden de categorische doelen veel sneller gemist dan de specifieke doelen. De categorische doelen worden dus de analoog van de incidentele fout en ons doel is om die fouten in ons modelsysteem te verminderen, in de hoop dat dit een leidraad zal zijn voor het verminderen van fouten in real-world taken.

We hebben twee strategieën getest die bedoeld zijn om het aantal gemiste categorische doelen te verminderen. In experiment 5 herinnerden we waarnemers aan de categorische doelen via niet-zoekonderzoeken waarin categorische doelen duidelijk waren gemarkeerd. In Experiment 6 dwongen we waarnemers tweemaal te reageren op elke proef: eenmaal om de aan- of afwezigheid van specifieke doelen te bevestigen, en eenmaal om de aan- of afwezigheid van categorische doelen te bevestigen. Beide interventies mislukten.

Dit 'Hybride Checklist'-experiment is weer een poging om een ​​strategie te ontwikkelen die ons helpt deze categorische fouten te verminderen. Net als de vorige experimenten beginnen waarnemers met het onthouden van drie specifieke doelen en drie categorische doelen. Na het bekijken van de doelen moeten waarnemers slagen voor een oude/nieuwe herkenningstest met 100% juiste antwoorden om naar de zoekfase te gaan. Elke geheugentest bestaat uit 2×N items waarbij N de grootte van de geheugenset is, en 50% van de items is oud (doelen) en 50% is nieuw. Nadat ze de geheugentest hebben doorstaan, zoeken waarnemers naar hun doelen in displays met 4, 8 of 12 items. Waarnemers moeten met een muisklik aangeven of elk doel in de geheugenset aanwezig of afwezig is in de huidige weergave. Er zijn 6 doelen (3 specifiek, 3 categorisch), dus waarnemers geven 6 antwoorden op elke proef. Fout en reactietijd worden geregistreerd voor elke klik en voor elke poging.

Hypothese (H1):

- We veronderstellen dat deze checklistprocedure de nauwkeurigheid zal verbeteren en missers zal verminderen. Aangezien er echter 6 reacties zijn op elke proef, zal de tijd per proef (of tijd per casus voor radiologen) waarschijnlijk aanzienlijk toenemen.

Beschrijf de belangrijkste afhankelijke variabele(n) en specificeer hoe ze zullen worden gemeten.

Miss-fouten en reactietijden zijn de belangrijkste afhankelijke variabelen. Deze worden gemiddeld over onderzoeken met dezelfde aandoening (specifiek doel, categorisch doel en afwezige onderzoeken) en visuele setgrootte (4, 8, 12). Merk op dat deze metingen zullen worden vergeleken met de resultaten van eerdere experimenten in plaats van een ontwerp binnen de waarnemer.

Aan hoeveel en aan welke voorwaarden worden deelnemers toegewezen?

In dit experiment worden deelnemers toegewezen aan één 'checklist'-voorwaarde. Alle waarnemers onthouden een set van drie specifieke en drie categorische doelen. Vervolgens moeten ze slagen voor een geheugentest voordat ze doorgaan met het uitvoeren van 20 oefenpogingen en 300 experimentele proeven van de visuele zoektaak. Van deze 300 proeven:

70% zijn target-present trials 45% van de target-present trials hebben één target

• 80% van de onderzoeken met één doelwit hebben één specifiek doelwit
• 20% van de studies met één doelwit heeft één categorisch doelwit 25% van de onderzoeken met doelwit-huidig ​​zal twee doelwitten hebben
• 65% van de studies met twee doelen heeft twee specifieke doelen
• 5% van de studies met twee doelen heeft twee categorische doelen
• 30% van de studies met twee doelwitten heeft één specifiek en één categorisch doelwit De resterende 30% van de onderzoeken heeft geen doelwit

Geef precies aan welke analyses je gaat uitvoeren om de hoofdvraag/hypothese te onderzoeken.

Reactietijd en foutenpercentage zullen worden vergeleken met die in het vorige gemengde hybride zoekexperiment - een ontwerp tussen proefpersonen (Wolfe, Soce en Schill, 2017). Er zullen analyses worden uitgevoerd op zowel de reactietijd als het foutpercentage. Voor de reactietijd wordt een ANOVA met herhaalde metingen uitgevoerd met twee factoren: conditie (specifiek doel, categorisch doel en afwezig) en visuele setgrootte. Voor de miss error rate zal een statistische analyse van fouten worden uitgevoerd op boogsinus getransformeerde error rates (Hogg & Craig, 1995).

Secundaire analyses?

We zullen de gegevens onderzoeken voor andere interessepatronen: b.v.

- Volgorde-effecten: Heeft een categorisch doel op proef N invloed op de kans dat zo'n doel wordt gedetecteerd op N+1.

Hoeveel waarnemingen worden er verzameld of wat bepaalt de steekproefomvang? U hoeft de beslissing niet te rechtvaardigen, maar wees precies hoe het aantal precies zal worden bepaald.

Om consistent te zijn met de eerdere 'Mixed Hybrid Search'-experimenten, zullen we gegevens verzamelen van 12 waarnemers. Deelnemers worden uitgesloten als ze niet tussen de 18 en 55 jaar oud zijn, als hun gezichtsscherpte slechter is dan 20/25, of als ze niet slagen voor de Ishihara-kleurentest.

Wil je nog iets voorinschrijven? (bijv. gegevensuitsluitingen, variabelen verzameld voor verkennende doeleinden, ongebruikelijke analyses gepland?)

NVT