PROJEKT 2 BEISPIEL: Feedback X Prävalenz unter Verwendung von dermatologischen Stimuli

Diese Beschreibung basiert auf einer Vorregistrierung auf der Open Science Framework-Website. Beachten Sie, dass dies eine „BESH“-Studie ist. Diese Art von Forschung ist nicht als herkömmliche klinische Studie konzipiert, wird hier jedoch aufgrund von Änderungen der NIH-Berichtsregeln für klinische Studien gemeldet. Dies ist eine Studie aus Projekt 2 von NE017001.

Levari et al. (2018) fanden heraus, dass Menschen auf eine Abnahme der Prävalenz eines Stimulus reagierten, indem sie ihre Vorstellung davon erweiterten. Insbesondere baten sie die Beobachter, bei jedem Versuch zu beurteilen, ob ein Punkt, der aus einem blau-violetten Kontinuum gezogen wurde, blau war oder nicht. Die Ergebnisse zeigten, dass Beobachter mehrdeutige Stimuli eher als „blau“ bezeichneten, wenn blaue Elemente weniger vorherrschend waren. In Begriffen der Signaldetektionstheorie (SDT) ist dies eine liberale Verschiebung des Antwortkriteriums. Dies ist „prävalenzinduzierter Konzeptwandel“ (PICC). Frühere Ergebnisse haben jedoch in einer langen Reihe von Experimenten zu Prävalenzeffekten zu gegensätzlichen Ergebnissen geführt. Der Standardbefund ist, dass Os bei niedriger Prävalenz mehr Ziele verfehlen. Wenn Blau selten ist, ist es weniger wahrscheinlich, dass sie etwas Blau nennen. In SDT-Begriffen ist dies eine konservative Kriteriumsverschiebung. Dies ist der klassische Low Prevalence Effect (LPE). In einer Reihe früherer Experimente stellten Lyu et al. (2021) fest, dass Feedback eine kritische Variable ist. Mit Trial-by-Trial-Feedback erhalten wir ein LPE. Ohne Feedback zeigen die Daten normalerweise PICC-Ergebnisse.

Zeigen sich LPE- und PICC-Effekte, wenn Experten Stimuli in ihrem Expertenbereich betrachten? Es gibt Hinweise auf die LPE aus Suchaufgaben (z. Evans, K. K., Birdwell, R. L., & Wolfe, J. M. (2013). Wenn Sie es nicht oft finden, finden Sie es oft nicht: Warum einige Krebsarten bei der Brustkrebsvorsorge übersehen werden. . PLoS ONE 8(5): e64366. , 8(5), e64366. doi: doi:10.1371/journal.pone.0064366). Es wurden jedoch keine PICC-Beweise gesammelt, und es gibt keine Daten aus Einzelentscheidungsaufgaben wie "Ist dieser Punkt blau?" Aufgabe. Dies ist wichtig, da Kriterienverschiebungen der oben beschriebenen Art offensichtliche Auswirkungen auf die Gesundheitsfürsorge haben können.

Diese Studie wird das grundlegende Experiment „Ist dieser Punkt blau“ mit dermatologischen Stimuli wiederholen (Ist dies ein Melanom oder nur ein Nävus (ein Muttermal)?)

Hypothesen:

(H1) ohne Feedback ist es wahrscheinlicher, dass Os eine Stelle als Krebs bezeichnen, wenn die Krebsprävalenz niedrig ist (Prävalenz-induzierter Konzeptwechsel).

(H2) dass Os mit Rückkopplung eine Stelle weniger wahrscheinlich als Krebs bezeichnen, wenn die Krebsprävalenz niedrig ist (klassischer Niedrigprävalenzeffekt)

Abhängige Variable

Die wichtigste abhängige Variable ist der Anteil der Krebsreaktionen als Funktion der Krebsprävalenz im Bildsatz, aber wir werden auch die Reaktionszeiten erfassen.

Bedingungen

Wie vielen und welchen Konditionen werden die Teilnehmer zugeordnet?

Vier Bedingungen werden zwischen Beobachtern ausgeführt.

1. 50 % Krebsbilder mit Feedback
2. 50% Krebsbilder ohne Feedback
3. 20 % Krebsbilder mit Feedback
4. 20 % Krebsbilder ohne Feedback

Beobachter treffen eine einfache 2-Alternative-Forced-Choice-Entscheidung (2AFC) Krebs/kein Krebs.

Beobachter erhalten Punkte basierend auf der Richtigkeit der Antwort (richtiger, mehr Punkte)

Es wird 200 Versuche in jedem Block geben. Das ergibt 40 Target-Present-Studien unter Bedingungen mit niedriger Prävalenz, die eine nicht zu grobe Trefferquote ergeben sollten.

Als Stimuli dienen Bilder von Maulwürfen aus dem ISIC-Archiv. Jedes Bild enthält eine bekannte Antwort von entweder Melanom (Krebs) oder Nävus (negativ).

Analysen

Die Daten werden ein Kontinuum von Nicht-Krebs zu Krebs erzeugen, basierend auf den Antworten der Beobachter in der 50 % mit Feedback-Bedingung. Dies ergibt eine Ausbeute einer psychometrischen Funktion, die (man kann davon ausgehen) von nahezu 0 % Krebsreaktionen auf nahezu 100 % ansteigt.

Unter Verwendung dieser Reihenfolge werden psychometrische Funktionen für die anderen drei Bedingungen generiert.

Um den Einfluss der Prävalenz und des Vorhandenseins und Fehlens von Feedback auf das Antwortverhalten von Beobachtern zu untersuchen, wird eine logistische Regression mit Prävalenz und Feedback als Faktoren in einem generalisierten gemischten Modell unter Verwendung der Jamovi-Software durchgeführt.

Die Daten werden auch verwendet, um die Signalerfassungsmaße der Empfindlichkeit (d') und des Kriteriums (c) basierend auf der tatsächlichen Wahrheit über die Bilder zu berechnen. Das heißt, „Krebs“-Antworten werden als True-Positives kodiert, wenn die Bilder Krebs zeigen, und als „False-Positives“, wenn dies nicht der Fall ist. T-Tests werden durchgeführt, um zu untersuchen, ob sich d' und/oder c (Kriterium) in Abhängigkeit von Prävalenz und Feedback signifikant ändern.

Ausreißer und Ausschlüsse

N / A

Probengröße

Es werden getrennte Versuchsblöcke durchgeführt und die Bedingungen werden mit ungepaarten t-Tests verglichen.

G* Power sagt, schlägt 36 Beobachter PRO GRUPPE oder insgesamt 144 Beobachter für Alpha = 0,05, Power = 0,80 vor. Der Plan wird sein, zu versuchen, 45 Os pro Gruppe zu laufen, wobei mit einem Os-Verlust von etwa 20 % aufgrund der Launen der Online-Tests gerechnet wird.