ПРИМЕР ПРОЕКТА 2: Распространенность обратной связи X с использованием дерматологических стимулов

Это описание основано на предварительной регистрации на сайте Open Science Framework. Обратите внимание, что это исследование «BESH». Этот тип исследования не разработан как традиционное клиническое испытание, но о нем сообщается здесь из-за изменений в правилах отчетности о клинических испытаниях NIH. Это одно исследование из Проекта 2 NE017001.

Levari et al (2018) обнаружили, что люди реагировали на снижение распространенности стимула, расширяя свое представление о нем. В частности, они попросили наблюдателей оценить в каждом испытании, была ли точка, нарисованная на сине-фиолетовом континууме, синей или нет. Результаты показали, что наблюдатели с большей вероятностью называли неоднозначные стимулы «синими», когда синие предметы были менее распространены. В терминах теории обнаружения сигналов (SDT) это либеральный сдвиг критерия отклика. Это «изменение концепции, вызванное распространенностью» (PICC). Однако предыдущие результаты дали противоположные результаты в длинной серии экспериментов по эффектам распространенности. Стандартный вывод состоит в том, что О пропускают больше целей при низкой распространенности. Когда синий встречается редко, они с меньшей вероятностью назовут что-то синим. В терминах SDT это консервативный сдвиг критерия. Это классический эффект низкой распространенности (LPE). В серии более ранних экспериментов Лю и др. (2021) обнаружили, что обратная связь является критической переменной. С обратной связью по каждому испытанию мы получаем LPE. Без обратной связи данные обычно показывают результаты PICC.

Проявляются ли эффекты LPE и PICC, когда эксперты рассматривают стимулы в своей экспертной области? Имеются доказательства LPE из поисковых задач (например, Эванс, К.К., Бердвелл, Р.Л., и Вулф, Дж.М. (2013). Если вы не находите это часто, вы часто этого не находите: почему некоторые виды рака пропускают при скрининге рака молочной железы. . PLoS ONE 8(5): e64366. , 8(5), e64366. doi: doi:10.1371/journal.pone.0064366). Однако доказательства PICC не были собраны, и нет данных из задач принятия решений по одному элементу, таких как «Это синяя точка?» задача. Это важно, потому что изменения критериев, описанные выше, могут иметь очевидные последствия для здравоохранения.

В этом исследовании будет повторен основной эксперимент «Является ли эта точка синей» с использованием дерматологических стимулов (это меланома или просто невус (родинка)?)

Гипотезы:

(H1) без обратной связи O с большей вероятностью пометят пятно как рак, когда распространенность рака низкая (изменение концепции, вызванное распространенностью).

(H2) что с обратной связью O с меньшей вероятностью пометят пятно как рак, когда распространенность рака низкая (классический эффект низкой распространенности)

Зависимая переменная

Основной зависимой переменной является доля ответов рака в зависимости от распространенности рака в наборе изображений, но мы также будем записывать время реакции.

Условия

Сколько и на каких условиях будут распределены участники?

Между наблюдателями будут выполняться четыре условия.

1. 50% изображений рака с обратной связью
2. 50% изображений рака без обратной связи
3. 20% изображений рака с обратной связью
4. 20% изображений рака без обратной связи

Наблюдатели примут простое двухальтернативное решение с принудительным выбором (2AFC) рак/отсутствие рака.

Наблюдателям будут начисляться баллы в зависимости от правильности ответа (чем правильнее, тем больше баллов)

В каждом блоке будет по 200 испытаний. Это приведет к 40 целевым текущим испытаниям в условиях низкой распространенности, что должно дать не слишком грубый процент попаданий.

Стимулами будут изображения родинок из архива ISIC. Каждое изображение сопровождается известным ответом: меланома (рак) или невус (отрицательный результат).

Анализы

Данные будут давать континуум от отсутствия рака до рака на основе ответов наблюдателей в 50% с условием обратной связи. Это даст психометрическую функцию, возрастающую (можно предположить) от почти 0% ответов рака до почти 100%.

Используя этот порядок, будут сгенерированы психометрические функции для трех других условий.

Чтобы изучить влияние распространенности и наличия и отсутствия обратной связи на поведение реакции наблюдателей, запустите логистическую регрессию с распространенностью и обратной связью в качестве факторов в обобщенной смешанной модели с использованием программного обеспечения jamovi.

Эти данные также будут использоваться для вычисления показателей чувствительности обнаружения сигнала (d') и критерия (c) на основе фактической правды об изображениях. То есть ответы «рак» будут закодированы как истинно положительные, если изображения показывают рак, и как «ложноположительные», если нет. Будут проведены Т-тесты, чтобы проверить, существенно ли изменяются d' и/или с (критерий) в зависимости от распространенности и обратной связи.

Выбросы и исключения

Н/Д

Размер образца

Будут проведены отдельные блоки испытаний, и условия будут сравниваться с непарными t-тестами.

G* Мощность говорит о 36 наблюдателях НА ГРУППУ или всего 144 наблюдателя для альфа = 0,05, мощность = 0,80. План состоит в том, чтобы попытаться запустить 45 ОС на группу, ожидая около 20% потерь ОС из-за капризов онлайн-тестирования.