Краткое название: Пример проекта 4: смешанный гибридный контрольный список

Этот эксперимент является одним из «набора» экспериментов BESH, которые были зарегистрированы в рамках процесса подачи заявки на грант. Невозможно и нецелесообразно регистрировать набор экспериментов в одной заявке CT.gov, поэтому «Смешанный гибридный контрольный список» регистрируется в качестве примера этого пакета.

Это текст предварительной регистрации Mixed Hybrid Checklist, который изначально был размещен в Open Science Framework: https://osf.io/j6h4s

ПРИМЕЧАНИЕ. Поскольку комментарий к местоимению носит рекомендательный характер, мы оставим его на потом. Веб-сайт действительно является функционирующей страницей OSF.

========

Какой главный вопрос задают или проверяют гипотезу в этом исследовании?

При поиске в реальном мире (и особенно в радиологии) может быть важно «следить» за интересующими элементами, которые не являются основным предметом поиска. В радиологии они известны как «случайные находки» и представляют собой серьезную проблему, поскольку ожидается, что клиницисты будут обнаруживать элементы, имеющие клиническое значение, даже если они отвечают на другой вопрос (например, вам нужно выявить пневмонию, даже если вашей задачей было скрининг на рак легких). Мы разработали «модельную систему» ​​в форме задачи «смешанного гибридного поиска», которую можно использовать для исследования фундаментальных когнитивных процессов, лежащих в основе случайных ошибок поиска. В этой смешанной гибридной поисковой задаче наблюдатели ищут любую из нескольких конкретных целей (например, этого кролика, этого грузовика и этой ложки) и нескольких категорийных целей (например, любые маски, мебель и растения). Во всех проведенных до сих пор экспериментах по «смешанному гибридному поиску» категориальные цели пропускаются гораздо чаще, чем конкретные цели. Категориальные цели, таким образом, становятся аналогом случайной ошибки, и наша цель состоит в том, чтобы уменьшить количество этих ошибок в нашей модельной системе в надежде, что это даст рекомендации относительно того, как уменьшить количество ошибок в реальных задачах.

Мы протестировали две стратегии, предназначенные для уменьшения количества пропущенных категорийных целей. В эксперименте 5 мы напомнили наблюдателям о категориальных целях с помощью испытаний без поиска, в которых категориальные цели были четко обозначены. В эксперименте 6 мы заставляли наблюдателей отвечать дважды в каждом испытании: один раз, чтобы подтвердить наличие или отсутствие конкретных целей, и один раз, чтобы подтвердить наличие или отсутствие категориальных целей. Оба этих вмешательства не увенчались успехом.

Этот эксперимент «Гибридный контрольный список» — еще одна попытка разработать стратегию, которая поможет нам уменьшить эти категориальные ошибки. Как и в предыдущих экспериментах, наблюдатели начинают с запоминания трех конкретных целей и трех категорийных целей. После просмотра целей наблюдатели должны пройти старый/новый тест на распознавание со 100% правильными ответами, чтобы перейти к фазе поиска. Каждый тест памяти состоит из 2×N элементов, где N — размер набора памяти, 50% элементов — старые (целевые), а 50% — новые. Пройдя тест на память, наблюдатели ищут свои цели на дисплеях с 4, 8 или 12 элементами. Наблюдатели должны указать, присутствует ли каждая цель в наборе памяти или отсутствует в текущем отображении, щелкая мышью. Есть 6 целей (3 конкретных, 3 категориальных), поэтому наблюдатели дают 6 ответов на каждое испытание. Ошибка и время реакции будут записываться для каждого клика и для каждой попытки.

Гипотеза (H1):

- Мы предполагаем, что эта процедура контрольного списка повысит точность и уменьшит число ошибок. Однако, учитывая, что в каждом испытании есть 6 ответов, время на испытание (или время на случай для рентгенологов), вероятно, значительно возрастет.

Опишите ключевые зависимые переменные, указав, как они будут измеряться.

Ошибки промаха и время реакции являются ключевыми зависимыми переменными. Они будут усреднены по испытаниям с одним и тем же состоянием (конкретная цель, категориальная цель и отсутствующие испытания) и размером визуального набора (4, 8, 12). Обратите внимание, что эти меры будут сравниваться с результатами предыдущих экспериментов, а не с дизайном внутри наблюдателя.

Сколько и на каких условиях будут распределены участники?

В этом эксперименте участникам назначается одно условие «контрольный список». Все наблюдатели запоминают набор из трех конкретных и трех категориальных целей. Затем они должны пройти тест на память, прежде чем перейти к выполнению 20 практических испытаний и 300 экспериментальных испытаний задачи визуального поиска. Из этих 300 испытаний:

70% являются испытаниями с целевым присутствием 45% испытаний с целевым присутствием будут иметь одну цель

• 80% одноцелевых испытаний имеют одну конкретную цель
• 20% одноцелевых испытаний имеют одну категориальную цель 25% целевых испытаний будут иметь две цели
• 65% двухцелевых испытаний имеют две конкретные цели
• 5% испытаний с двумя целевыми объектами имеют две категориальные цели
• 30% испытаний с двумя целевыми объектами имеют одну конкретную и одну категориальную цель Остальные 30% испытаний не будут иметь целей

Уточните, какой именно анализ вы проведете для изучения основного вопроса/гипотезы.

Время реакции и частота ошибок будут сравниваться с таковыми в предыдущем эксперименте по смешанному гибридному поиску — дизайну между субъектами (Wolfe, Soce, and Schill, 2017). Анализы будут выполняться как по времени реакции, так и по частоте ошибок. Для времени реакции будут выполняться повторные измерения ANOVA с двумя факторами: условием (конкретная цель, категориальная цель и отсутствие) и размером визуального набора. Для коэффициента ошибок при промахе статистический анализ ошибок будет выполняться на коэффициентах ошибок, преобразованных по арксинусу (Hogg & Craig, 1995).

Какие-то вторичные анализы?

Мы изучим данные для других интересующих моделей: например.

- Эффекты порядка: влияет ли категориальная цель в испытании N на вероятность обнаружения такой цели в N+1.

Сколько наблюдений будет собрано или что будет определять размер выборки? Не нужно обосновывать решение, но будьте точны в отношении того, как именно будет определяться число.

Чтобы соответствовать предыдущим экспериментам «Смешанного гибридного поиска», мы соберем данные от 12 наблюдателей. Участники исключаются, если они не в возрасте от 18 до 55 лет, если их острота зрения ниже 20/25 или если они не проходят цветовой тест Исихара.

Что-нибудь еще, что вы хотели бы предварительно зарегистрировать? (например, исключение данных, переменные, собранные для исследовательских целей, запланированные необычные анализы?)

Н/Д