Разработка и валидация инструмента оценки ожидаемой продолжительности жизни при деменции

План анализа

План анализа основывался на руководящих принципах моделирования клинического прогнозирования. План был разработан после доступа к набору выводных данных, но до оценки связей между предикторами и результатами и подбора модели. Ключевыми моментами являются полная предварительная спецификация модели, включая выбор предикторов, чтобы можно было избежать выбора переменных на основе данных. Это уменьшит риск систематической ошибки и переобучения модели. Во-вторых, непрерывные переменные будут определены как ограниченные кубические сплайны с узлами в фиксированных квантилях, что позволит избежать категоризации непрерывных переменных. Это позволит учитывать нелинейную природу непрерывных переменных и позволит избежать неэффективности и предвзятости, связанных с категоризацией. В-третьих, акцент будет сделан на оценке калибровки модели не только в когорте проверки, но и в подгруппах, имеющих значение для врачей и политиков. Статистический анализ будет выполнен с использованием SAS Enterprise Guide V.9.4.

Проверка будет осуществляться с использованием временной проверки, при которой эффективность модели будет оцениваться в отдельной во времени (более поздней) когорте людей с деменцией. Это более строгая форма проверки по сравнению с внутренней проверкой, которая включает случайное разделение или повторную выборку (начальная загрузка, перекрестная проверка). В то время как временная валидация оценивает транспортабельность, внутренняя валидация оценивает только воспроизводимость. Размер когорты вывода и ожидаемое количество событий в ней позволяют провести временную проверку без значительного увеличения риска переобучения.

Переменные-предикторы

Переменные-кандидаты-предикторы были полностью заданы заранее, поэтому можно было избежать выбора переменных на основе данных. Мы рассмотрели переменные в базах данных по уходу на дому, чтобы выявить предикторы. Кроме того, были изучены существующие обзоры прогностических моделей при деменции. Переменные были рассмотрены исследовательской группой по пунктам, чтобы определить, какие из них следует включить в первоначальную модель.

Примечательно, что в модель будут включены прогностические значения только из одной случайно выбранной оценки после диагностики деменции (индексная оценка). Мы не включили значения последующих оценок, поскольку инструмент будет применяться поперечно, а не продольно. Действительно, мы хотим избежать использования значений последующих оценок, которые не были бы известны во время случайно выбранной оценки. Переменные в нашей модели будут организованы в следующие категории: социально-демографические, клинические (коморбидные заболевания, лечение), специфичные для лица, осуществляющего уход, функциональные, пищевые, когнитивные, психологические/поведенческие, уход на дому, использование медицинских услуг и информация, специфичная для оценки. Мы включим взаимодействие между возрастом и переменными, которые представляют собой сопутствующие заболевания, поскольку их связь с ожидаемой продолжительностью жизни может меняться с возрастом. Во взаимодействиях будет использоваться линейный термин возраста, а не его ограниченный кубический сплайн.

Итоговая переменная

Переменной результата будет время выживания от индексной оценки до максимальной даты наблюдения (31 декабря 2022 г.). Смертность будет определена из базы данных зарегистрированных лиц, в которой хранится исторический список всех лиц, имеющих право на участие в Программе медицинского страхования Онтарио, включая социально-демографические данные (например, возраст, пол, почтовый индекс) и важную информацию (например, дату смерти). У нас есть заранее определенные интересующие нас сроки выживания, которые соответствуют текущим критериям предоставления услуг специализированной паллиативной помощи (т. е. 3, 6 и 12 месяцев).

Спецификация модели

Переменные-предикторы будут изучены перед оценкой связей между предикторами и результатами или подгонкой модели. Непрерывные переменные будут исследованы с использованием описательной статистики и коробчатых диаграмм, а категориальные переменные — с использованием описательной статистики и частотных распределений. Любые выявленные недопустимые значения будут исправлены, если это возможно, или в противном случае будут установлены как отсутствующие. Непрерывные переменные будут заданы с использованием ограниченных кубических сплайнов с узлами на фиксированных квантилях (например, в сплайне с 5 узлами квантили располагаются на 5-м, 27,5-м, 50-м, 72,5-м и 95-м процентилях). Категоризации непрерывных переменных следует избегать, поскольку это связано с неэффективностью и предвзятостью и не учитывает нелинейный характер непрерывных переменных. Комбинации уровней категориальной переменной следует избегать, за исключением случаев, когда доля категории в общем количестве наблюдений очень мала. Переменные с высокой степенью пропущенных значений или недостаточной вариацией будут исключены. Мультиколлинеарность будет оцениваться с помощью кластеризации переменных (функция VARCLUS в SAS). Минимальная доля дисперсии, объясняемая кластером (собственное значение), будет установлена ​​равной 0,7.

Отсутствующие значения будут вменены с использованием множественного вменения, если пропущенные значения будут признаны совершенно случайными или случайными. Несмотря на его простоту, полного анализа случая следует избегать, чтобы предотвратить неэффективность и предвзятость, связанные с этим методом. Модель вменения будет включать переменную результата, переменные-предикторы и вспомогательные переменные (т. е. переменные, которые не включены в полную модель, но которые могут указать недостающее значение переменной). Количество вмененных наборов данных будет зависеть от доли пропущенных значений в наборе данных. Окончательная модель будет оценена в каждом из вмененных наборов данных. Оценки параметров, основанные на каждом наборе данных, будут объединены с использованием правил Рубина, которые интегрируют неопределенность, связанную с вменением, в окончательные оценки параметров.

Оценка модели

Модель будет оценена в производной когорте с использованием регрессии пропорциональных рисков Кокса. Предположение о пропорциональных рисках будет проверено визуально путем изучения графиков остатков Шенфельда в зависимости от времени, а также статистически путем добавления в модель предикторов, взаимодействующих со временем. Если предположение нарушено, то мы рассмотрим добавление в модель взаимодействующих во времени предикторов.

Учитывая высокое соотношение ожидаемых событий к степеням свободы и отсутствие выбора переменных на основе данных, риск переобучения считается низким. Однако это будет оцениваться статистически с использованием эвристической оценки сокращения [(отношение правдоподобия Хи-квадрат модели - степень свободы модели)/отношение правдоподобия Хи-квадрат модели]. Если это значение <0,90, то модель потребует корректировки на переобучение (например, путем использования метода переменного сокращения или применения коэффициентов сжатия к оценкам параметров). Переоснащение также будет оцениваться визуально с помощью калибровочной кривой.

Поскольку намерение состоит в том, чтобы применить нашу модель в качестве ручного веб-калькулятора, который могли бы использовать поставщики медицинских услуг, лица, осуществляющие уход, и пациенты, мы оценим сокращенную модель, которая направлена ​​​​на оптимизацию экономии без значительного снижения производительности модели. Действительно, первоначальная модель может оказаться слишком сложной, трудоемкой и длительной для реализации. Сокращенная модель будет оцениваться с использованием метода пошагового понижения, при котором переменная с наименьшим хи-квадратом Вальда будет последовательно удаляться из модели до тех пор, пока не будет достигнута минимально приемлемая производительность модели. Уменьшенная модель будет сравниваться с исходной моделью с использованием информационного критерия Акаике, а также мер дискриминации и калибровки. Мы будем рассматривать оператор наименьшего абсолютного сжатия и выбора (LASSO), поскольку он может привести к уменьшению некоторых коэффициентов регрессии до 0, тем самым уменьшая модель. В дополнение к статистическим средствам сокращения модели мы будем учитывать клиническую значимость переменной на основе существующей литературы и опыта содержания, а также способность пациентов и лиц, осуществляющих уход за ними, оценивать и вводить переменную.

Модель будет разработана и проверена с использованием выборок, разделенных по времени; однако окончательные коэффициенты регрессии будут основаны на полной выборке. Окончательная модель будет иметь те же характеристики, что и модель вывода.

Производительность модели

Эффективность модели будет оцениваться в когорте проверки в нескольких областях. В частности, он будет оцениваться с точки зрения общей производительности, измеряемой R2 Нагелькерке, который является мерой доли изменчивости результата, объясняемой моделью. Исторически сложилось так, что инструменты клинического прогнозирования имели R2 в диапазоне от 0,2 до 0,3. Модель также будет оценена с точки зрения дискриминации, измеренной с помощью статистики согласования (c) и визуализированной кривой рабочей характеристики приемника. Статистика c варьируется от 0,5, что означает отсутствие способности к различению, до 1,0, что означает идеальную способность к различению.

Наконец, модель будет оценена с точки зрения калибровки. Это будет оцениваться визуально с использованием калибровочной кривой прогнозируемой и наблюдаемой смертности на основе оценок Каплана Мейера при вышеупомянутых заранее заданных сроках выживания (3, 6 и 12 месяцев). Идеально откалиброванная модель представлена ​​линией под углом 45 градусов с точкой пересечения 0 и наклоном 1. Калибровочная кривая показывает, систематически ли модель завышает или занижает риск смертности (калибровка среднего значения или калибровка в целом), а также дает ли она экстремальные прогнозы риска смертности (т. е. недооценивает риск у лиц с низким уровнем риска и переоценивает риск у лиц с высоким уровнем риска). -лица риска), что предполагает переобучение. Будет рассчитана средняя относительная разница между наблюдаемым и прогнозируемым риском смертности. Приемлемая разница составляет <20%, когда частота событий <=5%. Наконец, чтобы обеспечить возможность сравнения с другими прогностическими моделями у лиц, живущих в сообществе с деменцией, мы рассчитаем Интегрированный калибровочный индекс, среднюю абсолютную разницу между наблюдаемым и прогнозируемым риском смертности; E50 — медианная абсолютная разница; и E90 — 90-й процентиль абсолютной разницы. Степень согласия не будет измеряться с помощью статистики Хосмера-Лемешоу или ее эквивалента в модели пропорциональных рисков Кокса; эти тесты не могут определить величину ошибки калибровки или определить, присутствует ли ошибка калибровки только в определенных диапазонах прогнозируемого риска смертности.

Калибровка также будет оцениваться в децильных группах на основе прогнозируемого риска смертности (умеренная калибровка). Наконец, будут заранее определены подгруппы, имеющие значение для врачей и политиков (например, определяемые по возрасту, полу, сопутствующим заболеваниям), в которых будет оцениваться калибровка. Будет отображен калибровочный график и рассчитана средняя относительная разница в каждой подгруппе. Учитывая, что люди, прошедшие случайно выбранную оценку в больнице, могут систематически отличаться от тех, кто прошел оценку в обществе, мы специально оценим эффективность модели у людей, прошедших оценку в больнице.

Презентация модели

Окончательная модель регрессии, основанная на общей выборке, будет представлена ​​с использованием отношений рисков и соответствующих 95% доверительных интервалов. Формула регрессии будет опубликована в Интернете и станет основой для реализации через Интернет. В частности, модель будет преобразована в общедоступный ручной онлайн-калькулятор на сайте www.projectbiglife.com. в котором размещено множество инструментов клинического прогнозирования, разработанных нашей командой. Этот инструмент может использоваться не только медицинскими работниками, но также пациентами и лицами, осуществляющими уход, для расчета ожидаемой продолжительности жизни. Принимая это во внимание, команда веб-разработчиков, веб-дизайнеров, специалистов по внедрению, пациентов и лиц, осуществляющих уход, а также врачей будет информировать о внедрении, чтобы сделать инструмент удобным для пользователя и сделать его результаты интерпретируемыми. Интерфейс и выходные данные модели могут различаться в зависимости от того, использует ли инструмент врач или пациент/лицо, осуществляющее уход. Мы будем учитывать неопределенность, связанную с результатами инструмента, включая межквартильные диапазоны, которые прозрачно отражают прогностическую неопределенность.