Deze pagina is automatisch vertaald en de nauwkeurigheid van de vertaling kan niet worden gegarandeerd. Raadpleeg de Engelse versie voor een brontekst.

Menselijke algoritme-interacties voor de diagnose van acuut ademhalingsfalen

17 oktober 2023 bijgewerkt door: Michael Sjoding, University of Michigan

Het meten van de impact van AI op de diagnose van ziekenhuispatiënten: een gerandomiseerde enquête in meerdere centra

Kunstmatige intelligentie (AI) blijkt veelbelovend bij het identificeren van afwijkingen in klinische beelden. Systematisch vertekende AI-modellen, waarbij een model onnauwkeurige voorspellingen doet voor hele subpopulaties, kunnen echter tot fouten en potentiële schade leiden. Wanneer onjuiste voorspellingen van een AI-model worden weergegeven, kan de diagnostische nauwkeurigheid van de arts worden geschaad. Deze studie heeft tot doel de effectiviteit te bestuderen van het bieden van op afbeeldingen gebaseerde AI-modelverklaringen aan artsen wanneer AI-modelvoorspellingen worden verstrekt om artsen te helpen de logica van de voorspelling van een AI-model beter te begrijpen. Er zal worden geëvalueerd of het verstrekken van uitleg aan clinici aan AI-modellen de diagnostische nauwkeurigheid kan verbeteren en artsen kan helpen bij het signaleren wanneer modellen onjuiste beslissingen nemen. Als testcase zal het onderzoek zich richten op de diagnose van acuut respiratoir falen, omdat het bepalen van de onderliggende oorzaken van acuut respiratoir falen van cruciaal belang is voor het begeleiden van behandelbeslissingen, maar klinisch uitdagend kan zijn.

Om te bepalen of het geven van AI-verklaringen de diagnostische nauwkeurigheid van artsen kan verbeteren en de potentiële impact kan verminderen van het tonen van een systematisch bevooroordeeld AI-model aan artsen, zal een gerandomiseerd klinisch vignetonderzoek worden uitgevoerd. Tijdens het onderzoek krijgen deelnemers aan de studie klinische vignetten te zien van patiënten die in het ziekenhuis zijn opgenomen met acuut ademhalingsfalen, inclusief de symptomen van de patiënt, lichamelijk onderzoek, laboratoriumresultaten en röntgenfoto's van de borstkas. Deelnemers aan het onderzoek zullen vervolgens worden gevraagd om de waarschijnlijkheid te beoordelen dat hartfalen, longontsteking en/of chronische obstructieve longziekte (COPD) de onderliggende diagnose is. Tijdens specifieke vignetten in het onderzoek krijgen deelnemers ook standaard of systematisch bevooroordeelde AI-modellen te zien die een schatting geven van de waarschijnlijkheid dat hartfalen, longontsteking en/of COPD de onderliggende diagnose is. Artsen zullen gerandomiseerd worden om alleen AI-voorspellingen te zien of AI-voorspellingen met uitleg wanneer ze AI-modellen laten zien. Dit onderzoeksontwerp zal het mogelijk maken om de hypothese te testen dat systematisch vertekende modellen de diagnostische nauwkeurigheid van artsen zouden schaden, maar dat veelgebruikte, op beelden gebaseerde verklaringen artsen zouden helpen hun prestaties gedeeltelijk te herstellen.

Studie Overzicht

Studietype

Ingrijpend

Inschrijving (Werkelijk)

457

Fase

  • Niet toepasbaar

Contacten en locaties

In dit gedeelte vindt u de contactgegevens van degenen die het onderzoek uitvoeren en informatie over waar dit onderzoek wordt uitgevoerd.

Studie Locaties

    • Michigan
      • Ann Arbor, Michigan, Verenigde Staten, 48103
        • University of Michigan

Deelname Criteria

Onderzoekers zoeken naar mensen die aan een bepaalde beschrijving voldoen, de zogenaamde geschiktheidscriteria. Enkele voorbeelden van deze criteria zijn iemands algemene gezondheidstoestand of eerdere behandelingen.

Geschiktheidscriteria

Leeftijden die in aanmerking komen voor studie

  • Volwassen
  • Oudere volwassene

Accepteert gezonde vrijwilligers

Nee

Beschrijving

Inclusiecriteria:

  • Artsen, verpleegkundigen en arts-assistenten die zorg dragen voor patiënten met acuut ademhalingsfalen als onderdeel van hun klinische praktijk

Uitsluitingscriteria:

  • Artsen, verpleegkundigen en arts-assistenten die uitsluitend poliklinische patiëntenzorg verlenen

Studie plan

Dit gedeelte bevat details van het studieplan, inclusief hoe de studie is opgezet en wat de studie meet.

Hoe is de studie opgezet?

Ontwerpdetails

  • Primair doel: Ander
  • Toewijzing: Gerandomiseerd
  • Interventioneel model: Parallelle opdracht
  • Masker: Enkel

Wapens en interventies

Deelnemersgroep / Arm
Interventie / Behandeling
Experimenteel: AI-model bevooroordeeld voor hartfalen, geen AI-verklaring
Deelnemers aan deze arm krijgen standaard AI-modelvoorspellingen te zien tijdens drie klinische patiëntvignetten binnen de enquête en systematisch vertekende AI-modelvoorspellingen tijdens drie klinische vignetten. Wanneer systematisch bevooroordeelde AI-modelvoorspellingen worden getoond, zal het model bevooroordeeld zijn tegen hartfalen, waarbij het altijd voorspelt dat hartfalen met grote waarschijnlijkheid aanwezig is bij patiënten met een body mass index (BMI) van 30 of hoger. Voor de andere 2 diagnoses worden standaardvoorspellingen getoond. Deelnemers aan deze arm krijgen geen AI-uitleg te zien wanneer ze AI-modelvoorspellingen te zien krijgen.
Gedurende 6 klinische vignetten krijgen de deelnemers AI-modelvoorspellingen te zien zonder een bijbehorende AI-verklaring. Het AI-model zal voor elke diagnose (hartfalen, longontsteking, COPD) een score geven op een schaal van 0-100, waarbij wordt geschat hoe waarschijnlijk de presentatie van de patiënt te wijten was aan elk van deze diagnoses. In 3 van de klinische vignetten krijgen de deelnemers standaard AI-modelvoorspellingen te zien en in 3 vignetten krijgen ze systematisch bevooroordeelde AI-modelvoorspellingen te zien, waarbij het model specifiek gericht is op een van de drie diagnoses.
In 3 klinische vignetten krijgen deelnemers systematisch bevooroordeelde voorspellingen van het AI-model te zien, waarbij het model specifiek gericht is op hartfalen, waarbij altijd wordt voorspeld dat hartfalen met grote waarschijnlijkheid aanwezig is bij patiënten met een body mass index (BMI) van 30 of hoger. Voor de andere 2 diagnoses (longontsteking, COPD) worden standaardvoorspellingen getoond.
Experimenteel: AI-model bevooroordeeld voor longontsteking, geen AI-verklaring
Deelnemers aan deze arm krijgen standaard AI-modelvoorspellingen te zien tijdens drie klinische patiëntvignetten binnen de enquête en systematisch vertekende AI-modelvoorspellingen tijdens drie klinische vignetten. Wanneer systematisch bevooroordeelde AI-modelvoorspellingen worden getoond, zal het model bevooroordeeld zijn tegen longontsteking, waarbij het altijd voorspelt dat longontsteking met grote waarschijnlijkheid aanwezig is bij patiënten van 80 jaar of ouder. Voor de andere 2 diagnoses worden standaardvoorspellingen getoond. Deelnemers aan deze arm krijgen geen AI-uitleg te zien wanneer ze AI-modelvoorspellingen te zien krijgen.
Gedurende 6 klinische vignetten krijgen de deelnemers AI-modelvoorspellingen te zien zonder een bijbehorende AI-verklaring. Het AI-model zal voor elke diagnose (hartfalen, longontsteking, COPD) een score geven op een schaal van 0-100, waarbij wordt geschat hoe waarschijnlijk de presentatie van de patiënt te wijten was aan elk van deze diagnoses. In 3 van de klinische vignetten krijgen de deelnemers standaard AI-modelvoorspellingen te zien en in 3 vignetten krijgen ze systematisch bevooroordeelde AI-modelvoorspellingen te zien, waarbij het model specifiek gericht is op een van de drie diagnoses.
In drie klinische vignetten krijgen deelnemers systematisch vertekende voorspellingen van het AI-model te zien, waarbij het model specifiek gericht is tegen longontsteking, waarbij altijd wordt voorspeld dat longontsteking met grote waarschijnlijkheid aanwezig is bij patiënten van 80 jaar of ouder in het onderzoeksvignet. Voor de andere 2 diagnoses (hartfalen, COPD) worden standaardvoorspellingen getoond.
Experimenteel: AI-model bevooroordeeld voor COPD, geen AI-verklaring
Deelnemers aan deze arm krijgen standaard AI-modelvoorspellingen te zien tijdens drie klinische patiëntvignetten binnen de enquête en systematisch vertekende AI-modelvoorspellingen tijdens drie klinische vignetten. Wanneer systematisch bevooroordeelde AI-modelvoorspellingen worden getoond, zal het model bevooroordeeld zijn ten opzichte van COPD, waarbij het altijd voorspelt dat COPD met grote waarschijnlijkheid aanwezig is wanneer een voorbewerkingsfilter op de röntgenfoto van de patiënt werd toegepast. Voor de andere 2 diagnoses worden standaardvoorspellingen getoond. Deelnemers aan deze arm krijgen geen AI-uitleg te zien wanneer ze AI-modelvoorspellingen te zien krijgen.
Gedurende 6 klinische vignetten krijgen de deelnemers AI-modelvoorspellingen te zien zonder een bijbehorende AI-verklaring. Het AI-model zal voor elke diagnose (hartfalen, longontsteking, COPD) een score geven op een schaal van 0-100, waarbij wordt geschat hoe waarschijnlijk de presentatie van de patiënt te wijten was aan elk van deze diagnoses. In 3 van de klinische vignetten krijgen de deelnemers standaard AI-modelvoorspellingen te zien en in 3 vignetten krijgen ze systematisch bevooroordeelde AI-modelvoorspellingen te zien, waarbij het model specifiek gericht is op een van de drie diagnoses.
In drie klinische vignetten krijgen de deelnemers systematisch vertekende AI-modelvoorspellingen te zien, waarbij het model specifiek gericht is tegen COPD, waarbij altijd wordt voorspeld dat COPD met grote waarschijnlijkheid aanwezig is bij patiënten met onderzoeksvignetten waarbij een voorbewerkingsfilter op de röntgenfoto van de patiënt werd toegepast. Voor de andere 2 diagnoses (hartfalen, longontsteking) worden standaardvoorspellingen getoond.
Experimenteel: AI-model bevooroordeeld voor hartfalen, op afbeeldingen gebaseerde AI-uitleg gepresenteerd
Deelnemers aan deze arm krijgen standaard AI-modelvoorspellingen te zien tijdens drie klinische patiëntvignetten binnen de enquête en systematisch vertekende AI-modelvoorspellingen tijdens drie klinische vignetten. Wanneer systematisch bevooroordeelde AI-modelvoorspellingen worden getoond, zal het model bevooroordeeld zijn tegen hartfalen, waarbij het altijd voorspelt dat hartfalen met grote waarschijnlijkheid aanwezig is bij patiënten met een body mass index (BMI) van 30 of hoger. Voor de andere 2 diagnoses worden standaardvoorspellingen getoond. Deelnemers aan deze arm krijgen ook AI-uitleg te zien wanneer ze AI-modelvoorspellingen te zien krijgen.
In 3 klinische vignetten krijgen deelnemers systematisch bevooroordeelde voorspellingen van het AI-model te zien, waarbij het model specifiek gericht is op hartfalen, waarbij altijd wordt voorspeld dat hartfalen met grote waarschijnlijkheid aanwezig is bij patiënten met een body mass index (BMI) van 30 of hoger. Voor de andere 2 diagnoses (longontsteking, COPD) worden standaardvoorspellingen getoond.
Tijdens 6 klinische vignetten krijgen deelnemers AI-modelvoorspellingen met uitleg te zien. Het AI-model geeft voor elke diagnose een score op een schaal van 0-100. In 3 klinische vignetten krijgen de deelnemers standaard AI-modelvoorspellingen te zien en in 3 vignetten krijgen ze systematisch bevooroordeelde AI-modelvoorspellingen te zien, waarbij het model specifiek gericht is op een van de drie diagnoses. Als het AI-model een score boven de 50 oplevert, wordt een uitleg van het AI-model weergegeven als gradiëntgewogen klasse-activeringskaarten (Grad-CAM) heatmaps die over de röntgenfoto van de borst worden gelegd en die benadrukken welke delen van het beeld de meeste invloed hebben op de voorspelling van het AI-model.
Experimenteel: AI-model bevooroordeeld voor longontsteking, op afbeeldingen gebaseerde AI-uitleg gepresenteerd
Deelnemers aan deze arm krijgen standaard AI-modelvoorspellingen te zien tijdens drie klinische patiëntvignetten binnen de enquête en systematisch vertekende AI-modelvoorspellingen tijdens drie klinische vignetten. Wanneer systematisch bevooroordeelde AI-modelvoorspellingen worden getoond, zal het model bevooroordeeld zijn tegen longontsteking, waarbij het altijd voorspelt dat longontsteking met grote waarschijnlijkheid aanwezig is bij patiënten van 80 jaar of ouder. Voor de andere 2 diagnoses worden standaardvoorspellingen getoond. Deelnemers aan deze arm krijgen ook AI-uitleg te zien wanneer ze AI-modelvoorspellingen te zien krijgen.
In drie klinische vignetten krijgen deelnemers systematisch vertekende voorspellingen van het AI-model te zien, waarbij het model specifiek gericht is tegen longontsteking, waarbij altijd wordt voorspeld dat longontsteking met grote waarschijnlijkheid aanwezig is bij patiënten van 80 jaar of ouder in het onderzoeksvignet. Voor de andere 2 diagnoses (hartfalen, COPD) worden standaardvoorspellingen getoond.
Tijdens 6 klinische vignetten krijgen deelnemers AI-modelvoorspellingen met uitleg te zien. Het AI-model geeft voor elke diagnose een score op een schaal van 0-100. In 3 klinische vignetten krijgen de deelnemers standaard AI-modelvoorspellingen te zien en in 3 vignetten krijgen ze systematisch bevooroordeelde AI-modelvoorspellingen te zien, waarbij het model specifiek gericht is op een van de drie diagnoses. Als het AI-model een score boven de 50 oplevert, wordt een uitleg van het AI-model weergegeven als gradiëntgewogen klasse-activeringskaarten (Grad-CAM) heatmaps die over de röntgenfoto van de borst worden gelegd en die benadrukken welke delen van het beeld de meeste invloed hebben op de voorspelling van het AI-model.
Experimenteel: AI-model bevooroordeeld voor COPD, op afbeeldingen gebaseerde AI-uitleg gepresenteerd
Deelnemers aan deze arm krijgen standaard AI-modelvoorspellingen te zien tijdens drie klinische patiëntvignetten binnen de enquête en systematisch vertekende AI-modelvoorspellingen tijdens drie klinische vignetten. Wanneer systematisch bevooroordeelde AI-modelvoorspellingen worden getoond, zal het model bevooroordeeld zijn ten opzichte van COPD, waarbij het altijd voorspelt dat COPD met grote waarschijnlijkheid aanwezig is wanneer een voorbewerkingsfilter op de röntgenfoto van de patiënt werd toegepast. Voor de andere 2 diagnoses worden standaardvoorspellingen getoond. Deelnemers aan deze arm krijgen ook AI-uitleg te zien wanneer ze AI-modelvoorspellingen te zien krijgen.
In drie klinische vignetten krijgen de deelnemers systematisch vertekende AI-modelvoorspellingen te zien, waarbij het model specifiek gericht is tegen COPD, waarbij altijd wordt voorspeld dat COPD met grote waarschijnlijkheid aanwezig is bij patiënten met onderzoeksvignetten waarbij een voorbewerkingsfilter op de röntgenfoto van de patiënt werd toegepast. Voor de andere 2 diagnoses (hartfalen, longontsteking) worden standaardvoorspellingen getoond.
Tijdens 6 klinische vignetten krijgen deelnemers AI-modelvoorspellingen met uitleg te zien. Het AI-model geeft voor elke diagnose een score op een schaal van 0-100. In 3 klinische vignetten krijgen de deelnemers standaard AI-modelvoorspellingen te zien en in 3 vignetten krijgen ze systematisch bevooroordeelde AI-modelvoorspellingen te zien, waarbij het model specifiek gericht is op een van de drie diagnoses. Als het AI-model een score boven de 50 oplevert, wordt een uitleg van het AI-model weergegeven als gradiëntgewogen klasse-activeringskaarten (Grad-CAM) heatmaps die over de röntgenfoto van de borst worden gelegd en die benadrukken welke delen van het beeld de meeste invloed hebben op de voorspelling van het AI-model.

Wat meet het onderzoek?

Primaire uitkomstmaten

Uitkomstmaat
Maatregel Beschrijving
Tijdsspanne
Diagnostische nauwkeurigheid van deelnemers in klinische vignetinstellingen
Tijdsspanne: Dag 0
Diagnostische nauwkeurigheid wordt gedefinieerd als het aantal correcte diagnostische beoordelingen over het totale aantal diagnostische beoordelingen. Na beoordeling van elk klinisch vignet van elke individuele patiënt binnen de enquête, wordt de deelnemers gevraagd om voor elk klinisch vignet drie afzonderlijke diagnostische beoordelingen te maken: één voor hartfalen, longontsteking en COPD. Als de beoordeling van de deelnemer overeenkomt met het referentielabel voor elk vignet, wordt de diagnostische beoordeling als correct beschouwd. Diagnostische beoordelingen worden uitgevoerd terwijl de deelnemers de enquête invullen (dag 0), onmiddellijk nadat de deelnemer het klinische vignet heeft beoordeeld. De diagnostische nauwkeurigheid van de deelnemer zal worden vergeleken tussen de vignetinstellingen (geen AI-model, standaard AI-model, standaard AI-model met uitleg, bevooroordeeld AI-model, bevooroordeeld AI-model met uitleg).
Dag 0

Secundaire uitkomstmaten

Uitkomstmaat
Maatregel Beschrijving
Tijdsspanne
Nauwkeurigheid van behandelingsselectie in alle klinische vignetinstellingen
Tijdsspanne: Dag 0
De nauwkeurigheid van de behandelingsselectie wordt gedefinieerd als de vraag of de deelnemer de juiste behandeling voor de patiënt in het klinische vignet kiest, en elke combinatie van steroïden, antibiotica, intraveneuze (IV) diuretica of geen van deze behandelingen voor de patiënt kan kiezen. Behandelingsselectiebeoordelingen worden uitgevoerd terwijl de deelnemers de enquête invullen (dag 0), onmiddellijk nadat de deelnemer het klinische vignet heeft beoordeeld. De nauwkeurigheid van de behandelingsselectie van de deelnemer zal worden vergeleken tussen de vignetinstellingen (geen AI-model, standaard AI-model, standaard AI-model met uitleg, bevooroordeeld AI-model, bevooroordeeld AI-model met uitleg).
Dag 0
Diagnosespecifieke diagnostische nauwkeurigheid in alle klinische vignetinstellingen
Tijdsspanne: Dag 0
Diagnostische nauwkeurigheid specifiek voor hartfalen, longontsteking en COPD voor alle vignetinstellingen
Dag 0

Medewerkers en onderzoekers

Hier vindt u mensen en organisaties die betrokken zijn bij dit onderzoek.

Onderzoekers

  • Hoofdonderzoeker: Michael Sjoding, MD, University of Michigan

Studie record data

Deze datums volgen de voortgang van het onderzoeksdossier en de samenvatting van de ingediende resultaten bij ClinicalTrials.gov. Studieverslagen en gerapporteerde resultaten worden beoordeeld door de National Library of Medicine (NLM) om er zeker van te zijn dat ze voldoen aan specifieke kwaliteitscontrolenormen voordat ze op de openbare website worden geplaatst.

Bestudeer belangrijke data

Studie start (Werkelijk)

1 april 2022

Primaire voltooiing (Werkelijk)

31 januari 2023

Studie voltooiing (Werkelijk)

31 januari 2023

Studieregistratiedata

Eerst ingediend

17 oktober 2023

Eerst ingediend dat voldeed aan de QC-criteria

17 oktober 2023

Eerst geplaatst (Werkelijk)

25 oktober 2023

Updates van studierecords

Laatste update geplaatst (Werkelijk)

25 oktober 2023

Laatste update ingediend die voldeed aan QC-criteria

17 oktober 2023

Laatst geverifieerd

1 oktober 2023

Meer informatie

Termen gerelateerd aan deze studie

Andere studie-ID-nummers

  • HUM00180745
  • R01HL158626 (Subsidie/contract van de Amerikaanse NIH)

Plan Individuele Deelnemersgegevens (IPD)

Bent u van plan om gegevens van individuele deelnemers (IPD) te delen?

JA

Beschrijving IPD-plan

Gegevens zouden beschikbaar kunnen worden gesteld aan andere onderzoekers van geaccrediteerde onderzoeksinstellingen na het aangaan van een datagebruiksovereenkomst met de Universiteit van Michigan

IPD-tijdsbestek voor delen

Gegevens zullen voor onbepaalde tijd worden gedeeld zodra het onderzoek is gepubliceerd

IPD-toegangscriteria voor delen

Deze informatie zal als aanvulling op het onderzoeksmanuscript worden gepubliceerd.

IPD delen Ondersteunend informatietype

  • LEERPROTOCOOL
  • SAP

Informatie over medicijnen en apparaten, studiedocumenten

Bestudeert een door de Amerikaanse FDA gereguleerd geneesmiddel

Nee

Bestudeert een door de Amerikaanse FDA gereguleerd apparaatproduct

Nee

Deze informatie is zonder wijzigingen rechtstreeks van de website clinicaltrials.gov gehaald. Als u verzoeken heeft om uw onderzoeksgegevens te wijzigen, te verwijderen of bij te werken, neem dan contact op met register@clinicaltrials.gov. Zodra er een wijziging wordt doorgevoerd op clinicaltrials.gov, wordt deze ook automatisch bijgewerkt op onze website .

Klinische onderzoeken op Acuut ademhalingsfalen

3
Abonneren