- ICH GCP
- Register voor klinische proeven in de VS.
- Klinische proef NCT06098950
Menselijke algoritme-interacties voor de diagnose van acuut ademhalingsfalen
Het meten van de impact van AI op de diagnose van ziekenhuispatiënten: een gerandomiseerde enquête in meerdere centra
Kunstmatige intelligentie (AI) blijkt veelbelovend bij het identificeren van afwijkingen in klinische beelden. Systematisch vertekende AI-modellen, waarbij een model onnauwkeurige voorspellingen doet voor hele subpopulaties, kunnen echter tot fouten en potentiële schade leiden. Wanneer onjuiste voorspellingen van een AI-model worden weergegeven, kan de diagnostische nauwkeurigheid van de arts worden geschaad. Deze studie heeft tot doel de effectiviteit te bestuderen van het bieden van op afbeeldingen gebaseerde AI-modelverklaringen aan artsen wanneer AI-modelvoorspellingen worden verstrekt om artsen te helpen de logica van de voorspelling van een AI-model beter te begrijpen. Er zal worden geëvalueerd of het verstrekken van uitleg aan clinici aan AI-modellen de diagnostische nauwkeurigheid kan verbeteren en artsen kan helpen bij het signaleren wanneer modellen onjuiste beslissingen nemen. Als testcase zal het onderzoek zich richten op de diagnose van acuut respiratoir falen, omdat het bepalen van de onderliggende oorzaken van acuut respiratoir falen van cruciaal belang is voor het begeleiden van behandelbeslissingen, maar klinisch uitdagend kan zijn.
Om te bepalen of het geven van AI-verklaringen de diagnostische nauwkeurigheid van artsen kan verbeteren en de potentiële impact kan verminderen van het tonen van een systematisch bevooroordeeld AI-model aan artsen, zal een gerandomiseerd klinisch vignetonderzoek worden uitgevoerd. Tijdens het onderzoek krijgen deelnemers aan de studie klinische vignetten te zien van patiënten die in het ziekenhuis zijn opgenomen met acuut ademhalingsfalen, inclusief de symptomen van de patiënt, lichamelijk onderzoek, laboratoriumresultaten en röntgenfoto's van de borstkas. Deelnemers aan het onderzoek zullen vervolgens worden gevraagd om de waarschijnlijkheid te beoordelen dat hartfalen, longontsteking en/of chronische obstructieve longziekte (COPD) de onderliggende diagnose is. Tijdens specifieke vignetten in het onderzoek krijgen deelnemers ook standaard of systematisch bevooroordeelde AI-modellen te zien die een schatting geven van de waarschijnlijkheid dat hartfalen, longontsteking en/of COPD de onderliggende diagnose is. Artsen zullen gerandomiseerd worden om alleen AI-voorspellingen te zien of AI-voorspellingen met uitleg wanneer ze AI-modellen laten zien. Dit onderzoeksontwerp zal het mogelijk maken om de hypothese te testen dat systematisch vertekende modellen de diagnostische nauwkeurigheid van artsen zouden schaden, maar dat veelgebruikte, op beelden gebaseerde verklaringen artsen zouden helpen hun prestaties gedeeltelijk te herstellen.
Studie Overzicht
Toestand
Conditie
Interventie / Behandeling
Studietype
Inschrijving (Werkelijk)
Fase
- Niet toepasbaar
Contacten en locaties
Studie Locaties
-
-
Michigan
-
Ann Arbor, Michigan, Verenigde Staten, 48103
- University of Michigan
-
-
Deelname Criteria
Geschiktheidscriteria
Leeftijden die in aanmerking komen voor studie
- Volwassen
- Oudere volwassene
Accepteert gezonde vrijwilligers
Beschrijving
Inclusiecriteria:
- Artsen, verpleegkundigen en arts-assistenten die zorg dragen voor patiënten met acuut ademhalingsfalen als onderdeel van hun klinische praktijk
Uitsluitingscriteria:
- Artsen, verpleegkundigen en arts-assistenten die uitsluitend poliklinische patiëntenzorg verlenen
Studie plan
Hoe is de studie opgezet?
Ontwerpdetails
- Primair doel: Ander
- Toewijzing: Gerandomiseerd
- Interventioneel model: Parallelle opdracht
- Masker: Enkel
Wapens en interventies
Deelnemersgroep / Arm |
Interventie / Behandeling |
---|---|
Experimenteel: AI-model bevooroordeeld voor hartfalen, geen AI-verklaring
Deelnemers aan deze arm krijgen standaard AI-modelvoorspellingen te zien tijdens drie klinische patiëntvignetten binnen de enquête en systematisch vertekende AI-modelvoorspellingen tijdens drie klinische vignetten.
Wanneer systematisch bevooroordeelde AI-modelvoorspellingen worden getoond, zal het model bevooroordeeld zijn tegen hartfalen, waarbij het altijd voorspelt dat hartfalen met grote waarschijnlijkheid aanwezig is bij patiënten met een body mass index (BMI) van 30 of hoger.
Voor de andere 2 diagnoses worden standaardvoorspellingen getoond.
Deelnemers aan deze arm krijgen geen AI-uitleg te zien wanneer ze AI-modelvoorspellingen te zien krijgen.
|
Gedurende 6 klinische vignetten krijgen de deelnemers AI-modelvoorspellingen te zien zonder een bijbehorende AI-verklaring.
Het AI-model zal voor elke diagnose (hartfalen, longontsteking, COPD) een score geven op een schaal van 0-100, waarbij wordt geschat hoe waarschijnlijk de presentatie van de patiënt te wijten was aan elk van deze diagnoses.
In 3 van de klinische vignetten krijgen de deelnemers standaard AI-modelvoorspellingen te zien en in 3 vignetten krijgen ze systematisch bevooroordeelde AI-modelvoorspellingen te zien, waarbij het model specifiek gericht is op een van de drie diagnoses.
In 3 klinische vignetten krijgen deelnemers systematisch bevooroordeelde voorspellingen van het AI-model te zien, waarbij het model specifiek gericht is op hartfalen, waarbij altijd wordt voorspeld dat hartfalen met grote waarschijnlijkheid aanwezig is bij patiënten met een body mass index (BMI) van 30 of hoger.
Voor de andere 2 diagnoses (longontsteking, COPD) worden standaardvoorspellingen getoond.
|
Experimenteel: AI-model bevooroordeeld voor longontsteking, geen AI-verklaring
Deelnemers aan deze arm krijgen standaard AI-modelvoorspellingen te zien tijdens drie klinische patiëntvignetten binnen de enquête en systematisch vertekende AI-modelvoorspellingen tijdens drie klinische vignetten.
Wanneer systematisch bevooroordeelde AI-modelvoorspellingen worden getoond, zal het model bevooroordeeld zijn tegen longontsteking, waarbij het altijd voorspelt dat longontsteking met grote waarschijnlijkheid aanwezig is bij patiënten van 80 jaar of ouder.
Voor de andere 2 diagnoses worden standaardvoorspellingen getoond.
Deelnemers aan deze arm krijgen geen AI-uitleg te zien wanneer ze AI-modelvoorspellingen te zien krijgen.
|
Gedurende 6 klinische vignetten krijgen de deelnemers AI-modelvoorspellingen te zien zonder een bijbehorende AI-verklaring.
Het AI-model zal voor elke diagnose (hartfalen, longontsteking, COPD) een score geven op een schaal van 0-100, waarbij wordt geschat hoe waarschijnlijk de presentatie van de patiënt te wijten was aan elk van deze diagnoses.
In 3 van de klinische vignetten krijgen de deelnemers standaard AI-modelvoorspellingen te zien en in 3 vignetten krijgen ze systematisch bevooroordeelde AI-modelvoorspellingen te zien, waarbij het model specifiek gericht is op een van de drie diagnoses.
In drie klinische vignetten krijgen deelnemers systematisch vertekende voorspellingen van het AI-model te zien, waarbij het model specifiek gericht is tegen longontsteking, waarbij altijd wordt voorspeld dat longontsteking met grote waarschijnlijkheid aanwezig is bij patiënten van 80 jaar of ouder in het onderzoeksvignet.
Voor de andere 2 diagnoses (hartfalen, COPD) worden standaardvoorspellingen getoond.
|
Experimenteel: AI-model bevooroordeeld voor COPD, geen AI-verklaring
Deelnemers aan deze arm krijgen standaard AI-modelvoorspellingen te zien tijdens drie klinische patiëntvignetten binnen de enquête en systematisch vertekende AI-modelvoorspellingen tijdens drie klinische vignetten.
Wanneer systematisch bevooroordeelde AI-modelvoorspellingen worden getoond, zal het model bevooroordeeld zijn ten opzichte van COPD, waarbij het altijd voorspelt dat COPD met grote waarschijnlijkheid aanwezig is wanneer een voorbewerkingsfilter op de röntgenfoto van de patiënt werd toegepast.
Voor de andere 2 diagnoses worden standaardvoorspellingen getoond.
Deelnemers aan deze arm krijgen geen AI-uitleg te zien wanneer ze AI-modelvoorspellingen te zien krijgen.
|
Gedurende 6 klinische vignetten krijgen de deelnemers AI-modelvoorspellingen te zien zonder een bijbehorende AI-verklaring.
Het AI-model zal voor elke diagnose (hartfalen, longontsteking, COPD) een score geven op een schaal van 0-100, waarbij wordt geschat hoe waarschijnlijk de presentatie van de patiënt te wijten was aan elk van deze diagnoses.
In 3 van de klinische vignetten krijgen de deelnemers standaard AI-modelvoorspellingen te zien en in 3 vignetten krijgen ze systematisch bevooroordeelde AI-modelvoorspellingen te zien, waarbij het model specifiek gericht is op een van de drie diagnoses.
In drie klinische vignetten krijgen de deelnemers systematisch vertekende AI-modelvoorspellingen te zien, waarbij het model specifiek gericht is tegen COPD, waarbij altijd wordt voorspeld dat COPD met grote waarschijnlijkheid aanwezig is bij patiënten met onderzoeksvignetten waarbij een voorbewerkingsfilter op de röntgenfoto van de patiënt werd toegepast.
Voor de andere 2 diagnoses (hartfalen, longontsteking) worden standaardvoorspellingen getoond.
|
Experimenteel: AI-model bevooroordeeld voor hartfalen, op afbeeldingen gebaseerde AI-uitleg gepresenteerd
Deelnemers aan deze arm krijgen standaard AI-modelvoorspellingen te zien tijdens drie klinische patiëntvignetten binnen de enquête en systematisch vertekende AI-modelvoorspellingen tijdens drie klinische vignetten.
Wanneer systematisch bevooroordeelde AI-modelvoorspellingen worden getoond, zal het model bevooroordeeld zijn tegen hartfalen, waarbij het altijd voorspelt dat hartfalen met grote waarschijnlijkheid aanwezig is bij patiënten met een body mass index (BMI) van 30 of hoger.
Voor de andere 2 diagnoses worden standaardvoorspellingen getoond.
Deelnemers aan deze arm krijgen ook AI-uitleg te zien wanneer ze AI-modelvoorspellingen te zien krijgen.
|
In 3 klinische vignetten krijgen deelnemers systematisch bevooroordeelde voorspellingen van het AI-model te zien, waarbij het model specifiek gericht is op hartfalen, waarbij altijd wordt voorspeld dat hartfalen met grote waarschijnlijkheid aanwezig is bij patiënten met een body mass index (BMI) van 30 of hoger.
Voor de andere 2 diagnoses (longontsteking, COPD) worden standaardvoorspellingen getoond.
Tijdens 6 klinische vignetten krijgen deelnemers AI-modelvoorspellingen met uitleg te zien.
Het AI-model geeft voor elke diagnose een score op een schaal van 0-100.
In 3 klinische vignetten krijgen de deelnemers standaard AI-modelvoorspellingen te zien en in 3 vignetten krijgen ze systematisch bevooroordeelde AI-modelvoorspellingen te zien, waarbij het model specifiek gericht is op een van de drie diagnoses.
Als het AI-model een score boven de 50 oplevert, wordt een uitleg van het AI-model weergegeven als gradiëntgewogen klasse-activeringskaarten (Grad-CAM) heatmaps die over de röntgenfoto van de borst worden gelegd en die benadrukken welke delen van het beeld de meeste invloed hebben op de voorspelling van het AI-model.
|
Experimenteel: AI-model bevooroordeeld voor longontsteking, op afbeeldingen gebaseerde AI-uitleg gepresenteerd
Deelnemers aan deze arm krijgen standaard AI-modelvoorspellingen te zien tijdens drie klinische patiëntvignetten binnen de enquête en systematisch vertekende AI-modelvoorspellingen tijdens drie klinische vignetten.
Wanneer systematisch bevooroordeelde AI-modelvoorspellingen worden getoond, zal het model bevooroordeeld zijn tegen longontsteking, waarbij het altijd voorspelt dat longontsteking met grote waarschijnlijkheid aanwezig is bij patiënten van 80 jaar of ouder.
Voor de andere 2 diagnoses worden standaardvoorspellingen getoond.
Deelnemers aan deze arm krijgen ook AI-uitleg te zien wanneer ze AI-modelvoorspellingen te zien krijgen.
|
In drie klinische vignetten krijgen deelnemers systematisch vertekende voorspellingen van het AI-model te zien, waarbij het model specifiek gericht is tegen longontsteking, waarbij altijd wordt voorspeld dat longontsteking met grote waarschijnlijkheid aanwezig is bij patiënten van 80 jaar of ouder in het onderzoeksvignet.
Voor de andere 2 diagnoses (hartfalen, COPD) worden standaardvoorspellingen getoond.
Tijdens 6 klinische vignetten krijgen deelnemers AI-modelvoorspellingen met uitleg te zien.
Het AI-model geeft voor elke diagnose een score op een schaal van 0-100.
In 3 klinische vignetten krijgen de deelnemers standaard AI-modelvoorspellingen te zien en in 3 vignetten krijgen ze systematisch bevooroordeelde AI-modelvoorspellingen te zien, waarbij het model specifiek gericht is op een van de drie diagnoses.
Als het AI-model een score boven de 50 oplevert, wordt een uitleg van het AI-model weergegeven als gradiëntgewogen klasse-activeringskaarten (Grad-CAM) heatmaps die over de röntgenfoto van de borst worden gelegd en die benadrukken welke delen van het beeld de meeste invloed hebben op de voorspelling van het AI-model.
|
Experimenteel: AI-model bevooroordeeld voor COPD, op afbeeldingen gebaseerde AI-uitleg gepresenteerd
Deelnemers aan deze arm krijgen standaard AI-modelvoorspellingen te zien tijdens drie klinische patiëntvignetten binnen de enquête en systematisch vertekende AI-modelvoorspellingen tijdens drie klinische vignetten.
Wanneer systematisch bevooroordeelde AI-modelvoorspellingen worden getoond, zal het model bevooroordeeld zijn ten opzichte van COPD, waarbij het altijd voorspelt dat COPD met grote waarschijnlijkheid aanwezig is wanneer een voorbewerkingsfilter op de röntgenfoto van de patiënt werd toegepast.
Voor de andere 2 diagnoses worden standaardvoorspellingen getoond.
Deelnemers aan deze arm krijgen ook AI-uitleg te zien wanneer ze AI-modelvoorspellingen te zien krijgen.
|
In drie klinische vignetten krijgen de deelnemers systematisch vertekende AI-modelvoorspellingen te zien, waarbij het model specifiek gericht is tegen COPD, waarbij altijd wordt voorspeld dat COPD met grote waarschijnlijkheid aanwezig is bij patiënten met onderzoeksvignetten waarbij een voorbewerkingsfilter op de röntgenfoto van de patiënt werd toegepast.
Voor de andere 2 diagnoses (hartfalen, longontsteking) worden standaardvoorspellingen getoond.
Tijdens 6 klinische vignetten krijgen deelnemers AI-modelvoorspellingen met uitleg te zien.
Het AI-model geeft voor elke diagnose een score op een schaal van 0-100.
In 3 klinische vignetten krijgen de deelnemers standaard AI-modelvoorspellingen te zien en in 3 vignetten krijgen ze systematisch bevooroordeelde AI-modelvoorspellingen te zien, waarbij het model specifiek gericht is op een van de drie diagnoses.
Als het AI-model een score boven de 50 oplevert, wordt een uitleg van het AI-model weergegeven als gradiëntgewogen klasse-activeringskaarten (Grad-CAM) heatmaps die over de röntgenfoto van de borst worden gelegd en die benadrukken welke delen van het beeld de meeste invloed hebben op de voorspelling van het AI-model.
|
Wat meet het onderzoek?
Primaire uitkomstmaten
Uitkomstmaat |
Maatregel Beschrijving |
Tijdsspanne |
---|---|---|
Diagnostische nauwkeurigheid van deelnemers in klinische vignetinstellingen
Tijdsspanne: Dag 0
|
Diagnostische nauwkeurigheid wordt gedefinieerd als het aantal correcte diagnostische beoordelingen over het totale aantal diagnostische beoordelingen.
Na beoordeling van elk klinisch vignet van elke individuele patiënt binnen de enquête, wordt de deelnemers gevraagd om voor elk klinisch vignet drie afzonderlijke diagnostische beoordelingen te maken: één voor hartfalen, longontsteking en COPD.
Als de beoordeling van de deelnemer overeenkomt met het referentielabel voor elk vignet, wordt de diagnostische beoordeling als correct beschouwd.
Diagnostische beoordelingen worden uitgevoerd terwijl de deelnemers de enquête invullen (dag 0), onmiddellijk nadat de deelnemer het klinische vignet heeft beoordeeld.
De diagnostische nauwkeurigheid van de deelnemer zal worden vergeleken tussen de vignetinstellingen (geen AI-model, standaard AI-model, standaard AI-model met uitleg, bevooroordeeld AI-model, bevooroordeeld AI-model met uitleg).
|
Dag 0
|
Secundaire uitkomstmaten
Uitkomstmaat |
Maatregel Beschrijving |
Tijdsspanne |
---|---|---|
Nauwkeurigheid van behandelingsselectie in alle klinische vignetinstellingen
Tijdsspanne: Dag 0
|
De nauwkeurigheid van de behandelingsselectie wordt gedefinieerd als de vraag of de deelnemer de juiste behandeling voor de patiënt in het klinische vignet kiest, en elke combinatie van steroïden, antibiotica, intraveneuze (IV) diuretica of geen van deze behandelingen voor de patiënt kan kiezen.
Behandelingsselectiebeoordelingen worden uitgevoerd terwijl de deelnemers de enquête invullen (dag 0), onmiddellijk nadat de deelnemer het klinische vignet heeft beoordeeld.
De nauwkeurigheid van de behandelingsselectie van de deelnemer zal worden vergeleken tussen de vignetinstellingen (geen AI-model, standaard AI-model, standaard AI-model met uitleg, bevooroordeeld AI-model, bevooroordeeld AI-model met uitleg).
|
Dag 0
|
Diagnosespecifieke diagnostische nauwkeurigheid in alle klinische vignetinstellingen
Tijdsspanne: Dag 0
|
Diagnostische nauwkeurigheid specifiek voor hartfalen, longontsteking en COPD voor alle vignetinstellingen
|
Dag 0
|
Medewerkers en onderzoekers
Sponsor
Onderzoekers
- Hoofdonderzoeker: Michael Sjoding, MD, University of Michigan
Studie record data
Bestudeer belangrijke data
Studie start (Werkelijk)
Primaire voltooiing (Werkelijk)
Studie voltooiing (Werkelijk)
Studieregistratiedata
Eerst ingediend
Eerst ingediend dat voldeed aan de QC-criteria
Eerst geplaatst (Werkelijk)
Updates van studierecords
Laatste update geplaatst (Werkelijk)
Laatste update ingediend die voldeed aan QC-criteria
Laatst geverifieerd
Meer informatie
Termen gerelateerd aan deze studie
Trefwoorden
Aanvullende relevante MeSH-voorwaarden
Andere studie-ID-nummers
- HUM00180745
- R01HL158626 (Subsidie/contract van de Amerikaanse NIH)
Plan Individuele Deelnemersgegevens (IPD)
Bent u van plan om gegevens van individuele deelnemers (IPD) te delen?
Beschrijving IPD-plan
IPD-tijdsbestek voor delen
IPD-toegangscriteria voor delen
IPD delen Ondersteunend informatietype
- LEERPROTOCOOL
- SAP
Informatie over medicijnen en apparaten, studiedocumenten
Bestudeert een door de Amerikaanse FDA gereguleerd geneesmiddel
Bestudeert een door de Amerikaanse FDA gereguleerd apparaatproduct
Deze informatie is zonder wijzigingen rechtstreeks van de website clinicaltrials.gov gehaald. Als u verzoeken heeft om uw onderzoeksgegevens te wijzigen, te verwijderen of bij te werken, neem dan contact op met register@clinicaltrials.gov. Zodra er een wijziging wordt doorgevoerd op clinicaltrials.gov, wordt deze ook automatisch bijgewerkt op onze website .
Klinische onderzoeken op Acuut ademhalingsfalen
-
University Hospital, Strasbourg, FranceOnbekendAcute Respiratory Distress Syndrome na hartchirurgie onder cardiopulmonale bypassFrankrijk
-
Daping Hospital and the Research Institute of Surgery...307 Hospital of PLA; The First Affiliated Hospital of Anhui Medical University; Beijing 302 Hospital en andere medewerkersVoltooidNeonatale Acute Respiratory Distress Syndrome (ARDS)China
-
Tanta UniversityWervingAcuut longletsel/acuut ademhalingsproblemensyndroom (ARDS) | Respiratory Distress Syndrome, pediatrischEgypte
-
University of MinnesotaNational Institute of Allergy and Infectious Diseases (NIAID); National Institutes...WervingInfluenza | Nieuw respiratoir virus-1 Midden-Oosters respiratoir syndroom coronavirus (MERS-CoV) | Novel Respiratory Virus-2 Severe Acute Respiratory Syndrome Coronavirus (SARS-CoV)Verenigde Staten, Australië, Spanje, Denemarken, Griekenland, Argentinië, Verenigd Koninkrijk, België, Chili, Duitsland, Peru, Thailand
-
VA Office of Research and DevelopmentVoltooidCommunity Acquired Respiratory Disease SyndroomVerenigde Staten, Puerto Rico
-
Peking Union Medical College HospitalOnbekendARDS (Acute Respiratory Distress Syndrome) | Acute Cor PulmonaleChina
-
University Hospital, GhentVoltooidARDS (Acute Respiratory Distress Syndrome) | Respiratoire acidoseBelgië
-
University Hospital, GhentVoltooidVenoveneuze extracorporale CO2-verwijdering bij ARDS-patiënten om respiratoire acidose te behandelenACUTE RESPIRATORY DISTRESS SYNDROMEBelgië
-
University Hospital, AngersVoltooidAcuut longletsel | ARDS (Acute Respiratory Distress Syndrome) | Positieve eindexpiratoire druk (PEEP) | Elektrische impedantietomografie (EIT)Frankrijk
-
University Hospital Schleswig-HolsteinUniversity College, London; Academisch Medisch Centrum - Universiteit van Amsterdam... en andere medewerkersVoltooidAcute respiratory distress syndrome | Infant Respiratory Distress Syndroom | Acute bronchiolitisNederland, Finland, Cyprus