Openevidence Safety en vergelijkende werkzaamheid van vier LLM's in de klinische praktijk

Openevidence is een online tool opgebouwd uit het May Clinic-platform versnellen [Openevidence] dat gegevens aggregaten en synthetiseert van peer-reviewed medische studies en vervolgens een reactie op de vragen van een gebruiker produceren met behulp van generatieve AI. Hoewel het vandaag door een aantal clinici (inclusief bewoners) wordt gebruikt, zijn er weinig tot geen gepubliceerde gegevens over de vraag of de uitgangen van de tool nauwkeurig zijn en of deze informatie op de juiste manier de klinische besluitvorming informeert. Evenzo wenden een aantal clinici zich tot andere grote taalmodellen (LLM's) om te helpen bij de besluitvorming bij het bieden van klinische zorg.

Openevidence is een online tool die is ontworpen om gegevens te verzamelen en te synthetiseren van peer-reviewed klinische studies, en vervolgens reacties te genereren op gebruikersonderzoeken door de toepassing van generatieve AI. Hoewel in toenemende mate gebruikt door zowel doorgewinterde clinici als stagiairs, is er een opmerkelijke afwezigheid van gepubliceerde gegevens over de nauwkeurigheid van de output van de tool, hun veiligheid en werkzaamheid om klinische besluitvorming op de juiste manier te informeren. Tegelijkertijd maakt een groeiend aantal clinici gebruik van andere publiekelijk beschikbare grote taalmodellen (LLMS) om de besluitvorming in de klinische zorg te ondersteunen. Hoewel een aantal studies de nauwkeurigheid van LLM-antwoorden op vragen van medische raad of klinische vignetten hebben onderzocht, is er beperkt onderzoek naar hun prestaties in klinische in de praktijk, en nog minder studies bieden vergelijkende analyses van deze prestaties.

In een overzicht van de literatuur toont een artikel aan dat LLM's misschien beter zijn in het detecteren van angst dan beoefenaars, maar dit was gebaseerd op klinische vignetten. [Levkovich et al.] Een ander keek naar de diagnostische gevoeligheid van LLM's met behulp van door de patiënt gerapporteerde uitkomstmaten in een gestructureerde vragenlijst. [Pagano et al.] Een aanvullende studie waarin LLM's worden vergeleken voor oncologie maakt ook gebruik van fictieve vignetten. [Benary et al.] Een gerandomiseerde controleproef met klinische vignetten vertoonde geen klinische verbetering voor providers die toegang hadden tot LLM's. [Goh et al.] Eén case study onderzocht de integratie van Chatgpt 3.5 in dagelijkse rondes en evalueerde het gebruik ervan kwalitatief, maar vergelijkde het niet met andere LLM's of Gold Standard Reference -tools. [Skryd et al.] Een ander vergeleken de reacties van Chatgpt op het American College of Radiology Tassessess Criteria voor borstpijn en screening op borstkanker, maar vergelijkden het niet opnieuw met andere LLM's. [Rao et al.] In onze review evalueerde slechts één studie LLM's in een klinische setting in de echte wereld. Dit was een reeks artikelen die naar hun gebruik keken voor complexe besluitvorming bij de zorg voor borstkanker, met behulp van een klein aantal werkelijke gevallen en een gestandaardiseerde snelle sjabloon. [Griewing, Knitza et al.; Griek, Gremke et al.] Die studie vond problemen met consistentie en verslechtering van de nauwkeurigheid (met name met GPT 3.5), waardoor de auteurs concluderen dat het klinische gebruik van LLM's voor dat doel nog niet haalbaar was op het moment van publicatie. Toch zien leiders van gezondheidssystemen het gebruik van deze tools die snel versnellen in de klinische praktijk. Om deze reden geloven onderzoekers dat het noodzakelijk is om hun veiligheid te bestuderen en de klinische geschiktheid van de beslissingen die clinici nemen als gevolg van het gebruik ervan.

Cambridge Health Alliance (CHA) is een openbaar, academisch vangnet gezondheidssysteem in de omgeving van Boston en dient een diverse populatie van patiënten. CHA heeft een robuuste eerstelijnszorg en poliklinische psychiatrische voetafdruk en ondersteunt een groot afgestudeerd medisch onderwijsprogramma via zowel Harvard Medical School als Tufts University School of Medicine. Onderzoekers kozen bewoners als onze primaire studie -deelnemers, omdat veel stagiairs al Openevidence gebruiken en vonden dat ze meer gestimuleerd zijn om deel te nemen aan het onderzoek als ze toegang krijgen tot de tool bij CHA (waar het anders wordt op de zwarte lijst gezet uit netwerkdiensten en verboden door beleid totdat de resultaten van deze studie kunnen worden bepaald).

Studie -resultaten zijn als volgt:

Bepaal of het gebruik van Openevidence leidt tot klinisch geschikte beslissingen door bewoners in de loop van de klinische praktijk in een gemeenschapsgezondheid.

Bepaal hoe de output van Openevidence zich verhoudt met drie andere algemeen gebruikte, publiekelijk beschikbare grote taalmodellen (Openai's Chatgpt, Anthropic's Claude en Google's Gemini) in nauwkeurigheid, volledigheid en vooringenomenheid bij het aanpakken van klinische vragen die bewoners hebben in het verloop van de klinische praktijk in een gemeenschapsgezondheid in een gemeenschapsgezondheid.

Methoden:

Gegevensverzameling is gepland om gedurende een periode van 6 maanden te plaatsvinden om upgrades van de leverancierversie tijdens de studieperiode te minimaliseren. Bewoners zijn gegroepeerd door specialiteit in "geneeskunde" (interne geneeskunde/huisartsgeneeskunde) en "psychiatrie" (psychiatrie voor volwassenen/kinderen). Om het matchen te vereenvoudigen met geschikte experts op het gebied van specialiteiten, wordt bewoners van geneeskunde gevraagd om Openevidence alleen te gebruiken voor gevallen van eerdere eerstelijnszorg (exclusief OB/GYN-gerelateerde kwesties). Inwoners van de psychiatrie worden gevraagd om Openevidence alleen te gebruiken voor gevallen van psychiatrie voor volwassenen.

Voordat ze als deelnemers werden aanvaard, werd stagiairs gevraagd om het volgende in te stemmen:

• Cross Cross Openevidence Query tegen een Gold Standard -tool, gedefinieerd in het studieprotocol met PubMed, Uptodate, Dynamed, A Clinical Specialty Society Richtlijn of andere vergelijkbare klinische referentiebron die moet worden gedocumenteerd in de studievorm.
• Voer geen persoonlijke gezondheidsinformatie (PHI) in in Openevidence (zoals hieronder gedefinieerd).
• Probeer Openevidence ten minste 3 keer per week te gebruiken, indien van toepassing op de klinische zorg voor de patiënt.
• Documenteer 100% van hun Openevidence -vragen in de onderzoeksonderzoeksvorm om selectiebias te voorkomen.

Alle bewoners krijgen een korte training in snelle engineering voor gezondheidszorg voordat gegevensverzameling begint. Gestandaardiseerde aanwijzingen zullen niet worden gebruikt, omdat een van de subgoals van het onderzoek is om te begrijpen welke soorten vragen bewoners zich onderwerpen aan Openevidence in een echte setting.

Alle bewoners zullen als volgt worden opgeleid over de definitie van PHI:

Vragen mogen geen van PHI bevatten, zoals gedefinieerd door de Safe Harbor -identificatiegegevens [HHS]; Vragen kunnen de leeftijd van de patiënt in jaren (dagen/weken/maanden voor kindergeneeskunde) en juridische seks omvatten; Voor patiënten van 89 jaar of ouder moet de gebruiker in plaats daarvan de term "ouder dan 89" gebruiken om te voldoen aan veilige havenstandaarden.

Vragen mogen geen patiënten omvatten die ervan wordt verdacht dat ze extreem zeldzame aandoeningen hebben zoals gedefinieerd door de nationale organisatie voor zeldzame aandoeningen, omdat deze ook vatbaar zijn voor heridentificatie [NORD]. Als een zeldzame aandoening aanvankelijk niet wordt vermoed maar wordt vermoed door het onderzoeksproces van het gebruik van de AI -tool, wordt de gebruiker gevraagd om op dat moment zijn vraag te stoppen.

Gegevensverzameling omvat het gebruik van een HIPAA-conform Google-formulier binnen CHA's Enterprise Google-werkruimte voor de cloudinfrastructuur voor gezondheidszorg. Het formulier voor het verzamelen van gegevens zal het volgende vragen: het volgende:

1. Voer hun eerste klinische vraag in.
2. Plak hun Openevidence -prompt (opeenvolgend genummerd voor iteratieve aanwijzingen) en de volledige Openevidence -uitgang (en) gegenereerde.
3. Voer hun klinische conclusie in op basis van de Openevidence -output.
4. Voer het gebruikte gouden standaardreferentietool in.
5. Vermeld hun laatste klinische conclusie op basis van informatie van zowel Openevidence als de Gold Standard Reference Tool.
6. Beantwoord een vraag over de mate waarin hun initiële klinische conclusie werd gewijzigd door de Gold Standard Reference.
7. Beantwoord een open vraag of ze klinische veiligheidsproblemen, onnauwkeurigheden of vooringenomenheid in de output van Openevidence hebben opgemerkt.

Vragen worden gesorteerd op specialiteit (geneeskunde versus psychiatrie) en elke query ontvangt een sequentieel onderzoeksnummer.

Bezoekend arts Onderwerp Experts (MKB) Board gecertificeerd in interne geneeskunde, huisartsgeneeskunde of psychiatrie met ten minste 5 jaar klinische ervaring na de training werden aangeworven. Vijf jaar klinische ervaring na de training werd gekozen op basis van het feit dat Malcolm Gladwell in zijn boek, Outliers, beweert dat 10.000 uur gerichte praktijk nodig is om expertise in een veld te bereiken.

Het MKB zal worden gevraagd om de eerste klinische vragen van de bewoners en hun conclusies te evalueren op basis van Openevidence. Ze zullen worden gevraagd om de klinische geschiktheid van die conclusies op een 10-punts Likert-schaal te beoordelen. MKB's zullen ook worden voorzien van de Openevidence-output voor elke query, en waar het MKB de klinische geschiktheid van de conclusies van de bewoners slecht beoordeelt (<5/10), zal de MKB bovendien een vervolgvraag worden gesteld om te beoordelen of de output van de tool zelf een klinisch ongepaste reactie heeft gegeven, om te waarschuwen of de stinees de output van de tool kunnen hebben. MKB-beoordeling omvat een overlapping van 2,5-5% tussen recensenten om een ​​Kappa-score te berekenen voor interraterbetrouwbaarheid.

In deel twee van het onderzoek zal het onderzoeksteam de Openevidence -vragen in thema's sorteren en een willekeurige steekproef van vragen uit elke specialiteit en thema kiezen voor vergelijking tussen LLM's. Het onderzoeksteam bevestigt dat prompts geen PHI bevatten volgens het studieprotocol. Vervolgens kopiëren ze de Openevidence -aanwijzingen die door bewoners zijn ingevoerd voor de geselecteerde query's en plakken ze precies in Chatgpt, Gemini en Claude.

De output van elk van de vier tools (Openevidence, Chatgpt, Gemini en Claude) zullen worden opgedoken in een Google -webformulier. Het MKB zal worden gevraagd om elke output op een Likert -schaal te beoordelen op nauwkeurigheid, volledigheid en vooringenomenheid, en om een ​​kwalitatieve vraag te beantwoorden die problemen met de patiënt in de output identificeert.

Resultaten:

Primaire uitkomstresultaten zullen als volgt worden gerapporteerd:

Klinische geschiktheid van de beslissing van bewoners die Openevidence gebruiken (gemiddelde met SD, mediaan), door specialiteit

• Als, in gevallen van een lage klinische geschiktheid, MKB's heeft vastgesteld dat dit niet te wijten was aan de output van de tool, maar in plaats daarvan vanwege de interpretatie van de bewoner van de tool, zullen ook metrics worden voorzien van deze uitgesloten gevallen
• Interrater betrouwbaarheid (Kappa -waarde)

Secundaire uitkomstresultaten zullen als volgt worden gerapporteerd:

Voor elke specialiteit en elke variabele (nauwkeurigheid, volledigheid en vooringenomenheid) zullen onderzoekers rapporteren:

• Het "win" -percentage voor elke LLM en de gemiddelde marge van de tweede plaatsscore.
• De effectgrootte (met behulp van elke LLM als een afzonderlijke referentie) met behulp van Cohen's D -test.
• Interrater betrouwbaarheid (Kappa -waarde)