A négy LLM klinikai gyakorlatban történő összehasonlító hatékonysága és összehasonlító hatékonysága a klinikai gyakorlatban

Az Openevidence egy olyan online eszköz, amely a május klinikai platformból épült fel, és az openevidencia, amely aggregálódik és szintetizálja a szakértői áttekintett orvosi tanulmányok adatait, majd a felhasználó kérdéseire adott választ generatív AI segítségével. Miközben ezt számos klinikus (beleértve a lakosokat is) használja, kevés vagy egyáltalán nincs közzétett adat arról, hogy az eszköz kimenetei pontosak -e, és hogy ez az információ megfelelő -e a klinikai döntéshozatalt. Hasonlóképpen, számos klinikus fordul más nagy nyelvű modellekhez (LLM), hogy segítse a döntéshozatalt a klinikai ellátás nyújtásakor.

Az Openevidence egy online eszköz, amelynek célja a szakértői áttekintésű klinikai vizsgálatok adatainak összesítése és szintetizálására szolgáló, később a felhasználói vizsgálatokra adott válaszokat generáló AI alkalmazásával. Noha mind a tapasztalt klinikusok, mind a gyakornokok egyre inkább használják, figyelemre méltó adatok hiányoznak az eszköz outputjainak pontosságáról, biztonságáról és hatékonyságáról a klinikai döntéshozatal megfelelő tájékoztatásában. Egyidejűleg egyre növekvő számú klinikus kihasználja a többi nyilvánosan elérhető nagy nyelvű modellt (LLM) a klinikai ellátás döntéshozatalának támogatása érdekében. Míg számos tanulmány megvizsgálta az LLM válaszok pontosságát az orvosi testület kérdéseire vagy a klinikai matricákra, korlátozott kutatások folynak a valós klinikai környezetben való teljesítményükről, és még kevesebb tanulmány is kínál összehasonlító elemzéseket a teljesítményről.

Az irodalom áttekintésében az egyik cikk azt mutatja, hogy az LLM -k jobban kimutathatják a szorongást, mint a gyakorlók, de ez a klinikai matricákon alapult. [Levkovich és munkatársai.] Egy másik az LLM diagnosztikai érzékenységére vizsgálta a beteg által bejelentett eredményméréseket egy strukturált kérdőívben. [Pagano et al.] Egy további tanulmány, amely összehasonlítja az LLM Oncology -ot, szintén kitalált matricákat használ. [Benary et al.] A klinikai matricákkal végzett randomizált kontroll vizsgálat nem mutatott klinikai javulást az LLM -hez való hozzáféréssel rendelkező szolgáltatók számára. [Goh et al.] Az egyik esettanulmány feltárta a CHATGPT 3.5 integrációját a napi fordulókba, és minőségileg kiértékelte annak felhasználását, de nem hasonlította össze más LLM vagy arany standard referenciaeszközökkel. [Skryd et al.] Egy másik összehasonlításban a CHATGPT reakcióit az Amerikai Radiológiai Főiskolára vonatkozó válaszaira az emlőfájdalom és az emlőrák szűrése szempontjából, de megint nem hasonlították össze más LLM -ekkel. [Rao et al.] Felülvizsgálatunkban csak egy tanulmány értékelte az LLM -et valós klinikai környezetben. Ez egy olyan papír sorozat volt, amely megvizsgálta a bonyolult döntéshozatalhoz való felhasználást az emlős rák gondozásában, néhány tényleges eset és egy szabványosított prompt sablon felhasználásával. [Griewing, Knitza et al.; Griewing, Gremke et al.] Ez a tanulmány a pontosság következetességével és romlásával (különösen a GPT 3.5 -rel) olyan kérdéseket talált, amelyek arra a következtetésre jutottak, hogy a szerzők arra a következtetésre jutottak, hogy az LLM erre a célra történő klinikai felhasználása még nem volt megvalósítható a közzététel idején. Ennek ellenére az egészségügyi rendszerek vezetői látják, hogy ezeknek az eszközöknek a klinikai gyakorlatban gyorsan felgyorsulnak. Ezért a nyomozók úgy vélik, hogy elengedhetetlen a biztonságuk tanulmányozása és a klinikusok klinikai megfelelőségének tanulmányozása a klinikusok felhasználásuk eredményeként.

A Cambridge Health Alliance (CHA) egy nyilvános, tudományos biztonsági hálózati egészségügyi rendszer a bostoni térségben, amely a betegek változatos populációját szolgálja. A CHA robusztus alapellátással és járóbeteg -pszichiátriai lábnyommal rendelkezik, és támogatja a nagy posztgraduális orvosi oktatási programot mind a Harvard Medical School, mind a Tufts Egyetemi Orvostudományi Iskola révén. A nyomozók a lakosokat az elsődleges tanulmányi résztvevőknek választották, mivel sok gyakornok már használja az Openevidence -t, és ösztönözte őket arra, hogy vegyenek részt a tanulmányban, ha hozzáférést kapnak a CHA eszközéhez (ahol egyébként a hálózati szolgáltatásokból feketelistára kerülnek, és a politika tiltja, amíg a tanulmány eredményeit nem lehet meghatározni).

A tanulmányi eredmények a következők:

Határozza meg, hogy az openevidencia használata a lakosok klinikailag megfelelő döntéseihez vezet -e a klinikai gyakorlat során a közösségi egészségügyi környezetben.

Határozza meg, hogy az Openevidence kimenete hogyan hasonlítja össze három másik, általánosan használt, nyilvánosan elérhető nagy nyelvi modellt (Openai CHATGPT, Antropic's Claude és Google Ikrek) pontossággal, teljességgel és elfogultsággal, amikor a klinikai kérdések megválaszolása során a klinikai gyakorlat során a közösségi egészségügyi környezetben a klinikai gyakorlat során felmerülnek.

Mód:

Az adatgyűjtésre 6 hónapos időszak alatt kerül sor, hogy minimalizálják a szállítói verziófrissítéseket a vizsgálati időszak alatt. A lakosokat specialitással csoportosítják a "orvostudomány" (belgyógyászat/családi orvoslás) és a "pszichiátria" (felnőtt/gyermek pszichiátria). Annak érdekében, hogy egyszerűsítsük a megfelelő speciális tantárgy szakértőkkel való illesztést, az orvostudományi lakosokat csak felnőttkori alapellátási esetekhez kérik, hogy az Openevidence-t használják (az OB/GYN-vel kapcsolatos kérdések kivételével). A pszichiátriai lakosokat arra kérik, hogy csak felnőtt pszichiátriai esetekben használják az Openevidence -t.

Mielőtt a résztvevőként elfogadták volna, a gyakornokokat mind felkérték, hogy vállalják a következőket:

• Keresztelje ellenőrizze az OpenEvidence lekérdezéseket egy arany standard szerszámmal szemben, amelyet a vizsgálati protokollban definiálnak a PubMed, a UpTodate, a Dynamed, a Clinical Specialty Society útmutató vagy más hasonló klinikai referenciaforrás, amelyet a vizsgálati formában dokumentálni kell.
• Ne írjon be semmilyen személyes egészségügyi információt (PHI) az Openevidence -be (az alábbiak szerint).
• Próbáljon meg az openevidenciát hetente legalább háromszor használni, ha a beteg klinikai ellátásához igazodik.
• Dokumentálja az Openevidence lekérdezéseik 100% -át a vizsgálati kutatási űrlapba a szelekciós torzítás elkerülése érdekében.

Az összes lakosnak röviden végzett képzést kap az egészségügyi ellátás azonnali mérnöki munkájáról, mielőtt az adatgyűjtés megkezdődne. A szabványosított utasításokat nem fogják használni, mivel a tanulmány egyik alcélja annak megértése, hogy a lakosok milyen típusú lekérdezéseket nyújtanak be az Openevidence -hez egy valós környezetben.

Az összes lakos a PHI meghatározásáról van oktatva, az alábbiak szerint:

A lekérdezések nem tartalmazhatnak PHI -t, a biztonságos kikötő azonosítók [HHS] által meghatározottak szerint; A lekérdezések magukban foglalhatják a beteg életkorát években (napok/hetek/hónapok a gyermekgyógyászat számára) és a legális szex; A 89 éves vagy annál idősebb betegek esetében a felhasználónak ehelyett a "89 évesnél idősebb" kifejezést kell használnia a biztonságos kikötői szabványok betartására.

A lekérdezések nem tartalmazhatnak olyan betegeket, akiknek gyanúja van, hogy rendkívül ritka körülményei vannak, ahogyan azt a Nemzeti Szervezet a ritka rendellenességek esetében meghatározza, mivel ezek szintén hajlamosak az azonosításra [Nord]. Ha egy ritka állapotot nem gyanítanak, de az AI eszköz használatának kutatási folyamatán keresztül gyanítják, akkor a felhasználót felkérik, hogy állítsa le a lekérdezésüket.

Az adatgyűjtés magában foglalja a HIPAA-kompatibilis Google űrlap használatát a CHA Enterprise Google munkaterületén az Health Cloud Infrastruktúra számára. Az adatgyűjtési űrlap megkérdezi a gyakornokokat, hogy tegye a következőket:

1. Írja be a kezdeti klinikai kérdésüket.
2. Illessze be az Openevidence Prompt -ot (az iteratív utasításokhoz szekvenciálisan számozva) és a generált teljes Openevidence kimenetet.
3. Írja be klinikai következtetését az Openevidence kimenete alapján.
4. Írja be a használt arany szabványos referenciakódot.
5. Mondja el a végső klinikai következtetésüket mind az Openevidence, mind az Arany Standard referencia eszköz információi alapján.
6. Válaszoljon egy kérdésre, hogy az első klinikai következtetésük mennyire módosult az arany standard referencia segítségével.
7. Válaszoljon egy nyitott kérdésre, hogy észrevette-e valamilyen klinikai biztonsági kérdést, pontatlanságokat vagy elfogultságot az Openevidence kimenetében.

A lekérdezéseket a specialitás (orvostudomány vs. pszichiátria) rendezi, és minden lekérdezés szekvenciális tanulmányi számot kap.

A Belső Orvostudományban, a Családgyógyászatban vagy a Pszichiátria tanúsítvánnyal rendelkező szakértők (kkv-k) tantárgyak szakértői (kkv-k), legalább 5 éves edzés utáni klinikai tapasztalattal. Öt éves edzés utáni klinikai tapasztalatot választottak annak alapján, hogy Malcolm Gladwell, az Outliers könyvében azt állítja, hogy 10 000 órás koncentrált gyakorlatra van szükség a terület szakértelmének eléréséhez.

A kkv -kat felkérik, hogy értékeljék a lakosok kezdeti klinikai kérdéseit és következtetéseiket csak az OpenEvidence alapján. Felkérjük őket, hogy értékeljék ezen következtetések klinikai megfelelőségét 10 pontos Likert skálán. A kkv-k minden egyes lekérdezéshez az Openevidence kimenetet is biztosítják, és ahol a kkv-k rosszul értékelik a lakosok következtetéseinek klinikai megfelelőségét (<5/10), a kkv-k emellett felteszik egy nyomon követési kérdést, hogy felmérje-e az eszköz kimenete maga a klinikailag nem megfelelő választ. A kkv-értékelés 2,5-5% -os átfedést fog tartalmazni az értékelők között, hogy kiszámítsák a kappa-pontszámot az interrater megbízhatóság szempontjából.

A tanulmány második részében a kutatócsoport az Openevidence lekérdezéseket a témákba rendezi, és az egyes specialitásokból és témákból véletlenszerű mintavételt választott az LLM -k összehasonlításához. A kutatócsoport megerősíti, hogy az utasítások nem tartalmaznak semmilyen PHI -t a tanulmányi protokoll szerint. Ezután lemásolják a lakosok által a kiválasztott lekérdezésekhez megadott Openevidence felszólításokat, és pontosan beillesztik őket a CHATGPT -be, az Ikrekbe és a Claude -ba.

A négy eszköz mindegyikének (Openevidence, Chatgpt, Gemini és Claude) kimenetei a Google Webformban kerül sor. A kkv -kat felkérjük, hogy értékeljék az egyes kimeneteket egy Likert skálán, a pontosság, a teljesség és az elfogultság érdekében, valamint válaszoljon egy olyan kvalitatív kérdésre, amely meghatározza a kimenetet a betegek biztonsági kérdéseit.

Eredmények:

Az elsődleges eredmény eredményeit az alábbiak szerint kell beilleszteni:

Az Openevidence -t használó lakosok által hozott döntés klinikai megfelelősége (átlag az SD -vel, medián), specialitással

• Ha az alacsony klinikai megfelelőség esetén a kkv -k megállapították, hogy ez nem az eszköz outputjának köszönhető, hanem a lakos szerszám értelmezésének köszönhető
• Interrater megbízhatóság (kappa érték)

A másodlagos eredmény eredményeit az alábbiak szerint kell beilleszteni:

Minden egyes specialitásra és minden változóra (pontosság, teljesség és torzítás) a nyomozók jelentést tesznek:

• Az egyes LLM -ek "nyerési" aránya és az átlagos margó a második helyezett pontszámától.
• A hatásméret (az egyes LLM -et külön referenciaként használva) Cohen D teszttel.
• Interrater megbízhatóság (kappa érték)