Suurten kielimallien suorituskyvyn vertailu TAP-salpaustutkimuksen ultraäänitulkinnassa: Kaksoissokko prospektiivinen tutkimus
Performance Comparison of Large Language Models in TAP Block Ultrasound Interpretation: A Double-Blind Prospective Study
Tämän tutkimuksen tavoitteena on selvittää, kuinka tarkasti kaksi tekoälymalli (AI), Gemini 2.5 Pro ja ChatGPT-5.1, kykenevät tulkitsemaan Transversus Abdominis Plane (TAP) -blokkiin liittyviä ultraäänivideoita. TAP-blokki on alueellinen anestesiatekniikka, jota käytetään kivunhallintaan leikkauksen jälkeen.
Tutkimuksen keskeiset kysymykset ovat:
Kuinka tarkasti kumpikin tekoälymalli tunnistaa anatomisia rakenteita TAP-blokkiin liittyvillä ultraäänivideoilla? Pystyvätkö tekoälymallit arvioimaan paikallispuudutusaineen leviämisen oikein ja määrittämään, onko blokki onnistunut? Kuinka läheisesti tekoälymallien vastaukset vastaavat asiantuntija-anestesiologien arvioita? Potilaille ei suoriteta ylimääräisiä toimenpiteitä. TAP-blokit tehdään osana rutiininomaista kliinistä hoitoa, ja ultraäänivideot tallennetaan ja anonymisoidaan.
Osallistujien ei tarvitse tehdä tutkimusta varten mitään ylimääräistä. Kokeneet anestesiologit tarkastavat videot ja antavat asiantuntijavastaukset. Tekoälymalleille annetaan samat videot ja ne saavat samat kysymykset. Toinen asiantuntija, joka ei tiedä, mitkä vastaukset ovat peräisin ihmisiltä tai tekoälyltä, vertailee kaikkia vastauksia.
Tulokset auttavat tutkijoita ymmärtämään, voivatko kehittyneet tekoälyjärjestelmät turvallisesti tukea kliinikkoja ultraääniohjattujen alueellisten anestesiamenetelmien tulkinnassa sekä parantaa anestesiakäytännön koulutusta ja päätöksentekoa.
Tutkimuksen yleiskatsaus
Tila
Ehdot
Interventio / Hoito
Yksityiskohtainen kuvaus
Tässä tutkimuksessa pyritään arvioimaan, kuinka kaksi kehittynyttä tekoälymallia (AI), Gemini 2.5 Pro ja ChatGPT-5.1, tulkitsevat ultraääni videoita Transversus Abdominis Plane (TAP) -lohkausmenettelyistä. TAP-lohkaukset suoritetaan osana rutiinikliinistä hoitoa kokeneiden anestesiologien toimesta. Menettelyiden aikana tallennetut ultraääni videot toimivat tämän tutkimuksen aineistolähteenä. Standardihoidon lisäksi ei vaadita muita toimenpiteitä tai potilaan osallistumista.
Ultraääni videoiden käsittely Kaikki ultraäänitallenteet anonymisoidaan täysin poistamalla potilaan nimet, päivämäärät ja kaikki muut tunnistetiedot.
Gemini 2.5 Pro saa alkuperäiset videotiedostot. ChatGPT-5.1 saa samasta aineistosta luotuja korkearesoluutioisia GIF-segmenttejä.
Molemmille malleille annetaan identtiset strukturoidut kehotteet, jotka koostuvat kahdeksasta kliinisesti merkityksellisestä kysymyksestä anatomisista rakenteista, neulan sijoituksesta, paikallispuudutteen leviämisestä, dermatoomisista vaikutuksista ja mahdollisista turvallisuusongelmista.
Asiantuntijaosallistuminen
Kaksi anestesiologia-asiantuntijaa osallistuu toisistaan riippumatta:
Asiantuntija A tarkastelee jokaisen ultraääni videon ja vastaa samoihin kahdeksaan kliiniseen kysymykseen. Nämä vastaukset toimivat ensisijaisena ihmisen kliinisenä viitteenä.
Asiantuntija B arvioi itsenäisesti kaikki vastaukset, niin Asiantuntija A:n, Geminin kuin ChatGPT-5.1:n vastaukset, kun ne on anonymisoitu ja satunnaisesti järjestetty. Asiantuntija B ei tiedä, onko vastaus peräisin tekoälymallista vai ihmisasiantuntijasta. Asiantuntija B arvioi jokaisen vastauksen anatomista tarkkuutta, selkeyttä, kliinistä sopivuutta ja sisällön kokonaislaatua.
Jos Asiantuntija A ja Asiantuntija B ovat eri mieltä minkä tahansa vastauksen tulkinnasta tai laadunarvioinnista, kolmas asiantuntija (Asiantuntija C), joka on myös kokenut ultraääniohjattuun alueelliseen anestesiaan, tarkastelee itsenäisesti kyseiset vastaukset. Asiantuntija C:n arviointia käytetään erimielisyyksien ratkaisemiseen ja lopullisen konsensuksen saavuttamiseen.
Kerätty tieto
Jokaisesta TAP-lohkausvideosta tallennetaan seuraavat tiedot:
Ultraääni- ja menettelytiedot. Potilaan demografiset kuvailijat (ikä, sukupuoli, painoindeksi, ASA-luokitus), joita käytetään vain otoksen yleiseen karakterisointiin.
Tekoälyyn liittyvät suorituskykyominaisuudet, kuten vastauksen täydellisyys, relevanssi, luottamustaso ja vastausaika.
Opintotyyppi
Ilmoittautuminen (Arvioitu)
Yhteystiedot ja paikat
Opiskeluyhteys
- Nimi: Engin ihsan Turan, principal investigator
- Puhelinnumero: +905382431114
- Sähköposti: enginihsan@hotmail.com
Opiskelupaikat
-
-
Istanbul
-
Istanbul, Istanbul, Turkki (Türkiye), 34303
- Rekrytointi
- Health Science University İstanbul Kanuni Sultan Süleyman Education and Training Hospital
-
Ottaa yhteyttä:
- Engin ihsan Turan
- Puhelinnumero: 05382431114
- Sähköposti: enginihsan@hotmail.com
-
-
Osallistumiskriteerit
Kelpoisuusvaatimukset
Opintokelpoiset iät
- Aikuinen
- Vanhempi Aikuinen
Hyväksyy terveitä vapaaehtoisia
Näytteenottomenetelmä
Tutkimusväestö
Kuvaus
Osallistumiskriteerit:
- Aikuiset 18–85-vuotiaat
- ASA I–III fyysinen tila
- Suunniteltu leikkaus, jossa lateraalinen TAP-blokki suoritetaan osana rutiininukutushoitoa
- Täysin ultraääniohjattu blokkausmenettely tallennettuna videolle
- Kyky antaa kirjallinen tietoon perustuva suostumus
Poissulkemiskriteerit:
- Epäonnistunut tai puutteellinen TAP-blokkausmenettely
- Huonolaatuinen ultraäänivideo (neulan kärki tai anestesian leviäminen ei näy)
- Puuttuvat demografiset tai kliiniset tiedot
- Suostumuksen peruutus milloin tahansa
Opintosuunnitelma
Miten tutkimus on suunniteltu?
Suunnittelun yksityiskohdat
Mitä tutkimuksessa mitataan?
Ensisijaiset tulostoimenpiteet
Tulosmittaus |
Toimenpiteen kuvaus |
Aikaikkuna |
|---|---|---|
|
Anatomisen tulkinnan tarkkuus
Aikaikkuna: Videoiden analysointihetkellä
|
Jokaisen ultraäänivideon osalta arvioidaan molempien tekoälymallien (ChatGPT-5.1 ja Gemini 2.5 Pro) kykyä tunnistaa oikein lateraalisen TAP -blokin keskeiset anatomiset rakenteet (sisempi vino lihas, poikittainen vatsalihas, faskiaalitaso, neulan kärki). Kunkin mallin tarkkuutta verrataan asiantuntijan määrittelemään vertailuvastaukseen.
|
Videoiden analysointihetkellä
|
Toissijaiset tulostoimenpiteet
Tulosmittaus |
Toimenpiteen kuvaus |
Aikaikkuna |
|---|---|---|
|
Lohkon Onnistuneen Tulkinnan
Aikaikkuna: Videoiden analysointivaiheessa.
|
Arvio siitä, määrittääkö jokainen tekoälymalli oikein lohkon onnistumisen neulan sijoituksen ja paikallispuudutusaineen leviämisen perusteella verrattuna asiantuntijavertailuarviointiin.
|
Videoiden analysointivaiheessa.
|
|
Neula-tason arviointi
Aikaikkuna: Videon analysoinnin aikana.
|
Määritetään, arvioivatko tekoälymallit oikein neulan kärjen sijainnin ja onko se oikeassa interfaskiaalisessa tasossa (IO-TA-fascia) verrattuna asiantuntijaviitteeseen.
|
Videon analysoinnin aikana.
|
|
Dermatomisen tason ennustaminen
Aikaikkuna: Videon analyysin aikana.
|
Jokaisen tekoälymallin ennustaman dermatoomisen peiton (esim. T10-T12) vertailu asiantuntijan toimittamaan vertailudermatoomitason kanssa.
|
Videon analyysin aikana.
|
|
Riskitietoisuusarviointi
Aikaikkuna: Videoiden analysoinnin aikana.
|
Arvio siitä, tunnistaako jokainen tekoälymalli oikein mahdolliset riskit ultraäänikuvissa (esim. peritoneumin läheisyys, verisuonirakenteet). 0 = ei riskitietoisuutta, 1 = osittainen, 2 = täydellinen ja asianmukainen riskien tunnistaminen. |
Videoiden analysoinnin aikana.
|
|
Suosituksen laatu
Aikaikkuna: Videoiden analysointiaikana.
|
Arvio kunkin mallin ehdotusten sopivuudesta (esim. lisäruiskutuksen tarve, uudelleenasettaminen) ultraäänikuvan perusteella. Laadullinen pisteytys asiantuntija-arvioijan toimesta (0-10). |
Videoiden analysointiaikana.
|
|
Asiantuntijoiden välinen sopimus
Aikaikkuna: Asiantuntija-arviointivaiheen aikana.
|
Arvioida, antavatko asiantuntija A ja asiantuntija B johdonmukaisia arvioita kustakin parametrista; ja ratkaista erimielisyydet asiantuntija C:n avulla tarvittaessa. Sopimus / erimielisyys ratkaistu kolmannen asiantuntijan toimesta. |
Asiantuntija-arviointivaiheen aikana.
|
|
AI:n vastausaika
Aikaikkuna: Taltioitu automaattisesti mallin tulostuksen aikana.
|
Aika, joka kullekin tekoälymallille kuluu kahdeksan standardoidun kysymyksen vastausten luomiseen. Sekuntia (jatkuva muuttuja). |
Taltioitu automaattisesti mallin tulostuksen aikana.
|
Yhteistyökumppanit ja tutkijat
Opintojen ennätyspäivät
Opi tärkeimmät päivämäärät
Opiskelun aloitus (Todellinen)
Ensisijainen valmistuminen (Arvioitu)
Opintojen valmistuminen (Arvioitu)
Opintoihin ilmoittautumispäivät
Ensimmäinen lähetetty
Ensimmäinen toimitettu, joka täytti QC-kriteerit
Ensimmäinen Lähetetty (Todellinen)
Tutkimustietojen päivitykset
Viimeisin päivitys julkaistu (Todellinen)
Viimeisin lähetetty päivitys, joka täytti QC-kriteerit
Viimeksi vahvistettu
Lisää tietoa
Tähän tutkimukseen liittyvät termit
Avainsanat
Muut tutkimustunnusnumerot
- SUCCESS OF LLMs in TAP BLOCK
Yksittäisten osallistujien tietojen suunnitelma (IPD)
Aiotko jakaa yksittäisten osallistujien tietoja (IPD)?
Lääke- ja laitetiedot, tutkimusasiakirjat
Tutkii yhdysvaltalaista FDA sääntelemää lääkevalmistetta
Tutkii yhdysvaltalaista FDA sääntelemää laitetuotetta
Nämä tiedot haettiin suoraan verkkosivustolta clinicaltrials.gov ilman muutoksia. Jos sinulla on pyyntöjä muuttaa, poistaa tai päivittää tutkimustietojasi, ota yhteyttä register@clinicaltrials.gov. Heti kun muutos on otettu käyttöön osoitteessa clinicaltrials.gov, se päivitetään automaattisesti myös verkkosivustollemme .