Prestatievergelijking van Grote Taalmodellen in de Interpretatie van TAP-Block Echografie: Een Dubbelblinde Prospectieve Studie
Prestatievergelijking van grote taalmodelen in TAP-blok echografie-interpretatie: een dubbelblinde prospectieve studie
Het doel van deze studie is te onderzoeken hoe nauwkeurig twee kunstmatige intelligentie (AI) modellen, Gemini 2.5 Pro en ChatGPT-5.1, echovideo's van de Transversus Abdominis Plane (TAP)-blokkade kunnen interpreteren, een regionale anesthesietechniek die wordt gebruikt voor pijnbestrijding na een operatie.
De belangrijkste vragen die deze studie probeert te beantwoorden zijn:
Hoe nauwkeurig kan elk AI-model anatomische structuren identificeren op TAP-blokkade echovideo's? Kunnen de AI-modellen de verspreiding van plaatselijke verdoving correct beoordelen en bepalen of de blokkade succesvol is? Hoe goed komen de antwoorden van de AI-modellen overeen met de beoordelingen van ervaren anesthesiologen? Er zullen geen aanvullende procedures bij patiënten worden uitgevoerd. TAP-blokkades worden uitgevoerd als onderdeel van de routinematige klinische zorg, en de echovideo's worden opgenomen en geanonimiseerd.
Deelnemers hoeven niets extra's te doen voor de studie. Ervaren anesthesiologen zullen de video's beoordelen en deskundige antwoorden geven. De AI-modellen krijgen dezelfde video's te zien en dezelfde vragen gesteld. Een tweede expert, die niet weet welke antwoorden van mensen of AI afkomstig zijn, zal alle reacties vergelijken.
De resultaten zullen onderzoekers helpen te begrijpen of geavanceerde AI-systemen clinici veilig kunnen ondersteunen bij het interpreteren van echogeleide regionale anesthesieprocedures en zo het onderwijs en de besluitvorming in de anesthesiepraktijk kunnen verbeteren.
Studie Overzicht
Toestand
Conditie
Interventie / Behandeling
Gedetailleerde beschrijving
Deze studie heeft als doel te evalueren hoe twee geavanceerde kunstmatige intelligentie (AI)-modellen, Gemini 2.5 Pro en ChatGPT-5.1, ultrageluidvideo's van transversus abdominis plane (TAP)-blokkadeprocedures interpreteren. TAP-blokkades worden uitgevoerd als onderdeel van de routinematige klinische zorg door ervaren anesthesiologen. De ultrageluidvideo's die tijdens deze procedures worden opgenomen, dienen als de gegevensbron voor deze studie. Er zijn geen aanvullende procedures of betrokkenheid van patiënten nodig buiten de standaardzorg.
Verwerking van ultrageluidvideo's Alle ultrageluidopnamen worden volledig geanonimiseerd door patiëntnamen, data en alle andere identificerende informatie te verwijderen.
Gemini 2.5 Pro ontvangt de originele videobestanden. ChatGPT-5.1 ontvangt GIF-segmenten met hoge resolutie die zijn gegenereerd uit dezelfde opnamen.
Beide modellen krijgen identieke gestructureerde prompts bestaande uit acht klinisch relevante vragen over anatomische structuren, naaldplaatsing, verspreiding van lokale anesthetica, dermatoomeffecten en mogelijke veiligheidsproblemen.
Deelname van experts
Twee anesthesiologie-experts nemen onafhankelijk deel:
Expert A beoordeelt elke ultrageluidvideo en beantwoordt dezelfde set van acht klinische vragen. Deze antwoorden dienen als de primaire menselijke klinische referentie.
Expert B beoordeelt onafhankelijk alle antwoorden, zowel die van Expert A, Gemini als ChatGPT-5.1, nadat ze zijn geanonimiseerd en willekeurig gerangschikt. Expert B weet niet of een antwoord afkomstig is van een AI-model of een menselijke expert. Expert B beoordeelt voor elk antwoord de anatomische nauwkeurigheid, duidelijkheid, klinische geschiktheid en de algehele inhoudskwaliteit.
Als Expert A en Expert B het oneens zijn over de interpretatie of kwaliteitsbeoordeling van een antwoord, beoordeelt een derde expert (Expert C), die ook ervaring heeft met echogeleide regionale anesthesie, de relevante antwoorden onafhankelijk. De evaluatie van Expert C wordt gebruikt om verschillen op te lossen en de uiteindelijke consensus vast te stellen.
Verzamelde gegevens
Voor elke TAP-blokkadevideo wordt de volgende informatie geregistreerd:
Ultrageluid- en proceduregegevens. Demografische beschrijvingen van patiënten (leeftijd, geslacht, BMI, ASA-classificatie), alleen gebruikt voor algemene karakterisering van de steekproef.
AI-gerelateerde prestatiekenmerken zoals volledigheid van antwoorden, relevantie, betrouwbaarheidsniveau en antwoordtijd.
Studietype
Inschrijving (Geschat)
Contacten en locaties
Studiecontact
- Naam: Engin ihsan Turan, principal investigator
- Telefoonnummer: +905382431114
- E-mail: enginihsan@hotmail.com
Studie Locaties
-
-
Istanbul
-
Istanbul, Istanbul, Turkije (Türkiye), 34303
- Werving
- Health Science University İstanbul Kanuni Sultan Süleyman Education and Training Hospital
-
Contact:
- Engin ihsan Turan
- Telefoonnummer: 05382431114
- E-mail: enginihsan@hotmail.com
-
-
Deelname Criteria
Geschiktheidscriteria
Leeftijden die in aanmerking komen voor studie
- Volwassen
- Oudere volwassene
Accepteert gezonde vrijwilligers
Bemonsteringsmethode
Studie Bevolking
Beschrijving
Inclusiecriteria:
- Volwassenen van 18-85 jaar
- ASA I-III fysieke status
- Onder electieve chirurgie met een lateraal TAP-blok uitgevoerd als onderdeel van routinematige anesthesiezorg
- Complete echogeleide blokprocedure vastgelegd op video
- In staat om schriftelijke geïnformeerde toestemming te verlenen
Exclusiecriteria:
- Mislukte of onvolledige TAP-blokprocedure
- Echovideo van slechte kwaliteit (naaldpunt of verdovingsverspreiding niet zichtbaar)
- Ontbrekende demografische of klinische gegevens
- Intrekking van toestemming op elk moment
Studie plan
Hoe is de studie opgezet?
Ontwerpdetails
Wat meet het onderzoek?
Primaire uitkomstmaten
Uitkomstmaat |
Maatregel Beschrijving |
Tijdsspanne |
|---|---|---|
|
Nauwkeurigheid van Anatomische Interpretatie
Tijdsspanne: Op het moment van videoanalyse
|
Voor elke echovideo wordt het vermogen van beide AI-modellen (ChatGPT-5.1 en Gemini 2.5 Pro) om de belangrijkste anatomische structuren van het laterale TAP-blok (musculus obliquus internus, musculus transversus abdominis, fasciaal vlak, naaldpunt) correct te identificeren geëvalueerd.
De nauwkeurigheid van elk model wordt vergeleken met het door experts gedefinieerde referentieantwoord.
|
Op het moment van videoanalyse
|
Secundaire uitkomstmaten
Uitkomstmaat |
Maatregel Beschrijving |
Tijdsspanne |
|---|---|---|
|
Blok Succes Interpretatie
Tijdsspanne: Op het moment van videoanalyse.
|
Beoordeling of elk AI-model correct de succes van de blokkade bepaalt op basis van naaldplaatsing en verspreiding van lokale verdoving, vergeleken met de referentie-evaluatie door experts.
|
Op het moment van videoanalyse.
|
|
Naaldvlak Evaluatie
Tijdsspanne: Op het moment van videoanalyse.
|
Bepaling of AI-modellen de locatie van de naaldpunt correct beoordelen en of deze zich in het correcte interfasciale vlak bevindt (IO-TA fascia), vergeleken met de expertreferentie.
|
Op het moment van videoanalyse.
|
|
Dermatomaal Niveau Voorspelling
Tijdsspanne: Op het moment van videoanalyse.
|
Vergelijking van de door elk AI-model voorspelde dermatoomdekking (bijv. T10-T12) met het door de expert verstrekte referentiedermatoomniveau.
|
Op het moment van videoanalyse.
|
|
Risicobewustzijnsbeoordeling
Tijdsspanne: Op het moment van videoanalyse.
|
Evaluatie van of elk AI-model correct potentiële risico's op echobeelden identificeert (bijv. peritoneale nabijheid, vasculaire structuren). 0 = geen risicobewustzijn, 1 = gedeeltelijk, 2 = volledige en adequate risico-identificatie. |
Op het moment van videoanalyse.
|
|
Aanbevelingskwaliteit
Tijdsspanne: Op het moment van videoanalyse.
|
Beoordeling van de geschiktheid van de suggesties van elk model (bijv. behoefte aan extra injectie, herpositionering) op basis van het echografisch beeld. Kwalitatieve score door deskundige beoordelaar (0-10). |
Op het moment van videoanalyse.
|
|
Overeenkomst tussen deskundigen
Tijdsspanne: Tijdens de expert-evaluatiefase.
|
Om te beoordelen of Expert A en Expert B consistente oordelen geven voor elke parameter; en om verschillen op te lossen via Expert C indien nodig. Overeenstemming / Meningsverschil opgelost door derde expert. |
Tijdens de expert-evaluatiefase.
|
|
AI-responsietijd
Tijdsspanne: Automatisch vastgelegd tijdens modeluitvoer.
|
Tijd die elk AI-model nodig heeft om antwoorden te genereren op de acht gestandaardiseerde vragen. Seconden (continue variabele). |
Automatisch vastgelegd tijdens modeluitvoer.
|
Medewerkers en onderzoekers
Studie record data
Bestudeer belangrijke data
Studie start (Werkelijk)
Primaire voltooiing (Geschat)
Studie voltooiing (Geschat)
Studieregistratiedata
Eerst ingediend
Eerst ingediend dat voldeed aan de QC-criteria
Eerst geplaatst (Werkelijk)
Updates van studierecords
Laatste update geplaatst (Werkelijk)
Laatste update ingediend die voldeed aan QC-criteria
Laatst geverifieerd
Meer informatie
Termen gerelateerd aan deze studie
Trefwoorden
Andere studie-ID-nummers
- SUCCESS OF LLMs in TAP BLOCK
Plan Individuele Deelnemersgegevens (IPD)
Bent u van plan om gegevens van individuele deelnemers (IPD) te delen?
Informatie over medicijnen en apparaten, studiedocumenten
Bestudeert een door de Amerikaanse FDA gereguleerd geneesmiddel
Bestudeert een door de Amerikaanse FDA gereguleerd apparaatproduct
Deze informatie is zonder wijzigingen rechtstreeks van de website clinicaltrials.gov gehaald. Als u verzoeken heeft om uw onderzoeksgegevens te wijzigen, te verwijderen of bij te werken, neem dan contact op met register@clinicaltrials.gov. Zodra er een wijziging wordt doorgevoerd op clinicaltrials.gov, wordt deze ook automatisch bijgewerkt op onze website .