Performance Comparison of Large Language Models in TAP Block Ultrasound Interpretation: A Double-Blind Prospective Study
Formålet med denne undersøgelse er at lære, hvor præcist to kunstig intelligens (AI)-modeller, Gemini 2.5 Pro og ChatGPT-5.1, kan fortolke ultralydsvideoer af Transversus Abdominis Plane (TAP)-blokken, en regional anæstesiteknik, der anvendes til smertelindring efter operation.
De vigtigste spørgsmål, som denne undersøgelse sigter mod at besvare, er:
Hvor præcist kan hver AI-model identificere anatomiske strukturer på TAP-blok ultralydsvideoer? Kan AI-modellerne korrekt evaluere spredningen af lokalbedøvelse og afgøre, om blokken er vellykket? Hvor tæt matcher AI-modellernes svar evalueringerne fra ekspertanæstesilæger? Der vil ikke blive udført yderligere procedurer på patienterne. TAP-blokke vil blive udført som en del af den rutinemæssige kliniske behandling, og ultralydsvideoerne vil blive optaget og anonymiseret.
Deltagerne behøver ikke at gøre noget ekstra for undersøgelsen. Erfarne anæstesilæger vil gennemgå videoerne og give ekspertsvar. AI-modellerne vil få de samme videoer og stille de samme spørgsmål. En anden ekspert, som ikke ved, hvilke svar der kommer fra mennesker eller AI, vil sammenligne alle svar.
Resultaterne vil hjælpe forskere med at forstå, om avancerede AI-systemer sikkert kan støtte klinikere i at fortolke ultralydsguidet regional anæstesiprocedurer og forbedre uddannelse og beslutningstagning i anæstesipraksis.
Studieoversigt
Status
Status
Betingelser
Betingelser
Intervention / Behandling
Intervention / Behandling
Detaljeret beskrivelse
Denne undersøgelse har til formål at evaluere, hvordan to avancerede kunstig intelligens-modeller (AI), Gemini 2.5 Pro og ChatGPT-5.1, fortolker ultralydsvideoer af Transversus Abdominis Plane (TAP)-blokprocedurer. TAP-blokke udføres som en del af rutinemæssig klinisk behandling af erfarne anæstesiologer. Ultralydsvideoerne optaget under disse procedurer tjener som datakilden til denne undersøgelse. Der kræves ingen yderligere procedurer eller patientinvolvering ud over standardbehandlingen.
Behandling af Ultralydsvideo Alle ultralydsoptagelser vil blive fuldt anonymiseret ved at fjerne patientnavne, datoer og enhver anden identifierende information.
Gemini 2.5 Pro vil modtage originale videofiler. ChatGPT-5.1 vil modtage højopløselige GIF-segmenter genereret fra de samme optagelser.
Begge modeller vil modtage identiske strukturede prompts bestående af otte klinisk relevante spørgsmål om anatomiske strukturer, nåleplacering, spredning af lokalbedøvelse, dermatomale effekter og potentielle sikkerhedsproblemer.
Ekspertdeltagelse
To anæstesiologieksperter vil deltage uafhængigt:
Ekspert A vil gennemgå hver ultralydsvideo og besvare det samme sæt af otte kliniske spørgsmål. Disse svar vil tjene som den primære humane kliniske reference.
Ekspert B vil uafhængigt evaluere alle svar, både fra Ekspert A, Gemini og ChatGPT-5.1, efter de er blevet anonymiseret og tilfældigt ordnet. Ekspert B vil ikke vide, om et svar stammer fra en AI-model eller en humanekspert. Ekspert B vil vurdere anatomisk nøjagtighed, klarhed, klinisk relevans og den samlede indholdskvalitet for hvert svar.
Hvis Ekspert A og Ekspert B er uenige om fortolkningen eller kvalitetsvurderingen af et svar, vil en tredje ekspert (Ekspert C), som også er erfaren i ultralydsvejledt regional anæstesi, uafhængigt gennemgå de relevante svar. Ekspert C's evaluering vil blive brugt til at løse uoverensstemmelser og etablere den endelige konsensus.
Indsamlede Data
For hver TAP-blokvideo vil følgende information blive registreret:
Ultralyds- og proceduredetaljer. Patientdemografiske beskrivelser (alder, køn, BMI, ASA-klassifikation), kun brugt til generel karakterisering af prøven.
AI-relaterede ydelsesfunktioner såsom svarfuldstændighed, relevans, konfidensniveau og svar tid.
Undersøgelsestype
Undersøgelsestype
Tilmelding (Anslået)
Tilmelding
Kontakter og lokationer
Studiekontakt
Studiekontakt
- Navn: Engin ihsan Turan, principal investigator
- Telefonnummer: +905382431114
- E-mail: enginihsan@hotmail.com
Studiesteder
-
-
Istanbul
-
Istanbul, Istanbul, Tyrkiet (Türkiye), 34303
- Rekruttering
- Health Science University İstanbul Kanuni Sultan Süleyman Education and Training Hospital
-
Kontakt:
- Engin ihsan Turan
- Telefonnummer: 05382431114
- E-mail: enginihsan@hotmail.com
-
-
Deltagelseskriterier
Berettigelseskriterier
Berettigelseskriterier
Aldre berettiget til at studere
- Voksen
- Ældre voksen
Tager imod sunde frivillige
Prøveudtagningsmetode
Studiebefolkning
Beskrivelse
Inklusionskriterier:
- Voksne i alderen 18-85 år
- ASA I-III fysisk status
- Planlagt elektiv kirurgi med en lateral TAP-blok udført som en del af rutinemæssig anæstesibehandling
- Komplet ultralydsvejledt blokprocedure optaget på video
- I stand til at give skriftlig informeret samtykke
Eksklusionskriterier:
- Mislykket eller ufuldstændig TAP-blokprocedure
- Ultralydsvideo af dårlig kvalitet (nålens spids eller anæstetikums udbredelse ikke synlig)
- Manglende demografiske eller kliniske data
- Tilbagetrækning af samtykke på et hvilket som helst tidspunkt
Studieplan
Hvordan er undersøgelsen tilrettelagt?
Design detaljer
Hvad måler undersøgelsen?
Primære resultatmål
Primære resultatmål
Resultatmål |
Foranstaltningsbeskrivelse |
Tidsramme |
|---|---|---|
|
Nøjagtighed af anatomisk fortolkning
Tidsramme: På tidspunktet for videoanalysen
|
For hver ultralydsvideo vil evnen hos begge AI-modeller (ChatGPT-5.1 og Gemini 2.5 Pro) til korrekt at identificere de vigtige anatomiske strukturer ved lateral TAP-blok (internal oblique, transversus abdominis, fascialplan, nålespids) blive evalueret.
Nøjagtigheden af hver model vil blive sammenlignet med den ekspertdefinerede referencebesvarelse.
|
På tidspunktet for videoanalysen
|
Sekundære resultatmål
Sekundære resultatmål
Resultatmål |
Foranstaltningsbeskrivelse |
Tidsramme |
|---|---|---|
|
Blok Succesfortolkning
Tidsramme: På tidspunktet for videoanalyse.
|
Vurdering af, om hver AI-model korrekt fastlægger blokadesucces baseret på nålplacering og lokalbedøvelses spredning, sammenlignet med ekspertreferencevurdering.
|
På tidspunktet for videoanalyse.
|
|
Nålplanvurdering
Tidsramme: På tidspunktet for videoanalyse.
|
Afgørelse af, om AI-modeller korrekt vurderer nålespidsens placering og om den er inden for det korrekte interfasciale plan (IO-TA-fascie), sammenlignet med den ekspertreference.
|
På tidspunktet for videoanalyse.
|
|
Dermatomt niveauforudsigelse
Tidsramme: På tidspunktet for videoanalyse.
|
Sammenligning af hver AI-models forudsagte dermatomale dækning (f.eks. T10-T12) med den ekspertleverede reference dermatomale niveau.
|
På tidspunktet for videoanalyse.
|
|
Risikovurdering
Tidsramme: På tidspunktet for videoanalyse.
|
Evaluering af, om hver AI-model korrekt identificerer potentielle risici på ultralydsbilleder (f.eks. peritoneal nærhed, vaskulære strukturer). 0 = ingen risikoopmærksomhed, 1 = delvis, 2 = fuldstændig og passende risikoidentifikation. |
På tidspunktet for videoanalyse.
|
|
Anbefalingskvalitet
Tidsramme: På tidspunktet for videoanalyse.
|
Vurdering af passendeheden af hver models forslag (f.eks. behov for yderligere injektion, repositionering) baseret på ultralydsbilledet. Kvalitativ scoring af ekspertvurderer (0-10). |
På tidspunktet for videoanalyse.
|
|
Enighed mellem eksperter
Tidsramme: Under ekspertvurderingsfasen.
|
At evaluere, om Ekspert A og Ekspert B giver konsekvente vurderinger for hver parameter; og at løse uoverensstemmelser gennem Ekspert C, når det er nødvendigt. Enighed / Uenighed løst af tredje ekspert. |
Under ekspertvurderingsfasen.
|
|
AI-svarstid
Tidsramme: Indfanget automatisk under modeloutput.
|
Tid, der kræves for hver AI-model til at generere svar på de otte standardiserede spørgsmål. Sekunder (kontinuerlig variabel). |
Indfanget automatisk under modeloutput.
|
Samarbejdspartnere og efterforskere
Sponsor
Sponsor
Datoer for undersøgelser
Studer store datoer
Studiestart (Faktiske)
Studiestart
Primær færdiggørelse (Anslået)
Primær færdiggørelse
Studieafslutning (Anslået)
Studieafslutning
Datoer for studieregistrering
Først indsendt
Først indsendt
Først indsendt, der opfyldte QC-kriterier
Først indsendt, der opfyldte QC-kriterier
Først opslået (Faktiske)
Først opslået
Opdateringer af undersøgelsesjournaler
Sidste opdatering sendt (Faktiske)
Sidste opdatering sendt
Sidste opdatering indsendt, der opfyldte kvalitetskontrolkriterier
Sidste opdatering indsendt, der opfyldte kvalitetskontrolkriterier
Sidst verificeret
Sidst verificeret
Mere information
Begreber relateret til denne undersøgelse
Nøgleord
Andre undersøgelses-id-numre
Andre undersøgelses-id-numre
- SUCCESS OF LLMs in TAP BLOCK
Plan for individuelle deltagerdata (IPD)
Planlægger du at dele individuelle deltagerdata (IPD)?
Lægemiddel- og udstyrsoplysninger, undersøgelsesdokumenter
Studerer et amerikansk FDA-reguleret lægemiddelprodukt
Studerer et amerikansk FDA-reguleret enhedsprodukt
Disse oplysninger blev hentet direkte fra webstedet clinicaltrials.gov uden ændringer. Hvis du har nogen anmodninger om at ændre, fjerne eller opdatere dine undersøgelsesoplysninger, bedes du kontakte register@clinicaltrials.gov. Så snart en ændring er implementeret på clinicaltrials.gov, vil denne også blive opdateret automatisk på vores hjemmeside .