Srovnání výkonnosti velkých jazykových modelů při interpretaci ultrazvuku pro TAP blokádu: Dvojitě slepá prospektivní studie
Srovnání výkonnosti velkých jazykových modelů v interpretaci ultrazvuku pro TAP blok: Dvojitě zaslepená prospektivní studie
Cílem této studie je zjistit, jak přesně dva modely umělé inteligence (AI), Gemini 2.5 Pro a ChatGPT-5.1, dokáží interpretovat ultrazvuková videa blokády Transversus Abdominis Plane (TAP), což je technika regionální anestezie používaná pro kontrolu bolesti po operaci.
Hlavní otázky, na které se tato studie snaží odpovědět, jsou:
Jak přesně dokáže každý model AI identifikovat anatomické struktury na ultrazvukových videích TAP blokády? Dokáží modely AI správně vyhodnotit šíření lokálního anestetika a určit, zda je blokáda úspěšná? Jak blízko se odpovědi modelů AI shodují s hodnocením expertních anesteziologů? Na pacientech nebudou prováděny žádné další procedury. TAP blokády budou prováděny jako součást rutinní klinické péče a ultrazvuková videa budou zaznamenána a anonymizována.
Účastníci nebudou muset pro studii dělat nic navíc. Zkušení anesteziologové zhodnotí videa a poskytnou expertní odpovědi. Modelům AI budou poskytnuta stejná videa a položeny stejné otázky. Druhý expert, který neví, které odpovědi pocházejí od lidí a které od AI, porovná všechny odpovědi.
Výsledky pomohou výzkumníkům pochopit, zda pokročilé systémy AI mohou bezpečně podporovat kliniky při interpretaci ultrazvukem vedených regionálních anesteziologických procedur a zlepšit vzdělávání a rozhodování v anesteziologické praxi.
Přehled studie
Postavení
Podmínky
Intervence / Léčba
Detailní popis
Tato studie si klade za cíl vyhodnotit, jak dva pokročilé modely umělé inteligence (AI), Gemini 2.5 Pro a ChatGPT-5.1, interpretují ultrazvuková videa procedur blokády transversus abdominis plane (TAP). Blokády TAP jsou prováděny jako součást rutinní klinické péče zkušenými anesteziology. Ultrazvuková videa pořízená během těchto procedur slouží jako zdroj dat pro tuto studii. Kromě standardní péče nejsou vyžadovány žádné další procedury ani zapojení pacientů.
Zpracování ultrazvukových videí Všechny ultrazvukové záznamy budou plně anonymizovány odstraněním jmen pacientů, dat a jakýchkoli dalších identifikačních údajů.
Gemini 2.5 Pro obdrží původní video soubory. ChatGPT-5.1 obdrží segmenty ve formátu GIF s vysokým rozlišením vygenerované ze stejných záznamů.
Oba modely dostanou identické strukturované pokyny skládající se z osmi klinicky relevantních otázek o anatomických strukturách, umístění jehly, šíření místního anestetika, dermatomálních účincích a potenciálních bezpečnostních obavách.
Účast expertů
Nezávisle se budou účastnit dva experti na anesteziologii:
Expert A zreviduje každé ultrazvukové video a odpoví na stejnou sadu osmi klinických otázek. Tyto odpovědi poslouží jako primární lidský klinický referenční bod.
Expert B nezávisle vyhodnotí všechny odpovědi – od experta A, Gemini a ChatGPT-5.1 – poté, co budou anonymizovány a náhodně seřazeny. Expert B nebude vědět, zda odpověď pochází od modelu AI nebo lidského experta. Expert B posoudí anatomickou přesnost, jasnost, klinickou vhodnost a celkovou kvalitu obsahu každé odpovědi.
Pokud se expert A a expert B neshodnou na interpretaci nebo hodnocení kvality jakékoli odpovědi, třetí expert (expert C), který je rovněž zkušený v ultrazvukem řízené regionální anestezii, nezávisle zreviduje příslušné odpovědi. Hodnocení experta C bude použito k vyřešení nesrovnalostí a stanovení konečného konsenzu.
Shromážděná data
Pro každé video blokády TAP budou zaznamenány následující informace:
Detaily ultrazvuku a procedury. Demografické deskriptory pacienta (věk, pohlaví, BMI, klasifikace ASA), použité pouze pro obecnou charakterizaci vzorku.
Výkonnostní charakteristiky související s AI, jako je úplnost odpovědi, relevance, úroveň důvěry a čas odpovědi.
Typ studie
Zápis (Odhadovaný)
Kontakty a umístění
Studijní kontakt
- Jméno: Engin ihsan Turan, principal investigator
- Telefonní číslo: +905382431114
- E-mail: enginihsan@hotmail.com
Studijní místa
-
-
Istanbul
-
Istanbul, Istanbul, Turecko (Türkiye), 34303
- Nábor
- Health Science University İstanbul Kanuni Sultan Süleyman Education and Training Hospital
-
Kontakt:
- Engin ihsan Turan
- Telefonní číslo: 05382431114
- E-mail: enginihsan@hotmail.com
-
-
Kritéria účasti
Kritéria způsobilosti
Věk způsobilý ke studiu
- Dospělý
- Starší dospělý
Přijímá zdravé dobrovolníky
Metoda odběru vzorků
Studijní populace
Popis
Kritéria zařazení:
- Dospělí ve věku 18–85 let
- Fyzický stav ASA I–III
- Podstupují plánovaný chirurgický zákrok s laterálním TAP blokem provedeným jako součást rutinní anesteziologické péče
- Kompletní ultrazvukem vedený blokový výkon zaznamenaný na video
- Schopni poskytnout písemný informovaný souhlas
Kritéria vyloučení:
- Neúspěšný nebo neúplný výkon TAP bloku
- Nekvalitní ultrazvukové video (špička jehly nebo šíření anestetika nejsou viditelné)
- Chybějící demografické nebo klinické údaje
- Odvolání souhlasu kdykoli
Studijní plán
Jak je studie koncipována?
Detaily designu
Co je měření studie?
Primární výstupní opatření
Měření výsledku |
Popis opatření |
Časové okno |
|---|---|---|
|
Přesnost anatomické interpretace
Časové okno: V době analýzy videa
|
Pro každé ultrazvukové video bude vyhodnocena schopnost obou modelů AI (ChatGPT-5.1 a Gemini 2.5 Pro) správně identifikovat klíčové anatomické struktury laterálního TAP bloku (vnitřní šikmý sval, příčný břišní sval, fasciální rovina, hrot jehly).
Přesnost každého modelu bude porovnána s referenční odpovědí definovanou odborníkem. |
V době analýzy videa
|
Sekundární výstupní opatření
Měření výsledku |
Popis opatření |
Časové okno |
|---|---|---|
|
Interpretace úspěšnosti bloku
Časové okno: V době analýzy videa.
|
Posouzení, zda každý model AI správně určuje úspěšnost blokády na základě umístění jehly a šíření lokálního anestetika, ve srovnání s odborným referenčním hodnocením.
|
V době analýzy videa.
|
|
Hodnocení roviny jehly
Časové okno: V době analýzy videa.
|
Stanovení, zda modely umělé inteligence správně vyhodnocují polohu špičky jehly a zda se nachází ve správné interfasciální rovině (fascia IO-TA), ve srovnání s odborným referenčním standardem.
|
V době analýzy videa.
|
|
Předpověď Dermatomální Úrovně
Časové okno: V době analýzy videa.
|
Porovnání predikovaného dermatomálního pokrytí každého AI modelu (např. T10-T12) s referenční dermatomální úrovní poskytnutou odborníkem.
|
V době analýzy videa.
|
|
Posouzení povědomí o rizicích
Časové okno: V době analýzy videa.
|
Hodnocení, zda každý model AI správně identifikuje potenciální rizika na ultrazvukových snímcích (např. blízkost pobřišnice, cévní struktury). 0 = žádné povědomí o riziku, 1 = částečné, 2 = úplná a vhodná identifikace rizika. |
V době analýzy videa.
|
|
Kvalita doporučení
Časové okno: V době analýzy videa.
|
Posouzení vhodnosti návrhů každého modelu (např. potřeba dodatečné injekce, změna polohy) na základě ultrazvukového obrazu. Kvalitativní hodnocení odborným hodnotitelem (0-10). |
V době analýzy videa.
|
|
Dohoda mezi odborníky
Časové okno: Během fáze odborného hodnocení.
|
Vyhodnotit, zda Expert A a Expert B poskytují konzistentní posouzení pro každý parametr; a v případě potřeby vyřešit nesrovnalosti prostřednictvím Experta C. Shoda / neshoda vyřešena třetím odborníkem. |
Během fáze odborného hodnocení.
|
|
Čas odezvy AI
Časové okno: Zachyceno automaticky během výstupu modelu.
|
Čas potřebný pro každý model AI k vygenerování odpovědí na osm standardizovaných otázek. Sekundy (spojitá proměnná). |
Zachyceno automaticky během výstupu modelu.
|
Spolupracovníci a vyšetřovatelé
Termíny studijních záznamů
Hlavní termíny studia
Začátek studia (Aktuální)
Primární dokončení (Odhadovaný)
Dokončení studie (Odhadovaný)
Termíny zápisu do studia
První předloženo
První předloženo, které splnilo kritéria kontroly kvality
První zveřejněno (Aktuální)
Aktualizace studijních záznamů
Poslední zveřejněná aktualizace (Aktuální)
Odeslaná poslední aktualizace, která splnila kritéria kontroly kvality
Naposledy ověřeno
Více informací
Termíny související s touto studií
Klíčová slova
Další identifikační čísla studie
- SUCCESS OF LLMs in TAP BLOCK
Plán pro data jednotlivých účastníků (IPD)
Plánujete sdílet data jednotlivých účastníků (IPD)?
Informace o lécích a zařízeních, studijní dokumenty
Studuje lékový produkt regulovaný americkým FDA
Studuje produkt zařízení regulovaný americkým úřadem FDA
Tyto informace byly beze změn načteny přímo z webu clinicaltrials.gov. Máte-li jakékoli požadavky na změnu, odstranění nebo aktualizaci podrobností studie, kontaktujte prosím register@clinicaltrials.gov. Jakmile bude změna implementována na clinicaltrials.gov, bude automaticky aktualizována i na našem webu .