Comparaison des performances des grands modèles de langage dans l'interprétation des échographies du bloc TAP : une étude prospective en double aveugle
Comparaison des performances des grands modèles de langage dans l'interprétation échographique du bloc TAP : Une étude prospective en double aveugle
L'objectif de cette étude est d'évaluer la précision avec laquelle deux modèles d'intelligence artificielle (IA), Gemini 2.5 Pro et ChatGPT-5.1, peuvent interpréter des vidéos échographiques du bloc du plan transverse de l'abdomen (TAP), une technique d'anesthésie régionale utilisée pour le contrôle de la douleur après une chirurgie.
Les principales questions que cette étude vise à répondre sont :
Quelle est la précision de chaque modèle d'IA pour identifier les structures anatomiques sur les vidéos échographiques du bloc TAP ? Les modèles d'IA peuvent-ils évaluer correctement la diffusion de l'anesthésique local et déterminer si le bloc est réussi ? Dans quelle mesure les réponses des modèles d'IA correspondent-elles aux évaluations des anesthésistes experts ? Aucune procédure supplémentaire ne sera effectuée sur les patients. Les blocs TAP seront réalisés dans le cadre des soins cliniques de routine, et les vidéos échographiques seront enregistrées et anonymisées.
Les participants n'auront rien à faire de supplémentaire pour l'étude. Des anesthésistes expérimentés examineront les vidéos et fourniront des réponses expertes. Les modèles d'IA recevront les mêmes vidéos et se verront poser les mêmes questions. Un deuxième expert, qui ne sait pas quelles réponses proviennent des humains ou de l'IA, comparera toutes les réponses.
Les résultats aideront les chercheurs à comprendre si les systèmes d'IA avancés peuvent soutenir en toute sécurité les cliniciens dans l'interprétation des procédures d'anesthésie régionale guidée par échographie et améliorer l'éducation et la prise de décision dans la pratique anesthésique.
Aperçu de l'étude
Statut
Les conditions
Intervention / Traitement
Description détaillée
Cette étude vise à évaluer comment deux modèles avancés d'intelligence artificielle (IA), Gemini 2.5 Pro et ChatGPT-5.1, interprètent les vidéos échographiques des procédures de bloc du plan transverse de l'abdomen (TAP). Les blocs TAP sont réalisés dans le cadre des soins cliniques de routine par des anesthésistes expérimentés. Les vidéos échographiques enregistrées pendant ces procédures servent de source de données pour cette étude. Aucune procédure supplémentaire ou implication du patient n'est requise au-delà des soins standard.
Traitement des vidéos échographiques Tous les enregistrements échographiques seront entièrement anonymisés en supprimant les noms des patients, les dates et toute autre information d'identification.
Gemini 2.5 Pro recevra les fichiers vidéo originaux. ChatGPT-5.1 recevra des segments GIF haute résolution générés à partir des mêmes enregistrements.
Les deux modèles recevront des invites structurées identiques, composées de huit questions cliniquement pertinentes sur les structures anatomiques, le placement de l'aiguille, la diffusion de l'anesthésique local, les effets dermatomaux et les préoccupations de sécurité potentielles.
Participation d'experts
Deux experts en anesthésiologie participeront indépendamment :
L'expert A examinera chaque vidéo échographique et répondra aux mêmes huit questions cliniques. Ces réponses serviront de référence clinique humaine principale.
L'expert B évaluera indépendamment toutes les réponses, celles de l'expert A, de Gemini et de ChatGPT-5.1, après qu'elles aient été anonymisées et ordonnées aléatoirement. L'expert B ne saura pas si une réponse provient d'un modèle d'IA ou d'un expert humain. L'expert B évaluera la précision anatomique, la clarté, la pertinence clinique et la qualité globale du contenu pour chaque réponse.
Si l'expert A et l'expert B ne sont pas d'accord sur l'interprétation ou l'évaluation de la qualité d'une réponse, un troisième expert (expert C), également expérimenté en anesthésie régionale échoguidée, examinera indépendamment les réponses concernées. L'évaluation de l'expert C sera utilisée pour résoudre les divergences et établir le consensus final.
Données recueillies
Pour chaque vidéo de bloc TAP, les informations suivantes seront enregistrées :
Détails échographiques et procéduraux. Descripteurs démographiques des patients (âge, sexe, IMC, classification ASA), utilisés uniquement pour la caractérisation générale de l'échantillon.
Caractéristiques de performance liées à l'IA telles que l'exhaustivité des réponses, la pertinence, le niveau de confiance et le temps de réponse.
Type d'étude
Inscription (Estimé)
Contacts et emplacements
Coordonnées de l'étude
- Nom: Engin ihsan Turan, principal investigator
- Numéro de téléphone: +905382431114
- E-mail: enginihsan@hotmail.com
Lieux d'étude
-
-
Istanbul
-
Istanbul, Istanbul, Turquie (Türkiye), 34303
- Recrutement
- Health Science University İstanbul Kanuni Sultan Süleyman Education and Training Hospital
-
Contact:
- Engin ihsan Turan
- Numéro de téléphone: 05382431114
- E-mail: enginihsan@hotmail.com
-
-
Critères de participation
Critère d'éligibilité
Âges éligibles pour étudier
- Adulte
- Adulte plus âgé
Accepte les volontaires sains
Méthode d'échantillonnage
Population étudiée
La description
Critères d'inclusion :
- Adultes âgés de 18 à 85 ans
- État physique ASA I-III
- Subissant une chirurgie élective avec un bloc TAP latéral réalisé dans le cadre des soins anesthésiques de routine
- Procédure de bloc échoguidée complète enregistrée en vidéo
- Capable de fournir un consentement éclairé écrit
Critères d'exclusion :
- Procédure de bloc TAP infructueuse ou incomplète
- Vidéo échographique de mauvaise qualité (pointe de l'aiguille ou diffusion de l'anesthésique non visible)
- Données démographiques ou cliniques manquantes
- Retrait du consentement à tout moment
Plan d'étude
Comment l'étude est-elle conçue ?
Détails de conception
Que mesure l'étude ?
Principaux critères de jugement
Mesure des résultats |
Description de la mesure |
Délai |
|---|---|---|
|
Précision de l'Interprétation Anatomique
Délai: Au moment de l'analyse vidéo
|
Pour chaque vidéo d'échographie, la capacité des deux modèles d'IA (ChatGPT-5.1 et Gemini 2.5 Pro) à identifier correctement les structures anatomiques clés du bloc TAP latéral (oblique interne, transversus abdominis, plan fascial, pointe de l'aiguille) sera évaluée.
La précision de chaque modèle sera comparée à la réponse de référence définie par les experts. |
Au moment de l'analyse vidéo
|
Mesures de résultats secondaires
Mesure des résultats |
Description de la mesure |
Délai |
|---|---|---|
|
Interprétation du succès du bloc
Délai: Au moment de l'analyse vidéo.
|
Évaluation de la capacité de chaque modèle d'IA à déterminer correctement le succès du bloc en fonction du positionnement de l'aiguille et de la diffusion de l'anesthésique local, comparée à l'évaluation de référence par des experts.
|
Au moment de l'analyse vidéo.
|
|
Évaluation du Plan de l'Aiguille
Délai: Au moment de l'analyse vidéo.
|
Détermination de si les modèles d'IA évaluent correctement l'emplacement de la pointe de l'aiguille et s'il se trouve dans le plan interfascial correct (fascia IO-TA), comparé à la référence d'expert.
|
Au moment de l'analyse vidéo.
|
|
Prédiction du Niveau Dermatomal
Délai: Au moment de l'analyse vidéo.
|
Comparaison de la couverture dermatomique prédite par chaque modèle d'IA (par exemple, T10-T12) avec le niveau dermatomique de référence fourni par l'expert.
|
Au moment de l'analyse vidéo.
|
|
Évaluation de la Conscience des Risques
Délai: Au moment de l'analyse vidéo.
|
Évaluation de la capacité de chaque modèle d'IA à identifier correctement les risques potentiels sur les images échographiques (par exemple, proximité péritonéale, structures vasculaires). 0 = aucune conscience du risque, 1 = partielle, 2 = identification complète et appropriée des risques. |
Au moment de l'analyse vidéo.
|
|
Qualité des Recommandations
Délai: Au moment de l'analyse vidéo.
|
Évaluation de la pertinence des suggestions de chaque modèle (par exemple, nécessité d'une injection supplémentaire, repositionnement) en fonction de l'apparence à l'échographie. Notation qualitative par un évaluateur expert (0-10). |
Au moment de l'analyse vidéo.
|
|
Accord entre experts
Délai: Pendant la phase d'évaluation par des experts.
|
Évaluer si l'Expert A et l'Expert B fournissent des jugements cohérents pour chaque paramètre ; et résoudre les divergences par l'intermédiaire de l'Expert C si nécessaire. Accord / Désaccord résolu par un troisième expert. |
Pendant la phase d'évaluation par des experts.
|
|
Temps de Réponse de l'IA
Délai: Capturé automatiquement lors de la sortie du modèle.
|
Temps nécessaire pour chaque modèle d'IA pour générer des réponses aux huit questions standardisées. Secondes (variable continue). |
Capturé automatiquement lors de la sortie du modèle.
|
Collaborateurs et enquêteurs
Dates d'enregistrement des études
Dates principales de l'étude
Début de l'étude (Réel)
Achèvement primaire (Estimé)
Achèvement de l'étude (Estimé)
Dates d'inscription aux études
Première soumission
Première soumission répondant aux critères de contrôle qualité
Première publication (Réel)
Mises à jour des dossiers d'étude
Dernière mise à jour publiée (Réel)
Dernière mise à jour soumise répondant aux critères de contrôle qualité
Dernière vérification
Plus d'information
Termes liés à cette étude
Mots clés
Autres numéros d'identification d'étude
- SUCCESS OF LLMs in TAP BLOCK
Plan pour les données individuelles des participants (IPD)
Prévoyez-vous de partager les données individuelles des participants (DPI) ?
Informations sur les médicaments et les dispositifs, documents d'étude
Étudie un produit pharmaceutique réglementé par la FDA américaine
Étudie un produit d'appareil réglementé par la FDA américaine
Ces informations ont été extraites directement du site Web clinicaltrials.gov sans aucune modification. Si vous avez des demandes de modification, de suppression ou de mise à jour des détails de votre étude, veuillez contacter register@clinicaltrials.gov. Dès qu'un changement est mis en œuvre sur clinicaltrials.gov, il sera également mis à jour automatiquement sur notre site Web .