Wirksamkeit eines künstlichen intelligenten Tutoring-Systems im Simulationstraining
Vergleich des virtuellen Operationsassistenten mit fachkundiger Anleitung in der chirurgischen Ausbildung: Eine randomisierte kontrollierte Studie
Kurze Zusammenfassung:
Hintergrund:
Obwohl chirurgische Erfahrung und technische Fähigkeiten mit besseren Patientenergebnissen verbunden sind, ist die Quantifizierung der chirurgischen Fähigkeiten im Operationssaal eine Herausforderung. In der chirurgischen Ausbildung können große Datensätze, die von High-Fidelity-Virtual-Reality-Simulatoren generiert werden, von maschinellen Lernalgorithmen verwendet werden, um die Leistung und Kompetenz der Auszubildenden objektiv anhand von Experten-Benchmarks zu messen. Dies ermöglicht das wiederholte Üben chirurgischer Fähigkeiten in einer sicheren und risikofreien Umgebung mit sofortigem Feedback.
Unsere Gruppe hat ein intelligentes Nachhilfesystem namens Virtual Operative Assistant (VOA) entwickelt und zum Patent angemeldet. Unter Verwendung eines Support-Vector-Machine-Algorithmus für künstliche Intelligenz (KI) bewertet das VOA Daten, die von der Simulatorplattform NeuroVR (CAE Healthcare) stammen, und bietet individualisiertes audiovisuelles Feedback, um die Leistung der Lernenden während simulierter Hirntumorresektionen zu verbessern. Die Wirksamkeit von intelligenten Tutorensystemen wie dem VOA zur humanchirurgischen Lehrlingspädagogik bleibt zu klären.
Das Ziel dieser Studie ist es, die Wirksamkeit und pädagogische Wirkung von personalisiertem VOA-Feedback mit Expertenanweisungen zum Erlernen der technischen Fähigkeiten von Medizinstudenten eines Virtual-Reality-Tumorresektionsverfahrens zu vergleichen.
Spezifische Ziele: 1) Bewertung, ob Medizinstudenten, die personalisiertes VOA-Feedback erhalten, ihre chirurgische Leistung statistisch verbessern im Vergleich zu denen, die (a) kein Experten-Dozenten-Feedback oder (b) Experten-Dozenten-vermitteltes Feedback erhalten. 2) Um zu skizzieren, ob das intelligente VOA-Nachhilfesystem bei Medizinstudenten während der Durchführung dieser Leistungsaufgabe im Vergleich zum menschlichen Unterricht unterschiedliche Emotionen hervorruft
Studienübersicht
Status
Bedingungen
Detaillierte Beschreibung
Design: Eine dreiarmige, teilweise verblindete, randomisierte, kontrollierte Studie von VOA-Training versus fernbasierter Experteninstruktion versus Kontrolle.
Rahmen: Neurochirurgische Simulation und Lernzentrum für künstliche Intelligenz, Montreal Neurological Institute.
Teilnehmer: Berechtigte Medizinstudenten im ersten und zweiten Studienjahr aus der gesamten Provinz Quebec.
Aufgabe: Vollständige Entfernung eines simulierten Tumors – unterscheidbar durch Farbe und haptische Eigenschaften – mit minimaler Blutung und Schädigung des umgebenden gesunden Gehirns mit zwei chirurgischen Instrumenten (Cavitron Ultrasonic Aspirator und Bipolar Pincer) des NeuroVR (CAE Healthcare) Chirurgie-Simulators.
Intervention: Eine einzelne 75-minütige Trainingseinheit, einschließlich sechs virtueller subpialer Tumorresektionsversuche (fünf einfache Übungsszenarien und ein komplexes realistisches Szenario) mit Bewertung und Feedback von:
- das intelligente Nachhilfesystem VOA (Gruppe 2) oder
ein remote-basierter Expertenausbilder (Gruppe 3)
Beide im Vergleich zu:
- Kontrollgruppe (Gruppe 1), die keine Bewertung oder Leistungsrückmeldung erhält.
Unseres Wissens nach wird dies die erste Studie sein, die die Wirksamkeit eines KI-gestützten intelligenten Tutorensystems mit der fachkundigen Unterweisung im Kontext einer medizinischen und chirurgischen Virtual-Reality-Simulation vergleicht und die emotionale Reaktion auf eine solche Unterweisung bewertet. Diese Studie zielt darauf ab, erfolgreiche Ansätze für den Einsatz dieser innovativen Technologie im medizinischen Lehrplan zu identifizieren und die Patientenergebnisse zu verbessern, indem die Sicherheit, Effizienz und Kompetenz von Chirurgen und anderen Gesundheitsdienstleistern erhöht wird.
Studientyp
Einschreibung (Tatsächlich)
Phase
- Unzutreffend
Kontakte und Standorte
Studienorte
-
-
Quebec
-
Montreal, Quebec, Kanada, H3A 2B4
- Neurosurgical Simulation and Artificial Intelligence Learning Centre
-
-
Teilnahmekriterien
Zulassungskriterien
Studienberechtigtes Alter
- Kind
- Erwachsene
- Älterer Erwachsener
Akzeptiert gesunde Freiwillige
Studienberechtigte Geschlechter
Beschreibung
Einschlusskriterien: • Medizinstudenten im ersten und zweiten Jahr einer kanadischen Institution, die die Ausschlusskriterien nicht erfüllen.
-
Ausschlusskriterien: • Teilnahme an einer der früheren Studien unserer Gruppe mit dem NeuroVR (CAE Healthcare)-Simulator.
-
Studienplan
Wie ist die Studie aufgebaut?
Designdetails
- Hauptzweck: Versorgungsforschung
- Zuteilung: Zufällig
- Interventionsmodell: Parallele Zuordnung
- Maskierung: Doppelt
Waffen und Interventionen
Teilnehmergruppe / Arm |
Intervention / Behandlung |
|---|---|
|
Kein Eingriff: Kontrollgruppe
Kontrollgruppe – Basistraining 25 Teilnehmer zugeteilt. Einzelpersonen erhalten einführende Informationen zur Nutzung des Simulators und des Szenarios. Sie führen 5 einfache subpiale Tumorresektionen zum Üben durch und haben 5 Minuten pro Versuch. Nach jedem Versuch macht der Schüler eine 5-minütige Pause ohne Bewertung oder Feedback zu seiner Leistung. Bei ihrem 6. Versuch haben sie 13 Minuten Zeit, um ein anderes realistisches Szenario zu spielen. |
|
|
Experimental: Experimentelle Gruppe – Virtuelles operatives Assistenztraining
Experimentelle Gruppe – Virtuelles operatives Assistenztraining 25 Teilnehmer zugeteilt. Einzelpersonen erhalten die gleichen Informationen, haben die gleiche Zeit und spielen die gleichen Szenarien durch wie die Kontrollgruppe. In den 5 Minuten zwischen den Versuchen erhalten die Teilnehmer die Leistungsbewertung des Virtual Operative Assistance Trainings und audiovisuelles Feedback. |
Einzelpersonen erhalten die gleichen Basisinformationen, haben den gleichen Zeitaufwand und spielen die gleichen Szenarien durch wie die Kontrollgruppe.
In den 5 Minuten zwischen den Versuchen erhalten die Teilnehmer die Bewertung ihrer Leistung durch den virtuellen operativen Assistenten und audiovisuelles Feedback.
|
|
Experimental: Experimentelle Gruppe - Fernbasiertes Experten-Instruktortraining
25 Teilnehmer zugeteilt.
Einzelpersonen erhalten die gleichen Informationen, haben die gleiche Zeit und spielen die gleichen Szenarien durch wie die Kontrollgruppe.
Währenddessen beobachtet ein ausgebildeter Ausbilder die per Livestream übertragene Bildschirmleistung des Teilnehmers aus der Ferne.
Die Ausbilder sind erfahrene Neurochirurgen mit umfassender Erfahrung in der Durchführung und Bewertung dieses Szenarios.
Während der 5-minütigen Feedback-Sitzung unterhalten sie sich mit dem Schüler, besprechen die Leistung und helfen bei der Festlegung von Zielen für den nächsten Versuch.
|
Einzelpersonen erhalten die gleichen Informationen, haben die gleiche Zeit und spielen die gleichen Szenarien durch wie die Kontrollgruppe.
Währenddessen beobachtet ein ausgebildeter Ausbilder die per Livestream übertragene Bildschirmleistung des Teilnehmers aus der Ferne.
Die Ausbilder sind erfahrene Neurochirurgen mit umfassender Erfahrung in der Durchführung und Bewertung dieses Szenarios.
Während der 5-minütigen Feedback-Sitzung unterhalten sie sich mit dem Schüler, besprechen die Leistung und helfen bei der Festlegung von Zielen für den nächsten Versuch.
|
Was misst die Studie?
Primäre Ergebnismessungen
Ergebnis Maßnahme |
Maßnahmenbeschreibung |
Zeitfenster |
|---|---|---|
|
Änderung der Verfahrensleistung .
Zeitfenster: Studientag
|
Die Leistung bei jedem Übungsversuch wird anhand von Rohdaten aus dem Simulator gemessen, die zur Bewertung durch zuvor etablierte KI-Algorithmen anhand validierter Metriken verwendet werden.
|
Studientag
|
|
Wandel im Lernen
Zeitfenster: Studientag
|
Die Leistung in dem komplexen realistischen Szenario wird von erfahrenen Ausbildern anhand der OSATS-Visual-Rating-Skala (mit 50 % gewichtet) und der KI-Bewertungsalgorithmen (mit 50 % gewichtet) bewertet, wodurch eine zusammengesetzte Leistungspunktzahl erstellt wird.
|
Studientag
|
Sekundäre Ergebnismessungen
Ergebnis Maßnahme |
Maßnahmenbeschreibung |
Zeitfenster |
|---|---|---|
|
Unterschied in der Stärke der ausgelösten Emotionen
Zeitfenster: Studientag
|
Gemessen mit der Medical Emotions Scale (MES) von Duffy vor, während und nach dem Eingriff.
|
Studientag
|
|
Unterschied in der kognitiven Belastung
Zeitfenster: Studientag
|
Gemessen mit Leppinks Cognitive Load Index (CLI) nach der Intervention.
|
Studientag
|
Mitarbeiter und Ermittler
Sponsor
Publikationen und hilfreiche Links
Allgemeine Veröffentlichungen
- Stulberg JJ, Huang R, Kreutzer L, Ban K, Champagne BJ, Steele SR, Johnson JK, Holl JL, Greenberg CC, Bilimoria KY. Association Between Surgeon Technical Skills and Patient Outcomes. JAMA Surg. 2020 Oct 1;155(10):960-968. doi: 10.1001/jamasurg.2020.3007. Erratum In: JAMA Surg. 2020 Oct 1;155(10):1002. JAMA Surg. 2021 Jul 1;156(7):694.
- Birkmeyer JD, Finks JF, O'Reilly A, Oerline M, Carlin AM, Nunn AR, Dimick J, Banerjee M, Birkmeyer NJ; Michigan Bariatric Surgery Collaborative. Surgical skill and complication rates after bariatric surgery. N Engl J Med. 2013 Oct 10;369(15):1434-42. doi: 10.1056/NEJMsa1300625.
- Birkmeyer JD, Stukel TA, Siewers AE, Goodney PP, Wennberg DE, Lucas FL. Surgeon volume and operative mortality in the United States. N Engl J Med. 2003 Nov 27;349(22):2117-27. doi: 10.1056/NEJMsa035205.
- Winkler-Schwartz A, Yilmaz R, Mirchi N, Bissonnette V, Ledwos N, Siyar S, Azarnoush H, Karlik B, Del Maestro R. Machine Learning Identification of Surgical and Operative Factors Associated With Surgical Expertise in Virtual Reality Simulation. JAMA Netw Open. 2019 Aug 2;2(8):e198363. doi: 10.1001/jamanetworkopen.2019.8363.
- Mirchi N, Bissonnette V, Yilmaz R, Ledwos N, Winkler-Schwartz A, Del Maestro RF. The Virtual Operative Assistant: An explainable artificial intelligence tool for simulation-based training in surgery and medicine. PLoS One. 2020 Feb 27;15(2):e0229596. doi: 10.1371/journal.pone.0229596. eCollection 2020.
- Winkler-Schwartz A, Marwa I, Bajunaid K, Mullah M, Alotaibi FE, Bugdadi A, Sawaya R, Sabbagh AJ, Del Maestro R. A Comparison of Visual Rating Scales and Simulated Virtual Reality Metrics in Neurosurgical Training: A Generalizability Theory Study. World Neurosurg. 2019 Jul;127:e230-e235. doi: 10.1016/j.wneu.2019.03.059. Epub 2019 Mar 15.
- Duffy, M.C., et al., Emotions in medical education: Examining the validity of the Medical Emotion Scale (MES) across authentic medical learning environments. Learning and Instruction, 2020. 70: p. 101150.
- Leppink J, Paas F, Van der Vleuten CP, Van Gog T, Van Merrienboer JJ. Development of an instrument for measuring different types of cognitive load. Behav Res Methods. 2013 Dec;45(4):1058-72. doi: 10.3758/s13428-013-0334-1.
- Fazlollahi AM, Bakhaidar M, Alsayegh A, Yilmaz R, Winkler-Schwartz A, Mirchi N, Langleben I, Ledwos N, Sabbagh AJ, Bajunaid K, Harley JM, Del Maestro RF. Effect of Artificial Intelligence Tutoring vs Expert Instruction on Learning Simulated Surgical Skills Among Medical Students: A Randomized Clinical Trial. JAMA Netw Open. 2022 Feb 1;5(2):e2149008. doi: 10.1001/jamanetworkopen.2021.49008.
Studienaufzeichnungsdaten
Haupttermine studieren
Studienbeginn (Tatsächlich)
Primärer Abschluss (Tatsächlich)
Studienabschluss (Tatsächlich)
Studienanmeldedaten
Zuerst eingereicht
Zuerst eingereicht, das die QC-Kriterien erfüllt hat
Zuerst gepostet (Tatsächlich)
Studienaufzeichnungsaktualisierungen
Letztes Update gepostet (Tatsächlich)
Letztes eingereichtes Update, das die QC-Kriterien erfüllt
Zuletzt verifiziert
Mehr Informationen
Begriffe im Zusammenhang mit dieser Studie
Schlüsselwörter
Andere Studien-ID-Nummern
- 2010-270, NEU-09-042
Plan für individuelle Teilnehmerdaten (IPD)
Planen Sie, individuelle Teilnehmerdaten (IPD) zu teilen?
Beschreibung des IPD-Plans
IPD-Sharing-Zeitrahmen
IPD-Sharing-Zugriffskriterien
Art der unterstützenden IPD-Freigabeinformationen
- STUDIENPROTOKOLL
- SAFT
- ICF
- ANALYTIC_CODE
- CSR
Arzneimittel- und Geräteinformationen, Studienunterlagen
Studiert ein von der US-amerikanischen FDA reguliertes Arzneimittelprodukt
Studiert ein von der US-amerikanischen FDA reguliertes Geräteprodukt
Diese Informationen wurden ohne Änderungen direkt von der Website clinicaltrials.gov abgerufen. Wenn Sie Ihre Studiendaten ändern, entfernen oder aktualisieren möchten, wenden Sie sich bitte an register@clinicaltrials.gov. Sobald eine Änderung auf clinicaltrials.gov implementiert wird, wird diese automatisch auch auf unserer Website aktualisiert .
Klinische Studien zur Chirurgische Ausbildung
-
Bahar DönerIstanbul University - CerrahpasaAbgeschlossenNURSİNG EDUCATİON | PROBLEM SOLVİNG | EMPATHIE IN DER PFLEGE | NON-VİOLENT COMMUNİCATİON | KONSTRUKTIVISTISCHES LERNMODELLTürkei (türkiye)
-
Akdeniz UniversityAbgeschlossenDie Wahrnehmung von Intentionalität durch Krankenschwestern | die Vermittler der Intentionalität | die Hindernisse der Intentionalität | Wirksamkeit des Mindful Caring Education-ProgrammsTruthahn
Klinische Studien zur Ausbildung zum virtuellen operativen Assistenten
-
University of California, Los AngelesSuspendiertDepression | Stimmungsschwankungen | Anhedonie | Betonen | Angst | Virtuelle RealitätVereinigte Staaten
-
Riphah International UniversityAbgeschlossen
-
McGill UniversityJewish Rehabilitation HospitalRekrutierung
-
Kaohsiung Medical University Chung-Ho Memorial...Abgeschlossen
-
Aydin Adnan Menderes UniversityAbgeschlossenTrainingsgruppeTürkei (türkiye)
-
Dr. Hazrat Bilal PTAbgeschlossen
-
EgymedicalpediaAbgeschlossen
-
Foundation University IslamabadRekrutierung
-
IRCCS Eugenio MedeaUniversidad de Burgos; Asociatia Bucuresti Pentru Copii Dislexici; Augumented...Abgeschlossen
-
Prince Sattam Bin Abdulaziz UniversityAbgeschlossenSchmerzen im unteren RückenSaudi-Arabien