- ICH GCP
- Register voor klinische proeven in de VS.
- Klinische proef NCT04700384
Effectiviteit van een kunstmatig intelligent leersysteem bij simulatietraining
Vergelijking van de virtuele operatieve assistent met op experts gebaseerde instructie in chirurgisch onderwijs: een gerandomiseerde gecontroleerde studie
Korte samenvatting:
Achtergrond:
Hoewel chirurgische ervaring en technische vaardigheid worden geassocieerd met betere resultaten voor de patiënt, is het kwantificeren van chirurgisch vermogen in de operatiekamer een uitdaging. In het chirurgisch onderwijs kunnen grote datasets die worden gegenereerd door high-fidelity virtual reality-simulatoren worden gebruikt door machine learning-algoritmen om de prestaties en competentie van stagiairs objectief te meten op basis van deskundige benchmarks. Dit maakt herhaald oefenen van chirurgische vaardigheden mogelijk in veilige en risicovrije omgevingen met onmiddellijke feedback.
Onze groep ontwikkelde en heeft een patent aangevraagd voor een intelligent tutoring-systeem genaamd de Virtual Operative Assistant (VOA). Door gebruik te maken van een kunstmatige intelligentie (AI) ondersteunend vectormachine-algoritme, beoordeelt de VOA gegevens die zijn afgeleid van het NeuroVR (CAE Healthcare) simulatorplatform en biedt geïndividualiseerde audiovisuele feedback om de prestaties van de leerling te verbeteren tijdens gesimuleerde hersentumorresecties. De effectiviteit van intelligente tutoring-systemen zoals de VOA voor de pedagogiek van de menselijke chirurgische leertijd moet nog worden opgehelderd.
Het doel van deze studie is om de effectiviteit en educatieve impact van gepersonaliseerde VOA-feedback te vergelijken met deskundige instructies over de technische vaardigheden van medische studenten die een virtual reality-tumorresectieprocedure leren.
Specifieke doelstellingen: 1) Beoordelen of geneeskundestudenten die gepersonaliseerde VOA-feedback ontvangen, hun chirurgische prestaties statistisch verbeteren in vergelijking met degenen die (a) geen feedback van een deskundige instructeur of (b) feedback van een deskundige instructeur hebben. 2) Om te schetsen of verschillende emoties worden opgewekt door het VOA intelligente tutoring-systeem bij geneeskundestudenten tijdens het uitvoeren van deze prestatietaak in vergelijking met menselijke instructie
Studie Overzicht
Toestand
Conditie
Gedetailleerde beschrijving
Ontwerp: een driearmige, gedeeltelijk geblindeerde, gerandomiseerde, gecontroleerde studie van VOA-training versus op afstand gebaseerde deskundige instructie versus controle.
Omgeving: Neurochirurgische simulatie en leercentrum voor kunstmatige intelligentie, Montreal Neurological Institute.
Deelnemers: in aanmerking komende eerste- en tweedejaars geneeskundestudenten uit de hele provincie Quebec.
Taak: Volledige verwijdering van een gesimuleerde tumor - te onderscheiden door kleur en haptische eigenschappen - met minimale bloeding en schade aan omliggende gezonde hersenen met behulp van twee chirurgische instrumenten (Cavitron Ultrasonic Aspirator en Bipolaire tang) van de NeuroVR (CAE Healthcare) chirurgische simulator.
Interventie: Een enkele trainingssessie van 75 minuten, inclusief zes pogingen tot virtuele subpiale tumorresectie (vijf eenvoudige oefenscenario's en één complex realistisch scenario) met beoordeling en feedback van:
- het VOA intelligent bijlessysteem (Groep 2) of
een deskundige instructeur op afstand (groep 3)
Beide vergeleken met:
- controlegroep (Groep 1) die geen beoordeling of prestatiefeedback ontvangt.
Voor zover wij weten, zal dit de eerste studie zijn die de effectiviteit van een AI-aangedreven intelligent tutoring-systeem vergelijkt met deskundige instructie in de context van medische en chirurgische virtual reality-simulatie en de emotionele reactie op dergelijke instructie beoordeelt. Deze studie heeft tot doel een begin te maken met het identificeren van succesvolle benaderingen om deze innovatieve technologie te gebruiken in het medisch onderwijscurriculum en om de patiëntresultaten te verbeteren door de veiligheid, efficiëntie en competentie van chirurgen en andere zorgverleners te vergroten.
Studietype
Inschrijving (Werkelijk)
Fase
- Niet toepasbaar
Contacten en locaties
Studie Locaties
-
-
Quebec
-
Montreal, Quebec, Canada, H3A 2B4
- Neurosurgical Simulation and Artificial Intelligence Learning Centre
-
-
Deelname Criteria
Geschiktheidscriteria
Leeftijden die in aanmerking komen voor studie
- Kind
- Volwassen
- Oudere volwassene
Accepteert gezonde vrijwilligers
Geslachten die in aanmerking komen voor studie
Beschrijving
Opnamecriteria:• Eerste- en tweedejaars geneeskundestudenten van een Canadese instelling die niet voldoen aan de uitsluitingscriteria.
-
Uitsluitingscriteria: • Deelname aan eerdere onderzoeken van onze groep met de NeuroVR-simulator (CAE Healthcare).
-
Studie plan
Hoe is de studie opgezet?
Ontwerpdetails
- Primair doel: Onderzoek naar gezondheidsdiensten
- Toewijzing: Gerandomiseerd
- Interventioneel model: Parallelle opdracht
- Masker: Dubbele
Wapens en interventies
Deelnemersgroep / Arm |
Interventie / Behandeling |
|---|---|
|
Geen tussenkomst: Controlegroep
Controlegroep - basislijntraining 25 deelnemers toegewezen. Individuen krijgen inleidende informatie over het gebruik van de simulator en het scenario. Ze voeren 5 eenvoudige subpiale tumorresecties uit om te oefenen en hebben 5 minuten per proef. Na elke poging neemt de student een pauze van 5 minuten zonder beoordeling of feedback op zijn prestatie. Bij hun 6e poging hebben ze 13 minuten de tijd om een ander realistisch scenario uit te voeren. |
|
|
Experimenteel: Experimentele Groep - Virtual Operative Assistance Training
Experimentele Groep - Virtual Operative Assistance Training 25 deelnemers toegewezen. Individuen krijgen dezelfde informatie, hebben evenveel tijd en voeren dezelfde scenario's uit als de controlegroep. In de 5 minuten tussen de pogingen ontvangt de deelnemer de Virtual Operative Assistance Training-beoordeling van zijn prestaties en audiovisuele feedback. |
Individuen krijgen dezelfde basisinformatie, hebben evenveel tijd en voeren dezelfde scenario's uit als de controlegroep.
In de 5 minuten tussen pogingen ontvangt de deelnemer de Virtual Operative Assistant-beoordeling van hun prestaties en audiovisuele feedback.
|
|
Experimenteel: Experimentele Groep - Expert Instructor Training op afstand
25 deelnemers toegewezen.
Individuen krijgen dezelfde informatie, hebben evenveel tijd en voeren dezelfde scenario's uit als de controlegroep.
Ondertussen observeert een getrainde instructeur de prestaties van de deelnemer op het scherm, dat wil zeggen live gestreamd, op afstand.
Instructeurs zijn senior neurochirurgische assistenten met uitgebreide ervaring in het uitvoeren en beoordelen van dit scenario.
Tijdens de feedbacksessie van 5 minuten chatten ze met de student, bespreken ze de prestaties en helpen ze bij het stellen van doelen voor de volgende proef.
|
Individuen krijgen dezelfde informatie, hebben evenveel tijd en voeren dezelfde scenario's uit als de controlegroep.
Ondertussen observeert een getrainde instructeur de prestaties van de deelnemer op het scherm, dat wil zeggen live gestreamd, op afstand.
Instructeurs zijn senior neurochirurgische assistenten met uitgebreide ervaring in het uitvoeren en beoordelen van dit scenario.
Tijdens de feedbacksessie van 5 minuten chatten ze met de student, bespreken ze de prestaties en helpen ze bij het stellen van doelen voor de volgende proef.
|
Wat meet het onderzoek?
Primaire uitkomstmaten
Uitkomstmaat |
Maatregel Beschrijving |
Tijdsspanne |
|---|---|---|
|
Verandering in procedurele prestaties.
Tijdsspanne: Dag van de studie
|
De prestaties bij elke oefenpoging worden gemeten met behulp van onbewerkte gegevens van de simulator die worden gebruikt voor beoordeling door eerder vastgestelde AI-algoritmen op gevalideerde statistieken.
|
Dag van de studie
|
|
Verandering in leren
Tijdsspanne: Dag van de studie
|
Prestaties op het complexe realistische scenario worden geëvalueerd door deskundige instructeurs met behulp van de Objective Structured Assessments of Technical Skills (OSATS) Visual Rating Scale (gewogen voor 50%) en de AI-beoordelingsalgoritmen (gewogen voor 50%), waardoor een samengestelde prestatiescore ontstaat.
|
Dag van de studie
|
Secundaire uitkomstmaten
Uitkomstmaat |
Maatregel Beschrijving |
Tijdsspanne |
|---|---|---|
|
Verschil in de kracht van opgewekte emoties
Tijdsspanne: Dag van de studie
|
Gemeten met Duffy's Medical Emotions Scale (MES), voor, tijdens en na de ingreep.
|
Dag van de studie
|
|
Verschil in cognitieve belasting
Tijdsspanne: Dag van de studie
|
Gemeten met Leppink's Cognitive Load Index (CLI) na de ingreep.
|
Dag van de studie
|
Medewerkers en onderzoekers
Sponsor
Publicaties en nuttige links
Algemene publicaties
- Stulberg JJ, Huang R, Kreutzer L, Ban K, Champagne BJ, Steele SR, Johnson JK, Holl JL, Greenberg CC, Bilimoria KY. Association Between Surgeon Technical Skills and Patient Outcomes. JAMA Surg. 2020 Oct 1;155(10):960-968. doi: 10.1001/jamasurg.2020.3007. Erratum In: JAMA Surg. 2020 Oct 1;155(10):1002. JAMA Surg. 2021 Jul 1;156(7):694.
- Birkmeyer JD, Finks JF, O'Reilly A, Oerline M, Carlin AM, Nunn AR, Dimick J, Banerjee M, Birkmeyer NJ; Michigan Bariatric Surgery Collaborative. Surgical skill and complication rates after bariatric surgery. N Engl J Med. 2013 Oct 10;369(15):1434-42. doi: 10.1056/NEJMsa1300625.
- Birkmeyer JD, Stukel TA, Siewers AE, Goodney PP, Wennberg DE, Lucas FL. Surgeon volume and operative mortality in the United States. N Engl J Med. 2003 Nov 27;349(22):2117-27. doi: 10.1056/NEJMsa035205.
- Winkler-Schwartz A, Yilmaz R, Mirchi N, Bissonnette V, Ledwos N, Siyar S, Azarnoush H, Karlik B, Del Maestro R. Machine Learning Identification of Surgical and Operative Factors Associated With Surgical Expertise in Virtual Reality Simulation. JAMA Netw Open. 2019 Aug 2;2(8):e198363. doi: 10.1001/jamanetworkopen.2019.8363.
- Mirchi N, Bissonnette V, Yilmaz R, Ledwos N, Winkler-Schwartz A, Del Maestro RF. The Virtual Operative Assistant: An explainable artificial intelligence tool for simulation-based training in surgery and medicine. PLoS One. 2020 Feb 27;15(2):e0229596. doi: 10.1371/journal.pone.0229596. eCollection 2020.
- Winkler-Schwartz A, Marwa I, Bajunaid K, Mullah M, Alotaibi FE, Bugdadi A, Sawaya R, Sabbagh AJ, Del Maestro R. A Comparison of Visual Rating Scales and Simulated Virtual Reality Metrics in Neurosurgical Training: A Generalizability Theory Study. World Neurosurg. 2019 Jul;127:e230-e235. doi: 10.1016/j.wneu.2019.03.059. Epub 2019 Mar 15.
- Duffy, M.C., et al., Emotions in medical education: Examining the validity of the Medical Emotion Scale (MES) across authentic medical learning environments. Learning and Instruction, 2020. 70: p. 101150.
- Leppink J, Paas F, Van der Vleuten CP, Van Gog T, Van Merrienboer JJ. Development of an instrument for measuring different types of cognitive load. Behav Res Methods. 2013 Dec;45(4):1058-72. doi: 10.3758/s13428-013-0334-1.
- Fazlollahi AM, Bakhaidar M, Alsayegh A, Yilmaz R, Winkler-Schwartz A, Mirchi N, Langleben I, Ledwos N, Sabbagh AJ, Bajunaid K, Harley JM, Del Maestro RF. Effect of Artificial Intelligence Tutoring vs Expert Instruction on Learning Simulated Surgical Skills Among Medical Students: A Randomized Clinical Trial. JAMA Netw Open. 2022 Feb 1;5(2):e2149008. doi: 10.1001/jamanetworkopen.2021.49008.
Studie record data
Bestudeer belangrijke data
Studie start (Werkelijk)
Primaire voltooiing (Werkelijk)
Studie voltooiing (Werkelijk)
Studieregistratiedata
Eerst ingediend
Eerst ingediend dat voldeed aan de QC-criteria
Eerst geplaatst (Werkelijk)
Updates van studierecords
Laatste update geplaatst (Werkelijk)
Laatste update ingediend die voldeed aan QC-criteria
Laatst geverifieerd
Meer informatie
Termen gerelateerd aan deze studie
Trefwoorden
Andere studie-ID-nummers
- 2010-270, NEU-09-042
Plan Individuele Deelnemersgegevens (IPD)
Bent u van plan om gegevens van individuele deelnemers (IPD) te delen?
Beschrijving IPD-plan
IPD-tijdsbestek voor delen
IPD-toegangscriteria voor delen
IPD delen Ondersteunend informatietype
- LEERPROTOCOOL
- SAP
- ICF
- ANALYTIC_CODE
- MVO
Informatie over medicijnen en apparaten, studiedocumenten
Bestudeert een door de Amerikaanse FDA gereguleerd geneesmiddel
Bestudeert een door de Amerikaanse FDA gereguleerd apparaatproduct
Deze informatie is zonder wijzigingen rechtstreeks van de website clinicaltrials.gov gehaald. Als u verzoeken heeft om uw onderzoeksgegevens te wijzigen, te verwijderen of bij te werken, neem dan contact op met register@clinicaltrials.gov. Zodra er een wijziging wordt doorgevoerd op clinicaltrials.gov, wordt deze ook automatisch bijgewerkt op onze website .