Testing av effektiviteten til et kunstig intelligens-sanntidscoachingsystemSystemsimuleringsopplæring av medisinstudenter

Bakgrunn Fremskritt innen kirurgisk simulering og kunstig intelligens har resultert i utviklingen av intelligente tekniske ferdighetsvurderinger og veiledningssystemer for å møte behovene til den kompetansebaserte tilnærmingen i medisinsk utdanning. Disse nye pedagogiske verktøyene tilbyr løsninger for standardisering og objektivitet av elevens tekniske kompetansevurdering og opplæring, i risikofrie simulerte operative miljøer. Disse systemene kan supplere gullstandarden lærlingemodell i opplæring i kirurgi og annen prosedyrebasert medisin ved å gi detaljert informasjon om tekniske ferdigheter, handlingsorientert prosedyreveiledning og risikovurdering. Slike applikasjoner kan hjelpe lærere med å utvikle objektiv formativ og summativ studentvurdering og undervisningsmetoder.

Begrunnelse The Intelligent Continuous Monitoring System (ICEMS), en dyplæringsapplikasjon for kunstig intelligens (AI) ble utviklet for å vurdere kirurgisk ytelse kontinuerlig i 0,2 sekunders intervaller med evnen til å coache traineer til ekspertnivå og risikodeteksjon. Dette systemet er involvert i et patentsøkt med tittelen 'Metoder og systemer for kontinuerlig overvåking av oppgaveytelse på virtuelle simulatorer' (2020; patent nr. 05001770-883USPR). Tidligere ble det gitt en prediktiv validitet for vurderingsmodul, men effektiviteten til dette systemet i sanntids coaching traineer og risikodeteksjon må utforskes.

Forskningsmål Å sammenligne effektiviteten til et intelligent sanntids coachingsystem med gullstandarden ekspertmediert tilbakemelding. For å teste overføringen av læring under praksisoppgavene til det mer komplekse realistiske scenarioet.

Hypoteser

1. ICEMS-tilbakemeldingsgruppen vil forbedre den sammensatte poengsummen betydelig fra første forsøk til siste forsøk i praksisscenario.
2. Kontrollgruppen med ingen ekspertmediert post hoc benchmark-tilbakemelding vil ikke statistisk forbedres i den sammensatte poengsummen mellom første forsøk til siste forsøk i praksisscenarioet.
3. ICEMS-tilbakemeldingsgruppen vil ha en statistisk høyere sammensatt poengsum sammenlignet med kontrollgruppen, i det femte forsøket i praksisscenarioet.
4. ICEMS-tilbakemeldingsgruppen vil ha en sammensatt poengsum statistisk ikke-mindre sammenlignet med den ekspertmedlede instruksjonsgruppen i det femte forsøket på praksisscenarioet.
5. Den globale OSATS-poengsummen til ICEMS-tilbakemeldingsgruppen vil være ikke dårligere enn den til den ekspertmedlede instruksjonsgruppen i det komplekse realistiske scenariet.
6. At ICEMS-tilbakemeldinger ikke vil velge en forskjell i følelser eller kognitiv belastning sammenlignet med den ekspertmedlede instruksjonsgruppen.

Spesifikke mål: 1) Å vurdere om effektiviteten av AI-mediert sanntidstilpasset tilbakemelding er statistisk sett ikke dårligere enn ekspertmediert personlig tilbakemelding for å forbedre medisinstudenters bimanuelle kirurgiske ferdigheter på to virtuelt simulerte kirurgiske oppgaver.

2) Å skissere om forskjellige følelser og kognitiv belastning fremkalles av ICEMS tilbakemeldingssystemet sammenlignet med menneskelig instruksjon

Design: En trearms enkeltblindet randomisert kontrollert studie av AI-trening versus ekspertmediert trening versus ingen-ekspertmediert trening.

Innstilling: Nevrokirurgisk simulering og læringssenter for kunstig intelligens, Montreal Neurological Institute.

Deltakere: Studenter som er påmeldt sitt første år eller første til fjerde år på medisinskoler over hele provinsen Quebec.

Oppgave: Fullfør fjerning av en simulert praksissvulst fem ganger og en kompleks simulert hjernesvulst én gang med minimal blødning og skade på omkringliggende simulerte sunne hjernestrukturer ved hjelp av to kirurgiske instrumenter (Ultrasonic Aspirator og Bipolar tang) ved bruk av NeuroVR (CAE Healthcare) kirurgisk simulator.

Intervensjon: En enkelt 90-minutters treningsøkt, inkludert seks virtuelle subpiale tumorreseksjonsforsøk (fem enkle praksisscenarier og ett komplekst realistisk scenario) med vurdering og tilbakemelding fra enten:

1. Intelligent Continuous Expertise Monitoring System (ICEMS) (gruppe 1)
2. en personlig ekspertinstruksjonstilbakemelding (gruppe 2)
3. ingen ekspert formidlet post hoc benchmark-tilbakemelding (gruppe 3)

Hovedresultater og tiltak:

Primært resultat er forbedring av kirurgisk ytelse i den sammensatte poengsummen vurdert av Intelligent Continuous Expertise Monitoring Systems (ICEMS) tidligere validerte vurderingsmodul. Ytelsesforbedring måles som den sammensatte poengsummen mellom deltakerens forsøk i løpet av de fem øvelsesforsøkene. Læringsoverføring vil bli vurdert av den sammensatte poengsummen oppnådd i det komplekse realistiske scenariet.

Sekundært utfall er deltakernes prestasjonsscore på den realistiske oppgaven som vil bli scoret av blindede eksperter ved å bruke den globale vurderingsskalaen Objective Structured Assessment of Technical Skills (OSATS). Forskjeller i styrken til de fremkalte følelsene vil bli målt ved hjelp av Duffy's Medical Emotional Scale (MES), før og etter intervensjonen og forskjellen i kognitiv belastning vil bli målt ved hjelp av Leppinks Cognitive Load Index (CLI) etter intervensjonen

Denne studien, etter forskernes kunnskap, er den første applikasjonen som sammenligner effektiviteten til et intelligent tilbakemeldingssystem i sanntid med menneskelig instruksjon av gullstandarden. Denne studien tar sikte på å identifisere effektive treningsmetoder ved bruk av kunstig intelligens-drevne kirurgiske simulator-treningsplattformer, og derfor tilbys traineer objektiv, skreddersydd teknisk ferdighetsvurdering og coaching ved bruk av toppmoderne teknologier.

Statistisk analyseplan Deltakerdata vil bli anonymisert og lagret. Intelligent Continuous Expertise Monitoring System (ICEMS) vil bli brukt til å score kirurgisk ytelse ved å bruke rå ytelsesdata og gi en ytelsespoeng med 0,2 sekunders intervaller. En gjennomsnittlig sammensatt poengsum vil bli beregnet for hver oppgave. Innenfor og mellom grupper vil det bli gjort sammenligninger for å vurdere læringen fra første forsøk (baseline-prestasjon) til femte forsøk og sammenligne forbedringer mellom grupper. Den sammensatte poengsummen på det realistiske scenariet vil bli beregnet av ICEMS for å vurdere overføring av læring. Forbedring av deltakerpoengsum vil bli undersøkt ved gjentatte mål ANOVA. Med tanke på en potensiell effektstørrelse på 25 %, en statistisk styrke på 0,95 og en signifikans på 0,05, trenger denne studien å rekruttere 29 deltakere i hver gruppe. Deltakernes prestasjonsscore i det femte øvelsesforsøket vil bli sammenlignet mellom grupper som bruker ANOVA for å sammenligne læring. Den samme analysen vil bli gjort for det realistiske forsøket på å sammenligne læringsoverføring mellom grupper.

Ytelsen i det realistiske forsøket vil bli vurdert av blinde eksperter ved å bruke OSATS globale vurderingsskala, ved hjelp av deltakerytelsesvideo. Den globale OSATS-skåren vil bli sammenlignet mellom grupper for å sammenligne effektivitet i læring ved bruk av ANOVA.