Evaluering av TESLA-G, en gamified, telegramlevert, spørreplattform for kirurgisk utdanning hos medisinstudenter

Eksperimentell: TESLA-G

Deltakerne vil bli randomisert i de to armene med et tildelingsforhold på 1:1 stratifisert etter studieår. Det vil være 25 deltakere i denne armen.

Annen: Gamified online spørrekonkurranseplattform

TESLA-G er en ny gamified quiz-plattform designet basert på Blooms taksonomi av læringsdomener. Spørsmål vil bli opprettet i blokker, hvor hver blokk vil teste et spesifikt emne innenfor en spesialitet (endokrin kirurgi er valgt for denne studien). Hver blokk har 5 spørsmål, og hvert spørsmål tilsvarer hvert nivå i Blooms taksonomi og hvert nivå i spillet.

For denne studien har vi som mål å lage 56 blokker med 5 spørsmål, totalt 280 spørsmål. Alle spørsmål vil bli laget av to styresertifiserte allmennkirurger og en endokrinolog, og validert av forskerteamet.

Målet med spillet er at spillerne skal få så mange poeng de kan før tidtakeren går ut. Gamification-elementer inkluderer nivåer, nedtellingstidtaker, liv, et poengmultiplikatorsystem, ledertavlerangeringer og et personlig dashbord.

Deltakere i intervensjonsgruppen vil bli utstyrt med en lenke for å få tilgang til TESLA-G, sendt fra en automatisert Telegram-bot; denne tilgangen gis i 14 dager.

Aktiv komparator: Kontroll

Deltakerne vil bli randomisert i de to armene med et tildelingsforhold på 1:1 stratifisert etter studieår. Det vil være 25 deltakere i denne armen.

Annen: Konvensjonell spørreplattform

Den konvensjonelle quizplattformen vil være en modifisert versjon av TESLA-G med alle gamification-elementer fjernet. Det samme settet med spørsmål som den gamifiserte versjonen vil bli brukt. Når du deltar i quizen, vil en spørsmålsstamme og fem valg vises. Når et alternativ er valgt, vil det riktige svaret sammen med forklaringen bli indikert. Det neste spørsmålet vil da bli sendt, og denne prosessen gjentas til deltakeren forlater plattformen eller har svart på hvert spørsmål.

Spørsmålene vil bli satt i kø i blokker, hvor hver blokk tilsvarer et bestemt emne innen endokrin kirurgi. I motsetning til den gamifiserte versjonen, vil spørsmål innenfor hver blokk bli randomisert, uavhengig av nivået på Blooms taksonomi. Deltakerne vil heller ikke bli informert om nivået på Blooms taksonomi for individuelle spørsmål. Tilgangslenken til plattformen vil bli sendt til deltakerne fra en automatisert Telegram-bot, og denne tilgangen vil vare i 14 dager.

Mulighet for intervensjon

Gjennomførbarheten av intervensjonen vil bli evaluert kvantitativt. Dette er målene:

1. Påmelding av 50 deltakere
2. Oppbevaring av minst 75 % av de påmeldte deltakerne
3. Fullføringsgrad for individuell quiz på 80 %

Å oppnå alle disse målene vil bevise at det er mulig å gjennomføre en fullskala randomisert kontrollert studie (RCT), mens å oppnå to av tre mål vil indikere at det sannsynligvis er gjennomførbart. Å oppnå mindre enn to mål vil tyde på at en fullskala RCT ikke er gjennomførbar med dagens prosedyre.

Akseptabilitet av intervensjon

Akseptabiliteten av intervensjonen måles kvantitativt via en elevtilfredshetsundersøkelse etter intervensjon og kvalitativt via semistrukturerte intervjuer.

Forbedring av kirurgisk kunnskap

Score av quizer før og etter intervensjon vil bli sammenlignet. Quizene, som handler om endokrin kirurgi, vil bli utarbeidet av to styresertifiserte allmennkirurger og en endokrinolog. Alle spørsmål vil også bli validert av forskerteamet. Det bør imidlertid bemerkes at studiekraften vil være utilstrekkelig for å identifisere den komparative effektiviteten mellom kontroll- og intervensjonsgruppene når det gjelder forbedring av kirurgisk kunnskap. Derfor vil analysen primært bli utført for å identifisere potensielle uønskede effekter og øke den kirurgiske kunnskapen innen hver gruppe, og sekundært mellom grupper. Dette vil bli gjort ved å bruke et konfidensintervall på 95 % ved å bruke en liten effektstørrelse på 0,2.

Deltagertilfredshet

Alle deltakerne vil også gjennomføre en elevtilfredshetsundersøkelse etter intervensjon, i form av en Likert-skala tilpasset fra System Usability Survey (SUS) (Brooke et al., 1996) og Student Evaluation of Educational Quality (SEEQ) Questionnaire. Undersøkelsen skal vurdere om studentene i intervensjonsgruppen er mer fornøyd med sin opplevelse enn elevene i kontrollgruppen.

Oppbevaring av kirurgisk kunnskap

Etter ytterligere 14 dager skal deltakerne på en oppfølgingskunnskapstest, som igjen består av 20 MCQer på endokrin kirurgi utført over 30 minutter. På dette tidspunktet vil deltakere i både kontroll- og intervensjonsgrupper ikke lenger ha tilgang til læringsplattformene. Vanskelighetsgraden for oppfølgingstesten vil være lik den for postintervensjonstesten som beskrevet tidligere. Forskjellen i testresultater (post-intervensjon og oppfølging) vil indikere deltakerens bevaring av kirurgisk kunnskap.