Evaluatie van TESLA-G, een gamified, door telegram geleverd, quizplatform voor chirurgisch onderwijs aan medische studenten

Experimenteel: TESLA-G

Deelnemers worden gerandomiseerd in de twee armen met een toewijzingsratio van 1:1 gestratificeerd per studiejaar. Er zullen 25 deelnemers in deze arm zijn.

Ander: Gamified online quizplatform

TESLA-G is een nieuw gegamificeerd quizplatform dat is ontworpen op basis van Bloom's taxonomie van leerdomeinen. Vragen zullen in blokken worden gemaakt, waarbij elk blok een specifiek onderwerp binnen een specialiteit zal testen (endocriene chirurgie is geselecteerd voor deze studie). Elk blok heeft 5 vragen en elke vraag komt overeen met elk niveau van Bloom's taxonomie en elk niveau in het spel.

Voor dit onderzoek streven we ernaar om 56 blokken van 5 vragen te maken, in totaal 280 vragen. Alle vragen worden opgesteld door twee door de raad gecertificeerde algemene chirurgen en één endocrinoloog, en gevalideerd door het onderzoeksteam.

Het doel van het spel is dat spelers zoveel mogelijk punten behalen voordat de timer afloopt. Gamificatie-elementen omvatten niveaus, afteltimer, levens, een puntenvermenigvuldigingssysteem, klassementen op het scorebord en een gepersonaliseerd dashboard.

Deelnemers aan de interventiegroep krijgen een link om toegang te krijgen tot TESLA-G, verzonden door een geautomatiseerde Telegram-bot; deze toegang wordt gedurende 14 dagen verleend.

Actieve vergelijker: Controle

Deelnemers worden gerandomiseerd in de twee armen met een toewijzingsratio van 1:1 gestratificeerd per studiejaar. Er zullen 25 deelnemers in deze arm zijn.

Ander: Conventioneel quizplatform

Het conventionele quizplatform wordt een aangepaste versie van TESLA-G waarbij alle gamification-elementen zijn verwijderd. Dezelfde reeks vragen als de gamified versie zal worden gebruikt. Bij het invoeren van de quiz worden een vraagstam en vijf keuzes getoond. Wanneer een optie is geselecteerd, wordt het juiste antwoord samen met de uitleg aangegeven. De volgende vraag wordt dan verzonden en dit proces herhaalt zich totdat de deelnemer het platform verlaat of elke vraag heeft beantwoord.

Vragen worden in blokken in een wachtrij geplaatst, waarbij elk blok overeenkomt met een bepaald onderwerp in endocriene chirurgie. In tegenstelling tot de gegamificeerde versie, worden vragen binnen elk blok gerandomiseerd, ongeacht hun niveau op de Bloom's taxonomie. Deelnemers worden ook niet geïnformeerd over het niveau van Bloom's taxonomie voor individuele vragen. De toegangslink naar het platform wordt vanaf een geautomatiseerde Telegram-bot naar de deelnemers gestuurd en deze toegang duurt 14 dagen.

Haalbaarheid van interventie

De haalbaarheid van de interventie wordt kwantitatief beoordeeld. Dit zijn de doelstellingen:

1. Inschrijving vanaf 50 deelnemers
2. Behoud van minimaal 75% van de ingeschreven deelnemers
3. Voltooiingspercentage individuele quiz van 80%

Het bereiken van al deze doelen zal bewijzen dat het haalbaar is om een ​​volledige gerandomiseerde gecontroleerde studie (RCT) uit te voeren, terwijl het bereiken van twee van de drie doelen zal aangeven dat het waarschijnlijk haalbaar is. Het bereiken van minder dan twee doelen zal suggereren dat een full-scale RCT niet haalbaar is met de huidige procedure.

Aanvaardbaarheid van interventie

De aanvaardbaarheid van de interventie wordt kwantitatief gemeten via een leerlingtevredenheidsonderzoek na de interventie en kwalitatief via semigestructureerde interviews.

Verbetering van chirurgische kennis

Scores van quizzen voor en na de interventie zullen worden vergeleken. De quizzen, die gaan over endocriene chirurgie, zullen worden opgesteld door twee door de board gecertificeerde algemene chirurgen en één endocrinoloog. Alle vragen worden ook gevalideerd door het onderzoeksteam. Er moet echter worden opgemerkt dat de onderzoekskracht onvoldoende zal zijn om de vergelijkende effectiviteit tussen de controle- en interventiegroepen te identificeren in termen van verbetering van chirurgische kennis. Daarom zal de analyse primair worden uitgevoerd om mogelijke nadelige effecten te identificeren en de chirurgische kennis binnen elke groep te vergroten, en in de tweede plaats tussen groepen. Dit gebeurt met een betrouwbaarheidsinterval van 95% en een kleine effectgrootte van 0,2.

Tevredenheid van deelnemers

Alle deelnemers zullen ook een leerlingtevredenheidsonderzoek na de interventie invullen, in de vorm van een Likert-schaal aangepast van de System Usability Survey (SUS) (Brooke et al., 1996) en de Student Evaluation of Educational Quality (SEEQ) Questionnaire. De enquête zal beoordelen of studenten in de interventiegroep meer tevreden zijn met hun ervaring dan studenten in de controlegroep.

Behoud van chirurgische kennis

Na nog eens 14 dagen zullen de deelnemers deelnemen aan een vervolgkennistest, die wederom bestaat uit 20 MCQ's over endocriene chirurgie, uitgevoerd gedurende 30 minuten. Op dit moment hebben deelnemers aan zowel controle- als interventiegroepen geen toegang meer tot de leerplatforms. De moeilijkheidsgraad van de vervolgtest zal vergelijkbaar zijn met die van de eerder beschreven post-interventietest. Het verschil in testscores (post-interventie en follow-up) geeft aan dat de deelnemers chirurgische kennis behouden.