ClientBot: een gespreksagent die het oefenen van vaardigheden en feedback voor motiverende gespreksvoering ondersteunt

Fase 1. Interviews met 5 PRI-trainers zullen de huidige PRI-trainingsdoelen, inhoud en vorm beoordelen, maar ook hoe trainingspraktijken worden uitgevoerd, inclusief welke soorten technologieën momenteel voor welke doeleinden worden gebruikt. Trainerdeelnemers maken vervolgens kennis met het prototype ClientBot-platform, inclusief een mogelijkheid om het te gebruiken, en wordt gevraagd te beschrijven hoe ze het prototype kunnen integreren in hun bestaande trainingspraktijken. Trainers zullen een rollenspel spelen met onderzoekers om werkprocessen te illustreren, en de gegevensverzameling omvat audio-opnamen van interviews en veldnotities. Trainerdeelnemers zullen ook worden geïnterviewd over hun gebruik van MI-vaardigheden en welke het meest relevant zijn en/of training nodig hebben voor hun typische cursisten.

Fase 1 omvat ook stagiaires die in de afgelopen 3 maanden een PRI-training hebben gevolgd. Recente cursisten zullen een geïnformeerd perspectief bieden op het ClientBot-platform met betrekking tot de huidige PRI-vaardighedentrainingspraktijken, waaronder een op MI gericht werkboek en rollenspelen. De deelnemerssessies zullen online worden gehouden, met behulp van een op interviews gebaseerd bruikbaarheidsformaat. Onderzoekspersoneel zal een korte inleiding geven over ClientBot als een computergebaseerd platform voor het trainen van vaardigheden en vervolgens de deelnemers vragen om specifieke taken uit te voeren, gebruikmakend van een 'hardop denken'-protocol (d.w.z. een zelfvertelling geven terwijl ze elke taak uitvoeren). Het doel van de op het laboratorium gebaseerde bruikbaarheidsanalyse is om te verifiëren dat de software functioneert zoals bedoeld in een gecontroleerde omgeving. Als onderdeel van de urenlange sessie krijgen de deelnemers de kans om 2-3 MI-vaardigheidstrainingsmodules te gebruiken.

Fase 2. PRI heeft elk jaar een robuust schema van persoonlijke en online trainingen. Voor fase 2 usability-onderzoek werven we 20 counselors aan die in de afgelopen 3 maanden een PRI-training hebben gevolgd. Na software-engineeringwerk om de Phase I ClientBot-tool te implementeren in Lyssn's HIPAA-compatibele cloudgebaseerde platform, zullen we een eenarmige veldproef van 2 weken uitvoeren onder 20 recente PRI-trainees om de gebruikersworkflow, systeeminteractie en algemene bruikbaarheid in een community AUD-omgeving. Deelnemers worden aangemoedigd om ClientBot 10 minuten per werkdag te gebruiken. Onderzoekers zullen dagelijks via e-mail contact opnemen met deelnemers om te informeren naar technische betrouwbaarheid (bijv. moeilijkheden bij het gebruik van de tool), functionele betrouwbaarheid (bijv. ervaring met het gebruik van ClientBot-functies) en ervaringen met het integreren van het systeem in de dagelijkse workflow. ClientBot-gebruik wordt automatisch door het systeem vastgelegd, inclusief: welke modules zijn gebruikt, het aantal keren dat bronnen zijn gebruikt en herhaald, tijd besteed aan het bekijken van inleidende materialen, getrouwheidsfeedback die is gegeven tijdens het oefenen van vaardigheden en tijd besteed aan het beoordelen van door NLP gegenereerde feedback .

Na elke oefensessie beantwoorden de deelnemers een korte reeks Likert-vragen op een schaal van 0 tot 10, waaronder: Hoe coherent was het verhaal en de antwoorden van de cliënt? Hoe realistisch was deze gesimuleerde cliënt ten opzichte van de cliënt die je hebt gezien? Hoeveel van de cliëntsessie was gericht op alcoholgebruik? Hoe nauwkeurig was de feedback over het gebruik van MI-vaardigheden? Na het voltooien van alle oefensessies, zullen de deelnemers de systeembruikbaarheidsschaal (SUS) invullen. Om de implementatiegereedheid te meten, zullen we ook de Acceptability of Intervention Measure (AIM), Intervention Appropriateness Measure (IAM) en Feasibility of Intervention Measure (FIM) gebruiken. Elk zijn korte maatregelen van 5 items gericht op kernimplementatieresultaten met sterke psychometrische eigenschappen. Trainees zullen de waargenomen nauwkeurigheid van de ClientBot-feedback evalueren, die ook zal worden geëvalueerd via objectieve menselijke codering.

Fase 3. Tijdens fase 3 zullen PRI-onderzoeksleden 10-15 trainingen identificeren om uit te rekruteren (ervan uitgaande dat we in staat zullen zijn om 50% van de deelnemers aan elke training te rekruteren, op basis van eerdere deelnamepercentages in PRI-gebaseerd onderzoek). Personen die zich hebben aangemeld voor een PRI-training worden ongeveer 6 weken voorafgaand aan de training via e-mailuitnodiging voor het onderzoek geworven. Geïnteresseerde deelnemers zullen de geïnformeerde toestemming online invullen, en na toestemming zullen de deelnemers aan de therapeut worden gerandomiseerd in ClientBot (CB) vs. training zoals gewoonlijk (TAU) voorwaarden. Deelnemers wordt vervolgens gevraagd om de computerbeoordeling van gesimuleerde patiëntinterviews (CASPI) te voltooien, een computergebaseerde, gestandaardiseerde beoordeling van MI-vaardigheden die sterk gecorreleerd is met objectieve metingen van MI-getrouwheid. We zullen in totaal 200 PRI-trainees werven en randomiseren, gebruikmakend van hun doorlopende online training. PRI traint jaarlijks ongeveer 1.200 personen. Op basis van onze pilotstudie verwachten we een wervingspercentage van 30%, wat de vereiste steekproefomvang van 200 in ongeveer 6-8 maanden zou opleveren. Onderzoeksdeelnemers worden gerandomiseerd om ClientBot direct na hun PRI-training te gebruiken, of training-as-usual (TAU), waarbij er geen interventie direct na de training nodig is. Voorafgaand aan de ClientBot-interventie zullen deelnemers in beide armen de Computer Assessment of Simulated Patient Interviews (CASPI) voltooien. De CASPI presenteert korte klantvideo's met prompts om verschillende MI-vaardigheden te gebruiken na elke video, die worden opgenomen en vervolgens beoordeeld op MI-getrouwheid. Deelnemers in beide armen zullen na de ClientBot-trainingsperiode aanvullende CASPI-beoordelingen uitvoeren. Na een wash-outperiode van 2 maanden krijgt de ClientBot-arm een ​​extra follow-up CASPI. Beide armen zullen vervolgens worden gevraagd deel te nemen aan gestandaardiseerde patiëntsessies om aan hun PRI-trainingsvereisten te voldoen. Na voltooiing van SP-sessies krijgen deelnemers aan de TAU-arm de ClientBot-trainingsinterventie aangeboden, gevolgd door een afsluitende CASPI. De laatste maanden van fase 2 / jaar 2 zullen gericht zijn op data-analyse en verspreiding van bevindingen via conferentiepresentaties en publicaties.