ClientBot: Ein Konversationsagent, der das Üben von Fähigkeiten und Feedback für motivierende Gesprächsführung unterstützt

Phase 1. Interviews mit 5 PRI-Trainern werden aktuelle PRI-Trainingsziele, -inhalte und -formate bewerten, aber auch, wie Trainingspraktiken durchgeführt werden, einschließlich, welche Arten von Technologien derzeit für welche Zwecke verwendet werden. Die Schulungsteilnehmer werden dann in den Prototyp der ClientBot-Plattform eingeführt, einschließlich der Möglichkeit, sie zu verwenden, und werden gebeten, zu beschreiben, wie sie den Prototyp in ihre bestehenden Schulungspraktiken integrieren können. Trainer werden mit Forschern Rollenspiele spielen, um Arbeitsprozesse zu veranschaulichen, und die Datensammlung wird Audioaufnahmen von Interviews und Feldnotizen umfassen. Trainer-Teilnehmer werden auch bezüglich ihres Einsatzes von MI-Fähigkeiten befragt und welche für ihre typischen Auszubildenden am relevantesten und/oder schulungsbedürftigsten sind.

Stufe 1 umfasst auch Auszubildende, die in den letzten 3 Monaten an einer PRI-Schulung teilgenommen haben. Neue Auszubildende werden eine informierte Perspektive auf die ClientBot-Plattform in Bezug auf aktuelle PRI-Fähigkeitstrainingspraktiken bieten, die ein auf MI-Fähigkeiten ausgerichtetes Arbeitsbuch und Rollenspiele umfassen. Die Sitzungen der Teilnehmer werden online unter Verwendung eines interviewbasierten Usability-Formats durchgeführt. Die Forschungsmitarbeiter geben eine kurze Einführung in ClientBot als computerbasierte Trainingsplattform und bitten die Teilnehmer dann, bestimmte Aufgaben zu erledigen, indem sie ein „Laut denken“-Protokoll verwenden (d. h. eine Selbsterzählung abgeben, während sie jeder Aufgabe nachgehen). Das Ziel der laborbasierten Usability-Analyse ist es, zu überprüfen, ob die Software in einem kontrollierten Umfeld wie beabsichtigt funktioniert. Als Teil der einstündigen Sitzung haben die Teilnehmer die Möglichkeit, 2-3 MI-Trainingsmodule zu nutzen.

Stufe 2. PRI bietet jedes Jahr einen robusten Zeitplan für persönliche und Online-Schulungen. Für die Usability-Studie der Stufe 2 rekrutieren wir 20 Berater, die in den letzten 3 Monaten an einer PRI-Schulung teilgenommen haben. Nach den Softwareentwicklungsarbeiten zur Implementierung des ClientBot-Tools der Phase I in die HIPAA-konforme Cloud-basierte Plattform von Lyssn werden wir einen einarmigen, zweiwöchigen Feldversuch mit 20 neuen PRI-Auszubildenden durchführen, um den Benutzerworkflow, die Systeminteraktion und Allgemeines besser zu bewerten Verwendbarkeit in einer Community-AUD-Einstellung. Die Teilnehmer werden ermutigt, ClientBot 10 Minuten pro Arbeitstag zu verwenden. Die Teilnehmer werden täglich per E-Mail von Forschungsmitarbeitern kontaktiert, um sich nach technischer Zuverlässigkeit (z. B. Schwierigkeiten bei der Bedienung des Tools), funktionalen Zuverlässigkeit (z. B. Erfahrung mit ClientBot-Funktionen) und Erfahrungen bei der Integration des Systems in den Tagesablauf zu erkundigen. Die ClientBot-Nutzung wird automatisch vom System erfasst, einschließlich: welche Module verwendet wurden, wie oft auf Ressourcen zugegriffen und wie oft auf Ressourcen zugegriffen wurde, Zeit, die mit dem Ansehen von Einführungsmaterialien verbracht wurde, Feedback zur Genauigkeit, das während des Übens von Fähigkeiten gegeben wurde, und Zeit, die für die Überprüfung von NLP-generiertem Feedback aufgewendet wurde .

Nach jeder Übungssitzung beantworten die Teilnehmer eine kurze Reihe von Likert-Fragen auf einer Skala von 0 bis 10, darunter: Wie kohärent waren die Erzählung und die Antworten des Klienten? Wie realistisch war dieser simulierte Client im Vergleich zu den Clients, die Sie gesehen haben? Wie viel der Kundensitzung konzentrierte sich auf Alkoholkonsum? Wie genau war das Feedback zur Nutzung von MI-Fähigkeiten? Nach Abschluss aller Übungseinheiten füllen die Teilnehmer die System Usability Scale (SUS) aus. Um die Umsetzungsbereitschaft zu messen, werden wir auch das Maß für die Akzeptanz der Intervention (AIM), das Maß für die Angemessenheit der Intervention (IAM) und das Maß für die Durchführbarkeit der Intervention (FIM) verwenden. Es handelt sich jeweils um kurze 5-Punkte-Maßnahmen, die auf Kernumsetzungsergebnisse mit starken psychometrischen Eigenschaften abzielen. Die Auszubildenden bewerten die wahrgenommene Genauigkeit des ClientBot-Feedbacks, das auch durch objektive menschliche Codierung bewertet wird.

Stufe 3. Während Phase 3 der PRI-Forschung werden die Mitglieder 10-15 Schulungen für die Rekrutierung identifizieren (unter der Annahme, dass wir in der Lage sein werden, 50 % der Teilnehmer in jeder Schulung zu rekrutieren, basierend auf früheren Teilnahmequoten an PRI-basierter Forschung). Personen, die sich für eine PRI-Schulung angemeldet haben, werden etwa 6 Wochen vor der Schulung per E-Mail-Einladung für die Studie rekrutiert. Interessierte Teilnehmer füllen ihre informierte Einwilligung online aus, und nach der Einwilligung werden die Therapeuten-Teilnehmer randomisiert in ClientBot (CB) vs. Training as usual (TAU)-Bedingungen eingeteilt. Die Teilnehmer werden dann gebeten, die Computerbewertung simulierter Patienteninterviews (CASPI) zu absolvieren, eine computerbasierte, standardisierte Bewertung der MI-Fähigkeiten, die stark mit objektiven Messungen der MI-Genauigkeit korreliert. Wir werden insgesamt 200 PRI-Auszubildende rekrutieren und randomisieren, indem wir ihre laufenden Online-Schulungen nutzen. PRI bildet jedes Jahr etwa 1.200 Personen aus. Basierend auf unserer Pilotstudie rechnen wir mit einer Rekrutierungsrate von 30 %, was die erforderliche Stichprobengröße von 200 in etwa 6-8 Monaten ergeben würde. Die Forschungsteilnehmer werden zufällig ausgewählt, um ClientBot unmittelbar nach ihrer PRI-Schulung oder Training-as-usual (TAU) zu verwenden, was keine Intervention unmittelbar nach der Schulung beinhaltet. Vor der ClientBot-Intervention werden die Teilnehmer in beiden Armen die Computerbewertung simulierter Patienteninterviews (CASPI) absolvieren. Das CASPI präsentiert kurze Kundenvideos mit Aufforderungen, verschiedene MI-Fähigkeiten nach jedem Video zu verwenden, die aufgezeichnet und dann auf MI-Wiedergabetreue bewertet werden. Die Teilnehmer in beiden Armen werden nach der ClientBot-Schulungsperiode CASPI-Follow-up-Bewertungen absolvieren. Nach einer 2-monatigen Auswaschphase erhält der ClientBot-Arm einen zusätzlichen Follow-up-CASPI. Beide Arme werden dann gebeten, sich an standardisierten Patientensitzungen zu beteiligen, um ihre PRI-Trainingsanforderungen zu erfüllen. Nach Abschluss der SP-Sitzungen wird den Teilnehmern des TAU-Arms die ClientBot-Trainingsintervention angeboten, gefolgt von einem abschließenden CASPI. Die letzten Monate von Phase 2 / Jahr 2 werden sich auf Datenanalysen und die Verbreitung von Erkenntnissen über Konferenzpräsentationen und Veröffentlichungen konzentrieren.