ClientBot: Keskusteleva agentti, joka tukee taitojen harjoittelua ja palautetta motivoivaa haastattelua varten

Vaihe 1. Haastatteluissa 5 PRI-kouluttajaa arvioidaan nykyisiä PRI-koulutuksen tavoitteita, sisältöä ja muotoa, mutta myös sitä, kuinka koulutuskäytäntöjä toteutetaan, mukaan lukien millaisia ​​tekniikoita käytetään tällä hetkellä mihin tarkoituksiin. Tämän jälkeen kouluttajille esitellään prototyyppi ClientBot-alusta, mukaan lukien mahdollisuus käyttää sitä, ja heitä pyydetään kuvailemaan, kuinka he voisivat integroida prototyypin olemassa oleviin koulutuskäytäntöihinsä. Kouluttajat havainnollistavat työprosesseja roolileikkeissä tutkijoiden kanssa, ja tiedonkeruu sisältää haastatteluäänitteitä ja kenttämuistiinpanoja. Kouluttajien osallistujia haastatellaan myös heidän MI-taitojensa käytöstä ja siitä, mitkä ovat tärkeimmät ja/tai koulutusta tarvitsevat tyypillisimpiä harjoittelijoitaan.

Vaihe 1 sisältää myös harjoittelijat, jotka ovat osallistuneet PRI-koulutukseen viimeisen 3 kuukauden aikana. Viimeaikaiset harjoittelijat tarjoavat tietoisen näkökulman ClientBot-alustalle suhteessa nykyisiin PRI-taitojen koulutuskäytäntöihin, joihin kuuluu MI-taitojen työkirja ja roolileikkejä. Osallistujaistunnot toteutetaan verkossa käyttämällä haastattelupohjaista käytettävyysmuotoa. Tutkimushenkilöstö antaa lyhyen esittelyn ClientBotista tietokonepohjaisena taitojen koulutusalustana ja pyytää sitten osallistujia suorittamaan tiettyjä tehtäviä käyttämällä "ajattele ääneen" -protokollaa (eli kertomaan itseään suorittaessaan jokaista tehtävää). Laboratoriopohjaisen käytettävyysanalyysin tavoitteena on varmistaa, että ohjelmisto toimii tarkoitetulla tavalla kontrolloidussa ympäristössä. Osana tunnin mittaista istuntoa osallistujilla on mahdollisuus käyttää 2-3 MI-taitojen koulutusmoduulia.

Vaihe 2. PRI:llä on vankka aikataulu henkilökohtaisista ja online-koulutuksista joka vuosi. Vaiheen 2 käytettävyystutkimukseen rekrytoimme 20 ohjaajaa, jotka ovat osallistuneet PRI-koulutukseen viimeisen 3 kuukauden aikana. Ohjelmistosuunnittelutyön jälkeen Phase I ClientBot -työkalun käyttöönottamiseksi Lyssnin HIPAA-yhteensopivaan pilvipohjaiseen alustaan ​​suoritamme yhden käden, 2 viikon kenttäkokeen 20 viime PRI-harjoittelijan kesken arvioidaksemme paremmin käyttäjien työnkulkua, järjestelmän vuorovaikutusta ja yleistä. käytettävyys yhteisön AUD-asetuksissa. Osallistujia rohkaistaan ​​käyttämään ClientBotia 10 minuuttia työpäivää kohden. Tutkimushenkilöstö ottaa osallistujiin päivittäin yhteyttä sähköpostitse ja tiedustelee teknistä luotettavuutta (esim. työkalun käytön vaikeudet), toiminnallista luotettavuutta (esim. kokemusta ClientBot-toimintojen käytöstä) ja kokemuksia järjestelmän integroimisesta päivän työnkulkuun. Järjestelmä tallentaa ClientBotin käytön automaattisesti, mukaan lukien: mitä moduuleja on käytetty, kuinka monta kertaa resursseja käytettiin ja toistettiin, aika, joka kului esittelymateriaalien katseluun, taitojen harjoittelun aikana annettu uskollisuuspalaute ja NLP:n luoman palautteen tarkistamiseen käytetty aika. .

Jokaisen harjoittelun jälkeen osallistujat vastaavat lyhyeen sarjaan likert-kysymyksiä asteikolla 0-10, mukaan lukien: Kuinka johdonmukaista oli asiakkaan kertomus ja vastaukset? Kuinka realistinen tämä simuloitu asiakas oli verrattuna asiakkaisiin, joita olet nähnyt? Kuinka suuri osa asiakasistunnosta keskittyi alkoholin käyttöön? Kuinka tarkkaa palaute MI-taitojen käytöstä oli? Kaikkien harjoitusten suorittamisen jälkeen osallistujat suorittavat järjestelmän käytettävyysasteikon (SUS). Toteutusvalmiuden mittaamiseen käytämme myös interventiotoimenpiteen hyväksyttävyys (AIM), toimenpiteiden tarkoituksenmukaisuusmitta (IAM) ja interventiotoimenpiteen toteutettavuus (FIM). Jokainen niistä on lyhyitä, viidestä osasta koostuvia toimenpiteitä, jotka tähtäävät ydintoteutustuloksiin, joilla on vahvat psykometriset ominaisuudet. Harjoittelijat arvioivat ClientBot-palautteen havaitun tarkkuuden, joka myös arvioidaan objektiivisen ihmisen koodauksen avulla.

Vaihe 3. Vaiheen 3 aikana PRI-tutkimuksen jäsenet valitsevat 10-15 koulutusta, joista rekrytoida (olettaen, että pystymme rekrytoimaan 50 % osallistujista jokaiseen koulutukseen perustuen aiempien osallistumisasteiden mukaan PRI-pohjaiseen tutkimukseen). PRI-koulutukseen ilmoittautuneet henkilöt rekrytoidaan tutkimukseen noin 6 viikkoa ennen koulutusta sähköpostikutsulla. Kiinnostuneet osallistujat täyttävät tietoisen suostumuksen verkossa, ja suostumuksensa jälkeen terapeutin osallistujat satunnaistetaan ClientBot (CB) vs. koulutus (TAU) -olosuhteisiin. Osallistujia pyydetään sitten suorittamaan simuloitujen potilashaastattelujen (CASPI) tietokonearviointi, tietokonepohjainen standardisoitu MI-taitojen arvio, joka korreloi voimakkaasti MI-tarkkuuden objektiivisten mittareiden kanssa. Rekrytoimme ja satunnaistamme yhteensä 200 PRI-harjoittelijaa heidän jatkuvan verkkokoulutuksensa avulla. PRI kouluttaa noin 1 200 henkilöä vuosittain. Pilottitutkimuksemme perusteella odotamme 30 %:n rekrytointiastetta, joka tuottaisi vaaditun 200 otoskoon noin 6-8 kuukaudessa. Tutkimukseen osallistujat satunnaistetaan käyttämään ClientBotia välittömästi PRI-koulutuksensa jälkeen tai tavalliseen tapaan (TAU), johon ei liity väliintuloa välittömästi koulutuksen jälkeen. Ennen ClientBot-interventiota molempien käsien osallistujat suorittavat simuloitujen potilashaastattelujen tietokonearvioinnin (CASPI). CASPI esittää lyhyitä asiakasvideoita, joissa kehotetaan käyttämään erilaisia ​​MI-taitoja jokaisen videon jälkeen. Videot tallennetaan ja sitten pisteytetään MI-tarkkuuden perusteella. Molempien ryhmien osallistujat suorittavat CASPI-seurantaarvioinnit ClientBot-koulutusjakson jälkeen. 2 kuukauden pesujakson jälkeen ClientBot-haara saa lisäseuranta-CASPI:n. Molempia käsiä pyydetään sitten osallistumaan standardoituihin potilasistuntoihin PRI-koulutusvaatimusten täyttämiseksi. SP-istuntojen päätyttyä TAU-ryhmän osallistujille tarjotaan ClientBot-koulutusinterventio, jota seuraa viimeinen CASPI. Vaiheen 2 / vuoden 2 viimeiset kuukaudet keskittyvät data-analyyseihin ja tulosten levittämiseen konferenssiesitelmien ja julkaisujen kautta.