Kan een op maat gemaakt kwaliteitsborgingsprogramma huisartsen helpen hun POCUS-scancompetentie te behouden? Een cohortstudie uit Denemarken

Inleiding Point-of-care echografie (POCUS)-onderzoeken worden steeds vaker toegepast in de huisartsenpraktijk. Huisartsen (huisartsen) kunnen door het volgen van echografiecursussen leren echografisch onderzoek uit te voeren, maar na het volgen van de cursus moeten zij zelf de scanvaardigheid op peil houden en ontwikkelen. Het behouden van de scanvaardigheid in de huisartsenpraktijk wordt uitgedaagd door (1) een lage frequentie van uitgevoerde onderzoeken, aangezien niet alle patiënten die in de huisartsenpraktijk worden gezien, aandoeningen hebben die geschikt zijn voor POCUS, (2) een lage pre-testkans op ziekte in de huisartsenpraktijk, waardoor het vermogen om om verschillende pathologieën te herkennen, (3) het gebrek aan supervisie aangezien huisartsen vaak alleen werken in kleine kantoren, en (4) de korte consultaties die weinig ruimte laten om te oefenen.

Er is een cursus echografie ontwikkeld die op maat is gemaakt voor Deense huisartsen die in de huisartsenpraktijk werken, waarbij de huisartsen drie maanden lang onder toezicht kunnen oefenen. Uit eerder onderzoek is gebleken dat deze cursus echografie leidt tot scancompetentie binnen de tien scanmodaliteiten die in het cursuscurriculum zijn opgenomen. De cursus is ontworpen om de deelnemers te laten evolueren naar zelfgestuurd leren, maar we weten niet of de scancompetentie die tijdens de cursus is verkregen, in de loop van de tijd kan worden behouden.

Binnen sommige medische specialismen is het aantal uitgevoerde specifieke POCUS-onderzoeken gebruikt als indicator voor scancompetentie bij hercertificering. Er is echter weinig bekend over het aantal uitgevoerde POCUS-examens dat nodig is om vaardigheden te borgen. In de huisartspraktijk is gebleken dat programma's voor permanente medische educatie (CME) de kennis en vaardigheden van huisartsen op andere gebieden vergroten, maar aangezien POCUS slechts een kleiner deel van het klinische werk in de huisartspraktijk is, kunnen CME-programma's voor huisartsen niet al te tijdrovend zijn .

Specifieke doelstellingen Het overkoepelende doel van deze studie is om te onderzoeken of een kwaliteitsborgingsprogramma, op maat gemaakt voor huisartsen die POCUS gebruiken als onderdeel van hun patiëntonderzoek in de huisartspraktijk, kan leiden tot behoud van scancompetentie 12 maanden na baseline.

Proefopzet Dit is een cohortstudie die is opgezet als vervolg op een hybride effectiviteits-implementatiestudie (ClinicalTrials.gov ID: NCT05274581). In het vorige onderzoek volgden 18 huisartsen een cursus echografie gericht op huisartsen in de praktijk. De echografiecursus bestond uit drie onderwijsseminars gedurende drie maanden (Marts - juni 2022), een curriculum van 10 POCUS-applicaties, een online leerplatform dat educatieve ondersteuning bood voor, tijdens en na de onderwijssessies (zie figuur 1). Aan het einde van de cursus echografie (juni 2022) en wederom 3 maanden na de cursus echografie (september 2022) hebben alle deelnemers hun scancompetenties binnen de 10 POCUS-aanvragen laten beoordelen door externe experts. Deze experts waren blind voor de eerdere ervaring en het leerproces van de deelnemers. De beoordeling van de scancompetentie is gedaan met behulp van de OSAUS-beoordelingstool. Na deze studie hebben deelnemers POCUS geïmplementeerd in hun klinische praktijk, waar ze POCUS gebruiken als onderdeel van het patiëntenonderzoek.

Studiesettings Dit onderzoek zal worden uitgevoerd in een huisartsenpraktijk in Denemarken. Huisartsen in Denemarken zijn zelfstandigen en werken in huisartspraktijken op kantoor. Denemarken heeft een openbaar gezondheidszorgsysteem waar bijna alle patiënten zijn geregistreerd bij een huisarts voor eerstelijnsgezondheidszorg. Consulten en behandelingen zijn gratis voor patiënten. Huisartsen fungeren als poortwachters voor andere eerstelijnszorgverleners en tweedelijns specialisten. Huisartsen worden betaald door middel van een combinatie van vergoeding en vergoeding per dienst, gefinancierd door middel van belastingen8. Er zijn geen kosten verbonden aan het uitvoeren van POCUS in de eerste lijn en de huisarts moet zelf de kosten voor het echoapparaat en het echo-onderwijs betalen. Tijdens dit onderzoek zullen deelnemende huisartsen echter een vergoeding betalen voor het uitvoeren van POCUS-onderzoeken. POCUS-scankosten worden geregistreerd in het medisch dossier van de praktijk.

De studie zal worden gecoördineerd vanuit CAM AAU en de gegevens zullen worden verzameld door het onderzoeksteam en door de deelnemende huisartsen in hun klinieken. Alle studiegegevens worden opgeslagen op een beveiligde server van de Universiteit van Aalborg.

Het kwaliteitsborgingsprogramma zal worden ontwikkeld en geleverd door een onderzoeksteam, bestaande uit ervaren huisartsen, POCUS-gebruikers en/of docenten. De competentiebeoordeling (OSAUS-score) wordt geleverd door een team van POCUS-experts (SKA, OG, MBJ, CS en LP), die uitgebreide POCUS-ervaring hebben.

Uitkomstmaten Achtergrondkenmerken van deelnemende huisartsen Bij baseline worden de volgende deelnemerkenmerken verzameld: leeftijd (jaren), geslacht (M, V, overig), eerder gebruik van echografie (aantal maanden regelmatig gebruik), eerdere echocursussen van minimaal 1 dagduur (ja/nee), scannertype (laag bereik, middenbereik, hoog bereik), type praktijk (samenwerking, partnerschap, solo), praktijklocatie (stedelijk, landelijk, gemengd), aantal patiënten toegewezen aan de praktijk en het aantal huisartsen werkzaam in de praktijk.

Daarnaast zullen de resultaten van de OSAUS-beoordeling van scancompetenties die in september of oktober 2022 bij alle deelnemers is uitgevoerd, worden opgenomen.

De OSAUS-beoordelingstool is ontwikkeld en gevalideerd als generiek hulpmiddel voor het beoordelen van scancompetentie14. De OSAUS-schaal bestaat uit zeven items: 'indicatie voor het onderzoek', 'toegepaste kennis van echoapparatuur', 'beeldoptimalisatie', 'systematisch onderzoek', 'interpretatie van beelden', 'documentatie van het onderzoek' en 'medische beslissing- making' en elk item wordt beoordeeld met behulp van een vijfpunts Likert-schaal met beschrijvingen van prestaties variërend van zeer slecht (score = 1) tot uitstekend (score = 5). Alle items worden gelijk gewogen, omdat eerder hoge inter-itemcorrelaties zijn gevonden . Per scanmodaliteit kan dus een totaalscore van 7 tot 35 punten behaald worden.

De OSAUS-tool voor het beoordelen van ultrasone vaardigheden is ontwikkeld als een generiek hulpmiddel om echografische competentie in medische specialismen te beoordelen. Het beoordelingsinstrument is ontwikkeld door middel van een Delphi-onderzoek14 en het is gebruikt om het vermogen van clinici te beoordelen om het geleerde van een echografiecursus om te zetten in diagnostische prestaties bij patiënten. Verder is de tool valide en betrouwbaar bevonden om onderscheid te maken tussen beginnende POCUS-gebruikers en experts.

Voor de primaire uitkomst (P1) en secundaire uitkomsten (S1-S2) wordt de Objective Structured Assessment of Ultrasound Skills (OSAUS)-score na 12 maanden gebruikt. Voor de primaire uitkomstmaat (P2) wordt de OSAUS-score bij baseline en na 12 maanden gebruikt.

Primaire uitkomsten:

(P1): De samengevatte OSAUS-score na 12 maanden voor alle tien modaliteiten wordt berekend als percentage van de maximale score. Om normaal en niet-normaal verdeelde gegevens samen te vatten, zullen zowel gemiddelde (SD) als mediaan (IQR) worden gepresenteerd samen met minimum- en maximumscores.

Primaire uitkomst 2 (P2):

De samengevatte OSAUS-score bij baseline en na 12 maanden voor elke deelnemende huisarts zal worden vergeleken en het percentage huisartsen met een OSAUS-score na 12 maanden hoger dan of gelijk aan de echografische competentiescore bij baseline zal worden gerapporteerd.

Secundaire uitkomsten (S1): Voor huisartsen die deelnemen aan een POCUS-kwaliteitsborgingsprogramma, worden de OSAUS-scores en de itemscores na 12 maanden voor elk van de tien scanmodaliteiten in het curriculum berekend en gepresenteerd als mediaan, IQR, minimum en maximale score.

(S2): Het aandeel huisartsen dat na 12 maanden een minimale OSAUS-score van drie voor alle zeven domeinen voor elk van de tien scanmodaliteiten behaalt, wordt berekend. Omdat er tussen de vier deskundige beoordelaars verschillen in scores kunnen optreden. De scores worden genormaliseerd door een gegeven toegangsscore te vermenigvuldigen met (0,2 x de som van de scores van alle vijf toegangers/de gemiddelde score van de gegeven toegang) alvorens het aandeel succesvolle huisartsen te berekenen.

Voor de secundaire uitkomstmaat S3 wordt het oordeel van de huisarts over de eigen scanvaardigheid gebruikt. De huisartsen verklaren in welke mate zij POCUS-scanbekwaamheid hebben binnen een bepaalde scanmodaliteit om de scan zonder toezicht in de huisartsenpraktijk uit te voeren (in zeer hoge mate, in hoge mate, enigszins, in mindere mate, niet op alles, onzeker).

(S3): Voor elk van de tien scanmodaliteiten wordt het aandeel huisartsen berekend dat zichzelf competent acht om POCUS zonder toezicht uit te voeren in de huisartspraktijk, na de onderwijsperiode (drie maanden na baseline).

Voor de nevenuitkomst S4 worden de tariefspecifieke codes gebruikt die de huisarts tijdens het consult in de huisartsenpraktijk heeft geregistreerd. Na het gebruik van POCUS in het huisartsenspreekuur volgen de huisartsen de normale procedures voor registratie van werkzaamheden in de huisartsenpraktijk met behulp van beloningscodes en tariefspecifieke codes voor het gebruik van POCUS in het patiëntendossier. Voorafgaand aan dit onderzoek worden 10 tariefspecifieke codes voor de 10 verschillende POCUS-onderzoeken in het curriculum geïnstalleerd in het medisch dossier. Het Primary Sector Data Provider Platform (PLSP) zal een algoritme ontwikkelen dat de volgende gegevensextractie mogelijk maakt van elke deelnemende huisarts in een bepaald tijdsbestek: (1) aantal uitgevoerde POCUS-onderzoeken en (2) aantal consultaties. PLSP levert maandelijkse geaggregeerde gegevens voor elke deelnemende huisarts vanaf baseline tot 12 maanden na baseline.

(S4): Het aantal uitgevoerde POCUS-onderzoeken door elke huisarts elke maand tijdens het onderzoek (maanden 1-12 na baseline) zal worden samengevat om variatie in de tijd aan te tonen.

Voor de secundaire uitkomst S5 en S6 worden de resultaten van gedistribueerde online quizzen aan de deelnemers gebruikt. Tijdens het onderzoek worden vier online quizzen per e-mail naar de deelnemers gestuurd (maanden 3, 6, 9 en 12). Na twee weken volgt een herinnering aan deelnemers die niet hebben gereageerd op de quiz. De resultaten van deze quizzen worden samengevat als het totale aantal voltooide quizzen voor elke deelnemer (S5) en de testscore voor elke deelnemer in maand 3, 6, 9 en 12 (S6).

Voor de secundaire uitkomsten S7, S8 en S9, een lineair regressiemodel om associaties te testen tussen de OSAUS-score na 12 maanden en het totale aantal uitgevoerde POCUS-onderzoeken voor elke scanmodaliteit (S7), het aantal voltooide quizzen in het kwaliteitsborgingsprogramma ( S8) en de toetsscores in het kwaliteitsborgingsprogramma (S9) worden gebruikt. Veranderingen in OSAUS-scores tussen baseline en 12 maanden (S10) worden berekend met behulp van lineaire regressie. Scores bij aanvang en na 12 maanden zullen ook worden vergeleken door middel van een gepaarde t-toets.

Steekproefomvang De potentiële onderzoekspopulatie zijn de 18 huisartsen die hebben deelgenomen aan de echocursus georganiseerd door PLO-e. Er wordt een participatiegraad van 80% verwacht, wat overeenkomt met 15 huisartsen.

Met 15 deelnemers zal het totale aantal mogelijke ingevulde 7-item OSAUS-vragenlijsten na 12 maanden 15 zijn voor elke modaliteit en 150 voor de gecombineerde schatting. Dit wordt voldoende geacht om gemiddelde schattingen te schatten en betrouwbaarheidsintervallen met een aanvaardbare spreiding te geven.

Werving Alle deelnemers die de cursus PLO-e echografie hebben gevolgd, zijn uitgenodigd om deel te nemen aan het onderzoek. De cursus echografie is opgenomen in de cursuscatalogus van PLO-e voor 2022 en wordt als zodanig aangeboden aan alle huisartsen werkzaam in de eerstelijnszorg in Denemarken.

Blindering Deskundige beoordelaars die de competentiebeoordeling uitvoeren (primaire uitkomsten) hebben een medische achtergrond en worden beschouwd als experts in het veld. Ze hebben geen les gegeven aan deelnemers aan het trainingsprogramma. Ze zullen blind zijn voor de eerdere ervaring van de deelnemers met POCUS, het aantal uitgevoerde POCUS-onderzoeken en andere elementen in het leerproces van de deelnemers.

De hoofdonderzoeker (SKA) en MBJ treden op als deskundige beoordelaars in deze studie en als zodanig zullen ze blind zijn voor de achtergrondinformatie over deelnemers, de gegevensverzameling en de analyse van gegevens. CAA is verantwoordelijk voor alle correspondentie van deelnemers, AR zal de dataset opschonen en de data analyseren.

Gegevensverzameling, beheer en analyse

Gegevensverzameling

Multiple Choice Questionnaire (MCQ) MCQ's worden per e-mail verspreid onder deelnemende huisartsen na 3, 6, 9 en 12 maanden. De e-mail bevat een link naar een online vragenlijst die is opgesteld en verzameld met behulp van Forms (Microsoft Office, Redmond, VS). Na twee weken volgt een herinnering voor deelnemers die na de eerste uitnodiging de MCQ niet hebben ingevuld. Gegevens worden overgedragen en opgeslagen op een beveiligde server aan de Universiteit van Aalborg.

Beoordeling van scancompetentie De beoordeling van de scancompetentie van deelnemers met behulp van de OSAUS-score wordt op dezelfde manier uitgevoerd met dezelfde deskundige beoordelaars bij aanvang en na 12 maanden.

Tijdens het assessment zijn alleen de deelnemer en de assessor aanwezig. Elke beoordeling volgt dezelfde structuur, waarbij experts de deelnemers beoordelen door de volgende vragen te stellen:

- In welke klinische scenario's zou u dit POCUS-onderzoek uitvoeren (Item 1 in de OSAUS)

De experts zullen de deelnemers vragen het POCUS-onderzoek te demonstreren (maximaal vijf minuten) om het volgende te beoordelen:

• Toegepaste kennis van de ultrasone apparatuur (item 2 in de OSAUS)
• Beeldoptimalisatie (item 3 in de OSAUS)
• Systematisch onderzoek (item 4 in de OSAUS)
• Interpretatie van afbeeldingen (item 5 in de OSAUS)

De experts presenteren de deelnemers een beeld van veelvoorkomende pathologie en stellen de deelnemers de volgende vragen:

• Hoe zou u deze echografische bevindingen interpreteren? (Item 5 in de OSAUS)
• Als u dit onderzoek in het medisch dossier zou beschrijven, wat zou u dan opschrijven? (Item 6 in de OSAUS)
• Wat zou je doen als je het zou vinden? (Item 7 in de OSAUS)

Na de beoordeling krijgt de deelnemer feedback over het prestatieniveau en onderwijskundig advies. De totale duur van het assessment zal naar verwachting 90 minuten per deelnemer bedragen. De beoordelaar vult een OSAUS-score in voor elk van de tien door de deelnemer uitgevoerde onderzoeken.

Opleiding van POCUS-expertbeoordelaars De POCUS-expertbeoordelaars hebben allemaal eerdere ervaring met het gebruik van de OSAUS-score. Toch nemen de POCUS-experts, voorafgaand aan de beoordeling van de prestaties van de deelnemers in dit onderzoek, deel aan een online trainingssessie van 90 minuten met CAA, die eerdere ervaring heeft met het opleiden van een team van beoordelaars. Tijdens deze trainingssessie maken de POCUS-experts kennis met de OSAUS-score en de procedure voor het beoordelen van de deelnemers aan dit onderzoek. De POCUS-experts krijgen de opdracht om te beoordelen volgens de norm die verwacht wordt van een huisarts die in staat is om POCUS zonder toezicht uit te voeren in de huisartsenpraktijk.

Zelf beoordeelde scanbekwaamheid In verband met de expertbeoordeling van scanbekwaamheid werd aan deelnemers gevraagd een vragenlijst in te vullen waarin ze aangeven of ze al dan niet POCUS-scanbekwaamheid hebben binnen deze scanmodaliteit om de scan zonder toezicht uit te voeren in de huisartsenpraktijk. De deskundige beoordelaars waren blind voor deze verklaring.

Evaluatievragenlijst Na 12 maanden na de laatste MCQ-quiz en de eindevaluatie van de scanvaardigheid, zullen we een evaluatievragenlijst rondsturen voor de deelnemers. Deze vragenlijst zal worden ontwikkeld op basis van verzamelde ervaringen tijdens het onderzoek.

Gegevensbeheer Het OSAUS-assessment wordt ingevuld door de deskundige beoordelaars aan de hand van papieren versies van het registratieblad. De registratiebladen en vragenlijsten worden door CAA verzameld en op volledigheid gecontroleerd. CAA brengt de registratiebladen naar CAM AAU, waar ze veilig worden opgeborgen in een afgesloten kast. Twee onderzoeksassistenten zullen zelfstandig de resultaten toerekenen in een Microsoft Excel-bestand samen met de resultaten van de MCQ-quiz. De twee datasets worden vervolgens vergeleken op inconsistenties en deze worden opgelost door een derde partij in te schakelen.

Hierna worden alle digitale studiegerelateerde gegevens pseudo-geanonimiseerd en opgeslagen op een beveiligde server op de Universiteit van Aalborg en behandeld in overeenstemming met de Algemene Verordening Gegevensbescherming.

Statistische methoden voor het analyseren van primaire en secundaire uitkomsten. Alle statistische analyses worden uitgevoerd met behulp van STATA versie 17 (StataCorp, Texas, VS) en geanalyseerd volgens een vooraf gedefinieerd statistisch analyseplan, dat wordt geüpload voorafgaand aan de gegevensverzameling voor het primaire resultaat.

Er zullen subanalyses worden uitgevoerd om het belang van verschillende educatieve elementen in de interventie te onderzoeken. Deze deelanalyses worden vastgelegd in het statistisch analyseplan.

Een predictive mean matching (pmm) imputatiemethode zal worden gebruikt om ontbrekende waarden in te vullen met het commando "mi impute pmm" in Stata, voor alle OSAUS-scores na 3 en 6 maanden. Predictive mean matching (PMM) is een gedeeltelijk parametrische methode die de ontbrekende waarde koppelt aan de waargenomen waarde met het dichtstbijzijnde voorspelde gemiddelde .

Gegevensbewaking

schade

De deelnemende huisartsen zijn verplicht alle Suspected Unexpected Serious Adverse Reactions (SUSAR's), Serious Adverse Events (SAE's) en Adverse Events (AE's) die verband houden met of mogelijk verband houden met het gebruik van POCUS, te melden aan de incidentencommissie.

Ethiek en disseminatie Het onderzoek zal worden uitgevoerd in overeenstemming met de Verklaring van Helsinki. Het project werd aangemeld bij de Noord-Deense regiocommissie voor gezondheidsonderzoeksethiek (Den Videnskabsetiske Komité voor de regio Nordjylland, referentienummer 2022-000764), die antwoordde dat volgens de Deense wet (komitélovens § 14, stk. 2), is er geen ethische goedkeuring nodig voor dit project.

Voorafgaand aan het verzamelen van registergegevens, zullen we toestemming vragen aan de Deense regio's. Het project is geregistreerd en uitgevoerd volgens de voorschriften van het Deense bureau voor gegevensbescherming (registratienummer ID-242-2).

Toegang tot gegevens Gedurende het onderzoek hebben alleen CAA en een onderzoeksassistent toegang tot de gegevens. Na de pseudo-anonimisering hebben de volgende auteurs toegang tot de verzamelde gegevens die zijn opgeslagen op de beveiligde server van de Universiteit van Aalborg (SKA, MBJ en CAA).

Verspreidingsbeleid Positieve, negatieve of onduidelijke resultaten van het onderzoek zullen worden gepubliceerd in een collegiaal getoetst tijdschrift. De projectgroep zal ook resultaten presenteren op conferenties.