Kan et skreddersydd kvalitetssikringsprogram hjelpe allmennleger med å opprettholde POCUS skanningskompetanse? En kohortstudie fra Danmark

Innledning Point-of-care ultralyd (POCUS) undersøkelser brukes i økende grad i allmennpraksis. Allmennleger kan lære å utføre ultralydundersøkelser ved å delta på ultralydkurs, men etter kursoppmøte får de selv vedlikeholde og utvikle skanningskompetanse . Opprettholdelse av skanningskompetanse i allmennpraksis utfordres av (1) lav frekvens av utførte undersøkelser da ikke alle pasienter sett i allmennpraksis har forhold egnet for POCUS, (2) lav pre-test sannsynlighet for sykdom i allmennpraksis som utfordrer evnen å gjenkjenne ulike patologier, (3) mangelen på tilsyn da fastleger ofte jobber alene på små kontorer, og (4) de korte konsultasjonene som gir lite rom for praksis.

Det er utviklet et ultralydkurs skreddersydd for danske kontorbaserte fastleger som tilbyr kontinuerlig praksis under veiledning i de tre månedene fastlegene er påmeldt kurset. Tidligere forskning har vist at dette ultralydkurset fører til skanningskompetanse innenfor de ti skanningsmodalitetene som inngår i kursplanen. Kurset er laget for å få deltakerne til å bevege seg mot selvstyrt læring, men vi vet ikke om skanningskompetanse oppnådd på kurset kan opprettholdes over tid.

Innenfor enkelte medisinske spesialiteter har antall utførte spesifikke POCUS-undersøkelser blitt brukt som indikator for skanningskompetanse ved resertifisering . Det er imidlertid lite kjent om antall utførte POCUS-undersøkelser som trengs for å sikre ferdigheter. I allmennpraksis har det vist seg at programmer for kontinuerlig medisinsk utdanning (CME) øker fastlegenes kunnskap og ferdigheter på andre områder, men ettersom POCUS bare er en mindre del av det kliniske arbeidet i allmennpraksis, kan ikke CME-programmer for fastleger være for tidkrevende .

Spesifikke mål Det overordnede målet med denne studien er å undersøke om et kvalitetssikringsprogram, skreddersydd for fastleger som bruker POCUS som en del av sin pasientundersøkelse i allmennpraksis, kan føre til opprettholdt skanningskompetanse 12 måneder etter baseline.

Prøvedesign Dette er en kohortstudie designet som en oppfølging av en hybrid effektivitets-implementeringsstudie (ClinicalTrials.gov Identifikator: NCT05274581). I forrige studie deltok 18 fastleger på et ultralydkurs rettet mot kontorbaserte fastleger. Ultralydkurset besto av tre undervisningsseminarer over tre måneder (mars – juni 2022), en læreplan med 10 POCUS-applikasjoner, en nettbasert læringsplattform som gir pedagogisk støtte før, under og etter undervisningsøktene (se figur 1). Ved slutten av ultralydkurset (juni 2022) og igjen 3 måneder etter ultralydkurset (september 2022) fikk alle deltakerne sin skannekompetanse innenfor de 10 POCUS-søknadene vurdert av eksterne eksperter. Disse ekspertene ble blindet for deltakernes tidligere erfaring og læringsprosess. Vurderingen av skanningskompetanse ble gjort ved hjelp av vurderingsverktøyet OSAUS . Etter denne studien har deltakerne implementert POCUS i sin kliniske praksis, hvor de bruker POCUS som en del av pasientundersøkelsen.

Studiemiljøer Denne studien vil bli utført i kontorbasert allmennpraksis i Danmark. Fastleger i Danmark er selvstendig næringsdrivende og jobber i kontorbaserte allmennpraksisklinikker. Danmark har et offentlig helsevesen der nesten alle pasienter er oppført hos fastlege for primærhelsetjenesten. Konsultasjoner og behandlinger er gratis for pasienter. Fastleger fungerer som portvakter for andre helsepersonell i primærhelsetjenesten og spesialister i sekundærhelsetjenesten. Fastlegene betales gjennom en kombinasjon av godtgjørelse og honorar for tjeneste finansiert over skatt8. Det er ingen gebyr for å utføre POCUS i primærhelsetjenesten og fastlegene må selv dekke utgifter til ultralydapparatet og deres ultralydutdanning. Imidlertid vil deltakende fastleger i løpet av denne studien ha et gebyr for å utføre POCUS-undersøkelser. POCUS skanningsgebyr vil bli registrert i journalsystemet i praksisen.

Studien vil bli koordinert fra CAM AAU og data vil bli samlet inn av forskerteamet og av de deltakende allmennlegene i deres klinikker. Alle studiedata vil bli lagret på en sikker server ved Aalborg Universitet.

Kvalitetssikringsprogrammet skal utvikles og leveres av forskerteam, som er erfarne fastleger, POCUS-brukere og/eller lærere. Kompetansevurderingen (OSAUS-score) vil bli levert av et team av POCUS-eksperter (SKA, OG, MBJ, CS og LP), som har lang POCUS-erfaring.

Resultatmål Bakgrunnskarakteristika for deltakende fastleger Ved baseline vil følgende deltakerkarakteristika samles inn: Alder (år), kjønn (M, K, annet), tidligere bruk av ultralyd (antall måneder ved vanlig bruk), tidligere ultralydkurs på minimum 1 dagsvarighet (ja/nei), skannertype (lavt område, mellomområde, høyt nivå), type praksis (samarbeid, partnerskap, solo), praksissted (by, landlig, blandet), antall pasienter tildelt praksisen , og antall fastleger som jobber i praksisen.

I tillegg vil resultatene fra OSAUS-vurderingen av skanningskompetanse utført på alle deltakere i september eller oktober 2022 inkluderes.

OSAUS vurderingsverktøy er utviklet og validert som et generisk verktøy for vurdering av skanningskompetanse14. OSAUS-skalaen består av syv punkter: 'indikasjon for undersøkelsen', 'anvendt kunnskap om ultralydutstyr', 'bildeoptimalisering', 'systematisk undersøkelse', 'bildetolkning', 'dokumentasjon av undersøkelsen' og 'medisinsk beslutning- making' og hvert element vurderes ved å bruke en fempunkts Likert-skala med beskrivelser av ytelse som spenner fra svært dårlig (score = 1) til utmerket (score = 5). Alle elementer er vektet likt, ettersom det tidligere er funnet høy interelementkorrelasjon . Derfor kan en total poengsum fra 7 til 35 poeng oppnås for hver skanningsmodalitet.

OSAUS ultralydkompetansevurderingsverktøy er utviklet som et generisk verktøy for å vurdere ultralydkompetanse på tvers av medisinske spesialiteter. Vurderingsverktøyet ble utviklet gjennom en Delphi-studie14 og det har blitt brukt til å vurdere klinikeres evne til å overføre læring fra et ultralydkurs til diagnostisk ytelse på pasienter. Videre har verktøyet blitt funnet gyldig og pålitelig for å skille mellom nybegynnere POCUS-brukere og eksperter.

For primærutfall(P1) og sekundærutfall (S1-S2) brukes skåren Objective Structured Assessment of Ultrasound Skills (OSAUS) etter 12 måneder. For det primære utfallet (P2) brukes OSAUS-skåren ved baseline og ved 12 måneder.

Primære resultater:

(P1): Den oppsummerte OSAUS-skåren etter 12 måneder for alle ti modaliteter vil bli beregnet som prosent av maksimal poengsum. For å oppsummere normal- og ikke-normalfordelte data vil på samme måte gjennomsnitt(SD) så vel som median(IQR) bli presentert sammen med minimums- og maksimumscore.

Primært utfall 2 (P2):

Den oppsummerte OSAUS-skåren ved baseline og ved 12 måneder for hver deltakende fastlege vil bli sammenlignet og andelen fastleger, med en OSAUS-score ved 12 måneder større enn eller lik ultralydkompetanseskåren ved baseline, vil bli rapportert.

Sekundære utfall (S1): For fastleger, som deltar i et POCUS-kvalitetssikringsprogram, vil OSAUS-skårene og elementskårene etter 12 måneder, for hver av de ti skannemodalitetene som er inkludert i læreplanen, beregnes og presenteres som median, IQR, minimum og maksimal poengsum.

(S2): Andelen fastleger som oppnår en OSAUS-score på minimum tre for alle syv domener for hver av de ti skannemodalitetene etter 12 måneder, vil bli beregnet. Siden variasjon i skårer kan forekomme mellom de fire ekspertbedømmerne. Poengsummene vil normaliseres ved å multiplisere en gitt tilgangsskåre med (0,2 x summen av poengsummene for alle fem tilgangspersonene/den gitte tilgangsskåren) før man beregner andelen vellykkede fastleger.

For sekundærutfallet S3 vil fastlegenes vurdering av egen skanningskompetanse benyttes. Fastlegene vil opplyse i hvilken grad de har POCUS-skanningskompetanse innenfor en bestemt skanningsmodalitet for å utføre skanningen uten veiledning i allmennpraksis (I svært høy grad, i høy grad, til en viss grad, i mindre grad, ikke kl. alt, usikker).

(S3): Andelen fastleger som vurderer seg selv som kompetente til å utføre POCUS uten veiledning i allmennpraksis, etter utdanningsperioden (tre måneder etter baseline), vil bli beregnet for hver av de ti skanningsmodalitetene.

For sekundærutfallet S4 vil de gebyrspesifikke kodene fastlegen registrerer ved konsultasjon i allmennpraksis benyttes. Etter bruk av POCUS i allmennpraksiskonsultasjonene vil fastlegene følge vanlige prosedyrer for registrering av aktiviteter i allmennpraksis ved bruk av honorarkoder og honorarspesifikke koder for bruk av POCUS i journalsystemet. I forkant av denne studien vil 10 gebyrspesifikke koder for de 10 ulike POCUS-undersøkelsene i pensum være installert i journalsystemet. Primary Sector Data Provider Platform (PLSP) vil utvikle en algoritme som tillater følgende datautvinning på hver deltakende fastlege i en gitt tidsramme: (1) antall utførte POCUS-undersøkelser og (2) antall konsultasjoner. PLSP vil levere månedlige aggregerte data for hver deltakende fastlege fra baseline til 12 måneder etter baseline.

(S4): Antall utførte POCUS-undersøkelser av hver fastlege hver måned i løpet av studien (måned 1-12 etter baseline) vil bli oppsummert for å demonstrere variasjon over tid.

For sekundærresultatet S5 og S6 vil resultatene av distribuerte nettquizer til deltakerne bli brukt. I løpet av studien vil fire nettquizer bli sendt til deltakerne på e-post (måned 3, 6, 9 og 12). En påminnelse vil følge etter to uker til deltakere som ikke svarer på quizen. Resultatene av disse quizene vil bli oppsummert som totalt antall fullførte quizer for hver deltaker (S5) og testresultatet for hver deltaker i månedene 3, 6, 9 og 12 (S6).

For de sekundære resultatene S7, S8 og S9, en lineær regresjonsmodell for å teste assosiasjoner mellom OSAUS-poengsum etter 12 måneder og det totale antallet utførte POCUS-undersøkelser for hver skannemodalitet (S7), antall fullførte quizer i kvalitetssikringsprogrammet ( S8), og testresultatene i kvalitetssikringsprogrammet (S9) vil bli brukt. Endringer i OSAUS-skåre mellom baseline og 12 måneder (S10) beregnes ved bruk av lineær regresjon. Poeng ved baseline og etter 12 måneder vil også bli sammenlignet med en paret t-test.

Utvalgsstørrelse Den potensielle studiepopulasjonen er de 18 fastlegene som deltok på ultralydkurset i regi av PLO-e. Det forventes en deltakelse på 80 % tilsvarende 15 fastleger.

Med 15 deltakere vil det totale antallet mulige utfylte OSAUS-spørreskjemaer med 7 punkter være 15 for hver modalitet og 150 for det samlede anslaget etter 12 måneder. Dette anses som tilstrekkelig til å estimere gjennomsnittsestimater og gi konfidensintervaller med akseptabel spredning.

Rekruttering Alle deltakere som deltok på PLO-e ultralydkurs ble invitert til å delta i studien. Ultralydkurset ble oppført i PLO-e kurskatalog for 2022 og som sådan tilbudt alle fastleger som arbeider i primærhelsetjenesten i Danmark.

Blinding Ekspertbedømmere som utfører kompetansevurderingen (primærutfall) har medisinsk bakgrunn og anses som eksperter på området. De har ikke undervist deltakere i opplæringsprogrammet. De vil bli blindet for deltakernes tidligere erfaring med POCUS, antall utførte POCUS-undersøkelser og eventuelle andre elementer i deltakernes læringsprosess.

Hovedetterforskeren (SKA) og MBJ fungerer som ekspertbedømmere i denne studien, og som sådan vil de bli blindet for bakgrunnsinformasjonen om deltakerne, datainnsamlingen og analysen av data. CAA vil være ansvarlig for all deltakerkorrespondanse, AR vil rense datasettet og analysere dataene.

Datainnsamling, styring og analyse

Datainnsamling

Multiple Choice Questionnaire (MCQ) MCQ-er vil bli distribuert via e-post til deltakende fastleger ved 3, 6, 9 og 12 måneder. E-posten inneholder en lenke til et online spørreskjema utarbeidet og samlet inn ved hjelp av Forms (Microsoft Office, Redmond, USA). En påminnelse vil følge etter to uker til deltakere som ikke fullfører MCQ etter den første invitasjonen. Data vil bli overført og lagret på en sikker server ved Aalborg Universitet.

Vurdering av skanningskompetanse Vurderingen av deltakernes skanningskompetanse ved bruk av OSAUS-skåren vil bli utført på samme måte med de samme ekspertbedømmerne ved baseline og etter 12 måneder.

Under vurderingen er kun deltaker og assessor tilstede. Hver vurdering vil følge samme struktur, der eksperter vil vurdere deltakerne ved å stille følgende spørsmål:

- I hvilke kliniske scenarier ville du utført denne POCUS-undersøkelsen (punkt 1 i OSAUS)

Ekspertene vil be deltakerne demonstrere POCUS-undersøkelsen (i maksimalt fem minutter) for å vurdere følgende:

• Anvendt kunnskap om ultralydutstyret (punkt 2 i OSAUS)
• Bildeoptimalisering (punkt 3 i OSAUS)
• Systematisk undersøkelse (punkt 4 i OSAUS)
• Tolkning av bilder (punkt 5 i OSAUS)

Ekspertene vil presentere deltakerne med et bilde av vanlig patologi og stille deltakerne følgende spørsmål:

• Hvordan vil du tolke disse ultralydfunnene? (Punkt 5 i OSAUS)
• Hvis du skulle beskrive denne undersøkelsen i journalen, hva ville du skrevet? (Punkt 6 i OSAUS)
• Hva ville du gjort hvis du fant den? (Punkt 7 i OSAUS)

I etterkant av vurderingen vil deltakeren få tilbakemelding på prestasjonsnivå og pedagogiske råd. Den totale varigheten av vurderingen forventes å vare 90 minutter for hver deltaker. Bedømmeren fullfører en OSAUS-poengsum for hver av de ti undersøkelsene som utføres av deltakeren.

Utdanning av POCUS-ekspertbedømmere POCUS-ekspertbedømmerne har alle tidligere erfaring med å bruke OSAUS-poengsummen. Likevel, før vurderingen av deltakernes prestasjoner i denne studien, deltar POCUS-ekspertene i en 90-minutters online treningsøkt med CAA som har tidligere erfaring med utdanning av et team av bedømmere. Under denne treningsøkten blir POCUS-ekspertene presentert for OSAUS-poengsummen og prosedyren for å vurdere deltakerne i denne studien. POCUS-ekspertene blir bedt om å vurdere i henhold til standarden som forventes av en fastlege, som er i stand til å utføre POCUS uten tilsyn i allmennpraksis.

Egenvurdert skanningskompetanse I forhold til ekspertvurderingen av skanningskompetanse ble deltakerne bedt om å fylle ut et spørreskjema der de erklærer om de har POCUS skanningskompetanse innenfor denne skanningsmodaliteten for å utføre skanningen uten veiledning i allmennpraksis. De sakkyndige bedømmerne ble blindet for denne erklæringen.

Evalueringsspørreskjema Etter 12 måneder etter den siste MCQ-quizen og den endelige evalueringen av skanningskompetanse, vil vi sirkulere et evalueringsspørreskjema for deltakerne. Dette spørreskjemaet vil bli utviklet basert på innsamlede erfaringer under studien.

Databehandling OSAUS-vurderingen vil fylles ut av sakkyndige bedømmere ved bruk av papirversjoner av registreringsarket. Registreringsarkene og spørreskjemaene vil bli samlet inn av Luftfartstilsynet og kontrollert for fullstendighet. CAA vil bringe registreringsarkene til CAM AAU, hvor de oppbevares trygt i et låst skap. To forskningsassistenter vil uavhengig imputere resultatene i en Microsoft Excel-fil sammen med resultatene fra MCQ-quizen. De to datasettene vil deretter bli sammenlignet for inkonsekvenser og disse vil bli løst ved å involvere en tredjepart.

Heretter vil all digital studierelatert data bli pseudo-anonymisert og lagret på sikker server på Aalborg Universitet og håndteres i henhold til den generelle databeskyttelsesforordningen.

Statistiske metoder for å analysere primære og sekundære utfall. Alle statistiske analyser vil bli utført ved bruk av STATA versjon 17 (StataCorp, Texas, USA) og analysert i henhold til en forhåndsdefinert statistisk analyseplan, som vil bli lastet opp før datainnsamlingen for det primære resultatet.

Det vil bli utført delanalyser for å utforske betydningen av ulike pedagogiske elementer i intervensjonen. Disse delanalysene vil bli definert i den statistiske analyseplanen.

En prediktiv gjennomsnittlig matching (pmm) imputeringsmetode vil bli brukt for å fylle inn manglende verdier med kommandoen "mi impute pmm" i Stata , for alle OSAUS-skårer etter 3 og 6 måneder. Predictive mean matching (PMM) er en delvis parametrisk metode som matcher den manglende verdien til den observerte verdien med det nærmeste predikerte gjennomsnittet .

Dataovervåking

Skader

De deltakende fastlegene vil være forpliktet til å rapportere alle mistenkte uventede alvorlige bivirkninger (SUSAR), alvorlige bivirkninger (SAE) og bivirkninger (AE) relatert til eller mulig relatert til bruken av POCUS til bivirkningskomiteen.

Etikk og formidling Studien vil bli utført i samsvar med Helsinki-erklæringen. Prosjektet ble meldt til Nordjyllands Regionskomité for helseforskningsetisk (Den Videnskabsetiske Komité for Region Nordjylland, referansenummer 2022-000764) som svarte at i henhold til dansk lov (komitélovens § 14, stk. 2), er det ikke nødvendig med etisk godkjenning for dette prosjektet.

Før innsamling av registerdata vil vi søke tillatelse fra de danske regioner. Prosjektet er registrert og gjennomført i henhold til forskriftene til det danske datatilsynet (registreringsnummer ID-242-2).

Tilgang til data I løpet av studien vil kun Luftfartstilsynet og en forskningsassistent ha tilgang til dataene. Etter pseudo-anonymiseringen vil følgende forfattere ha tilgang til innsamlede data lagret på den sikre serveren ved Aalborg Universitet (SKA, MBJ og CAA).

Formidlingspolitikk Positive, negative eller inkonklusive resultater av studien vil bli publisert i et fagfellevurdert tidsskrift. Prosjektgruppen vil også presentere resultater på konferanser.