Beoordeling van een nieuw algoritmesysteem voor polyfarmacie Patiëntmedicatieveiligheid en consultatie

Dit is een observationele, retrospectieve studie uitgevoerd op geanonimiseerde elektronische medische dossiers (EPD's). De studie omvat twee fasen: een pilotstudie voor training en verificatie van een nieuw systeem; en een klinische validatiestudie voor het evalueren van de prestaties van het MDI-systeem in vergelijking met de klinische apotheker.

Het hoofddoel van de studie is het bepalen van de non-inferioriteit van een nieuwe systeemprestatie in vergelijking met de klinische apotheker, voor het creëren van inzichten op basis van de analyse van EPD's van multidrugpatiënten. De kwaliteit en nauwkeurigheid van de analyse en inzichten wordt beoordeeld door een externe beoordelingscommissie (de gouden standaard), bestaande uit twee (2) senior academische klinische apothekers (Pharm.D, Ph.D).

De afdeling Informatiesystemen van de klinische site scande op EPD's van multidrugpatiënten volgens extractiecriteria. De onbewerkte gegevens van de patiëntendossiers werden beoordeeld door de hoofdonderzoeker (PI). Medische coderingsdefinities van de extractiecriteria werden aangepast op basis van discrepanties die door de PI werden gevonden. De geanonimiseerde EPD's van de patiënten werden gerandomiseerd naar een trainingscohort voor de trainingsfase en naar het klinische validatiecohort.

Fase 1 van de proef was voor het trainen van het MDI-systeem op real-life patiënten-EPD's. Geanonimiseerde EPD's van het trainingscohort werden geüpload naar het MDI System-platform, dat het risico van elke patiënt op door drugs veroorzaakte problemen berekent volgens vijf categorieën: 1) duplicatie van therapie, 2) leeftijdsgerelateerde problemen, 3) onjuiste dosis, 4) huidige kant effecten en 5) toekomstige bijwerkingenrisico's. Het uitvoerrapport van het MDI-systeem wordt beoordeeld door het klinische team. Op basis van de systeembrede conclusies en het risicoberekeningsmodel worden de algoritmen aangepast.

Fase 2 van de studie was voor de klinische validatie van het MDI-systeem. Het MDI-systeem en de klinische apothekers evalueerden onafhankelijk de EPD's van het klinische cohort en rapporteerden inzichten op conclusiebladen volgens de vijf categorieën: 1) duplicatie van therapie, 2) leeftijdsgerelateerde problemen, 3) onjuiste dosis, 4) actuele bijwerkingen en 5) risico's van toekomstige bijwerkingen. Een externe beoordelingscommissie bestaande uit twee (2) senior klinische apothekersartsen, die blind waren voor de bron van de conclusiebladen, beoordeelde het MDI-systeem en de inzichten van de klinische apotheker.

Overeenstemming wordt gedefinieerd als een identieke conclusie tussen de conclusie van het MDI-systeem/de klinische apotheker over een van de categorieën/problemen die zijn gedocumenteerd op het conclusieblad van de patiënt en de conclusie van de jury (de gouden standaard). De juryleden kregen ook de opdracht om elke bevinding toe te voegen die in hun professionele mening ontbrak in de gedocumenteerde patiëntconclusieformulieren. Overeenstemming van een conclusie met de conclusie van de jury wordt gemarkeerd als echt positief. Geen overeenstemming over een conclusie en de conclusie van de jury wordt gemarkeerd als fout-positief. Een door de beoordelingscommissie ontbrekende conclusievariabele wordt gemarkeerd als fout-negatief. Echte negatieven worden gedefinieerd als overeenstemming tussen een conclusie met betrekking tot een ontbrekende bevinding in een van de categorieën.

De steekproefomvang voor de klinische validatie van het MDI-systeem was gebaseerd op het primaire eindpunt van non-inferioriteit van de diagnostische totale overeenstemming van het MDI-systeem in vergelijking met de diagnostische totale overeenstemming van de klinische apothekers voor het totaal van de gecombineerde categorieën. De gouden standaard was de beoordelingscommissie. Ervan uitgaande dat de totale overeenstemming 5% hoger is voor het MDI-systeem, met een non-inferioriteitsmarge van 5%, α-niveau van 5%, statistisch vermogen van 90% en een verwachte standaarddeviatie van 15%, is de minimale steekproefomvang ongeveer 20 gevallen. Het bereikte rekruteringsniveau was meer dan twee keer zo hoog in de eigenlijke klinische proef.

Betrouwbaarheidsintervallen van 95% (95% BI) werden berekend volgens de T-verdeling onder de non-inferioriteitsaanname dat de totale overeenstemming van het MDI-algoritmesysteem niet minder zal zijn dan de overeenstemmingsnauwkeurigheid van de klinische apotheker. Als de 95% BI-limiet van de procentuele verschillen niet groter was dan 5% in het voordeel van de klinische apotheker, werd de non-inferioriteitshypothese bevestigd. De berekening is uitgevoerd voor het primaire eindpunt (totaal van de vijf categorieën) en de secundaire eindpunten voor elke afzonderlijke categorie.

De discrete variabelen die werden beoordeeld in de categorieën: duplicatie van therapie, leeftijdsgerelateerde problemen en onjuiste dosis waren medicijnen. De afzonderlijke variabelen beoordeeld in de categorieën: huidige bijwerkingen en toekomstige bijwerkingen waren de individuele bijwerkingen. De diagnostische nauwkeurigheid van het MDI-systeem en de klinische apothekers werd beoordeeld door de beoordelingscommissie (de "gouden standaard").

Voor elk onderwerp werden totale overeenstemming, PPV, NPV, sensitiviteit en specificiteit berekend voor alle gecombineerde categorieën samen en voor elke afzonderlijke categorie. De diagnostische nauwkeurigheid van het totale aantal proefpersonen wordt weergegeven als gemiddelde, 95% BI van het gemiddelde, standaarddeviatie (Std), mediaan, minimum en maximum.

Daarnaast werden de algehele by-line (ongeacht het onderwerp) validiteitsparameters (algemene overeenstemming, PPV, NPV, gevoeligheid en specificiteit) geanalyseerd met behulp van frequentie, percentages en 95% BI.