Denne siden ble automatisk oversatt og nøyaktigheten av oversettelsen er ikke garantert. Vennligst referer til engelsk versjon for en kildetekst.

Forbedre tverrfaglig forståelse av oftalmologiske notater gjennom en lokal stor språkmodell

1. oktober 2024 oppdatert av: John J Chen

Forbedring av tverrfaglig forståelse av oftalmologiske notater gjennom lokal stor språkmodell

Denne prospektive, randomiserte kontrollerte studien evaluerte effekten av å legge til Large Language Model (LLM)-genererte Plain Language Summaries (PLS) til Standard Ophthalmology Notes (SONs) for å forbedre forståelsen blant ikke-oftalmologileverandører. Studien brukte undersøkelser for å vurdere ikke-oftalmologileverandørers forståelse og tilfredshet med notatene og øyelegers evaluering av PLS-nøyaktighet, sikkerhet og tidsbelastning. En objektiv semantisk og språklig analyse av PLS-ene ble også utført.

Studieoversikt

Status

Fullført

Forhold

Intervensjon / Behandling

Studietype

Intervensjonell

Registrering (Faktiske)

851

Fase

  • Ikke aktuelt

Kontakter og plasseringer

Denne delen inneholder kontaktinformasjon for de som utfører studien, og informasjon om hvor denne studien blir utført.

Studiesteder

  • Forente stater
    • Minnesota
      • Rochester, Minnesota, Forente stater, 55905
        • Mayo Clinic

Deltakelseskriterier

Forskere ser etter personer som passer til en bestemt beskrivelse, kalt kvalifikasjonskriterier. Noen eksempler på disse kriteriene er en persons generelle helsetilstand eller tidligere behandlinger.

Kvalifikasjonskriterier

Alder som er kvalifisert for studier

  • Voksen
  • Eldre voksen

Tar imot friske frivillige

Nei

Beskrivelse

Inkluderingskriterier:

  • Evaluering av en øyelege ved Mayo Clinic Department of Ophthalmology i Rochester, MN i enten poliklinisk eller poliklinisk setting mellom 1. februar 2024 - 31. mai 2024.

Ekskluderingskriterier:

  • Ingen i nettverket ikke-øyelegeomsorgsleverandører i journalen
  • Prosedyrebesøk som kun inneholder en prosedyrenotat

Studieplan

Denne delen gir detaljer om studieplanen, inkludert hvordan studien er utformet og hva studien måler.

Hvordan er studiet utformet?

Designdetaljer

  • Primært formål: Helsetjenesteforskning
  • Tildeling: Randomisert
  • Intervensjonsmodell: Parallell tildeling
  • Masking: Ingen (Open Label)

Våpen og intervensjoner

Deltakergruppe / Arm
Intervensjon / Behandling
Ingen inngripen: Kontroll
Deltakerne mottar standard oftalmologinotater uten tillegg.
Eksperimentell: Innblanding
Deltakerne mottar standard oftalmologinotater med et vedlagt LLM-generert vanlig språkoppsummering, gjennomgått og redigert av øyelegen. Det enkle språkoppsummeringen er tydelig merket som generert som en del av et kvalitetsforbedringsinitiativ.
Annen: Large Language Model-generert Plain Language Sammendrag av notater fra oftalmologi
Prospektiv, randomisert kvalitetsforbedringsstudie med real-world implementering av store språkmodellgenererte vanlig språksammendrag av notater fra oftalmologi.

Hva måler studien?

Primære resultatmål

Resultatmål
Tiltaksbeskrivelse
Tidsramme
Ikke-øyelege notatforståelse og tilfredshet
Tidsramme: Fra påmelding til 8 uker etter påmelding

Vurdert via spørreundersøkelser som evaluerer forståelsen av pasientens oftalmologiske diagnose, tilfredshet med notatet og generell preferanse mellom standard oftalmologinotat og standard oftalmologisk notat + vanlig språkoppsummering.

Grad av forståelse ble vurdert på følgende Likert-skala:

Ikke i det hele tatt nøytral Middels En god del

Tilfredshet ble vurdert på følgende Likert-skala:

Ikke fornøyd i det hele tatt Noe misfornøyd Nøytral Noe fornøyd Fornøyd

Preferanse mellom notetyper ble vurdert på følgende Likert-skala:

Standardnotat, mye Standardnotat, noe nøytralt vanlig språkoppsummering, noe vanlig språkoppsummering, mye
Fra påmelding til 8 uker etter påmelding

Sekundære resultatmål

Resultatmål
Tiltaksbeskrivelse
Tidsramme
Øyelege Evaluering av sammendragsnøyaktighet og tidsbelastning
Tidsramme: Vurdert på et enkelt tidspunkt <24 timer etter påmelding

Vurdert via spørreundersøkelsessvar angående nøyaktighet av sammendrag av vanlig språk når det gjenspeiler funnene fra standard oftalmologinotat, tid brukt på gjennomgang/redigering og opplevd belastning.

Nøyaktighet i å reflektere funn ble gradert på følgende Likert-skala:

Ikke i det hele tatt nøytral Litt En god del

Tid brukt på gjennomgang/redigering ble rapportert ved hjelp av følgende alternativer:

<1 minutt

  1. minutt
  2. minutter
  3. minutter
  4. minutter
  5. eller flere minutter

Opplevd belastning ble gradert på følgende Likert-skala:

Ikke i det hele tatt nøytral Litt En god del
Vurdert på et enkelt tidspunkt <24 timer etter påmelding
Semantisk og språklig kvalitet på sammendrag av klarspråk
Tidsramme: Vurdert på et enkelt tidspunkt <24 timer etter påmelding

Flesch Lesevennlighet

Skala: 0 (dårlig) til 100 (bra)
Vurdert på et enkelt tidspunkt <24 timer etter påmelding
Semantisk og språklig kvalitet på sammendrag av klarspråk
Tidsramme: Vurdert på et enkelt tidspunkt <24 timer etter påmelding

Flesch-Kincaid klassenivå

Skala: 0 (vanskeligst å lese, høyeste klassetrinn) til 80 (enklest å lese, laveste klassetrinn)
Vurdert på et enkelt tidspunkt <24 timer etter påmelding
Semantisk og språklig kvalitet på sammendrag av klarspråk
Tidsramme: Vurdert på et enkelt tidspunkt <24 timer etter påmelding

Semantisk mål for Gobbledygook (SMOG) Index

Skala: 0 (enklest å lese) til 11 (vanskeligst å lese)
Vurdert på et enkelt tidspunkt <24 timer etter påmelding
Semantisk og språklig kvalitet på sammendrag av klarspråk
Tidsramme: Vurdert på et enkelt tidspunkt <24 timer etter påmelding

BERTScore Mål for språklig likhet

Skala: -1 (minst lik) til +1 (mest lik)
Vurdert på et enkelt tidspunkt <24 timer etter påmelding
Semantisk og språklig kvalitet på sammendrag av klarspråk
Tidsramme: Vurdert på et enkelt tidspunkt <24 timer etter påmelding

SBERT Cosinus likhet Mål for språklig likhet

Skala: -1 (minst lik) til +1 (mest lik)
Vurdert på et enkelt tidspunkt <24 timer etter påmelding

Andre resultatmål

Resultatmål
Tiltaksbeskrivelse
Tidsramme
Tilstedeværelse av feil, type feil og potensiell skade ved feil
Tidsramme: Vurdert på et enkelt tidspunkt &lt;24 timer etter påmelding og igjen på et enkelt tidspunkt 8 uker etter påmelding

Tilstedeværelse av feil eller manglende informasjon i sammendraget med vanlig språk, feilrater, typer feil og potensiell skadevurdering.

Typer feil ble rapportert som:

HPI-undersøkelsesfunn Diagnoseplan Forklaring av pasientens generelle øyehelse Annet N/A

Sannsynligheten for skade ble gradert på følgende skala:

Lav risiko Middels risiko Høy risiko N/A

Potensiell skadevurdering ble gradert på følgende skala:

Mild eller moderat skade Død eller alvorlig skade
Vurdert på et enkelt tidspunkt &lt;24 timer etter påmelding og igjen på et enkelt tidspunkt 8 uker etter påmelding

Samarbeidspartnere og etterforskere

Det er her du vil finne personer og organisasjoner som er involvert i denne studien.

Sponsor

John J Chen

Etterforskere

  • Studieleder: John J Chen, MD, PhD, Mayo Clinic

Studierekorddatoer

Disse datoene sporer fremdriften for innsending av studieposter og sammendragsresultater til ClinicalTrials.gov. Studieposter og rapporterte resultater gjennomgås av National Library of Medicine (NLM) for å sikre at de oppfyller spesifikke kvalitetskontrollstandarder før de legges ut på det offentlige nettstedet.

Studer hoveddatoer

Studiestart (Faktiske)

1. februar 2024

Primær fullføring (Faktiske)

31. mai 2024

Studiet fullført (Faktiske)

31. mai 2024

Datoer for studieregistrering

Først innsendt

30. september 2024

Først innsendt som oppfylte QC-kriteriene

1. oktober 2024

Først lagt ut (Faktiske)

3. oktober 2024

Oppdateringer av studieposter

Sist oppdatering lagt ut (Faktiske)

3. oktober 2024

Siste oppdatering sendt inn som oppfylte QC-kriteriene

1. oktober 2024

Sist bekreftet

1. oktober 2024

Mer informasjon

Begreper knyttet til denne studien

Andre studie-ID-numre

  • 24-000550

Plan for individuelle deltakerdata (IPD)

Planlegger du å dele individuelle deltakerdata (IPD)?

JA

IPD-planbeskrivelse

Alle samlet inn IPD.

IPD-delingstidsramme

Begynner etter publisering uten sluttdato

Tilgangskriterier for IPD-deling

De underliggende dataene som støtter funnene i denne studien kan gjøres tilgjengelig for kliniske etterforskere og forskere på forespørsel. Skriftlige forespørsler om datadeling inkludert en analyseplan vil være nødvendig før godkjenning. Disse forespørslene vil bli vurdert individuelt i samråd med studieteamlederne og medetterforskerne etter behov. Hvis andre etterforskere er interessert i å utføre ytterligere analyser, kan disse forespørslene sendes til den tilsvarende forfatteren (PDT), og analyser vil bli utført i samarbeid med Mayo Clinic. I alle tilfeller vil data og materiale som skal deles, bli frigitt via en materialoverføringsavtale. Data på individnivå vil være tilgjengelig og datadeling vil sikre at rettighetene og personvernet til individer som deltar i forskningen alltid forblir beskyttet. Den forventede tidsrammen for å svare på første dataforespørsler er 1 måned.

IPD-deling Støtteinformasjonstype

  • STUDY_PROTOCOL
  • ANALYTIC_CODE
  • CSR

Legemiddel- og utstyrsinformasjon, studiedokumenter

Studerer et amerikansk FDA-regulert medikamentprodukt

Nei

Studerer et amerikansk FDA-regulert enhetsprodukt

Nei

produkt produsert i og eksportert fra USA

Nei

Denne informasjonen ble hentet direkte fra nettstedet clinicaltrials.gov uten noen endringer. Hvis du har noen forespørsler om å endre, fjerne eller oppdatere studiedetaljene dine, vennligst kontakt register@clinicaltrials.gov. Så snart en endring er implementert på clinicaltrials.gov, vil denne også bli oppdatert automatisk på nettstedet vårt. .

Abonnere