Tato stránka byla automaticky přeložena a přesnost překladu není zaručena. Podívejte se prosím na anglická verze pro zdrojový text.

Zlepšení mezioborového porozumění oftalmologickým poznámkám prostřednictvím místního velkého jazykového modelu

1. října 2024 aktualizováno: John J Chen
Tato prospektivní, randomizovaná kontrolovaná studie hodnotila účinnost přidání souhrnů prostého jazyka (PLS) generovaných modelem velkého jazyka (LLM) do standardních oftalmologických poznámek (SON) při zlepšování porozumění mezi neoftalmologickými poskytovateli. Studie využívala průzkumy k posouzení porozumění a spokojenosti neoftalmologických poskytovatelů s poznámkami a hodnocení oftalmologů ohledně přesnosti, bezpečnosti a časové zátěže PLS. Byla také provedena objektivní sémantická a lingvistická analýza PLS.

Přehled studie

Typ studie

Intervenční

Zápis (Aktuální)

851

Fáze

  • Nelze použít

Kontakty a umístění

Tato část poskytuje kontaktní údaje pro ty, kteří studii provádějí, a informace o tom, kde se tato studie provádí.

Studijní místa

    • Minnesota
      • Rochester, Minnesota, Spojené státy, 55905
        • Mayo Clinic

Kritéria účasti

Výzkumníci hledají lidi, kteří odpovídají určitému popisu, kterému se říká kritéria způsobilosti. Některé příklady těchto kritérií jsou celkový zdravotní stav osoby nebo předchozí léčba.

Kritéria způsobilosti

Věk způsobilý ke studiu

  • Dospělý
  • Starší dospělý

Přijímá zdravé dobrovolníky

Ne

Popis

Kritéria zahrnutí:

  • Hodnocení oftalmologem na Mayo Clinic Department of Oftalmology v Rochesteru, MN, buď na lůžkovém, nebo ambulantním zařízení, v období od 1. února 2024 do 31. května 2024.

Kritéria vyloučení:

  • V lékařském záznamu nejsou žádní v rámci sítě poskytovatelé péče, kteří nejsou oftalmologové
  • Návštěvy pouze pro procedury obsahující pouze poznámku o postupu

Studijní plán

Tato část poskytuje podrobnosti o studijním plánu, včetně toho, jak je studie navržena a co studie měří.

Jak je studie koncipována?

Detaily designu

  • Primární účel: Výzkum zdravotnických služeb
  • Přidělení: Randomizované
  • Intervenční model: Paralelní přiřazení
  • Maskování: Žádné (otevřený štítek)

Zbraně a zásahy

Skupina účastníků / Arm
Intervence / Léčba
Žádný zásah: Řízení
Účastníci obdrží standardní oftalmologické poznámky bez jakýchkoli dodatků.
Experimentální: Zásah
Účastníci obdrží standardní oftalmologické poznámky s připojeným shrnutím v otevřeném jazyce vygenerovaným LLM, které zkontroluje a upraví oční lékař. Shrnutí v jednoduchém jazyce je jasně označeno jako vytvořené v rámci iniciativy zlepšování kvality.
Prospektivní, randomizovaná studie zlepšování kvality s reálnou implementací velkých jazykových modelů generovaných prostým jazykem shrnutí poznámek oftalmologie.

Co je měření studie?

Primární výstupní opatření

Měření výsledku
Popis opatření
Časové okno
Poznámka neoftalmologa Porozumění a spokojenost
Časové okno: Od zápisu do 8 týdnů po zápisu

Posouzeno prostřednictvím odpovědí v průzkumu hodnotících porozumění oftalmologické diagnóze pacienta, spokojenost s poznámkou a celkovou preferenci mezi Standardní poznámkou o oftalmologii a Standardní poznámkou o oftalmologii + Souhrn v jednoduchém jazyce.

Stupeň porozumění byl hodnocen na následující Likertově škále:

Vůbec ne Neutrální Středně Hodně

Spokojenost byla hodnocena na následující Likertově stupnici:

Vůbec nespokojen Spíše nespokojen Neutrální Spíše spokojen Spokojen

Preference mezi typy bankovek byla hodnocena na následující Likertově stupnici:

Standardní poznámka, hodně Standardní poznámka, poněkud neutrální Souhrn prostého jazyka, poněkud prostý jazykový souhrn, hodně

Od zápisu do 8 týdnů po zápisu

Sekundární výstupní opatření

Měření výsledku
Popis opatření
Časové okno
Oftalmolog Hodnocení přesnosti souhrnu a časové zátěže
Časové okno: Posouzeno v jediném časovém bodě <24 hodin po zápisu

Posouzeno prostřednictvím odpovědí na průzkum týkající se přesnosti souhrnu v prostém jazyce při zohlednění nálezů standardní oftalmologické poznámky, času stráveného kontrolou/úpravou a vnímané zátěže.

Přesnost reflektování zjištění byla hodnocena na následující Likertově stupnici:

Vůbec ne Neutrální Trochu Hodně Hodně

Čas strávený kontrolou/úpravami byl hlášen pomocí následujících možností:

<1 minuta

  1. minuta
  2. zápis
  3. zápis
  4. zápis
  5. nebo více minut

Vnímaná zátěž byla hodnocena na následující Likertově škále:

Vůbec ne Neutrální Trochu Hodně Hodně

Posouzeno v jediném časovém bodě <24 hodin po zápisu
Sémantická a lingvistická kvalita souhrnů v prostém jazyce
Časové okno: Posouzeno v jediném časovém bodě <24 hodin po zápisu

Flesch Reading Easy

Stupnice: 0 (špatné) až 100 (dobré)

Posouzeno v jediném časovém bodě <24 hodin po zápisu
Sémantická a lingvistická kvalita souhrnů v prostém jazyce
Časové okno: Posouzeno v jediném časovém bodě <24 hodin po zápisu

Úroveň Flesch-Kincaid

Stupnice: 0 (nejobtížnější čtení, nejvyšší stupeň) až 80 (nejsnáze čitelné, nejnižší stupeň)

Posouzeno v jediném časovém bodě <24 hodin po zápisu
Sémantická a lingvistická kvalita souhrnů v prostém jazyce
Časové okno: Posouzeno v jediném časovém bodě <24 hodin po zápisu

Index sémantické míry Gobbledygook (SMOG).

Měřítko: 0 (nejsnáze čitelné) do 11 (nejhůře čitelné)

Posouzeno v jediném časovém bodě <24 hodin po zápisu
Sémantická a lingvistická kvalita souhrnů v prostém jazyce
Časové okno: Posouzeno v jediném časovém bodě <24 hodin po zápisu

BERTScore Míra jazykové podobnosti

Měřítko: -1 (nejméně podobné) až +1 (nejpodobnější)

Posouzeno v jediném časovém bodě <24 hodin po zápisu
Sémantická a lingvistická kvalita souhrnů v prostém jazyce
Časové okno: Posouzeno v jediném časovém bodě <24 hodin po zápisu

SBERT Kosinová podobnost Míra jazykové podobnosti

Měřítko: -1 (nejméně podobné) až +1 (nejpodobnější)

Posouzeno v jediném časovém bodě <24 hodin po zápisu

Další výstupní opatření

Měření výsledku
Popis opatření
Časové okno
Přítomnost chyb, typ chyb a potenciální poškození chyb
Časové okno: Posouzeno v jednom časovém bodě &lt;24 hodin po zápisu a znovu v jediném časovém bodu 8 týdnů po zápisu

Přítomnost nesprávných nebo chybějících informací v přehledu prostého jazyka, chybovost, typy chyb a potenciální hodnocení škod.

Typy chyb byly hlášeny jako:

Výsledky vyšetření HPI Plán diagnózy Vysvětlení celkového očního zdraví pacienta Jiné N/A

Pravděpodobnost poškození byla hodnocena na následující stupnici:

Nízké riziko Střední riziko Vysoké riziko N/A

Hodnocení potenciální škodlivosti bylo hodnoceno na následující stupnici:

Mírné nebo středně těžké poškození Smrt nebo těžké poškození

Posouzeno v jednom časovém bodě &lt;24 hodin po zápisu a znovu v jediném časovém bodu 8 týdnů po zápisu

Spolupracovníci a vyšetřovatelé

Zde najdete lidi a organizace zapojené do této studie.

Sponzor

Vyšetřovatelé

  • Ředitel studie: John J Chen, MD, PhD, Mayo Clinic

Termíny studijních záznamů

Tato data sledují průběh záznamů studie a předkládání souhrnných výsledků na ClinicalTrials.gov. Záznamy ze studií a hlášené výsledky jsou před zveřejněním na veřejné webové stránce přezkoumány Národní lékařskou knihovnou (NLM), aby se ujistily, že splňují specifické standardy kontroly kvality.

Hlavní termíny studia

Začátek studia (Aktuální)

1. února 2024

Primární dokončení (Aktuální)

31. května 2024

Dokončení studie (Aktuální)

31. května 2024

Termíny zápisu do studia

První předloženo

30. září 2024

První předloženo, které splnilo kritéria kontroly kvality

1. října 2024

První zveřejněno (Aktuální)

3. října 2024

Aktualizace studijních záznamů

Poslední zveřejněná aktualizace (Aktuální)

3. října 2024

Odeslaná poslední aktualizace, která splnila kritéria kontroly kvality

1. října 2024

Naposledy ověřeno

1. října 2024

Více informací

Termíny související s touto studií

Další identifikační čísla studie

  • 24-000550

Plán pro data jednotlivých účastníků (IPD)

Plánujete sdílet data jednotlivých účastníků (IPD)?

ANO

Popis plánu IPD

Všechny shromážděné IPD.

Časový rámec sdílení IPD

Začátek po zveřejnění bez data ukončení

Kritéria přístupu pro sdílení IPD

Základní údaje podporující zjištění této studie mohou být na požádání zpřístupněny klinickým výzkumníkům a výzkumníkům. Před schválením budou vyžadovány písemné žádosti o sdílení dat včetně plánu analýzy. Tyto žádosti budou případně individuálně posouzeny po konzultaci s vedoucími studijního týmu a spoluřešiteli. Pokud mají další výzkumníci zájem o provedení dalších analýz, mohou být tyto požadavky zaslány příslušnému autorovi (PDT) a analýzy budou provedeny ve spolupráci s klinikou Mayo. Ve všech případech budou všechna data a materiály, které mají být sdíleny, uvolněny prostřednictvím smlouvy o převodu materiálu. Budou k dispozici údaje na úrovni jednotlivců a sdílení údajů zajistí, že práva a soukromí jednotlivců účastnících se výzkumu budou vždy chráněny. Předpokládaný časový rámec pro odpověď na první žádosti o data je 1 měsíc.

Typ podpůrných informací pro sdílení IPD

  • PROTOKOL STUDY
  • ANALYTIC_CODE
  • CSR

Informace o lécích a zařízeních, studijní dokumenty

Studuje lékový produkt regulovaný americkým FDA

Ne

Studuje produkt zařízení regulovaný americkým úřadem FDA

Ne

produkt vyrobený a vyvážený z USA

Ne

Tyto informace byly beze změn načteny přímo z webu clinicaltrials.gov. Máte-li jakékoli požadavky na změnu, odstranění nebo aktualizaci podrobností studie, kontaktujte prosím register@clinicaltrials.gov. Jakmile bude změna implementována na clinicaltrials.gov, bude automaticky aktualizována i na našem webu .

Předplatit