Denne siden ble automatisk oversatt og nøyaktigheten av oversettelsen er ikke garantert. Vennligst referer til engelsk versjon for en kildetekst.

Preliminary Evaluation of a Large Language Model-Based Tool for Complex Surgical Decision Support in Lung Cancer

29. juli 2026 oppdatert av: XiuYuan Chen, Peking University People's Hospital
This study is an exploratory effect-size estimation study, with the following specific objectives: ① to estimate the point estimate and 95% confidence interval of the Win Ratio for the experimental group (GAPS-Agent) versus the control group (large language model) in blinded pairwise preference judgments by thoracic surgery expert adjudicators, to serve as a sample size planning parameter for subsequent multicenter confirmatory clinical trials; ② to preliminarily evaluate the value of GAPS-Agent within clinical workflows.The hypothesis of this study is as follows: compared with a general-purpose large language model without medical enhancement (control group), a structured agentic workflow optimized on the basis of the GAPS evaluation framework (GAPS-Agent, experimental group) can help junior resident physicians generate clinical decision plans for complex lung cancer cases that are more strongly preferred by senior thoracic surgery expert adjudicators.

Studieoversikt

Status

Status

Indikerer gjeldende rekrutteringsstatus eller utvidet tilgangsstatus.
Fullført

Forhold

Forhold

Sykdommen, lidelsen, syndromet, sykdommen eller skaden som studeres. På ClinicalTrials.gov kan tilstander også inkludere andre helserelaterte problemer, som levetid, livskvalitet og helserisiko.

Intervensjon / Behandling

Intervensjon / Behandling

En prosess eller handling som er fokus for en klinisk studie. Intervensjoner inkluderer legemidler, medisinsk utstyr, prosedyrer, vaksiner og andre produkter som enten er undersøkende eller allerede er tilgjengelige. Intervensjoner kan også inkludere ikke-invasive tilnærminger, som utdanning eller modifisering av kosthold og trening.

Studietype

Studietype

Beskriver arten av en klinisk studie. Studietyper inkluderer intervensjonsstudier (også kalt kliniske studier), observasjonsstudier (inkludert pasientregistre) og utvidet tilgang.
Intervensjonell

Registrering (Faktiske)

Registrering

Antall deltakere i en klinisk studie. Den "forventede" påmeldingen er måltallet for deltakere som forskerne trenger for studien.
8

Fase

Fase

Stadiet av en klinisk studie som studerer et medikament eller biologisk produkt, basert på definisjoner utviklet av U.S. Food and Drug Administration (FDA). Fasen er basert på studiens målsetting, antall deltakere og andre egenskaper. Det er fem faser: Tidlig fase 1 (tidligere oppført som fase 0), fase 1, fase 2, fase 3 og fase 4. Ikke relevant brukes til å beskrive studier uten FDA-definerte faser, inkludert utprøving av enheter eller atferdsintervensjoner.
  • Ikke aktuelt

Kontakter og plasseringer

Denne delen inneholder kontaktinformasjon for de som utfører studien, og informasjon om hvor denne studien blir utført.

Studiesteder

  • Kina
    • Beijing Municipality
      • Beijing, Beijing Municipality, Kina, 100044
        • Peking University People's Hospital

Deltakelseskriterier

Forskere ser etter personer som passer til en bestemt beskrivelse, kalt kvalifikasjonskriterier. Noen eksempler på disse kriteriene er en persons generelle helsetilstand eller tidligere behandlinger.

Kvalifikasjonskriterier

Kvalifikasjonskriterier

Nøkkelkravene som personer som ønsker å delta i en klinisk studie må oppfylle eller egenskapene de må ha. Kvalifikasjonskriterier består av både inklusjonskriterier (som kreves for at en person skal delta i studien) og eksklusjonskriterier (som hindrer en person i å delta). Typer kvalifikasjonskriterier inkluderer om en studie godtar friske frivillige, har alders- eller aldersgruppekrav, eller er begrenset av kjønn.

Alder som er kvalifisert for studier

  • Voksen
  • Eldre voksen

Tar imot friske frivillige

Nei

Beskrivelse

Inclusion Criteria:

  1. Resident Physician Subjects:

    1. Holds a valid and legally effective Physician Practice License of the People's Republic of China;
    2. Currently holds the rank of resident physician in a thoracic surgery department at a tertiary Class A (3A) hospital;
    3. Agrees to complete all assessment tasks of the main study phase in accordance with the study protocol;
    4. Can guarantee the time and effort required to complete all assessment tasks of the main study.

  2. Study Cases:

    1. The case was discussed at the Thoracic Oncology Multidisciplinary Team (MDT) conference of Peking University People's Hospital between January 2025 and May 2026;
    2. The current version of the NCCN guidelines does not provide an explicit recommendation covering the management of the case;
    3. Does not overlap with the GAPS evaluation set;
    4. The case is presented in pure text in a structured format, with all direct and indirect identifiers removed and complete de-identification performed prior to inclusion;
    5. From the pool of eligible cases, 12 cases will be randomly drawn using Python (numpy.random, with a fixed and archived seed) to serve as the main study cases. The cases will cover 6 themes (chest mass of undetermined diagnosis, early-stage lung cancer, locally advanced lung cancer, oligometastatic/oligoprogressive disease, special intraoperative situations, and tumor recurrence), with 1 - 4 cases per theme.

  3. Adjudication Expert Panel:

    1. Holds a valid and legally effective Physician Practice License of the People's Republic of China;
    2. Currently holds the rank of attending physician or above in a thoracic surgery department at a tertiary Class A hospital;
    3. Chairs or regularly participates in lung cancer multidisciplinary team (MDT) work in their department.

Exclusion Criteria:

  1. Resident Physician Subjects:

    1. Has previously participated in the construction of the GAPS evaluation set or the development of GAPS-Agent;
    2. Unable to complete the tasks of the study phase.

  2. Study Cases:

    1. Key case information is missing, such as text-form data on pathology (including IHC/NGS), imaging, laboratory tests, prior medical history, comorbidities, or PS score;
    2. Decision-making for the case is strictly dependent on non-text information.

  3. Adjudication Expert Panel:

    1. Participated in the construction of the GAPS evaluation set, the content validity verification, or the development of GAPS-Agent for this study;
    2. Has a direct conflict of interest with any specific product among the two-arm tools of this study.

Studieplan

Denne delen gir detaljer om studieplanen, inkludert hvordan studien er utformet og hva studien måler.

Hvordan er studiet utformet?

Designdetaljer

  • Primært formål: Annen
  • Tildeling: Randomisert
  • Intervensjonsmodell: Parallell tildeling
  • Masking: Enkelt

Våpen og intervensjoner

Deltakergruppe / Arm

Deltakergruppe / Arm

En gruppe eller undergruppe av deltakere i en klinisk studie som mottar en spesifikk intervensjon/behandling, eller ingen intervensjon, i henhold til studiens protokoll.
Intervensjon / Behandling

Intervensjon / Behandling

En prosess eller handling som er fokus for en klinisk studie. Intervensjoner inkluderer legemidler, medisinsk utstyr, prosedyrer, vaksiner og andre produkter som enten er undersøkende eller allerede er tilgjengelige. Intervensjoner kan også inkludere ikke-invasive tilnærminger, som utdanning eller modifisering av kosthold og trening.
Eksperimentell: test arm
GAPS-Agent
Annen: GAPS-Agent
The research group has previously developed the GAPS evaluation framework for complex clinical decision-making in lung cancer. In this framework, G (Grounding) characterizes the cognitive depth of decision-making (ranging from knowledge retrieval to decisions that go beyond clinical guidelines), A (Authority) corresponds to the grading of evidence strength, P (Perturbation) describes the identification and management of real-world clinical confounding factors, and S (Strength) corresponds to the calibration of recommendation strength. Within this framework, the research group has completed the construction of a 100-item complex lung cancer decision-making evaluation set along with its corresponding rubrics, and has invited multiple thoracic oncology experts to complete content validity validation. Based on this, the research group developed GAPS-Agent, which uses an open-source large language model as its foundation and integrates functional modules such as guideline and evidence retri
Aktiv komparator: control arm
LLM
Annen: LLM
Open source large language model that is not specifically enhanced in medical field.

Hva måler studien?

Primære resultatmål

Primære resultatmål

I en klinisk studies protokoll er det planlagte utfallsmålet som er det viktigste for å evaluere effekten av en intervensjon/behandling. De fleste kliniske studier har ett primært utfallsmål, men noen har mer enn ett.
Resultatmål
Tiltaksbeskrivelse
Tidsramme
Overall plan Win Ratio
Tidsramme: Measured at the time when experts completed their preference judgements. Calculated up to 3 weeks after the preference judgements.
A total of 10 blinded expert judges made Win/Tie/Loss ternary preference judgments on 192 paired scheme comparisons in terms of overall scheme quality. The win ratio was calculated as Wins ÷ Losses, and the 95% confidence interval was estimated using a two-level (physician × case) cluster bootstrap resampling method (B = 10,000, quantile method on the log scale).
Measured at the time when experts completed their preference judgements. Calculated up to 3 weeks after the preference judgements.

Sekundære resultatmål

Sekundære resultatmål

I en klinisk studies protokoll, et planlagt utfallsmål som ikke er like viktig som det primære utfallsmålet for å evaluere effekten av en intervensjon, men som fortsatt er av interesse. De fleste kliniske studier har mer enn ett sekundært utfallsmål.
Resultatmål
Tiltaksbeskrivelse
Tidsramme
Inter-rater agreement
Tidsramme: Measured at the time when experts completed their preference judgements. Calculated up to 3 weeks after the preference judgements.
For the ternary preference judgment results of 10 expert judges across 192 paired comparisons and 6 evaluation domains, Fleiss' kappa was used to assess inter-rater agreement. The kappa value and its 95% confidence interval are reported for each evaluation domain.
Measured at the time when experts completed their preference judgements. Calculated up to 3 weeks after the preference judgements.
Redundancy Win Ratio
Tidsramme: Measured at the time when experts completed their preference judgements. Calculated up to 3 weeks after the preference judgements.
A total of 10 blinded expert judges made Win/Tie/Loss ternary preference judgments on 192 paired scheme comparisons in terms of overall scheme quality. The win ratio was calculated as Wins ÷ Losses, and the 95% confidence interval was estimated using a two-level (physician × case) cluster bootstrap resampling method (B = 10,000, quantile method on the log scale).
Measured at the time when experts completed their preference judgements. Calculated up to 3 weeks after the preference judgements.
Evidence-based medicine adherence Win Ratio
Tidsramme: Measured at the time when experts completed their preference judgements. Calculated up to 3 weeks after the preference judgements.
A total of 10 blinded expert judges made Win/Tie/Loss ternary preference judgments on 192 paired scheme comparisons in terms of overall scheme quality. The win ratio was calculated as Wins ÷ Losses, and the 95% confidence interval was estimated using a two-level (physician × case) cluster bootstrap resampling method (B = 10,000, quantile method on the log scale).
Measured at the time when experts completed their preference judgements. Calculated up to 3 weeks after the preference judgements.
Actionability Win Ratio
Tidsramme: Measured at the time when experts completed their preference judgements. Calculated up to 3 weeks after the preference judgements.
A total of 10 blinded expert judges made Win/Tie/Loss ternary preference judgments on 192 paired scheme comparisons in terms of overall scheme quality. The win ratio was calculated as Wins ÷ Losses, and the 95% confidence interval was estimated using a two-level (physician × case) cluster bootstrap resampling method (B = 10,000, quantile method on the log scale).
Measured at the time when experts completed their preference judgements. Calculated up to 3 weeks after the preference judgements.
Completeness Win Ratio
Tidsramme: Measured at the time when experts completed their preference judgements. Calculated up to 3 weeks after the preference judgements.
A total of 10 blinded expert judges made Win/Tie/Loss ternary preference judgments on 192 paired scheme comparisons in terms of overall scheme quality. The win ratio was calculated as Wins ÷ Losses, and the 95% confidence interval was estimated using a two-level (physician × case) cluster bootstrap resampling method (B = 10,000, quantile method on the log scale).
Measured at the time when experts completed their preference judgements. Calculated up to 3 weeks after the preference judgements.
Safety Win Ratio
Tidsramme: Measured at the time when experts completed their preference judgements. Calculated up to 3 weeks after the preference judgements.
A total of 10 blinded expert judges made Win/Tie/Loss ternary preference judgments on 192 paired scheme comparisons in terms of overall scheme quality. The win ratio was calculated as Wins ÷ Losses, and the 95% confidence interval was estimated using a two-level (physician × case) cluster bootstrap resampling method (B = 10,000, quantile method on the log scale).
Measured at the time when experts completed their preference judgements. Calculated up to 3 weeks after the preference judgements.
GAPS automated rubric score
Tidsramme: Generated up to 3 weeks after residents finished their plan generation.
A third-party large language model, independent of the two study arms' base models, served as the judge model and automatically scored all 96 plans according to the GAPS rubric.
Generated up to 3 weeks after residents finished their plan generation.
Subject physician's self-confidence score
Tidsramme: Completed at the time when residents submitted their plans. Calculated up to 3 weeks after the submission.
After submitting each case plan, the participating physicians self-rated their confidence in their own plan using a 1-5 point Likert scale.
Completed at the time when residents submitted their plans. Calculated up to 3 weeks after the submission.
Tool satisfaction score
Tidsramme: Completed at the time when residents submitted their plans. Calculated up to 3 weeks after the submission.
After submitting each case plan, the participating physicians rated their satisfaction with the tool using a 1-5 point Likert scale.
Completed at the time when residents submitted their plans. Calculated up to 3 weeks after the submission.
Tool trustworthiness score
Tidsramme: Completed at the time when residents submitted their plans. Calculated up to 3 weeks after the submission.
After submitting each case plan, the participating physicians rated the tool's credibility using a 1-5 point Likert scale.
Completed at the time when residents submitted their plans. Calculated up to 3 weeks after the submission.
Decision-making time
Tidsramme: Completed at the time when residents submitted their plans. Calculated up to 3 weeks after the submission.
The time taken (in minutes) by each participating physician to complete the production of each case plan was automatically recorded by the evaluation platform. Differences between groups were analyzed using a linear mixed-effects model.
Completed at the time when residents submitted their plans. Calculated up to 3 weeks after the submission.

Samarbeidspartnere og etterforskere

Det er her du vil finne personer og organisasjoner som er involvert i denne studien.

Sponsor

Sponsor

Organisasjonen eller personen som initierer studien og som har myndighet og kontroll over studien.
Peking University People's Hospital

Studierekorddatoer

Disse datoene sporer fremdriften for innsending av studieposter og sammendragsresultater til ClinicalTrials.gov. Studieposter og rapporterte resultater gjennomgås av National Library of Medicine (NLM) for å sikre at de oppfyller spesifikke kvalitetskontrollstandarder før de legges ut på det offentlige nettstedet.

Studer hoveddatoer

Studiestart (Faktiske)

Studiestart

Den faktiske datoen da den første deltakeren ble registrert i en klinisk studie. Den "forventede" studiestartdatoen er datoen som forskerne tror vil være studiestartdatoen.
10. juni 2026

Primær fullføring (Faktiske)

Primær fullføring

Datoen da den siste deltakeren i en klinisk studie ble undersøkt eller mottok en intervensjon for å samle inn endelige data for det primære utfallsmålet. Hvorvidt den kliniske studien ble avsluttet i henhold til protokollen eller ble avsluttet, påvirker ikke denne datoen. For kliniske studier med mer enn ett primært utfallsmål med ulike fullføringsdatoer, refererer dette begrepet til datoen da datainnsamlingen er fullført for alle de primære utfallsmålene. Den "forventede" primære fullføringsdatoen er datoen som forskerne tror vil være den primære fullføringsdatoen for studien.
20. juni 2026

Studiet fullført (Faktiske)

Studiet fullført

Datoen da den siste deltakeren i en klinisk studie ble undersøkt eller mottok en intervensjon/behandling for å samle inn endelige data for de primære utfallsmålene, sekundære utfallsmålene og uønskede hendelsene (det vil si siste deltakers siste besøk). Den "forventede" studiens fullføringsdato er datoen som forskerne tror vil være studiens fullføringsdato.
21. juni 2026

Datoer for studieregistrering

Først innsendt

Først innsendt

Datoen da studiesponsoren eller etterforskeren først sendte inn en studiepost til ClinicalTrials.gov. Det er vanligvis en forsinkelse på noen dager mellom første innsendte dato og postens tilgjengelighet på ClinicalTrials.gov (den første postedatoen).
10. juni 2026

Først innsendt som oppfylte QC-kriteriene

Først innsendt som oppfylte QC-kriteriene

Datoen da studiesponsoren eller etterforskeren først sender inn en studiepost som er i samsvar med gjennomgangskriteriene for National Library of Medicine (NLM) kvalitetskontroll (QC). Sponsoren eller etterforskeren må kanskje revidere og sende inn en studiepost én eller flere ganger før NLMs kvalitetskontrollkriterier oppfylles. Det er sponsorens eller etterforskerens ansvar å sikre at studieposten er i samsvar med NLM QC-gjennomgangskriteriene.
13. juni 2026

Først lagt ut (Faktiske)

Først lagt ut

Datoen da studieposten først var tilgjengelig på ClinicalTrials.gov etter at National Library of Medicine (NLM) kvalitetskontroll (QC) gjennomgang har konkludert. Det er vanligvis en forsinkelse på noen dager mellom datoen studiesponsoren eller etterforskeren sendte inn studieposten og den første postedatoen.
17. juni 2026

Oppdateringer av studieposter

Sist oppdatering lagt ut (Faktiske)

Sist oppdatering lagt ut

Den siste datoen da endringer i en studiepost ble gjort tilgjengelig på ClinicalTrials.gov. Det kan være en forsinkelse mellom når endringene ble sendt til ClinicalTrials.gov av studiens sponsor eller etterforsker (datoen for siste innsending av oppdatering) og datoen for siste oppdatering.
30. juli 2026

Siste oppdatering sendt inn som oppfylte QC-kriteriene

Siste oppdatering sendt inn som oppfylte QC-kriteriene

Den siste datoen da studiesponsoren eller etterforskeren sendte inn endringer i en studiepost som er i samsvar med gjennomgangskriteriene for National Library of Medicine (NLM) kvalitetskontroll (QC). Det er sponsorens eller etterforskerens ansvar å sikre at studieposten er i samsvar med NLM QC-gjennomgangskriteriene.
29. juli 2026

Sist bekreftet

Sist bekreftet

Den siste datoen da studiesponsoren eller etterforskeren bekreftet at informasjonen om en klinisk studie på ClinicalTrials.gov var nøyaktig og oppdatert. Hvis en studie med rekrutteringsstatus for rekruttering; ikke rekrutterer ennå; eller aktiv, ikke rekruttering har ikke blitt bekreftet de siste 2 årene, studiens rekrutteringsstatus vises som ukjent.
1. juli 2026

Mer informasjon

Begreper knyttet til denne studien

Nøkkelord

Ytterligere relevante MeSH-vilkår

Andre studie-ID-numre

Andre studie-ID-numre

Identifikatorer eller ID-numre andre enn NCT-nummeret som er tildelt en klinisk studie av studiens sponsor, finansierere eller andre. Disse tallene kan inkludere unike identifikatorer fra andre prøveregistre og National Institutes of Health-stipendnumre.
  • 2026PHB458-001

Plan for individuelle deltakerdata (IPD)

Planlegger du å dele individuelle deltakerdata (IPD)?

NEI

Legemiddel- og utstyrsinformasjon, studiedokumenter

Studerer et amerikansk FDA-regulert medikamentprodukt

Nei

Studerer et amerikansk FDA-regulert enhetsprodukt

Nei

Denne informasjonen ble hentet direkte fra nettstedet clinicaltrials.gov uten noen endringer. Hvis du har noen forespørsler om å endre, fjerne eller oppdatere studiedetaljene dine, vennligst kontakt register@clinicaltrials.gov. Så snart en endring er implementert på clinicaltrials.gov, vil denne også bli oppdatert automatisk på nettstedet vårt. .

Innstillinger for informasjonskapsler

Vi bruker informasjonskapsler for å sikre at vi gir deg den beste opplevelsen på nettstedet vårt. For mer informasjon, les nøye vår Retningslinjer for personvern og informasjonskapsler. ...>>>Du kan når som helst endre preferansene dine eller trekke tilbake samtykket ditt ved å slette informasjonskapslene fra nettstedet ditt eller datamaskinen som beskrevet i policyen. Godta det og velg dine preferanser ved å krysse av i de tilhørende rutene i delen "Administrer innstillinger" nedenfor. Les nøye gjennom servicevilkårene før du fortsetter å bruke noen del av dette nettstedet.
«Administrer innstillinger