Deze pagina is automatisch vertaald en de nauwkeurigheid van de vertaling kan niet worden gegarandeerd. Raadpleeg de Engelse versie voor een brontekst.

Preliminary Evaluation of a Large Language Model-Based Tool for Complex Surgical Decision Support in Lung Cancer

29 juli 2026 bijgewerkt door: XiuYuan Chen, Peking University People's Hospital
This study is an exploratory effect-size estimation study, with the following specific objectives: ① to estimate the point estimate and 95% confidence interval of the Win Ratio for the experimental group (GAPS-Agent) versus the control group (large language model) in blinded pairwise preference judgments by thoracic surgery expert adjudicators, to serve as a sample size planning parameter for subsequent multicenter confirmatory clinical trials; ② to preliminarily evaluate the value of GAPS-Agent within clinical workflows.The hypothesis of this study is as follows: compared with a general-purpose large language model without medical enhancement (control group), a structured agentic workflow optimized on the basis of the GAPS evaluation framework (GAPS-Agent, experimental group) can help junior resident physicians generate clinical decision plans for complex lung cancer cases that are more strongly preferred by senior thoracic surgery expert adjudicators.

Studie Overzicht

Toestand

Toestand

Geeft de huidige wervingsstatus of de uitgebreide toegangsstatus aan.
Voltooid

Conditie

Conditie

De ziekte, stoornis, syndroom, aandoening of verwonding die wordt bestudeerd. Op ClinicalTrials.gov kunnen aandoeningen ook andere gezondheidsgerelateerde problemen omvatten, zoals levensduur, kwaliteit van leven en gezondheidsrisico's.

Interventie / Behandeling

Interventie / Behandeling

Een proces of actie die centraal staat in een klinische studie. Interventies omvatten medicijnen, medische hulpmiddelen, procedures, vaccins en andere producten die in onderzoek zijn of al beschikbaar zijn. Interventies kunnen ook niet-invasieve benaderingen omvatten, zoals onderwijs of het aanpassen van voeding en lichaamsbeweging.

Studietype

Studietype

Beschrijft de aard van een klinische studie. Onderzoekstypen omvatten interventionele studies (ook wel klinische studies genoemd), observationele studies (inclusief patiëntenregistraties) en uitgebreide toegang.
Ingrijpend

Inschrijving (Werkelijk)

Inschrijving

Het aantal deelnemers aan een klinische studie. De "verwachte" inschrijving is het beoogde aantal deelnemers dat de onderzoekers nodig hebben voor het onderzoek.
8

Fase

Fase

De fase van een klinische proef waarin een medicijn of biologisch product wordt bestudeerd, gebaseerd op definities die zijn ontwikkeld door de Amerikaanse Food and Drug Administration (FDA). De fase is gebaseerd op het doel van het onderzoek, het aantal deelnemers en andere kenmerken. Er zijn vijf fasen: vroege fase 1 (voorheen vermeld als fase 0), fase 1, fase 2, fase 3 en fase 4. Niet van toepassing wordt gebruikt om onderzoeken te beschrijven zonder door de FDA gedefinieerde fasen, inclusief onderzoeken van apparaten of gedragsinterventies.
  • Niet toepasbaar

Contacten en locaties

In dit gedeelte vindt u de contactgegevens van degenen die het onderzoek uitvoeren en informatie over waar dit onderzoek wordt uitgevoerd.

Studie Locaties

  • China
    • Beijing Municipality
      • Beijing, Beijing Municipality, China, 100044
        • Peking University People's Hospital

Deelname Criteria

Onderzoekers zoeken naar mensen die aan een bepaalde beschrijving voldoen, de zogenaamde geschiktheidscriteria. Enkele voorbeelden van deze criteria zijn iemands algemene gezondheidstoestand of eerdere behandelingen.

Geschiktheidscriteria

Geschiktheidscriteria

De belangrijkste eisen waaraan mensen die willen deelnemen aan een klinische studie moeten voldoen of de eigenschappen die ze moeten hebben. Geschiktheidscriteria bestaan ​​uit zowel inclusiecriteria (die vereist zijn voor een persoon om deel te nemen aan het onderzoek) als uitsluitingscriteria (die voorkomen dat een persoon deelneemt). Soorten geschiktheidscriteria zijn onder meer of een onderzoek gezonde vrijwilligers accepteert, leeftijds- of leeftijdsgroepvereisten heeft, of wordt beperkt door geslacht.

Leeftijden die in aanmerking komen voor studie

  • Volwassen
  • Oudere volwassene

Accepteert gezonde vrijwilligers

Nee

Beschrijving

Inclusion Criteria:

  1. Resident Physician Subjects:

    1. Holds a valid and legally effective Physician Practice License of the People's Republic of China;
    2. Currently holds the rank of resident physician in a thoracic surgery department at a tertiary Class A (3A) hospital;
    3. Agrees to complete all assessment tasks of the main study phase in accordance with the study protocol;
    4. Can guarantee the time and effort required to complete all assessment tasks of the main study.

  2. Study Cases:

    1. The case was discussed at the Thoracic Oncology Multidisciplinary Team (MDT) conference of Peking University People's Hospital between January 2025 and May 2026;
    2. The current version of the NCCN guidelines does not provide an explicit recommendation covering the management of the case;
    3. Does not overlap with the GAPS evaluation set;
    4. The case is presented in pure text in a structured format, with all direct and indirect identifiers removed and complete de-identification performed prior to inclusion;
    5. From the pool of eligible cases, 12 cases will be randomly drawn using Python (numpy.random, with a fixed and archived seed) to serve as the main study cases. The cases will cover 6 themes (chest mass of undetermined diagnosis, early-stage lung cancer, locally advanced lung cancer, oligometastatic/oligoprogressive disease, special intraoperative situations, and tumor recurrence), with 1 - 4 cases per theme.

  3. Adjudication Expert Panel:

    1. Holds a valid and legally effective Physician Practice License of the People's Republic of China;
    2. Currently holds the rank of attending physician or above in a thoracic surgery department at a tertiary Class A hospital;
    3. Chairs or regularly participates in lung cancer multidisciplinary team (MDT) work in their department.

Exclusion Criteria:

  1. Resident Physician Subjects:

    1. Has previously participated in the construction of the GAPS evaluation set or the development of GAPS-Agent;
    2. Unable to complete the tasks of the study phase.

  2. Study Cases:

    1. Key case information is missing, such as text-form data on pathology (including IHC/NGS), imaging, laboratory tests, prior medical history, comorbidities, or PS score;
    2. Decision-making for the case is strictly dependent on non-text information.

  3. Adjudication Expert Panel:

    1. Participated in the construction of the GAPS evaluation set, the content validity verification, or the development of GAPS-Agent for this study;
    2. Has a direct conflict of interest with any specific product among the two-arm tools of this study.

Studie plan

Dit gedeelte bevat details van het studieplan, inclusief hoe de studie is opgezet en wat de studie meet.

Hoe is de studie opgezet?

Ontwerpdetails

  • Primair doel: Ander
  • Toewijzing: Gerandomiseerd
  • Interventioneel model: Parallelle opdracht
  • Masker: Enkel

Wapens en interventies

Deelnemersgroep / Arm

Deelnemersgroep / Arm

Een groep of subgroep van deelnemers aan een klinische studie die een specifieke interventie/behandeling krijgt, of geen interventie, volgens het protocol van de studie.
Interventie / Behandeling

Interventie / Behandeling

Een proces of actie die centraal staat in een klinische studie. Interventies omvatten medicijnen, medische hulpmiddelen, procedures, vaccins en andere producten die in onderzoek zijn of al beschikbaar zijn. Interventies kunnen ook niet-invasieve benaderingen omvatten, zoals onderwijs of het aanpassen van voeding en lichaamsbeweging.
Experimenteel: test arm
GAPS-Agent
Ander: GAPS-Agent
The research group has previously developed the GAPS evaluation framework for complex clinical decision-making in lung cancer. In this framework, G (Grounding) characterizes the cognitive depth of decision-making (ranging from knowledge retrieval to decisions that go beyond clinical guidelines), A (Authority) corresponds to the grading of evidence strength, P (Perturbation) describes the identification and management of real-world clinical confounding factors, and S (Strength) corresponds to the calibration of recommendation strength. Within this framework, the research group has completed the construction of a 100-item complex lung cancer decision-making evaluation set along with its corresponding rubrics, and has invited multiple thoracic oncology experts to complete content validity validation. Based on this, the research group developed GAPS-Agent, which uses an open-source large language model as its foundation and integrates functional modules such as guideline and evidence retri
Actieve vergelijker: control arm
LLM
Ander: LLM
Open source large language model that is not specifically enhanced in medical field.

Wat meet het onderzoek?

Primaire uitkomstmaten

Primaire uitkomstmaten

In het protocol van een klinische studie, de geplande uitkomstmaat die het belangrijkst is voor het evalueren van het effect van een interventie/behandeling. De meeste klinische onderzoeken hebben één primaire uitkomstmaat, maar sommige hebben er meer dan één.
Uitkomstmaat
Maatregel Beschrijving
Tijdsspanne
Overall plan Win Ratio
Tijdsspanne: Measured at the time when experts completed their preference judgements. Calculated up to 3 weeks after the preference judgements.
A total of 10 blinded expert judges made Win/Tie/Loss ternary preference judgments on 192 paired scheme comparisons in terms of overall scheme quality. The win ratio was calculated as Wins ÷ Losses, and the 95% confidence interval was estimated using a two-level (physician × case) cluster bootstrap resampling method (B = 10,000, quantile method on the log scale).
Measured at the time when experts completed their preference judgements. Calculated up to 3 weeks after the preference judgements.

Secundaire uitkomstmaten

Secundaire uitkomstmaten

In het protocol van een klinische studie, een geplande uitkomstmaat die niet zo belangrijk is als de primaire uitkomstmaat voor het evalueren van het effect van een interventie, maar die nog steeds van belang is. De meeste klinische onderzoeken hebben meer dan één secundaire uitkomstmaat.
Uitkomstmaat
Maatregel Beschrijving
Tijdsspanne
Inter-rater agreement
Tijdsspanne: Measured at the time when experts completed their preference judgements. Calculated up to 3 weeks after the preference judgements.
For the ternary preference judgment results of 10 expert judges across 192 paired comparisons and 6 evaluation domains, Fleiss' kappa was used to assess inter-rater agreement. The kappa value and its 95% confidence interval are reported for each evaluation domain.
Measured at the time when experts completed their preference judgements. Calculated up to 3 weeks after the preference judgements.
Redundancy Win Ratio
Tijdsspanne: Measured at the time when experts completed their preference judgements. Calculated up to 3 weeks after the preference judgements.
A total of 10 blinded expert judges made Win/Tie/Loss ternary preference judgments on 192 paired scheme comparisons in terms of overall scheme quality. The win ratio was calculated as Wins ÷ Losses, and the 95% confidence interval was estimated using a two-level (physician × case) cluster bootstrap resampling method (B = 10,000, quantile method on the log scale).
Measured at the time when experts completed their preference judgements. Calculated up to 3 weeks after the preference judgements.
Evidence-based medicine adherence Win Ratio
Tijdsspanne: Measured at the time when experts completed their preference judgements. Calculated up to 3 weeks after the preference judgements.
A total of 10 blinded expert judges made Win/Tie/Loss ternary preference judgments on 192 paired scheme comparisons in terms of overall scheme quality. The win ratio was calculated as Wins ÷ Losses, and the 95% confidence interval was estimated using a two-level (physician × case) cluster bootstrap resampling method (B = 10,000, quantile method on the log scale).
Measured at the time when experts completed their preference judgements. Calculated up to 3 weeks after the preference judgements.
Actionability Win Ratio
Tijdsspanne: Measured at the time when experts completed their preference judgements. Calculated up to 3 weeks after the preference judgements.
A total of 10 blinded expert judges made Win/Tie/Loss ternary preference judgments on 192 paired scheme comparisons in terms of overall scheme quality. The win ratio was calculated as Wins ÷ Losses, and the 95% confidence interval was estimated using a two-level (physician × case) cluster bootstrap resampling method (B = 10,000, quantile method on the log scale).
Measured at the time when experts completed their preference judgements. Calculated up to 3 weeks after the preference judgements.
Completeness Win Ratio
Tijdsspanne: Measured at the time when experts completed their preference judgements. Calculated up to 3 weeks after the preference judgements.
A total of 10 blinded expert judges made Win/Tie/Loss ternary preference judgments on 192 paired scheme comparisons in terms of overall scheme quality. The win ratio was calculated as Wins ÷ Losses, and the 95% confidence interval was estimated using a two-level (physician × case) cluster bootstrap resampling method (B = 10,000, quantile method on the log scale).
Measured at the time when experts completed their preference judgements. Calculated up to 3 weeks after the preference judgements.
Safety Win Ratio
Tijdsspanne: Measured at the time when experts completed their preference judgements. Calculated up to 3 weeks after the preference judgements.
A total of 10 blinded expert judges made Win/Tie/Loss ternary preference judgments on 192 paired scheme comparisons in terms of overall scheme quality. The win ratio was calculated as Wins ÷ Losses, and the 95% confidence interval was estimated using a two-level (physician × case) cluster bootstrap resampling method (B = 10,000, quantile method on the log scale).
Measured at the time when experts completed their preference judgements. Calculated up to 3 weeks after the preference judgements.
GAPS automated rubric score
Tijdsspanne: Generated up to 3 weeks after residents finished their plan generation.
A third-party large language model, independent of the two study arms' base models, served as the judge model and automatically scored all 96 plans according to the GAPS rubric.
Generated up to 3 weeks after residents finished their plan generation.
Subject physician's self-confidence score
Tijdsspanne: Completed at the time when residents submitted their plans. Calculated up to 3 weeks after the submission.
After submitting each case plan, the participating physicians self-rated their confidence in their own plan using a 1-5 point Likert scale.
Completed at the time when residents submitted their plans. Calculated up to 3 weeks after the submission.
Tool satisfaction score
Tijdsspanne: Completed at the time when residents submitted their plans. Calculated up to 3 weeks after the submission.
After submitting each case plan, the participating physicians rated their satisfaction with the tool using a 1-5 point Likert scale.
Completed at the time when residents submitted their plans. Calculated up to 3 weeks after the submission.
Tool trustworthiness score
Tijdsspanne: Completed at the time when residents submitted their plans. Calculated up to 3 weeks after the submission.
After submitting each case plan, the participating physicians rated the tool's credibility using a 1-5 point Likert scale.
Completed at the time when residents submitted their plans. Calculated up to 3 weeks after the submission.
Decision-making time
Tijdsspanne: Completed at the time when residents submitted their plans. Calculated up to 3 weeks after the submission.
The time taken (in minutes) by each participating physician to complete the production of each case plan was automatically recorded by the evaluation platform. Differences between groups were analyzed using a linear mixed-effects model.
Completed at the time when residents submitted their plans. Calculated up to 3 weeks after the submission.

Medewerkers en onderzoekers

Hier vindt u mensen en organisaties die betrokken zijn bij dit onderzoek.

Sponsor

Sponsor

De organisatie of persoon die het onderzoek initieert en die autoriteit en controle heeft over het onderzoek.
Peking University People's Hospital

Studie record data

Deze datums volgen de voortgang van het onderzoeksdossier en de samenvatting van de ingediende resultaten bij ClinicalTrials.gov. Studieverslagen en gerapporteerde resultaten worden beoordeeld door de National Library of Medicine (NLM) om er zeker van te zijn dat ze voldoen aan specifieke kwaliteitscontrolenormen voordat ze op de openbare website worden geplaatst.

Bestudeer belangrijke data

Studie start (Werkelijk)

Studie start

De daadwerkelijke datum waarop de eerste deelnemer aan een klinische studie deelnam. De "verwachte" startdatum van de studie is de datum waarvan de onderzoekers denken dat deze de startdatum van de studie zal zijn.
10 juni 2026

Primaire voltooiing (Werkelijk)

Primaire voltooiing

De datum waarop de laatste deelnemer aan een klinische studie is onderzocht of een interventie heeft ondergaan om definitieve gegevens voor de primaire uitkomstmaat te verzamelen. Of de klinische studie volgens het protocol is beëindigd of is beëindigd, heeft geen invloed op deze datum. Voor klinische onderzoeken met meer dan één primaire uitkomstmaat met verschillende voltooiingsdata verwijst deze term naar de datum waarop de gegevensverzameling voor alle primaire uitkomstmaten is voltooid. De "verwachte" primaire voltooiingsdatum is de datum waarvan de onderzoekers denken dat deze de primaire voltooiingsdatum voor het onderzoek zal zijn.
20 juni 2026

Studie voltooiing (Werkelijk)

Studie voltooiing

De datum waarop de laatste deelnemer aan een klinisch onderzoek is onderzocht of een interventie/behandeling heeft ondergaan om definitieve gegevens te verzamelen voor de primaire uitkomstmaten, secundaire uitkomstmaten en bijwerkingen (d.w.z. het laatste bezoek van de laatste deelnemer). De "verwachte" voltooiingsdatum van de studie is de datum waarvan de onderzoekers denken dat deze de voltooiingsdatum van de studie zal zijn.
21 juni 2026

Studieregistratiedata

Eerst ingediend

Eerst ingediend

De datum waarop de onderzoekssponsor of onderzoeker voor het eerst een onderzoeksdossier heeft ingediend bij ClinicalTrials.gov. Er is meestal een vertraging van een paar dagen tussen de eerste ingediende datum en de beschikbaarheid van het dossier op ClinicalTrials.gov (de eerste geposte datum).
10 juni 2026

Eerst ingediend dat voldeed aan de QC-criteria

Eerst ingediend dat voldeed aan de QC-criteria

De datum waarop de onderzoekssponsor of onderzoeker voor het eerst een onderzoeksdossier indient dat consistent is met de beoordelingscriteria voor kwaliteitscontrole (QC) van de National Library of Medicine (NLM). De sponsor of onderzoeker moet mogelijk een of meerdere keren een onderzoeksdossier herzien en indienen voordat aan de QC-beoordelingscriteria van NLM wordt voldaan. Het is de verantwoordelijkheid van de sponsor of onderzoeker om ervoor te zorgen dat het onderzoeksdossier consistent is met de NLM QC-beoordelingscriteria.
13 juni 2026

Eerst geplaatst (Werkelijk)

Eerst geplaatst

De datum waarop het onderzoeksdossier voor het eerst beschikbaar was op ClinicalTrials.gov nadat de beoordeling van de kwaliteitscontrole (QC) van de National Library of Medicine (NLM) is afgerond. Er is meestal een vertraging van een paar dagen tussen de datum waarop de onderzoekssponsor of onderzoeker het onderzoeksdossier heeft ingediend en de eerste geposte datum.
17 juni 2026

Updates van studierecords

Laatste update geplaatst (Werkelijk)

Laatste update geplaatst

De meest recente datum waarop wijzigingen in een onderzoeksdossier beschikbaar zijn gemaakt op ClinicalTrials.gov. Er kan een vertraging optreden tussen het moment waarop de wijzigingen zijn ingediend bij ClinicalTrials.gov door de sponsor of onderzoeker van het onderzoek (de datum waarop de laatste update is ingediend) en de datum waarop de laatste update is gepost.
30 juli 2026

Laatste update ingediend die voldeed aan QC-criteria

Laatste update ingediend die voldeed aan QC-criteria

De meest recente datum waarop de onderzoekssponsor of onderzoeker wijzigingen in een onderzoeksdossier heeft ingediend die in overeenstemming zijn met de beoordelingscriteria voor kwaliteitscontrole (QC) van de National Library of Medicine (NLM). Het is de verantwoordelijkheid van de sponsor of onderzoeker om ervoor te zorgen dat het onderzoeksdossier consistent is met de NLM QC-beoordelingscriteria.
29 juli 2026

Laatst geverifieerd

Laatst geverifieerd

De meest recente datum waarop de onderzoekssponsor of onderzoeker de informatie over een klinisch onderzoek op ClinicalTrials.gov als nauwkeurig en actueel heeft bevestigd. Indien een studie met een wervingsstatus van werving; nog niet aan het werven; of actief, geen rekrutering is niet bevestigd in de afgelopen 2 jaar, de rekruteringsstatus van de studie wordt weergegeven als onbekend.
1 juli 2026

Meer informatie

Termen gerelateerd aan deze studie

Trefwoorden

Aanvullende relevante MeSH-voorwaarden

Andere studie-ID-nummers

Andere studie-ID-nummers

Identificatoren of ID-nummers anders dan het NCT-nummer die aan een klinisch onderzoek zijn toegewezen door de sponsor, financiers of anderen van het onderzoek. Deze nummers kunnen unieke identificatoren van andere onderzoeksregisters en subsidienummers van de National Institutes of Health bevatten.
  • 2026PHB458-001

Plan Individuele Deelnemersgegevens (IPD)

Bent u van plan om gegevens van individuele deelnemers (IPD) te delen?

NEE

Informatie over medicijnen en apparaten, studiedocumenten

Bestudeert een door de Amerikaanse FDA gereguleerd geneesmiddel

Nee

Bestudeert een door de Amerikaanse FDA gereguleerd apparaatproduct

Nee

Deze informatie is zonder wijzigingen rechtstreeks van de website clinicaltrials.gov gehaald. Als u verzoeken heeft om uw onderzoeksgegevens te wijzigen, te verwijderen of bij te werken, neem dan contact op met register@clinicaltrials.gov. Zodra er een wijziging wordt doorgevoerd op clinicaltrials.gov, wordt deze ook automatisch bijgewerkt op onze website .

Cookie-instellingen

We gebruiken cookies om ervoor te zorgen dat we u de beste ervaring op onze website bieden. Lees ons privacy- en cookiebeleid voor meer informatie. ...>>>U kunt uw voorkeuren op elk moment wijzigen of uw toestemming intrekken door de cookies van uw website of computer te verwijderen zoals beschreven in het beleid. Accepteer het en kies uw voorkeuren door de overeenkomstige vakjes aan te vinken in het gedeelte "Instellingen beheren" hieronder. Lees onze Servicevoorwaarden zorgvuldig door voordat u verder gaat met het gebruiken van enig onderdeel van deze website.
«Beheer instellingen