Cette page a été traduite automatiquement et l'exactitude de la traduction n'est pas garantie. Veuillez vous référer au version anglaise pour un texte source.

Preliminary Evaluation of a Large Language Model-Based Tool for Complex Surgical Decision Support in Lung Cancer

29 juillet 2026 mis à jour par: XiuYuan Chen, Peking University People's Hospital
This study is an exploratory effect-size estimation study, with the following specific objectives: ① to estimate the point estimate and 95% confidence interval of the Win Ratio for the experimental group (GAPS-Agent) versus the control group (large language model) in blinded pairwise preference judgments by thoracic surgery expert adjudicators, to serve as a sample size planning parameter for subsequent multicenter confirmatory clinical trials; ② to preliminarily evaluate the value of GAPS-Agent within clinical workflows.The hypothesis of this study is as follows: compared with a general-purpose large language model without medical enhancement (control group), a structured agentic workflow optimized on the basis of the GAPS evaluation framework (GAPS-Agent, experimental group) can help junior resident physicians generate clinical decision plans for complex lung cancer cases that are more strongly preferred by senior thoracic surgery expert adjudicators.

Aperçu de l'étude

Statut

Statut

Indique le statut de recrutement actuel ou le statut d'accès étendu.
Complété

Les conditions

Les conditions

La maladie, le trouble, le syndrome, la maladie ou la blessure à l'étude. Sur ClinicalTrials.gov, les conditions peuvent également inclure d'autres problèmes liés à la santé, tels que la durée de vie, la qualité de vie et les risques pour la santé.

Intervention / Traitement

Intervention / Traitement

Processus ou action faisant l'objet d'une étude clinique. Les interventions comprennent les médicaments, les dispositifs médicaux, les procédures, les vaccins et d'autres produits expérimentaux ou déjà disponibles. Les interventions peuvent également inclure des approches non invasives, telles que l'éducation ou la modification du régime alimentaire et de l'exercice.

Type d'étude

Type d'étude

Décrit la nature d'une étude clinique. Les types d'études comprennent les études interventionnelles (également appelées essais cliniques), les études observationnelles (y compris les registres de patients) et l'accès élargi.
Interventionnel

Inscription (Réel)

Inscription

Le nombre de participants à une étude clinique. L'inscription "prévue" est le nombre cible de participants dont les chercheurs ont besoin pour l'étude.
8

Phase

Phase

L'étape d'un essai clinique étudiant un médicament ou un produit biologique, basée sur les définitions élaborées par la Food and Drug Administration (FDA) des États-Unis. La phase est basée sur l'objectif de l'étude, le nombre de participants et d'autres caractéristiques. Il y a cinq phases : phase précoce 1 (anciennement répertoriée comme phase 0), phase 1, phase 2, phase 3 et phase 4. Non applicable est utilisé pour décrire les essais sans phases définies par la FDA, y compris les essais de dispositifs ou d'interventions comportementales.
  • N'est pas applicable

Contacts et emplacements

Cette section fournit les coordonnées de ceux qui mènent l'étude et des informations sur le lieu où cette étude est menée.

Lieux d'étude

  • Chine
    • Beijing Municipality
      • Beijing, Beijing Municipality, Chine, 100044
        • Peking University People's Hospital

Critères de participation

Les chercheurs recherchent des personnes qui correspondent à une certaine description, appelée critères d'éligibilité. Certains exemples de ces critères sont l'état de santé général d'une personne ou des traitements antérieurs.

Critère d'éligibilité

Critère d'éligibilité

Les principales exigences que doivent remplir les personnes qui souhaitent participer à une étude clinique ou les caractéristiques qu'elles doivent avoir. Les critères d'éligibilité comprennent à la fois des critères d'inclusion (qui sont requis pour qu'une personne participe à l'étude) et des critères d'exclusion (qui empêchent une personne de participer). Les types de critères d'éligibilité incluent si une étude accepte des volontaires sains, a des exigences d'âge ou de groupe d'âge, ou est limitée par le sexe.

Âges éligibles pour étudier

  • Adulte
  • Adulte plus âgé

Accepte les volontaires sains

Non

La description

Inclusion Criteria:

  1. Resident Physician Subjects:

    1. Holds a valid and legally effective Physician Practice License of the People's Republic of China;
    2. Currently holds the rank of resident physician in a thoracic surgery department at a tertiary Class A (3A) hospital;
    3. Agrees to complete all assessment tasks of the main study phase in accordance with the study protocol;
    4. Can guarantee the time and effort required to complete all assessment tasks of the main study.

  2. Study Cases:

    1. The case was discussed at the Thoracic Oncology Multidisciplinary Team (MDT) conference of Peking University People's Hospital between January 2025 and May 2026;
    2. The current version of the NCCN guidelines does not provide an explicit recommendation covering the management of the case;
    3. Does not overlap with the GAPS evaluation set;
    4. The case is presented in pure text in a structured format, with all direct and indirect identifiers removed and complete de-identification performed prior to inclusion;
    5. From the pool of eligible cases, 12 cases will be randomly drawn using Python (numpy.random, with a fixed and archived seed) to serve as the main study cases. The cases will cover 6 themes (chest mass of undetermined diagnosis, early-stage lung cancer, locally advanced lung cancer, oligometastatic/oligoprogressive disease, special intraoperative situations, and tumor recurrence), with 1 - 4 cases per theme.

  3. Adjudication Expert Panel:

    1. Holds a valid and legally effective Physician Practice License of the People's Republic of China;
    2. Currently holds the rank of attending physician or above in a thoracic surgery department at a tertiary Class A hospital;
    3. Chairs or regularly participates in lung cancer multidisciplinary team (MDT) work in their department.

Exclusion Criteria:

  1. Resident Physician Subjects:

    1. Has previously participated in the construction of the GAPS evaluation set or the development of GAPS-Agent;
    2. Unable to complete the tasks of the study phase.

  2. Study Cases:

    1. Key case information is missing, such as text-form data on pathology (including IHC/NGS), imaging, laboratory tests, prior medical history, comorbidities, or PS score;
    2. Decision-making for the case is strictly dependent on non-text information.

  3. Adjudication Expert Panel:

    1. Participated in the construction of the GAPS evaluation set, the content validity verification, or the development of GAPS-Agent for this study;
    2. Has a direct conflict of interest with any specific product among the two-arm tools of this study.

Plan d'étude

Cette section fournit des détails sur le plan d'étude, y compris la façon dont l'étude est conçue et ce que l'étude mesure.

Comment l'étude est-elle conçue ?

Détails de conception

  • Objectif principal: Autre
  • Répartition: Randomisé
  • Modèle interventionnel: Affectation parallèle
  • Masquage: Seul

Armes et Interventions

Groupe de participants / Bras

Groupe de participants / Bras

Un groupe ou un sous-groupe de participants à un essai clinique qui reçoit une intervention/un traitement spécifique, ou aucune intervention, selon le protocole de l'essai.
Intervention / Traitement

Intervention / Traitement

Processus ou action faisant l'objet d'une étude clinique. Les interventions comprennent les médicaments, les dispositifs médicaux, les procédures, les vaccins et d'autres produits expérimentaux ou déjà disponibles. Les interventions peuvent également inclure des approches non invasives, telles que l'éducation ou la modification du régime alimentaire et de l'exercice.
Expérimental: test arm
GAPS-Agent
Autre: GAPS-Agent
The research group has previously developed the GAPS evaluation framework for complex clinical decision-making in lung cancer. In this framework, G (Grounding) characterizes the cognitive depth of decision-making (ranging from knowledge retrieval to decisions that go beyond clinical guidelines), A (Authority) corresponds to the grading of evidence strength, P (Perturbation) describes the identification and management of real-world clinical confounding factors, and S (Strength) corresponds to the calibration of recommendation strength. Within this framework, the research group has completed the construction of a 100-item complex lung cancer decision-making evaluation set along with its corresponding rubrics, and has invited multiple thoracic oncology experts to complete content validity validation. Based on this, the research group developed GAPS-Agent, which uses an open-source large language model as its foundation and integrates functional modules such as guideline and evidence retri
Comparateur actif: control arm
LLM
Autre: LLM
Open source large language model that is not specifically enhanced in medical field.

Que mesure l'étude ?

Principaux critères de jugement

Principaux critères de jugement

Dans le protocole d'une étude clinique, la mesure de résultat prévue qui est la plus importante pour évaluer l'effet d'une intervention/d'un traitement. La plupart des études cliniques ont un critère de jugement principal, mais certaines en ont plus d'un.
Mesure des résultats
Description de la mesure
Délai
Overall plan Win Ratio
Délai: Measured at the time when experts completed their preference judgements. Calculated up to 3 weeks after the preference judgements.
A total of 10 blinded expert judges made Win/Tie/Loss ternary preference judgments on 192 paired scheme comparisons in terms of overall scheme quality. The win ratio was calculated as Wins ÷ Losses, and the 95% confidence interval was estimated using a two-level (physician × case) cluster bootstrap resampling method (B = 10,000, quantile method on the log scale).
Measured at the time when experts completed their preference judgements. Calculated up to 3 weeks after the preference judgements.

Mesures de résultats secondaires

Mesures de résultats secondaires

Dans le protocole d'une étude clinique, mesure de résultat planifiée qui n'est pas aussi importante que la mesure de résultat principale pour évaluer l'effet d'une intervention, mais qui reste intéressante. La plupart des études cliniques ont plus d'un critère de jugement secondaire.
Mesure des résultats
Description de la mesure
Délai
Inter-rater agreement
Délai: Measured at the time when experts completed their preference judgements. Calculated up to 3 weeks after the preference judgements.
For the ternary preference judgment results of 10 expert judges across 192 paired comparisons and 6 evaluation domains, Fleiss' kappa was used to assess inter-rater agreement. The kappa value and its 95% confidence interval are reported for each evaluation domain.
Measured at the time when experts completed their preference judgements. Calculated up to 3 weeks after the preference judgements.
Redundancy Win Ratio
Délai: Measured at the time when experts completed their preference judgements. Calculated up to 3 weeks after the preference judgements.
A total of 10 blinded expert judges made Win/Tie/Loss ternary preference judgments on 192 paired scheme comparisons in terms of overall scheme quality. The win ratio was calculated as Wins ÷ Losses, and the 95% confidence interval was estimated using a two-level (physician × case) cluster bootstrap resampling method (B = 10,000, quantile method on the log scale).
Measured at the time when experts completed their preference judgements. Calculated up to 3 weeks after the preference judgements.
Evidence-based medicine adherence Win Ratio
Délai: Measured at the time when experts completed their preference judgements. Calculated up to 3 weeks after the preference judgements.
A total of 10 blinded expert judges made Win/Tie/Loss ternary preference judgments on 192 paired scheme comparisons in terms of overall scheme quality. The win ratio was calculated as Wins ÷ Losses, and the 95% confidence interval was estimated using a two-level (physician × case) cluster bootstrap resampling method (B = 10,000, quantile method on the log scale).
Measured at the time when experts completed their preference judgements. Calculated up to 3 weeks after the preference judgements.
Actionability Win Ratio
Délai: Measured at the time when experts completed their preference judgements. Calculated up to 3 weeks after the preference judgements.
A total of 10 blinded expert judges made Win/Tie/Loss ternary preference judgments on 192 paired scheme comparisons in terms of overall scheme quality. The win ratio was calculated as Wins ÷ Losses, and the 95% confidence interval was estimated using a two-level (physician × case) cluster bootstrap resampling method (B = 10,000, quantile method on the log scale).
Measured at the time when experts completed their preference judgements. Calculated up to 3 weeks after the preference judgements.
Completeness Win Ratio
Délai: Measured at the time when experts completed their preference judgements. Calculated up to 3 weeks after the preference judgements.
A total of 10 blinded expert judges made Win/Tie/Loss ternary preference judgments on 192 paired scheme comparisons in terms of overall scheme quality. The win ratio was calculated as Wins ÷ Losses, and the 95% confidence interval was estimated using a two-level (physician × case) cluster bootstrap resampling method (B = 10,000, quantile method on the log scale).
Measured at the time when experts completed their preference judgements. Calculated up to 3 weeks after the preference judgements.
Safety Win Ratio
Délai: Measured at the time when experts completed their preference judgements. Calculated up to 3 weeks after the preference judgements.
A total of 10 blinded expert judges made Win/Tie/Loss ternary preference judgments on 192 paired scheme comparisons in terms of overall scheme quality. The win ratio was calculated as Wins ÷ Losses, and the 95% confidence interval was estimated using a two-level (physician × case) cluster bootstrap resampling method (B = 10,000, quantile method on the log scale).
Measured at the time when experts completed their preference judgements. Calculated up to 3 weeks after the preference judgements.
GAPS automated rubric score
Délai: Generated up to 3 weeks after residents finished their plan generation.
A third-party large language model, independent of the two study arms' base models, served as the judge model and automatically scored all 96 plans according to the GAPS rubric.
Generated up to 3 weeks after residents finished their plan generation.
Subject physician's self-confidence score
Délai: Completed at the time when residents submitted their plans. Calculated up to 3 weeks after the submission.
After submitting each case plan, the participating physicians self-rated their confidence in their own plan using a 1-5 point Likert scale.
Completed at the time when residents submitted their plans. Calculated up to 3 weeks after the submission.
Tool satisfaction score
Délai: Completed at the time when residents submitted their plans. Calculated up to 3 weeks after the submission.
After submitting each case plan, the participating physicians rated their satisfaction with the tool using a 1-5 point Likert scale.
Completed at the time when residents submitted their plans. Calculated up to 3 weeks after the submission.
Tool trustworthiness score
Délai: Completed at the time when residents submitted their plans. Calculated up to 3 weeks after the submission.
After submitting each case plan, the participating physicians rated the tool's credibility using a 1-5 point Likert scale.
Completed at the time when residents submitted their plans. Calculated up to 3 weeks after the submission.
Decision-making time
Délai: Completed at the time when residents submitted their plans. Calculated up to 3 weeks after the submission.
The time taken (in minutes) by each participating physician to complete the production of each case plan was automatically recorded by the evaluation platform. Differences between groups were analyzed using a linear mixed-effects model.
Completed at the time when residents submitted their plans. Calculated up to 3 weeks after the submission.

Collaborateurs et enquêteurs

C'est ici que vous trouverez les personnes et les organisations impliquées dans cette étude.

Parrainer

Parrainer

L'organisation ou la personne qui lance l'étude et qui a autorité et contrôle sur l'étude.
Peking University People's Hospital

Dates d'enregistrement des études

Ces dates suivent la progression des dossiers d'étude et des soumissions de résultats sommaires à ClinicalTrials.gov. Les dossiers d'étude et les résultats rapportés sont examinés par la Bibliothèque nationale de médecine (NLM) pour s'assurer qu'ils répondent à des normes de contrôle de qualité spécifiques avant d'être publiés sur le site Web public.

Dates principales de l'étude

Début de l'étude (Réel)

Début de l'étude

La date réelle à laquelle le premier participant a été inscrit à une étude clinique. La date de début "prévue" de l'étude est la date qui, selon les chercheurs, sera la date de début de l'étude.
10 juin 2026

Achèvement primaire (Réel)

Achèvement primaire

La date à laquelle le dernier participant à une étude clinique a été examiné ou a reçu une intervention pour recueillir les données finales pour le critère de jugement principal. Que l'étude clinique se soit terminée conformément au protocole ou qu'elle ait été terminée n'affecte pas cette date. Pour les études cliniques avec plus d'un critère de jugement principal avec des dates d'achèvement différentes, ce terme fait référence à la date à laquelle la collecte de données est terminée pour tous les critères de jugement principaux. La date d'achèvement primaire "prévue" est la date qui, selon les chercheurs, sera la date d'achèvement primaire de l'étude.
20 juin 2026

Achèvement de l'étude (Réel)

Achèvement de l'étude

La date à laquelle le dernier participant à une étude clinique a été examiné ou a reçu une intervention/un traitement pour recueillir les données finales pour les mesures de résultats primaires, les mesures de résultats secondaires et les événements indésirables (c'est-à-dire la dernière visite du dernier participant). La date d'achèvement de l'étude "prévue" est la date qui, selon les chercheurs, sera la date d'achèvement de l'étude.
21 juin 2026

Dates d'inscription aux études

Première soumission

Première soumission

La date à laquelle le promoteur de l'étude ou l'investigateur a soumis pour la première fois un dossier d'étude à ClinicalTrials.gov. Il y a généralement un délai de quelques jours entre la première date de soumission et la disponibilité du dossier sur ClinicalTrials.gov (la première date publiée).
10 juin 2026

Première soumission répondant aux critères de contrôle qualité

Première soumission répondant aux critères de contrôle qualité

La date à laquelle le promoteur de l'étude ou l'investigateur soumet pour la première fois un dossier d'étude conforme aux critères d'examen du contrôle qualité (CQ) de la National Library of Medicine (NLM). Le promoteur ou l'investigateur peut avoir besoin de réviser et de soumettre un dossier d'étude une ou plusieurs fois avant que les critères d'examen du CQ du NLM soient remplis. Il incombe au promoteur ou à l'investigateur de s'assurer que le dossier de l'étude est conforme aux critères d'examen du NLM QC.
13 juin 2026

Première publication (Réel)

Première publication

La date à laquelle le dossier d'étude a été disponible pour la première fois sur ClinicalTrials.gov après la fin de l'examen du contrôle qualité (CQ) de la National Library of Medicine (NLM). Il y a généralement un délai de quelques jours entre la date à laquelle le promoteur de l'étude ou l'investigateur a soumis le dossier de l'étude et la première date de publication.
17 juin 2026

Mises à jour des dossiers d'étude

Dernière mise à jour publiée (Réel)

Dernière mise à jour publiée

La date la plus récente à laquelle les modifications apportées à un dossier d'étude ont été mises à disposition sur ClinicalTrials.gov. Il peut y avoir un délai entre le moment où les modifications ont été soumises à ClinicalTrials.gov par le promoteur ou l'investigateur de l'étude (la date de soumission de la dernière mise à jour) et la date de publication de la dernière mise à jour.
30 juillet 2026

Dernière mise à jour soumise répondant aux critères de contrôle qualité

Dernière mise à jour soumise répondant aux critères de contrôle qualité

La date la plus récente à laquelle le promoteur de l'étude ou l'investigateur a soumis des modifications à un dossier d'étude qui sont conformes aux critères d'examen du contrôle qualité (CQ) de la National Library of Medicine (NLM). Il incombe au promoteur ou à l'investigateur de s'assurer que le dossier de l'étude est conforme aux critères d'examen du NLM QC.
29 juillet 2026

Dernière vérification

Dernière vérification

La date la plus récente à laquelle le promoteur de l'étude ou l'investigateur a confirmé que les informations sur une étude clinique sur ClinicalTrials.gov étaient exactes et à jour. Si une étude avec un statut de recrutement de recrutement ; pas encore de recrutement ; ou actif, aucun recrutement n'a été confirmé au cours des 2 dernières années, le statut de recrutement de l'étude est indiqué comme inconnu.
1 juillet 2026

Plus d'information

Termes liés à cette étude

Mots clés

Termes MeSH pertinents supplémentaires

Autres numéros d'identification d'étude

Autres numéros d'identification d'étude

Identifiants ou numéros d'identification autres que le numéro NCT qui sont attribués à une étude clinique par le sponsor de l'étude, les bailleurs de fonds ou autres. Ces numéros peuvent inclure des identifiants uniques d'autres registres d'essais et des numéros de subvention des National Institutes of Health.
  • 2026PHB458-001

Plan pour les données individuelles des participants (IPD)

Prévoyez-vous de partager les données individuelles des participants (DPI) ?

NON

Informations sur les médicaments et les dispositifs, documents d'étude

Étudie un produit pharmaceutique réglementé par la FDA américaine

Non

Étudie un produit d'appareil réglementé par la FDA américaine

Non

Ces informations ont été extraites directement du site Web clinicaltrials.gov sans aucune modification. Si vous avez des demandes de modification, de suppression ou de mise à jour des détails de votre étude, veuillez contacter register@clinicaltrials.gov. Dès qu'un changement est mis en œuvre sur clinicaltrials.gov, il sera également mis à jour automatiquement sur notre site Web .

Paramètres des cookies

Nous utilisons des cookies pour nous assurer de vous offrir la meilleure expérience sur notre site Web. Pour plus de détails, lisez attentivement notre Politique de confidentialité et de cookies. ...>>>Vous pouvez modifier vos préférences ou retirer votre consentement à tout moment en supprimant les cookies de votre site Web ou de votre ordinateur comme décrit dans la politique. Veuillez l'accepter et choisir vos préférences en cochant les cases correspondantes dans la section "Gérer les paramètres" ci-dessous. Veuillez lire attentivement nos Conditions d'utilisation avant de continuer à utiliser une partie de ce site Web.
«Gérer les paramètres