Denne side blev automatisk oversat, og nøjagtigheden af ​​oversættelsen er ikke garanteret. Der henvises til engelsk version for en kildetekst.

Benchmarking Large Language Models Against Tumour Boards for Oncology Treatment Recommendations (BEACON)

28. juli 2026 opdateret af: Assistance Publique - Hôpitaux de Paris

Benchmarking AI for Clinical Oncology decisioNmaking (BEACON): A Prospective, Multicentre, Blinded Evaluation of Frontier Large Language Models Against Multidisciplinary Tumour Board Recommendations in Oncology Treatment Planning

BEACON (Benchmarking AI for Clinical Oncology decisioNmaking) is a prospective, multicentre, comparative, blinded, non-interventional benchmark evaluating the treatment recommendations of five frontier large language models (LLMs) against the recommendations of multidisciplinary tumour boards (RCP) in oncology treatment planning. One hundred standardised synthetic cases (20 per localisation, across breast, lung, urological, digestive and gynaecological cancers) are submitted as identical structured input to two independent tumour boards per localisation and to five frontier LLMs. Each recommendation - human or model - is decomposed into five predefined decision domains (intent, surgery, radiotherapy, systemic therapy, work-up and biomarkers) and scored 0/1/2 for concordance against a two-tier reference: the consensus of the two tumour boards, complemented by an a priori locked guideline matrix (ESMO, NCCN). The primary endpoint is domain-level concordance between LLM and RCP consensus, expressed as a linearly weighted Cohen's kappa. A co-primary safety endpoint captures the proportion of recommendations carrying serious harm potential, because concordance alone can conceal dangerous errors. Because expert boards may disagree with one another on identical cases, model performance is always interpreted against the human consensus. BEACON is designed as reusable, openly licensed, pre-registered infrastructure: all synthetic cases, evaluation rubrics, the locked guideline matrix, scoring algorithms and verbatim prompts are released for full reproducibility.

Studieoversigt

Status

Status

Angiver den aktuelle rekrutteringsstatus eller den udvidede adgangsstatus.
Rekruttering

Betingelser

Betingelser

Den sygdom, lidelse, syndrom, sygdom eller skade, der undersøges. På ClinicalTrials.gov kan tilstande også omfatte andre sundhedsrelaterede problemer, såsom levetid, livskvalitet og sundhedsrisici.

Intervention / Behandling

Intervention / Behandling

En proces eller handling, der er i fokus for en klinisk undersøgelse. Interventioner omfatter lægemidler, medicinsk udstyr, procedurer, vacciner og andre produkter, der enten er til undersøgelse eller allerede er tilgængelige. Interventioner kan også omfatte ikke-invasive tilgange, såsom uddannelse eller ændring af kost og motion.

Detaljeret beskrivelse

BEACON is a prospective, multicentre, blinded benchmark using automated, criteria-based scoring. It is built on three design decisions that distinguish it from the existing literature: (i) synthetic, standardised cases remove the record-completeness variability that confounds retrospective comparisons and allow the identical input to be given to every board and every model; (ii) two independent tumour boards per localisation let human-human agreement be measured rather than assumed; and (iii) a guideline matrix, locked a priori, provides an objective anchor applied identically to human and model recommendations.

Reference standard. For each case-domain, a guideline matrix (guideline-recommended / acceptable / unsupported options per case-domain; ESMO, NCCN), locked and time-stamped before data collection, is applied identically to boards and models.

Five decision domains. Every recommendation is decomposed into D1 Intent, D2 Surgery, D3 Radiotherapy, D4 Systemic therapy (class + line), and D5 Work-up & biomarkers before any comparison.

Undersøgelsestype

Undersøgelsestype

Beskriver karakteren af ​​en klinisk undersøgelse. Undersøgelsestyper omfatter interventionelle undersøgelser (også kaldet kliniske forsøg), observationsundersøgelser (herunder patientregistre) og udvidet adgang.
Observationel

Tilmelding (Anslået)

Tilmelding

Antallet af deltagere i en klinisk undersøgelse. Den "forventede" tilmelding er det mål for antallet af deltagere, som forskerne skal bruge til undersøgelsen.
100

Kontakter og lokationer

Dette afsnit indeholder kontaktoplysninger for dem, der udfører undersøgelsen, og oplysninger om, hvor denne undersøgelse udføres.

Studiekontakt

Studiekontakt

Navn og kontaktoplysninger for den person, der kan besvare spørgsmål om tilmelding til en klinisk undersøgelse. Hvert sted, hvor undersøgelsen udføres, kan også have en specifik kontaktperson, som kan være bedre i stand til at besvare disse spørgsmål.

Undersøgelse Kontakt Backup

Studiesteder

  • Frankrig
      • Paris, Frankrig
        • Rekruttering
        • Hôpital Europeén Georges Pompidou
        • Kontakt:

Deltagelseskriterier

Forskere leder efter personer, der passer til en bestemt beskrivelse, kaldet berettigelseskriterier. Nogle eksempler på disse kriterier er en persons generelle helbredstilstand eller tidligere behandlinger.

Berettigelseskriterier

Berettigelseskriterier

De nøglekrav, som personer, der ønsker at deltage i et klinisk studie, skal opfylde eller de egenskaber, de skal have. Kvalifikationskriterier består af både inklusionskriterier (som er nødvendige for at en person kan deltage i undersøgelsen) og eksklusionskriterier (som forhindrer en person i at deltage). Typer af berettigelseskriterier omfatter, om en undersøgelse accepterer raske frivillige, har alders- eller aldersgruppekrav eller er begrænset af køn.

Aldre berettiget til at studere

  • Voksen
  • Ældre voksen

Tager imod sunde frivillige

Ingen

Prøveudtagningsmetode

Ikke-sandsynlighedsprøve

Studiebefolkning

100 synthetic oncology treatment-planning cases (20 per localisation) across five localisations: breast, lung, urological (prostate, bladder / upper-tract urothelial, kidney), digestive and gynaecological. Each case is a structured JSON input specifying UICC 8th-edition stage, biomarkers, ECOG performance status, comorbidities and a standardised clinical question. No human participants, no patient data and no identifiable individuals. Recommendations are produced by two independent tumour boards per localisation and by five frontier LLMs (queried May 2026).

Beskrivelse

Inclusion Criteria:

  • Synthetic oncology case within one of the five predefined localisations (breast, lung, urological, digestive, gynaecological).
  • Complete structured schema: UICC 8th-edition stage, biomarkers, ECOG performance status, comorbidities and a standardised clinical question.
  • A clinically answerable treatment-planning question that is mappable to the locked guideline matrix.

Exclusion Criteria:

  • Case outside the five predefined localisations.
  • Incomplete, internally inconsistent or ambiguous schema.
  • Duplicate or near-duplicate of an existing case in the set.
  • Question not resolvable by current guidelines.

Studieplan

Dette afsnit indeholder detaljer om studieplanen, herunder hvordan undersøgelsen er designet, og hvad undersøgelsen måler.

Hvordan er undersøgelsen tilrettelagt?

Design detaljer

Kohorter og interventioner

Gruppe / kohorte

Gruppe / kohorte

En gruppe eller undergruppe af deltagere i et observationsstudie, der vurderes for biomedicinske eller sundhedsmæssige resultater.
Intervention / Behandling

Intervention / Behandling

En proces eller handling, der er i fokus for en klinisk undersøgelse. Interventioner omfatter lægemidler, medicinsk udstyr, procedurer, vacciner og andre produkter, der enten er til undersøgelse eller allerede er tilgængelige. Interventioner kan også omfatte ikke-invasive tilgange, såsom uddannelse eller ændring af kost og motion.
Breast cancers
Andet: Multidisciplinary tumour boards
Two independent tumour boards per localisation (10 boards in total) issue a categorical recommendation for every synthetic case. Where both boards agree, their consensus defines the reference standard; where they differ, the case-domain is classified as EQUIPOISE and analysed separately.
Andet: Frontier large language models
Five frontier LLMs (GPT-5.6, Claude Fable 5, Gemini 3.1 Pro, DeepSeek V4 Pro, Llama 4 Maverick) each receive the identical structured input for every case, three times in independent sessions, under locked prompts, versions and settings.
Lung cancers
Andet: Multidisciplinary tumour boards
Two independent tumour boards per localisation (10 boards in total) issue a categorical recommendation for every synthetic case. Where both boards agree, their consensus defines the reference standard; where they differ, the case-domain is classified as EQUIPOISE and analysed separately.
Andet: Frontier large language models
Five frontier LLMs (GPT-5.6, Claude Fable 5, Gemini 3.1 Pro, DeepSeek V4 Pro, Llama 4 Maverick) each receive the identical structured input for every case, three times in independent sessions, under locked prompts, versions and settings.
Urological cancers
Andet: Multidisciplinary tumour boards
Two independent tumour boards per localisation (10 boards in total) issue a categorical recommendation for every synthetic case. Where both boards agree, their consensus defines the reference standard; where they differ, the case-domain is classified as EQUIPOISE and analysed separately.
Andet: Frontier large language models
Five frontier LLMs (GPT-5.6, Claude Fable 5, Gemini 3.1 Pro, DeepSeek V4 Pro, Llama 4 Maverick) each receive the identical structured input for every case, three times in independent sessions, under locked prompts, versions and settings.
Digestive cancers
Andet: Multidisciplinary tumour boards
Two independent tumour boards per localisation (10 boards in total) issue a categorical recommendation for every synthetic case. Where both boards agree, their consensus defines the reference standard; where they differ, the case-domain is classified as EQUIPOISE and analysed separately.
Andet: Frontier large language models
Five frontier LLMs (GPT-5.6, Claude Fable 5, Gemini 3.1 Pro, DeepSeek V4 Pro, Llama 4 Maverick) each receive the identical structured input for every case, three times in independent sessions, under locked prompts, versions and settings.
Gynaecological cancers
Andet: Multidisciplinary tumour boards
Two independent tumour boards per localisation (10 boards in total) issue a categorical recommendation for every synthetic case. Where both boards agree, their consensus defines the reference standard; where they differ, the case-domain is classified as EQUIPOISE and analysed separately.
Andet: Frontier large language models
Five frontier LLMs (GPT-5.6, Claude Fable 5, Gemini 3.1 Pro, DeepSeek V4 Pro, Llama 4 Maverick) each receive the identical structured input for every case, three times in independent sessions, under locked prompts, versions and settings.

Hvad måler undersøgelsen?

Primære resultatmål

Primære resultatmål

I et klinisk studies protokol er det planlagte resultatmål, der er det vigtigste for at evaluere effekten af ​​en intervention/behandling. De fleste kliniske undersøgelser har ét primært resultatmål, men nogle har mere end ét.
Resultatmål
Foranstaltningsbeskrivelse
Tidsramme
Domain-level performance between LLM recommendations and the locked guidelines.
Tidsramme: Assessed once at central scoring, after data collection (~October 2026)
For each recommendation domain and each LLM, proportion of LLM recommendation concordant with locked guidelines
Assessed once at central scoring, after data collection (~October 2026)

Sekundære resultatmål

Sekundære resultatmål

I en klinisk undersøgelses protokol er et planlagt resultatmål, der ikke er lige så vigtigt som det primære resultatmål for at evaluere effekten af ​​en intervention, men som stadig er af interesse. De fleste kliniske undersøgelser har mere end ét sekundært resultatmål.
Resultatmål
Foranstaltningsbeskrivelse
Tidsramme
Proportion of recommendations carrying serious harm potential ( LLM and tumour boards)
Tidsramme: Up to October 2026
Up to October 2026
Domain-level recommendation concordance between LLM and tumour-boards
Tidsramme: Up to October 2026
Each recommendation domain, decomposed into the five decision domains and scored per domain on an ordinal scale (2 = complete concordance; 1 = partial concordance; 0 = discordance).
Up to October 2026
Inter-tumour board domain-level recommendation concordance
Tidsramme: Up to October 2026
Agreement between the two independent tumour boards scored per recommendation domain
Up to October 2026
Equipoise rate
Tidsramme: Up to October 2026
Proportion of case-domains where the two tumour boards give different categorical recommendations
Up to October 2026
Completeness
Tidsramme: Up to October 2026
Proportion of required domains addressed (LLM and tumour boards)
Up to October 2026
Missingness
Tidsramme: Up to October 2026
Proportion of critical omissions (LLM and tumour boards)
Up to October 2026
Intensity bias
Tidsramme: Up to October 2026
Proportion of recommendation corresponding to over- or under-treatment
Up to October 2026

Samarbejdspartnere og efterforskere

Det er her, du vil finde personer og organisationer, der er involveret i denne undersøgelse.

Sponsor

Sponsor

Den organisation eller person, der igangsætter undersøgelsen, og som har myndighed og kontrol over undersøgelsen.
Assistance Publique - Hôpitaux de Paris

Datoer for undersøgelser

Disse datoer sporer fremskridtene for indsendelser af undersøgelsesrekord og resumeresultater til ClinicalTrials.gov. Studieregistreringer og rapporterede resultater gennemgås af National Library of Medicine (NLM) for at sikre, at de opfylder specifikke kvalitetskontrolstandarder, før de offentliggøres på den offentlige hjemmeside.

Studer store datoer

Studiestart (Faktiske)

Studiestart

Den faktiske dato, hvor den første deltager blev tilmeldt en klinisk undersøgelse. Den "forventede" undersøgelses startdato er den dato, som forskerne tror vil være undersøgelsens startdato.
1. maj 2026

Primær færdiggørelse (Anslået)

Primær færdiggørelse

Den dato, hvor den sidste deltager i et klinisk studie blev undersøgt eller modtog en intervention for at indsamle endelige data for det primære resultatmål. Hvorvidt det kliniske studie sluttede i henhold til protokollen eller blev afsluttet, påvirker ikke denne dato. For kliniske undersøgelser med mere end ét primært resultatmål med forskellige afslutningsdatoer refererer dette udtryk til den dato, hvor dataindsamlingen er afsluttet for alle de primære resultatmål. Den "forventede" primære afslutningsdato er den dato, som forskerne tror vil være den primære afslutningsdato for undersøgelsen.
1. oktober 2026

Studieafslutning (Anslået)

Studieafslutning

Den dato, hvor den sidste deltager i et klinisk studie blev undersøgt eller modtog en intervention/behandling for at indsamle endelige data for de primære resultatmål, sekundære udfaldsmål og uønskede hændelser (det vil sige den sidste deltagers sidste besøg). Den "forventede" undersøgelses afslutningsdato er den dato, som forskerne tror vil være undersøgelsens afslutningsdato.
1. oktober 2026

Datoer for studieregistrering

Først indsendt

Først indsendt

Den dato, hvor undersøgelsens sponsor eller investigator første gang indsendte en undersøgelsespost til ClinicalTrials.gov. Der er typisk en forsinkelse på et par dage mellem den første indsendte dato og postens tilgængelighed på ClinicalTrials.gov (den første offentliggjorte dato).
28. juli 2026

Først indsendt, der opfyldte QC-kriterier

Først indsendt, der opfyldte QC-kriterier

Den dato, hvor undersøgelsens sponsor eller investigator første gang indsender en undersøgelsespost, der er i overensstemmelse med National Library of Medicine (NLM) kvalitetskontrol (QC) gennemgangskriterier. Sponsoren eller investigatoren skal muligvis revidere og indsende en undersøgelsespost en eller flere gange, før NLM's kvalitetskontrolkriterier er opfyldt. Det er sponsorens eller investigatorens ansvar at sikre, at undersøgelsesposten er i overensstemmelse med NLM QC-gennemgangskriterierne.
28. juli 2026

Først opslået (Faktiske)

Først opslået

Datoen, hvor undersøgelsesposten først var tilgængelig på ClinicalTrials.gov efter National Library of Medicine (NLM) kvalitetskontrol (QC) gennemgang er afsluttet. Der er typisk en forsinkelse på et par dage mellem den dato, hvor undersøgelsens sponsor eller investigator indsendte undersøgelsesposten, og den første offentliggjorte dato.
31. juli 2026

Opdateringer af undersøgelsesjournaler

Sidste opdatering sendt (Faktiske)

Sidste opdatering sendt

Den seneste dato, hvor ændringer i en undersøgelsespost blev gjort tilgængelig på ClinicalTrials.gov. Der kan være en forsinkelse mellem det tidspunkt, hvornår ændringerne blev indsendt til ClinicalTrials.gov af undersøgelsens sponsor eller investigator (datoen for sidste opdatering afsendt) og den sidste opdatering, der blev sendt.
31. juli 2026

Sidste opdatering indsendt, der opfyldte kvalitetskontrolkriterier

Sidste opdatering indsendt, der opfyldte kvalitetskontrolkriterier

Den seneste dato, hvor undersøgelsens sponsor eller investigator indsendte ændringer til en undersøgelsespost, der er i overensstemmelse med National Library of Medicine (NLM) kvalitetskontrol (QC) gennemgangskriterier. Det er sponsorens eller investigatorens ansvar at sikre, at undersøgelsesposten er i overensstemmelse med NLM QC-gennemgangskriterierne.
28. juli 2026

Sidst verificeret

Sidst verificeret

Den seneste dato, hvor undersøgelsens sponsor eller investigator bekræftede oplysningerne om en klinisk undersøgelse på ClinicalTrials.gov som nøjagtige og aktuelle. Hvis en undersøgelse med rekrutteringsstatus som rekruttering; rekrutterer endnu ikke; eller aktiv, ikke rekruttering er ikke blevet bekræftet inden for de seneste 2 år, er undersøgelsens rekrutteringsstatus vist som ukendt.
1. juli 2026

Mere information

Begreber relateret til denne undersøgelse

Nøgleord

Yderligere relevante MeSH-vilkår

Andre undersøgelses-id-numre

Andre undersøgelses-id-numre

Andre identifikatorer eller ID-numre end NCT-nummeret, der er tildelt til en klinisk undersøgelse af undersøgelsens sponsor, finansieringsgivere eller andre. Disse numre kan omfatte unikke identifikatorer fra andre forsøgsregistre og National Institutes of Health-bevillingsnumre.
  • APHP261032

Plan for individuelle deltagerdata (IPD)

Planlægger du at dele individuelle deltagerdata (IPD)?

UBESLUTET

Lægemiddel- og udstyrsoplysninger, undersøgelsesdokumenter

Studerer et amerikansk FDA-reguleret lægemiddelprodukt

Ingen

Studerer et amerikansk FDA-reguleret enhedsprodukt

Ingen

Disse oplysninger blev hentet direkte fra webstedet clinicaltrials.gov uden ændringer. Hvis du har nogen anmodninger om at ændre, fjerne eller opdatere dine undersøgelsesoplysninger, bedes du kontakte register@clinicaltrials.gov. Så snart en ændring er implementeret på clinicaltrials.gov, vil denne også blive opdateret automatisk på vores hjemmeside .

Cookieindstillinger

Vi bruger cookies for at sikre, at vi giver dig den bedste oplevelse på vores hjemmeside. For flere detaljer skal du læse omhyggeligt vores Politik om beskyttelse af personlige oplysninger og cookies. ...>>>Du kan når som helst ændre dine præferencer eller trække dit samtykke tilbage ved at slette cookies fra din hjemmeside eller computer som beskrevet i politikken. Accepter det og vælg dine præferencer ved at markere de tilsvarende felter i afsnittet "Administrer indstillinger" nedenfor. Læs vores servicevilkår omhyggeligt, inden du fortsætter med at bruge nogen del af dette websted.
«Administrer indstillinger