Tato stránka byla automaticky přeložena a přesnost překladu není zaručena. Podívejte se prosím na anglická verze pro zdrojový text.

Benchmarking Large Language Models Against Tumour Boards for Oncology Treatment Recommendations (BEACON)

28. července 2026 aktualizováno: Assistance Publique - Hôpitaux de Paris

Benchmarking AI for Clinical Oncology decisioNmaking (BEACON): A Prospective, Multicentre, Blinded Evaluation of Frontier Large Language Models Against Multidisciplinary Tumour Board Recommendations in Oncology Treatment Planning

BEACON (Benchmarking AI for Clinical Oncology decisioNmaking) is a prospective, multicentre, comparative, blinded, non-interventional benchmark evaluating the treatment recommendations of five frontier large language models (LLMs) against the recommendations of multidisciplinary tumour boards (RCP) in oncology treatment planning. One hundred standardised synthetic cases (20 per localisation, across breast, lung, urological, digestive and gynaecological cancers) are submitted as identical structured input to two independent tumour boards per localisation and to five frontier LLMs. Each recommendation - human or model - is decomposed into five predefined decision domains (intent, surgery, radiotherapy, systemic therapy, work-up and biomarkers) and scored 0/1/2 for concordance against a two-tier reference: the consensus of the two tumour boards, complemented by an a priori locked guideline matrix (ESMO, NCCN). The primary endpoint is domain-level concordance between LLM and RCP consensus, expressed as a linearly weighted Cohen's kappa. A co-primary safety endpoint captures the proportion of recommendations carrying serious harm potential, because concordance alone can conceal dangerous errors. Because expert boards may disagree with one another on identical cases, model performance is always interpreted against the human consensus. BEACON is designed as reusable, openly licensed, pre-registered infrastructure: all synthetic cases, evaluation rubrics, the locked guideline matrix, scoring algorithms and verbatim prompts are released for full reproducibility.

Přehled studie

Postavení

Postavení

Označuje aktuální stav náboru nebo stav rozšířeného přístupu.
Nábor

Podmínky

Podmínky

Nemoc, porucha, syndrom, nemoc nebo zranění, které je studováno. Na webu ClinicalTrials.gov mohou podmínky zahrnovat i další problémy související se zdravím, jako je délka života, kvalita života a zdravotní rizika.

Intervence / Léčba

Intervence / Léčba

Proces nebo akce, na které se klinická studie zaměřuje. Intervence zahrnují léky, zdravotnická zařízení, postupy, vakcíny a další produkty, které jsou buď zkoušené nebo již dostupné. Intervence mohou také zahrnovat neinvazivní přístupy, jako je edukace nebo úprava stravy a cvičení.

Detailní popis

BEACON is a prospective, multicentre, blinded benchmark using automated, criteria-based scoring. It is built on three design decisions that distinguish it from the existing literature: (i) synthetic, standardised cases remove the record-completeness variability that confounds retrospective comparisons and allow the identical input to be given to every board and every model; (ii) two independent tumour boards per localisation let human-human agreement be measured rather than assumed; and (iii) a guideline matrix, locked a priori, provides an objective anchor applied identically to human and model recommendations.

Reference standard. For each case-domain, a guideline matrix (guideline-recommended / acceptable / unsupported options per case-domain; ESMO, NCCN), locked and time-stamped before data collection, is applied identically to boards and models.

Five decision domains. Every recommendation is decomposed into D1 Intent, D2 Surgery, D3 Radiotherapy, D4 Systemic therapy (class + line), and D5 Work-up & biomarkers before any comparison.

Typ studie

Typ studie

Popisuje povahu klinické studie. Typy studií zahrnují intervenční studie (také nazývané klinické studie), observační studie (včetně registrů pacientů) a rozšířený přístup.
Pozorovací

Zápis (Odhadovaný)

Zápis

Počet účastníků klinické studie. „Očekávaný“ zápis je cílový počet účastníků, které výzkumníci pro studii potřebují.
100

Kontakty a umístění

Tato část poskytuje kontaktní údaje pro ty, kteří studii provádějí, a informace o tom, kde se tato studie provádí.

Studijní kontakt

Studijní kontakt

Jméno a kontaktní údaje osoby, která může odpovědět na otázky týkající se registrace do klinické studie. Každé místo, kde se studie provádí, může mít také konkrétní kontakt, který může lépe odpovědět na tyto otázky.

Studijní záloha kontaktů

Studijní místa

  • Francie
      • Paris, Francie
        • Nábor
        • Hôpital Europeén Georges Pompidou
        • Kontakt:

Kritéria účasti

Výzkumníci hledají lidi, kteří odpovídají určitému popisu, kterému se říká kritéria způsobilosti. Některé příklady těchto kritérií jsou celkový zdravotní stav osoby nebo předchozí léčba.

Kritéria způsobilosti

Kritéria způsobilosti

Klíčové požadavky, které musí lidé, kteří se chtějí zúčastnit klinické studie, splňovat nebo vlastnosti, které musí mít. Kritéria způsobilosti se skládají jak z kritérií pro zařazení (která jsou vyžadována pro účast osoby ve studii), tak z kritérií vyloučení (která brání osobě v účasti). Typy kritérií způsobilosti zahrnují, zda studie přijímá zdravé dobrovolníky, má požadavky na věk nebo věkovou skupinu nebo je omezena pohlavím.

Věk způsobilý ke studiu

  • Dospělý
  • Starší dospělý

Přijímá zdravé dobrovolníky

Ne

Metoda odběru vzorků

Vzorek nepravděpodobnosti

Studijní populace

100 synthetic oncology treatment-planning cases (20 per localisation) across five localisations: breast, lung, urological (prostate, bladder / upper-tract urothelial, kidney), digestive and gynaecological. Each case is a structured JSON input specifying UICC 8th-edition stage, biomarkers, ECOG performance status, comorbidities and a standardised clinical question. No human participants, no patient data and no identifiable individuals. Recommendations are produced by two independent tumour boards per localisation and by five frontier LLMs (queried May 2026).

Popis

Inclusion Criteria:

  • Synthetic oncology case within one of the five predefined localisations (breast, lung, urological, digestive, gynaecological).
  • Complete structured schema: UICC 8th-edition stage, biomarkers, ECOG performance status, comorbidities and a standardised clinical question.
  • A clinically answerable treatment-planning question that is mappable to the locked guideline matrix.

Exclusion Criteria:

  • Case outside the five predefined localisations.
  • Incomplete, internally inconsistent or ambiguous schema.
  • Duplicate or near-duplicate of an existing case in the set.
  • Question not resolvable by current guidelines.

Studijní plán

Tato část poskytuje podrobnosti o studijním plánu, včetně toho, jak je studie navržena a co studie měří.

Jak je studie koncipována?

Detaily designu

Kohorty a intervence

Skupina / kohorta

Skupina / kohorta

Skupina nebo podskupina účastníků pozorovací studie, která je hodnocena z hlediska biomedicínských nebo zdravotních výsledků.
Intervence / Léčba

Intervence / Léčba

Proces nebo akce, na které se klinická studie zaměřuje. Intervence zahrnují léky, zdravotnická zařízení, postupy, vakcíny a další produkty, které jsou buď zkoušené nebo již dostupné. Intervence mohou také zahrnovat neinvazivní přístupy, jako je edukace nebo úprava stravy a cvičení.
Breast cancers
Jiný: Multidisciplinary tumour boards
Two independent tumour boards per localisation (10 boards in total) issue a categorical recommendation for every synthetic case. Where both boards agree, their consensus defines the reference standard; where they differ, the case-domain is classified as EQUIPOISE and analysed separately.
Jiný: Frontier large language models
Five frontier LLMs (GPT-5.6, Claude Fable 5, Gemini 3.1 Pro, DeepSeek V4 Pro, Llama 4 Maverick) each receive the identical structured input for every case, three times in independent sessions, under locked prompts, versions and settings.
Lung cancers
Jiný: Multidisciplinary tumour boards
Two independent tumour boards per localisation (10 boards in total) issue a categorical recommendation for every synthetic case. Where both boards agree, their consensus defines the reference standard; where they differ, the case-domain is classified as EQUIPOISE and analysed separately.
Jiný: Frontier large language models
Five frontier LLMs (GPT-5.6, Claude Fable 5, Gemini 3.1 Pro, DeepSeek V4 Pro, Llama 4 Maverick) each receive the identical structured input for every case, three times in independent sessions, under locked prompts, versions and settings.
Urological cancers
Jiný: Multidisciplinary tumour boards
Two independent tumour boards per localisation (10 boards in total) issue a categorical recommendation for every synthetic case. Where both boards agree, their consensus defines the reference standard; where they differ, the case-domain is classified as EQUIPOISE and analysed separately.
Jiný: Frontier large language models
Five frontier LLMs (GPT-5.6, Claude Fable 5, Gemini 3.1 Pro, DeepSeek V4 Pro, Llama 4 Maverick) each receive the identical structured input for every case, three times in independent sessions, under locked prompts, versions and settings.
Digestive cancers
Jiný: Multidisciplinary tumour boards
Two independent tumour boards per localisation (10 boards in total) issue a categorical recommendation for every synthetic case. Where both boards agree, their consensus defines the reference standard; where they differ, the case-domain is classified as EQUIPOISE and analysed separately.
Jiný: Frontier large language models
Five frontier LLMs (GPT-5.6, Claude Fable 5, Gemini 3.1 Pro, DeepSeek V4 Pro, Llama 4 Maverick) each receive the identical structured input for every case, three times in independent sessions, under locked prompts, versions and settings.
Gynaecological cancers
Jiný: Multidisciplinary tumour boards
Two independent tumour boards per localisation (10 boards in total) issue a categorical recommendation for every synthetic case. Where both boards agree, their consensus defines the reference standard; where they differ, the case-domain is classified as EQUIPOISE and analysed separately.
Jiný: Frontier large language models
Five frontier LLMs (GPT-5.6, Claude Fable 5, Gemini 3.1 Pro, DeepSeek V4 Pro, Llama 4 Maverick) each receive the identical structured input for every case, three times in independent sessions, under locked prompts, versions and settings.

Co je měření studie?

Primární výstupní opatření

Primární výstupní opatření

V protokolu klinické studie je plánovaná výsledná míra, která je nejdůležitější pro hodnocení účinku intervence/léčby. Většina klinických studií má jedno primární měřítko výsledku, ale některé mají více než jedno.
Měření výsledku
Popis opatření
Časové okno
Domain-level performance between LLM recommendations and the locked guidelines.
Časové okno: Assessed once at central scoring, after data collection (~October 2026)
For each recommendation domain and each LLM, proportion of LLM recommendation concordant with locked guidelines
Assessed once at central scoring, after data collection (~October 2026)

Sekundární výstupní opatření

Sekundární výstupní opatření

V protokolu klinické studie jde o plánované měřítko výsledku, které není tak důležité jako primární měřítko výsledku pro hodnocení účinku intervence, ale je stále zajímavé. Většina klinických studií má více než jedno sekundární měřítko výsledku.
Měření výsledku
Popis opatření
Časové okno
Proportion of recommendations carrying serious harm potential ( LLM and tumour boards)
Časové okno: Up to October 2026
Up to October 2026
Domain-level recommendation concordance between LLM and tumour-boards
Časové okno: Up to October 2026
Each recommendation domain, decomposed into the five decision domains and scored per domain on an ordinal scale (2 = complete concordance; 1 = partial concordance; 0 = discordance).
Up to October 2026
Inter-tumour board domain-level recommendation concordance
Časové okno: Up to October 2026
Agreement between the two independent tumour boards scored per recommendation domain
Up to October 2026
Equipoise rate
Časové okno: Up to October 2026
Proportion of case-domains where the two tumour boards give different categorical recommendations
Up to October 2026
Completeness
Časové okno: Up to October 2026
Proportion of required domains addressed (LLM and tumour boards)
Up to October 2026
Missingness
Časové okno: Up to October 2026
Proportion of critical omissions (LLM and tumour boards)
Up to October 2026
Intensity bias
Časové okno: Up to October 2026
Proportion of recommendation corresponding to over- or under-treatment
Up to October 2026

Spolupracovníci a vyšetřovatelé

Zde najdete lidi a organizace zapojené do této studie.

Sponzor

Sponzor

Organizace nebo osoba, která iniciuje studii a která má autoritu a kontrolu nad studií.
Assistance Publique - Hôpitaux de Paris

Termíny studijních záznamů

Tato data sledují průběh záznamů studie a předkládání souhrnných výsledků na ClinicalTrials.gov. Záznamy ze studií a hlášené výsledky jsou před zveřejněním na veřejné webové stránce přezkoumány Národní lékařskou knihovnou (NLM), aby se ujistily, že splňují specifické standardy kontroly kvality.

Hlavní termíny studia

Začátek studia (Aktuální)

Začátek studia

Skutečné datum, kdy byl první účastník zařazen do klinické studie. „Očekávané“ datum zahájení studie je datum, o kterém si vědci myslí, že bude datem zahájení studie.
1. května 2026

Primární dokončení (Odhadovaný)

Primární dokončení

Datum, kdy byl poslední účastník klinické studie vyšetřen nebo obdržel intervenci ke sběru konečných dat pro primární měření výsledku. Zda byla klinická studie ukončena podle protokolu nebo byla ukončena, toto datum neovlivňuje. U klinických studií s více než jedním primárním výstupním měřením s různými daty dokončení se tento termín vztahuje k datu, kdy je dokončen sběr dat pro všechna primární výsledná měření. „Očekávané“ datum primárního dokončení je datum, o kterém si vědci myslí, že bude primárním datem dokončení studie.
1. října 2026

Dokončení studie (Odhadovaný)

Dokončení studie

Datum, kdy byl poslední účastník klinické studie vyšetřen nebo dostal intervenci/léčbu za účelem shromáždění konečných dat pro měření primárního výsledku, sekundárního měření výsledku a nežádoucí příhody (tj. poslední návštěva posledního účastníka). „Očekávané“ datum dokončení studie je datum, o kterém si vědci myslí, že bude datem dokončení studie.
1. října 2026

Termíny zápisu do studia

První předloženo

První předloženo

Datum, kdy zadavatel studie nebo zkoušející poprvé předložil záznam studie na ClinicalTrials.gov. Mezi prvním odeslaným datem a dostupností záznamu na ClinicalTrials.gov (první zveřejněné datum) je obvykle několik dní.
28. července 2026

První předloženo, které splnilo kritéria kontroly kvality

První předloženo, které splnilo kritéria kontroly kvality

Datum, kdy zadavatel studie nebo zkoušející poprvé předloží záznam studie, který je v souladu s kritérii kontroly kvality (QC) Národní lékařské knihovny (NLM). Sponzor nebo zkoušející může potřebovat revidovat a předložit záznam studie jednou nebo vícekrát, než budou splněna kritéria kontroly kontroly kvality NLM. Je odpovědností sponzora nebo zkoušejícího zajistit, aby byl záznam studie v souladu s kritérii kontroly kontroly kvality NLM.
28. července 2026

První zveřejněno (Aktuální)

První zveřejněno

Datum, kdy byl záznam studie poprvé k dispozici na webu ClinicalTrials.gov poté, co byla dokončena kontrola kontroly kvality (QC) National Library of Medicine (NLM). Mezi datem, kdy zadavatel studie nebo zkoušející předložil záznam studie, a prvním zveřejněným datem je typicky několik dní zpoždění.
31. července 2026

Aktualizace studijních záznamů

Poslední zveřejněná aktualizace (Aktuální)

Poslední zveřejněná aktualizace

Nejnovější datum, kdy byly změny záznamu studie zpřístupněny na ClinicalTrials.gov. Mezi okamžikem, kdy byly změny odeslány na ClinicalTrials.gov sponzorem nebo zkoušejícím studie (datum poslední předložení aktualizace), a datem zveřejnění poslední aktualizace může nastat zpoždění.
31. července 2026

Odeslaná poslední aktualizace, která splnila kritéria kontroly kvality

Odeslaná poslední aktualizace, která splnila kritéria kontroly kvality

Nejnovější datum, kdy zadavatel studie nebo zkoušející předložil změny záznamu studie, které jsou v souladu s kritérii kontroly kvality (QC) National Library of Medicine (NLM). Je odpovědností sponzora nebo zkoušejícího zajistit, aby byl záznam studie v souladu s kritérii kontroly kontroly kvality NLM.
28. července 2026

Naposledy ověřeno

Naposledy ověřeno

Nejnovější datum, kdy zadavatel studie nebo zkoušející potvrdil informace o klinické studii na webu ClinicalTrials.gov jako přesné a aktuální. Pokud jde o studii s náborovým statusem náboru; ještě nenabírá nábor; nebo aktivní, nebyl nábor potvrzen během posledních 2 let, status náboru studie je uveden jako neznámý.
1. července 2026

Více informací

Termíny související s touto studií

Klíčová slova

Další relevantní podmínky MeSH

Další identifikační čísla studie

Další identifikační čísla studie

Identifikátory nebo ID čísla jiná než číslo NCT, které klinické studii přiděluje zadavatel studie, financující subjekty nebo jiní. Tato čísla mohou zahrnovat jedinečné identifikátory z jiných registrů studií a čísla grantů National Institutes of Health.
  • APHP261032

Plán pro data jednotlivých účastníků (IPD)

Plánujete sdílet data jednotlivých účastníků (IPD)?

NEROZHODNÝ

Informace o lécích a zařízeních, studijní dokumenty

Studuje lékový produkt regulovaný americkým FDA

Ne

Studuje produkt zařízení regulovaný americkým úřadem FDA

Ne

Tyto informace byly beze změn načteny přímo z webu clinicaltrials.gov. Máte-li jakékoli požadavky na změnu, odstranění nebo aktualizaci podrobností studie, kontaktujte prosím register@clinicaltrials.gov. Jakmile bude změna implementována na clinicaltrials.gov, bude automaticky aktualizována i na našem webu .

Nastavení souborů cookie

Používáme cookies, abychom zajistili, že vám poskytneme nejlepší zážitek z našich webových stránek. Pro více informací si pečlivě přečtěte naše Zásady ochrany osobních údajů a cookies. ...>>>Svou preference můžete kdykoli změnit nebo svůj souhlas odvolat odstraněním cookies z vašeho webu nebo počítače, jak je popsáno v zásadách. Přijměte to a vyberte své předvolby zaškrtnutím příslušných polí v části „Správa nastavení“ níže. Než budete pokračovat v používání jakékoli části tohoto webu, pozorně si prosím přečtěte naše Podmínky služby.
«Spravovat nastavení