Video Experimental Relacionado
Updated: May 3, 2026
05:37
An R-Based Landscape Validation of a Competing Risk Model
Published on: September 16, 2022
2.2K
Análisis del modelo de lenguaje amplio de la calidad de los informes de los artículos de ensayos clínicos
Apoorva Srinivasan1, Jacob Berkowitz1, Nadine A Friedrich1
1Department of Computational Biomedicine, Cedars Sinai Medical Center, Los Angeles, California.
JAMA network open
|August 28, 2025
Resumen
Un nuevo modelo de lenguaje amplio (LLM) evalúa efectivamente la calidad de los informes de ensayos clínicos aleatorizados (ECA), identificando lagunas persistentes en elementos cruciales como la ocultación de la asignación y las discusiones de validez externa.
Área de la Ciencia:
- Información sobre los ensayos clínicos
- La inteligencia artificial en la medicina
- Transparencia en la investigación biomédica
Sus antecedentes:
- La información incompleta en ensayos clínicos aleatorizados (ECA) dificulta la evaluación de sesgo y la reproducibilidad.
- Las auditorías manuales de los ECA para el cumplimiento de las directrices de las normas consolidadas de notificación de ensayos (CONSORT) no son escalables.
- Se necesitan métodos automatizados para evaluar la calidad de los informes de los ECA.
Objetivo del estudio:
- Desarrollar y validar un modelo de lenguaje grande (LLM) para la evaluación automatizada de las directrices CONSORT.
- Analizar las tendencias en la calidad de los informes a lo largo del tiempo, en todas las disciplinas biomédicas y en relación con las características de los ensayos.
Principales métodos:
- Revisión sistemática de los ECA indexados en PubMed (1966-2024), convertido desde PDF a XML.
- LLM (Chat GPT-4o-mini) probado en un modelo de referencia de clasificación de texto CONSORT (CONSORT-TM) y validado con respecto a las revisiones de expertos.
- LLM se aplicó para evaluar el cumplimiento de CONSORT en una gran muestra de ECA, analizando la presentación de informes de 21 ítems de CONSORT.
Principales resultados:
- El LLM demostró un alto rendimiento, coincidiendo con las revisiones de expertos con una precisión del 91,7% y logrando una puntuación macro F1 de 0,86 en el índice de referencia CONSORT-TM.
- El cumplimiento medio de CONSORT aumentó del 27,3% (1966-1990) al 57,0% (2010-2024), pero los elementos críticos como la ocultación de la asignación (16,1%) y la discusión de la validez externa (1,6%) siguen siendo mal informados.
- El cumplimiento de los informes varió significativamente entre las disciplinas (35,2% en farmacología a 63,4% en urología) con una asociación mínima con las características del ensayo.
Conclusiones:
- Un LLM de tiro cero puede auditar efectivamente el cumplimiento de CONSORT a escala, proporcionando información sobre la calidad de los informes.
- Las brechas persistentes en la notificación de elementos críticos del ensayo requieren intervenciones específicas.
- Los resultados ponen de relieve la necesidad de mejorar las acciones editoriales para mejorar la transparencia y la reproducibilidad en la investigación biomédica.
