Evaluación comparativa de la legibilidad, fiabilidad y calidad científica de los grandes modelos de lenguaje en la...

Área de la Ciencia:

• Investigación biomédica
• Inteligencia artificial en medicina
• Oncología traslacional

Sus antecedentes:

• Los organoides son cruciales para la oncología de precisión y la investigación traslacional.
• Es esencial una comunicación precisa, transparente y clínicamente responsable sobre los organoides.
• La fiabilidad de los grandes modelos de lenguaje (LLM) para explicar los organoides no está bien establecida.

Objetivo del estudio:

• Evaluar sistemáticamente el rendimiento de cinco LLM principales en la explicación de conceptos relacionados con organoides.
• Evaluar el equilibrio entre la legibilidad, el rigor científico y la idoneidad educativa del contenido generado por LLM.
• Identificar las diferencias en el rendimiento de los LLM y sus implicaciones para el uso clínico y educativo.

Principales métodos:

• Se probaron cinco LLM (GPT-5, DeepSeek, Doubao, Tongyi Qianwen, Wenxin Yiyan).
• Se utilizó un conjunto de 30 preguntas representativas relacionadas con organoides para la evaluación.
• Las respuestas se puntuaron utilizando C-PEMAT-P, Global Quality Score (GQS) y siete índices de legibilidad.

Principales resultados:

• GPT-5 demostró un rendimiento superior (las puntuaciones más altas de C-PEMAT y GQS), seguido de DeepSeek y Doubao.
• Tongyi Qianwen y Wenxin Yiyan mostraron un rendimiento significativamente menor y resultados inestables.
• La legibilidad varió entre los modelos y los tipos de preguntas; la simplicidad lingüística no se correlacionó fuertemente con la calidad científica o la fiabilidad.

Conclusiones:

• Los LLM exhiben una variabilidad significativa en la comunicación de información sobre organoides, creando distintos niveles de rendimiento.
• La legibilidad, la calidad científica y la fiabilidad difieren entre los modelos, lo que significa que el lenguaje sencillo es insuficiente para la precisión.
• Existe la necesidad de sistemas de IA específicos para organoides que garanticen la transparencia, la fiabilidad y la seguridad en la comunicación.