Prompting es todo lo que necesitas - hasta que no lo es: Explorando los límites de los LLM para la detección de la...

Área de la Ciencia:

• La informática médica
• Procesamiento del lenguaje natural

Sus antecedentes:

• La detección precisa de la negación en el texto clínico es vital para la documentación confiable y la toma de decisiones informada.
• Las cartas de alta clínica alemanas presentan desafíos únicos para la identificación automatizada de la negación.

Objetivo del estudio:

• Evaluar el rendimiento de los modelos de lenguaje grande (LLM) de código abierto en la detección de negaciones dentro de las cartas de alta clínica alemanas.
• Comparar el rendimiento del LLM con un sistema establecido basado en reglas (GeNeg) y las anotaciones de expertos humanos.

Principales métodos:

• Evaluó múltiples LLM de código abierto, incluidos Llama 3.3 y Deepseek-R1 (70B), para la precisión de detección de negación.
• Los resultados de LLM comparados con el sistema GeNeg basado en reglas y la verdad básica anotada por humanos.
• Tiempo computacional medido y utilización de recursos para cada método.

Principales resultados:

• Llama 3.3 demostró la mayor precisión (.9670) y puntaje F1 (.9620), superando ligeramente a GeNeg.
• A pesar de la alta precisión, los LLM exhibieron costos computacionales y tiempos de procesamiento significativamente más altos en comparación con GeNeg.
• Deepseek-R1 (70B) también mostró ganancias menores de precisión, pero no era práctico debido a las demandas computacionales.

Conclusiones:

• Si bien los LLM ofrecen una alta precisión en la detección de negación clínica, su gasto computacional limita el despliegue práctico inmediato.
• La investigación futura debe centrarse en modelos híbridos que integren la eficiencia basada en reglas con las fortalezas lingüísticas de LLM.
• La optimización de las instrucciones y la combinación de LLM con los métodos tradicionales pueden lograr un equilibrio entre la precisión y la eficiencia computacional.