¿Puede el poder de razonamiento mejorar significativamente el conocimiento de los grandes modelos de lenguaje para la...

Área de la Ciencia:

• Inteligencia artificial
• Química computacional
• Informática Química

Sus antecedentes:

• Los grandes modelos de lenguaje (LLM) se aplican cada vez más a los dominios científicos.
• No se comprende bien el impacto de las capacidades de razonamiento mejoradas en los LLM en la cognición química.
• Las estrategias de ingeniería inmediata requieren una evaluación sistemática para las tareas químicas.

Objetivo del estudio:

• Evaluar sistemáticamente cinco LLM mejorados por el razonamiento en nueve tareas clave de química.
• Comparar su rendimiento con los LLM tradicionales y las herramientas computacionales.
• Investigar la influencia del razonamiento y la ingeniería rápida en la cognición química.

Principales métodos:

• Evaluación sistemática de cinco LLM mejorados por el razonamiento (Deepseek-R1-0528, OpenAI-o4 mini, Gemini-2.5-pro, doubao-seed-1.6-thinking, qwen-max-latest) en nueve tareas de química.
• Comparación con las LLM tradicionales y las herramientas de química computacional establecidas.
• Análisis de las variaciones de rendimiento basadas en la complejidad inmediata y las capacidades de razonamiento del modelo.

Principales resultados:

• Los LLM habilitados para el razonamiento demuestran ganancias significativas de rendimiento en tareas químicas fundamentales.
• Las indicaciones excesivamente complejas generalmente no mejoran, y a veces pueden obstaculizar, el rendimiento.
• Todos los LLM evaluados presentaron limitaciones en la generación de ficheros CIF precisos, en particular con respecto a la topología de bonos.
• Los desafíos permanecen en la identificación estereocímica y el reconocimiento de grupos de simetría raros, lo que indica un reconocimiento espacial insuficiente.

Conclusiones:

• Los marcos de razonamiento mejoran la coherencia lógica de LLM, pero no superan las limitaciones de reconocimiento espacial inherentes.
• Los LLM actuales requieren capacitación específica del dominio para unir efectivamente el razonamiento general con las aplicaciones químicas especializadas.
• La investigación adicional sobre paradigmas de capacitación optimizados es crucial para el avance de la IA en química.