Evaluación de IA multimodal para la extracción de información visual en farmacología

Área de la Ciencia:

• Farmacología
• Biología Computacional
• Ciencia de Datos

Sus antecedentes:

• El creciente uso de suplementos dietéticos a base de hierbas (productos naturales) genera preocupación por las interacciones con los medicamentos recetados.
• La farmacovigilancia de los productos naturales requiere la interpretación experta de diversas pruebas.
• Se demostró previamente que un grafo de conocimiento de productos naturales (NP-KG) ayuda en las investigaciones de seguridad.

Objetivo del estudio:

• Evaluar modelos multimodales para la extracción de datos asistida por computadora de elementos visuales en la literatura de farmacología.
• Abordar el desafío de escalar el NP-KG a miles de productos naturales.
• Mejorar la eficiencia de las investigaciones de seguridad de productos naturales.

Principales métodos:

• Se evaluaron 8 modelos multimodales de código abierto y cerrado.
• Se realizó la extracción de información visual de tablas e imágenes seleccionadas en la literatura de farmacología.
• Se evaluó la precisión y la resiliencia del modelo utilizando una tasa de error relativo modificada.

Principales resultados:

• El mejor modelo tuvo una precisión del 90% para la extracción de datos tabulares.
• Los mejores modelos extrajeron el 45% de los datos de las figuras.
• La baja resolución de imagen y la alta densidad de información obstaculizaron el rendimiento de la extracción.

Conclusiones:

• Los modelos multimodales demuestran potencial para la extracción de datos asistida por computadora de datos visuales de farmacología.
• Se necesita un mayor desarrollo para superar las limitaciones relacionadas con la calidad y la complejidad de la imagen.
• La extracción precisa es clave para escalar los grafos de conocimiento para la vigilancia de la seguridad de los productos naturales.