ProtoBERT-LoRA: Ajuste Fino Prototípico Eficiente en Parámetros para la Identificación de Estudios de Inmunoterapia

Área de la Ciencia:

• Bioinformática
• Biología Computacional
• Genómica

Sus antecedentes:

• La identificación de estudios de inhibidores de puntos de control inmunitarios (ICI) en repositorios genómicos es vital para la investigación del cáncer.
• Los desafíos incluyen la ambigüedad semántica, el desequilibrio de clases y los datos etiquetados limitados.

Objetivo del estudio:

• Desarrollar un marco eficiente para identificar estudios de ICI en repositorios genómicos.
• Superar las limitaciones de los métodos existentes en entornos de bajos recursos.

Principales métodos:

• Un marco híbrido, ProtoBERT-LoRA, que combina PubMedBERT con redes prototípicas y Adaptación de Rango Bajo (LoRA).
• Entrenamiento de prototipos episódicos para forzar incrustaciones separables por clases mientras se preserva el conocimiento del dominio.
• Se utilizó un conjunto de datos con distribuciones específicas de muestras positivas/negativas para entrenamiento, creación de prototipos, validación y prueba.

Principales resultados:

• ProtoBERT-LoRA logró una puntuación F1 de 0.624 (precisión: 0.481, recuperación: 0.887) en el conjunto de datos de prueba.
• Superó a los sistemas basados en reglas, a los modelos de aprendizaje automático de referencia y a PubMedBERT ajustado.
• Redujo los esfuerzos de revisión manual en un 82% cuando se aplicó a estudios no etiquetados.
• La combinación de prototipos con LoRA mejoró el rendimiento en un 29% en comparación con LoRA independiente.

Conclusiones:

• ProtoBERT-LoRA ofrece una solución eficaz y eficiente para identificar estudios de ICI en grandes conjuntos de datos genómicos.
• El enfoque híbrido mejora significativamente el rendimiento en comparación con los métodos existentes.
• Este marco tiene el potencial de acelerar la investigación del cáncer al optimizar el análisis de datos.