Pequeños modelos de código abierto de incorporación de texto como sustitutos de los modelos OpenAI para el análisis...

Área de la Ciencia:

• La bioinformática
• Biología computacional
• La genómica

Sus antecedentes:

• Los modelos de transformadores de fundación para el análisis de la expresión génica son computacionalmente caros.
• GenePT utiliza la función de incorporación de texto de OpenAI para la codificación de información genética.
• El servicio de OpenAI plantea preocupaciones de privacidad y accesibilidad de datos debido a su naturaleza en línea de código cerrado.

Objetivo del estudio:

• Investigar la viabilidad de reemplazar los modelos de incorporación de texto de OpenAI con alternativas de código abierto.
• Evaluar el rendimiento de modelos de transformadores ligeros y de código abierto para el análisis de datos de expresión génica.
• Para determinar si el ajuste fino es necesario para el rendimiento óptimo de estos modelos de código abierto.

Principales métodos:

• Identificó diez pequeños modelos de incorporación de texto basados en transformadores de Hugging Face.
• Evaluación del rendimiento del modelo en cuatro tareas distintas de clasificación de genes.
• Comparó el rendimiento de los modelos de código abierto con la función de incorporación de texto de OpenAI.

Principales resultados:

• Varios modelos de código abierto identificados coincidieron o superaron la función de incorporación de texto de OpenAI en las tareas de clasificación de genes.
• Los modelos de código abierto seleccionados son más pequeños, más fáciles de instalar y requieren menos recursos computacionales.
• El ajuste fino de los modelos de código abierto no siempre produjo mejoras significativas en el rendimiento.

Conclusiones:

• Los modelos de incorporación de texto de código abierto presentan una alternativa viable y potencialmente superior a las soluciones propietarias como OpenAI para el análisis de la expresión génica.
• Estos modelos ofrecen una mejor privacidad de los datos, rentabilidad y accesibilidad.
• El estudio sugiere que los modelos de código abierto previamente entrenados pueden usarse de manera efectiva sin un ajuste extensivo para las tareas de clasificación genética.