Pequeños modelos de código abierto de incorporación de texto como sustitutos de los modelos OpenAI para el análisis genético | JoVE Visualize

Área de la Ciencia:

La bioinformática
Biología computacional
La genómica

Sus antecedentes:

Los modelos de transformadores de fundación para el análisis de la expresión génica son computacionalmente caros.
GenePT utiliza la función de incorporación de texto de OpenAI para la codificación de información genética.
El servicio de OpenAI plantea preocupaciones de privacidad y accesibilidad de datos debido a su naturaleza en línea de código cerrado.

Objetivo del estudio:

Investigar la viabilidad de reemplazar los modelos de incorporación de texto de OpenAI con alternativas de código abierto.
Evaluar el rendimiento de modelos de transformadores ligeros y de código abierto para el análisis de datos de expresión génica.
Para determinar si el ajuste fino es necesario para el rendimiento óptimo de estos modelos de código abierto.

Principales métodos:

Identificó diez pequeños modelos de incorporación de texto basados en transformadores de Hugging Face.
Evaluación del rendimiento del modelo en cuatro tareas distintas de clasificación de genes.
Comparó el rendimiento de los modelos de código abierto con la función de incorporación de texto de OpenAI.

Principales resultados:

Varios modelos de código abierto identificados coincidieron o superaron la función de incorporación de texto de OpenAI en las tareas de clasificación de genes.
Los modelos de código abierto seleccionados son más pequeños, más fáciles de instalar y requieren menos recursos computacionales.
El ajuste fino de los modelos de código abierto no siempre produjo mejoras significativas en el rendimiento.

Conclusiones:

Los modelos de incorporación de texto de código abierto presentan una alternativa viable y potencialmente superior a las soluciones propietarias como OpenAI para el análisis de la expresión génica.
Estos modelos ofrecen una mejor privacidad de los datos, rentabilidad y accesibilidad.
El estudio sugiere que los modelos de código abierto previamente entrenados pueden usarse de manera efectiva sin un ajuste extensivo para las tareas de clasificación genética.