Entrenamiento específico de dominio de NorDeClin-representaciones de codificadores bidireccionales de transformadores...

Área de la Ciencia:

• Procesamiento del lenguaje natural (PNL)
• Aprendizaje automático
• Informática de la salud

Sus antecedentes:

• La codificación precisa de la Clasificación Estadística Internacional de Enfermedades, Décima Revisión (CIE-10) es vital para las operaciones de atención médica, pero los procesos manuales son propensos a errores e ineficientes.
• Los modelos de PNL existentes para la codificación de la CIE-10 se centran principalmente en el inglés, creando una brecha de investigación para el texto clínico noruego.
• Se necesitan soluciones de codificación automatizadas de la CIE-10 adaptadas al sistema de salud noruego.

Objetivo del estudio:

• Introducir NorDeClin-BERT, un modelo noruego de BERT específico para mejorar la comprensión del lenguaje médico.
• Evaluar el impacto de la capacitación previa específica del dominio y el tamaño del modelo en el rendimiento de la clasificación de códigos de la CIE-10.
• Comparar NorDeClin-BERT con los modelos BERT de propósito general y multilingüe para la codificación ICD-10 noruega.

Principales métodos:

• Se entrenaron dos versiones de NorDeClin-BERT (base y grande) en los 8,8 millones de notas clínicas noruegas no identificadas del ClinCode Gastro Corpus.
• Ha ajustado los modelos para la predicción de códigos de diagnóstico de la CIE.
• NorDeClin-BERT comparado con SweDeClin-BERT, ScandiBERT, NorBERT3-base y NorBERT3-large utilizando la precisión, el recuerdo y el puntaje F1.

Principales resultados:

• Ambas versiones de NorDeClin-BERT superaron a los modelos generales noruegos de BERT y a los modelos suecos de BERT clínicos en la clasificación de los códigos ICD-10.
• NorDeClin-BERT-large obtuvo el mayor rendimiento en todas las métricas de evaluación, lo que demuestra los beneficios de la capacitación previa y la capacidad del modelo específicos del dominio.
• Los modelos clínicos suecos mostraron una transferencia limitada, lo que subraya la necesidad de una formación previa clínica específica para Noruega.

Conclusiones:

• NorDeClin-BERT muestra un potencial significativo para mejorar la clasificación del código ICD-10 en la gastroenterología noruega, simplificando la documentación y reduciendo la carga administrativa.
• El estudio establece NorDeClin-BERT como un modelo de vanguardia para la PNL médica noruega y la codificación de la CIE-10, estableciendo una nueva línea de base de investigación.
• La investigación futura debe explorar la adaptación avanzada del dominio, la integración del conocimiento externo y la generalización entre hospitales para aplicaciones clínicas más amplias.