Evaluación comparativa de modelos basados en transformadores para la desidentificación de registros médicos en una...

Área de la Ciencia:

• Informática Médica
• Procesamiento del Lenguaje Natural
• Privacidad de Datos

Sus antecedentes:

• La confidencialidad del paciente es esencial para la investigación de registros de salud electrónicos (EHR).
• La redacción manual de información sensible consume mucho tiempo y no es escalable.
• Los métodos automatizados de desidentificación ofrecen una alternativa prometedora para compartir datos.

Objetivo del estudio:

• Evaluar el rendimiento de varios modelos automatizados de desidentificación en registros clínicos.
• Comparar modelos de transformadores específicos para la tarea con modelos de lenguaje grandes (LLM).
• Evaluar la precisión y adaptabilidad de diferentes enfoques de desidentificación.

Principales métodos:

• Se evaluaron cuatro modelos basados en transformadores y cinco LLM en 3.650 registros clínicos del Reino Unido.
• Se utilizó la doble anotación por parte de médicos para una comparación precisa del rendimiento.
• Se evaluaron los modelos en conjuntos de datos generales y de especialidades.

Principales resultados:

• El servicio de desidentificación de Microsoft Azure logró la puntuación F1 más alta, comparable al rendimiento de los médicos.
• AnonCAT y GPT-4-0125 (few-shot) ajustados también demostraron resultados sólidos.
• Los LLM más pequeños mostraron problemas de sobredacción y alucinación; los modelos específicos para la tarea mostraron una mejor estabilidad de los datos.

Conclusiones:

• Los sistemas automatizados de desidentificación pueden respaldar eficazmente el intercambio de registros clínicos a gran escala.
• La selección del modelo, las estrategias de adaptación y las salvaguardias de privacidad son fundamentales para una implementación exitosa.
• Estos sistemas mejoran la utilidad de los datos y garantizan una sólida privacidad del paciente.