La integración multimodal mejora el contenido de información de la imagen del tejido: una perspectiva de...

Área de la Ciencia:

• Patología digital
• Análisis de imágenes biomédicas
• Imágenes computarizadas

Sus antecedentes:

• La coloración con hematoxilina y eosina (H&E) es una piedra angular de la histología, pero ofrece información molecular y estructural limitada.
• Las técnicas de imagen multimodal pueden proporcionar datos complementarios, mejorando potencialmente la interpretación histopatológica.
• Se necesitan métodos cuantitativos para comparar objetivamente el contenido de la información a través de diferentes modalidades de imagen.

Objetivo del estudio:

• Desarrollar y aplicar un marco cuantitativo para comparar el contenido de información de H&E, imágenes multimodales y conjuntos de datos combinados.
• Evaluar la ganancia de información de canales individuales dentro de la imagen multimodal, incluidos los canales espectrales de microscopía de dispersión Raman coherente (CARS).
• Establecer un método reproducible para evaluar los enfoques de imágenes en patología digital.

Principales métodos:

• Utilizó el aprendizaje profundo y la radiómica para la extracción de características.
• Marcadores de información implementados, incluida la entropía de Shannon, el área inversa bajo la curva (1-AUC) y el análisis del componente principal (PC95).
• Comparación del contenido de información de H&E, imágenes multimodales y su combinación utilizando Python 3.12.

Principales resultados:

• El conjunto de datos combinado demostró consistentemente un mayor contenido de información en todas las métricas en comparación con H&E o imágenes multimodales por sí solas.
• Por ejemplo, los datos combinados lograron una mayor entropía de Shannon (0.5740) frente a H&E (0.5310) y multimodal (0.5385) utilizando las características de MobileNetV2.
• El conjunto de datos combinado requería más componentes principales (62) para explicar el 95% de la variación, en comparación con H&E (33) y multimodal (47).

Conclusiones:

• La combinación de imágenes multimodales con H&E aumenta significativamente el contenido general de información disponible para el análisis.
• Este enfoque cuantitativo proporciona un marco reproducible para comparar y seleccionar estrategias de imagen óptimas en patología digital.
• Las combinaciones de imágenes multimodales tienen un potencial sustancial para mejorar los análisis basados en imágenes en la investigación biomédica.