MedPTQ: un pipeline práctico para la cuantificación post-entrenamiento real en segmentación de imágenes médicas 3D

Área de la Ciencia:

• IA de imágenes médicas
• Optimización de aprendizaje profundo
• Eficiencia computacional

Sus antecedentes:

• La cuantificación de redes neuronales profundas reduce las demandas computacionales, crucial para la imagenología médica.
• Los métodos existentes a menudo simulan la cuantificación, sin lograr reducir el tamaño del modelo ni mejorar la velocidad en el mundo real.
• La cuantificación real de bajos bits en 3D en GPUs modernas sigue siendo en gran medida inexplorada.

Objetivo del estudio:

• Introducir MedPTQ, un pipeline de código abierto para la cuantificación post-entrenamiento real.
• Implementar inferencia real de 8 bits (INT8) para modelos de segmentación médica 3D de última generación.
• Permitir la implementación eficiente de IA en entornos de imágenes médicas con recursos limitados.

Principales métodos:

• Utiliza TensorRT para la cuantificación simulada de pesos y activaciones con un conjunto de datos sin etiquetar.
• Convierte la cuantificación simulada a cuantificación real INT8 utilizando el motor TensorRT en GPUs.
• Se aplica a varios modelos de segmentación médica 3D, incluidos U-Net, SwinUNETR y nnU-Net.

Principales resultados:

• MedPTQ logra la cuantificación real INT8 en GPUs, reduciendo el tamaño del modelo hasta 3,83 veces y la latencia hasta 2,74 veces.
• Mantiene un rendimiento casi idéntico en el coeficiente de similitud de Dice (mDSC) en comparación con los modelos de precisión completa (FP32).
• Demostró efectividad en siete modelos y tres conjuntos de datos diversos.

Conclusiones:

• MedPTQ proporciona inferencia real INT8 para modelos de segmentación de imágenes médicas 3D de IA.
• Reduce el tamaño del modelo, las necesidades computacionales y la latencia en GPUs sin comprometer la precisión.
• Muestra una fuerte generalización en diversas arquitecturas de IA, conjuntos de datos y modalidades de imagen.