Detección forense de audio deepfake mediante características de habla segmentales

Área de la Ciencia:

• Fonética Acústica
• Forensia Digital
• Inteligencia Artificial

Sus antecedentes:

• El audio Deepfake representa un desafío significativo para la verificación de la autenticidad.
• Los métodos actuales de detección de deepfakes a menudo se basan en características globales de audio.
• La replicación de características de habla de articulación fina es difícil para los modelos de generación de deepfakes.

Objetivo del estudio:

• Investigar la eficacia de las características de sonido del habla segmentales para la detección de audio deepfake.
• Comparar el rendimiento de las características segmentales frente a las globales en la identificación de deepfakes.
• Proponer y evaluar un marco novedoso específico del hablante para la detección de deepfakes.

Principales métodos:

• Análisis de características acústicas de sonidos del habla segmentales.
• Utilización de características comunes en la comparación forense de voces (FVC).
• Desarrollo y prueba de un marco de detección de deepfakes específico del hablante.

Principales resultados:

• Ciertas características segmentales, en particular las utilizadas en FVC, son efectivas para detectar deepfakes de audio.
• Las características globales de audio mostraron un valor limitado para distinguir deepfakes.
• El marco propuesto específico del hablante demostró ventajas potenciales sobre los sistemas independientes del hablante.

Conclusiones:

• Las características acústicas segmentales ofrecen una vía prometedora para la detección de audio deepfake, distinta de los enfoques tradicionales de FVC.
• Un marco de detección específico del hablante es ventajoso para aplicaciones forenses que requieren alta interpretabilidad y sensibilidad.
• La investigación futura debería centrarse en refinar los modelos específicos del hablante para una identificación robusta de deepfakes.