数字健康中的生成人工智能驱动的合成媒体风险:对远程医疗和远程牙科的影响

科学领域:

• 医学成像和诊断 医学成像和诊断
• 计算机视觉和机器学习
• 数字健康和远程医疗.

背景情况:

• 人工智能驱动染的进步创造了现实的合成视听内容,这对在临床环境中使用的真实数据构成风险.
• 远程临床评估,通信和法医文档在很大程度上依赖于视听录制的完整性.
• 现有的深度假冒检测方法可能缺乏对医疗应用至关重要的透明度和法医问责制.

研究的目的:

• 为临床视听数据引入可解释的多式联运深度假冒检测框架.
• 通过从真实的录音中推导决策门来确保透明度和法医问责制.
• 在模拟远程牙科场景中评估框架的有效性和临床相关性.

主要方法:

• 开发了一个可解释的多式联运框架,集成视觉,声学和跨式联运连贯性特征.
• 利用DeepFake真实世界数据集 (46,371片段) 来评估光学,生物声学和同步领域的47个描述符.
• 通过模拟的牙科远程咨询评估临床相关性,并与面向纹理的基线检测器 (Xception架构) 进行基准测试.

主要成果:

• 跨模式指标,包括唇语同步和语音视觉对齐,显示出强大的歧视性表现 (患病率高达2.7).
• 减少动,闪和反响时间 (RT60) 等声学标记增强了检测强度.
• 该框架在压缩工件下保持了性能 (<15%的降解),并在模拟的远程咨询中检测不一致性时证明了临床相关性.

结论:

• 基于一致性的深度假冒检测提供了一种可靠,透明和适合领域的解决方案,用于保护远程医疗和牙科的视听完整性.
• 拟议的框架解决了合成介质在临床应用中的日益增长的威胁.
• 多模式连贯性分析对于保持数字健康应用程序的信任和准确性至关重要.