通过数据中毒攻击暴露临床LLM的漏洞:乳腺癌的案例研究

科学领域:

• 人工智能的人工智能
• 生物医学信息学 生物医学信息学
• 网络安全 网络安全

背景情况:

• 大型语言模型 (LLM) 越来越多地用于医疗保健,在包括公共文献和临床笔记在内的庞大的数据集上进行培训.
• 像BioGPT这样的公开可访问的LLM可能会从其培训数据中继承漏洞,对敏感应用构成风险.
• 在训练期间注入恶意数据的数据中毒攻击对LLM完整性构成重大威胁.

研究的目的:

• 调查临床大型语言模型 (LLM) 对数据中毒攻击的易感性.
• 评估未识别的乳腺癌临床笔记在多大程度上可以通过这种攻击来操纵.
• 突出了解和减轻临床领域LLM漏洞的迫切需要.

主要方法:

• 该研究的重点是BioGPT,这是一项以生物医学文献和MIMIC-III临床笔记为基础的临床LLM.
• 研究人员探索了数据中毒攻击载体,针对非识别的乳腺癌临床笔记.
• 系统评估了这些攻击对LLM产出的影响.

主要成果:

• 这项研究成功地证明,临床LLM易受数据中毒攻击的影响.
• 对LLM输出的操纵是使用有毒的非识别乳腺癌临床笔记来实现的.
• 这些发现强调了危害敏感临床信息和LLM驱动的洞察力的可能性.

结论:

• 临床大型语言模型 (LLM) 对数据中毒具有重大漏洞,对患者数据和诊断准确性构成风险.
• 对于医疗保健机构中LLM的强有力的安全措施和负责任的部署策略至关重要.
• 对安全的LLM培训和验证进行进一步的研究对于确保医学中可靠的AI至关重要.