PromptGuard是一个注入弹性语言模型的结构化框架

科学领域:

• 人工智能的人工智能
• 网络安全 网络安全
• 自然语言处理自然语言处理.

背景情况:

• 快速注入攻击对大型语言模型 (LLM) 的可靠性和任务忠实性构成重大威胁.
• 当前的防御机制往往缺乏适应性,需要重新训练或具有狭窄的范围,阻碍其实际部署.
• 对于安全的人工智能应用来说,需要对LLM进行强大,适应性和轻量级防御,以防止对抗性攻击.

研究的目的:

• 开发和评估一个模块化,多层防御框架,以减轻对LLM的快速注入攻击.
• 增强LLM对对抗指令的稳定性和可靠性,而不需要重新训练模型.
• 提供一个实用和高效的解决方案,以改善在现实世界的场景LLM安全.

主要方法:

• 一个四层防御框架,整合了输入守门,结构化提示格式,语义输出验证和自适应响应改进 (ARR).
• 使用regex和MiniBERT进行恶意指令检测和阻止.
• 采用结构化格式化和基于批评者的验证,以实现一致的任务对齐和输出验证.

主要成果:

• 拟议的框架在多个LLM中显示了LLM稳定性的显著改进.
• 在即时注射成功率下降了多达67%.
• 获得了0.91的F1评分,用于检测准确度,延迟时间的最小增加低于8%.

结论:

• 模块化防御框架是一种有效的,轻量级的,不需要再培训的方法,可以提高LLM的安全性和可靠性.
• 该系统成功地减轻了即时注入攻击,确保任务忠实性和可靠的AI行为.
• 这项研究提供了一个有希望的解决方案,用于在实际应用中保护LLM免受复杂的对抗性操纵.