大模型安全分析链路的间接提示注入攻击面测量

孟 小锋(东营市融媒体中心,中国;)
李 满江(潍坊北大青鸟华光照排有限公司,中国;)

DOI: http://dx.doi.org/10.12349/iser.v7i10.11964

Article ID: 11964

摘要


安全运营中心正在把告警分诊、检测规则编写和代码审计交给大语言模型,判决环节一旦自动化,分析工具本身就变成了攻击目标。已有研究以模型是否服从指令作为攻击成功的判据,回答不了攻击面选择的操作性问题:载荷放在哪里、用什么方式隐蔽,效力最高。本文以防御判决劣化为度量对象,定义漏报率增量(Injection-induced False Negative rate,IFN)为主指标,构建包含 540 条载荷、45 个单元的注入矩阵,在 8 个模型配置上测量 3 类注入位置与 5 类隐蔽技术的效力差异。结果显示:工具返回位置效力最高,IFN 为 0.412,比被动数据源高 38.7%;语义伪装在效力与隐蔽性上综合最优,IFN 为 0.401 而自动检出率仅 12.6%;零宽字符最隐蔽但效力最低。跨载体复用率测量表明,工具返回位置与业务上下文解耦程度最高,换模型后仍有 81.4%维持效力。跨任务测量中检测规则生成最脆弱,规则破坏率由 0.9%升至45.6%。

关键词


大语言模型安全;间接提示注入;攻击面测量;载荷隐蔽性;安全运营中心;对抗鲁棒性

全文:

PDF

参考


人工智能安全治理框架2.0版[EB/OL].全国网络安全标准化技术委员会,(2025-09-15)

网络信息内容生态治理规定 [EB/OL].中央网络安全和信息化委员会办公室, (2019-12-15)

生成式人工智能服务管理暂行办法 [EB/OL]. 中央网络安全和信息化委员会办公室,(2023-07-10)

互联网信息服务深度合成管理规定 [EB/OL].中央网络安全和信息化委员会办公室,(2022-11-25)40


Refbacks

  • 当前没有refback。


版权所有(c)2026 孟 小锋, 李 满江

Creative Commons License
此作品已接受知识共享署名-非商业性使用 4.0国际许可协议的许可。