信息安全研究 ›› 2024, Vol. 10 ›› Issue (E1): 196-.

• 数字经济安全 • 上一篇    下一篇

大语言模型插件安全性研究

聂万泉   

  1. (杭州默安科技有限公司杭州311100)
  • 出版日期:2024-07-14 发布日期:2024-07-26
  • 通讯作者: 聂万泉 高级工程师.主要研究方向为网络安全和人工智能安全. john.nie@firecloud.ai
  • 作者简介:聂万泉 高级工程师.主要研究方向为网络安全和人工智能安全. john.nie@firecloud.ai

  • Online:2024-07-14 Published:2024-07-26

摘要: 大语言模型插件作为人工智能领域的创新,为GPT带来了新的功能和能力,使其能够与外部数据源和系统进行交互.然而,引入插件也带来了一系列安全性问题,如Markdown注入、跨插件请求伪造、代码解释器会话逃逸、恶意插件和内容安全策略绕过等.为了应对这些安全挑战,建议实施隔离插件访问、安全合同和责任界定、核心大语言模型与沙盒大语言模型双重模式、功能分离和信任数据等措施以增强安全性.

关键词: 大语言模型, 大语言模型插件, 恶意插件, GPT内容安全

中图分类号: