信息安全研究 ›› 2023, Vol. 9 ›› Issue (E1): 210-.

• 数字经济与安全专题 • 上一篇    下一篇

提升网络安全软件中预训练大模型推理速度的研究

马勇1,2罗森林1吴云坤2刘勇2刘栋2   

  1. 1(北京理工大学北京100081)
    2(奇安信科技集团股份有限公司北京100037)
  • 出版日期:2023-10-17 发布日期:2023-11-07
  • 通讯作者: 马勇 博士研究生.主要研究方向为自然语言处理、AI工程化技术. znsoft@163.com
  • 作者简介:马勇 博士研究生.主要研究方向为自然语言处理、AI工程化技术. znsoft@163.com 罗森林 博士,教授,博士生导师.主要研究方向为信息安全、数据挖掘、文本安全. luosenlin2012@gmail.com 吴云坤 硕士,正高级工程师.主要研究方向为网络安全技术. wuyunkun@qianxin.com 刘勇 博士,研究员,博士生导师.主要研究方向为网络安全战略规划和技术. liuyong03@qianxin.com 刘栋 硕士.主要研究方向为网络空间安全. liudong05@qianxin.com

  • Online:2023-10-17 Published:2023-11-07

摘要: 提出了一种高效的预训练模型推理方法,解决了网络安全软件中庞大参数量的模型在计算和存储资源约束下的推理缓慢或不可用的问题.方法通过检测环境内存带宽和选择最优算力计算部件,确定权重量化方案并进行推理,充分利用潜在的算力提高推理速度.2个典型任务上的实验证明该方法可行有效,解决了模型推理时的资源限制问题.

关键词: 预训练模型, 权重量化, 网络安全, 推理加速

中图分类号: