信息安全研究 ›› 2025, Vol. 11 ›› Issue (E2): 72-.

• 2025“数字经济与网络安全”论文集 • 上一篇    下一篇

知识增强预训练语言模型综述

刘楠陶源陈广勇
  

  1. (公安部第三研究所上海200031)
    (网络安全等级保护与安全保卫技术国家工程研究中心上海200031)
  • 出版日期:2025-12-27 发布日期:2025-12-27
  • 通讯作者: 刘楠 硕士,研究实习员.主要研究方向为网络安全等级保护、关键信息基础设施保护、人工智能安全. liunan1@gass.ac.cn
  • 作者简介:刘楠 硕士,研究实习员.主要研究方向为网络安全等级保护、关键信息基础设施保护、人工智能安全. liunan1@gass.ac.cn 陶源 博士,副研究员.主要研究方向为网络安全等级保护、关键信息基础设施保护、人工智能安全. taoyuan@gass.ac.cn 陈广勇 硕士,副研究员.主要研究方向为人工智能安全、网络安全等级保护和关键信息基础设施保护. chenguangyong@gass.ac.cn
  • 基金资助:
    国家重点研发计划项目(2018YFB0803503);网络安全等级保护与安全保卫技术国家工程研究中心开放课题(C216403);公安部第三研究所2023年度科研优青班项目(C23282)

  • Online:2025-12-27 Published:2025-12-27

摘要: PLM通过自监督学习机制在大型文本语料库上进行训练,显著提升了NLP各类任务的性能表现.尽管具备大规模参数的PLM能够从训练文本中获取通用语言知识与事实知识,并通过微调阶段适配下游任务,但其仍因缺乏外部知识支持而面临多重局限:难以关联现实情境、处理复杂专业领域问题的能力不足、推理能力薄弱等.为突破上述限制,尝试将各类结构化外部知识整合至PLM架构中.对KEPLM展开系统性综述:首先构建适用于NLU与NLG的分类体系,以阐明自然语言处理的2大核心任务范畴;继而梳理PLM的技术发展脉络;随后针对NLU任务,将知识类型划分为语言知识、文本知识、知识图谱及规则知识4类,针对NLG任务的KEPLM则归类为基于知识图谱与基于检索的2类方法;最终指明KEPLM领域的未来研究方向.

关键词: 预训练语言模型, 自然语言处理, 知识增强预训练语言模型, 自然语言理解, 自然语言生成

中图分类号: