应答信息生成方法、系统、装置、设备、介质及程序产品2024

专利内容

(19)国家知识产权局 (12)发明专利申请 (10)申请公布号 CN 118093847 A (43)申请公布日 2024.05.28 (21)申请号 202410518171.7 (22)申请日 2024.04.28 (71)申请人 浪潮电子信息产业股份有限公司 地址 250000 山东省济南市高新区草山岭 南路801号9层东侧 (72)发明人 赵旭东　王申领　罗建刚　毛峻雄　 吴韶华　 (74)专利代理机构 北京集佳知识产权代理有限 公司 11227 专利代理师 王晓坤 (51)Int.Cl. G06F 16/332 (2019.01) G06N 5/04 (2023.01) 权利要求书5页 说明书17页 附图6页 (54)发明名称 应答信息生成方法、系统、装置、设备、介质 及程序产品 (57)摘要 本发明涉及人工智能问答技术领域，具体公 开了应答信息生成方法、系统、装置、设备、介质 及程序产品，在通过根据输入的问题信息获取提 示词输入语言模型进行推理计算的过程中，在利 用局部过滤注意力层增强模型的自然语言表达 能力的基础上，在每次推理计算中进入局部过滤 注意力层时，获取上一次推理计算保存的结尾输 入张量拼接至卷积层的输入张量之前，并保存本 次推理计算卷积层的结尾输入张量，使得从每次 推理计算只需输入上一次推理计算生成的标记 即可，可以有效减少计算量，提升模型推理效率， A 进而提高了应答信息生成的效率，同时减少了对 7 计算设备的存储资源和计算资