一种用于聊天机器人的编译次数优化方法、设备及介质2025

专利内容

(19)国家知识产权局 (12)发明专利申请 (10)申请公布号 CN 118092927 A (43)申请公布日 2024.05.28 (21)申请号 202410100506.3 (22)申请日 2024.01.24 (71)申请人 上海人工智能创新中心 地址 200232 上海市徐汇区云锦路701号 37、38层 (72)发明人 陈驰宇　金旻玺　裴芝林　张行程　 (74)专利代理机构 上海科盛知识产权代理有限 公司 31225 专利代理师 应小波 (51)Int.Cl. G06F 8/41 (2018.01) G06N 5/04 (2023.01) G06N 3/0455 (2023.01) G06N 3/045 (2023.01) 权利要求书2页 说明书6页 附图3页 (54)发明名称 一种用于聊天机器人的编译次数优化方法、 设备及介质 (57)摘要 本发明涉及一种用于聊天机器人的编译次 数优化方法、设备及介质，该方法基于深度学习 编译器来实现，通过对大模型推理的部分流程进 行修改，包括对大模型推理阶段输入提示令牌和 历史推理的键值缓存进行补齐，同时对指数归一 化之前进行掩码数据处理。与现有技术相比，本 发明具有减少了静态输入形状深度学习编译器 编译的执行次数，从而提高了编译优化加速方案 的推理效率等优点。 A 7 2 9 2 9 0 8 1 1 N C CN 118092927 A 权　利　要　求