原创力.专利
发明
一种算子优化方法、装置、电子设备及存储介质2025
2024-10-26 13:05:20
发布于四川
0
- 申请专利号：CN202411328221.1
- 公开（公告）日：2025-02-11
- 公开（公告）号：CN118838722A
- 申请人：杭州海康威视数字技术股份有限公司
摘要：本申请实施例提供了一种算子优化方法、装置、电子设备及存储介质，涉及到计算机技术领域，方法包括：在深度学习模型推理过程中，获取待优化算子计算过程的内存占用量及计算耗时；在所述内存占用量超过片上内存的情况下，基于所述待优化算子的内存占用量及计算耗时，按照最小化运行时间的优化方式对所述待优化算子进行优化，其中，所述运行时间包括所述计算耗时和数据交互耗时，所述数据交互耗时与所述内存占用量正相关。本申请实施例实现了提高深度学习模型的推理速度。
专利内容
本申请实施例提供了一种算子优化方法、装置、电子设备及存储介质，涉及到计算机技术领域，方法包括：在深度学习模型推理过程中，获取待优化算子计算过程的内存占用量及计算耗时；在所述内存占用量超过片上内存的情况下，基于所述待优化算子的内存占用量及计算耗时，按照最小化运行时间的优化方式对所述待优化算子进行优化，其中，所述运行时间包括所述计算耗时和数据交互耗时，所述数据交互耗时与所述内存占用量正相关。本申请实施例实现了提高深度学习模型的推理速度。G06F9/50(2006.01);G06N20/00(2019.01);G06N5/04(2023.01);G06F15/78(2006.01)
