一种对电力领域大语言模型效果的评估方法及系统2025

专利内容

(19)国家知识产权局 (12)发明专利申请 (10)申请公布号 CN 118093371 A (43)申请公布日 2024.05.28 (21)申请号 202410083297.6 (22)申请日 2024.01.19 (71)申请人 北京国电通网络技术有限公司 地址 100070 北京市海淀区创业中路32号 楼32-3-4108-4109 申请人 国网信息通信产业集团有限公司 (72)发明人 黄启明　卢彩霞　唐志涛　余芳　 万劼　王良　郭晓英　 (74)专利代理机构 北京安博达知识产权代理有 限公司 11271 专利代理师 徐国文 (51)Int.Cl. G06F 11/36 (2006.01) G06N 5/04 (2023.01) 权利要求书3页 说明书10页 附图2页 (54)发明名称 一种对电力领域大语言模型效果的评估方 法及系统 (57)摘要 本发明提供了一种对电力领域大语言模型 效果的评估方法及系统，包括将预先构建的电力 领域大语言模型评价题库代入电力领域大语言 模型中进行作答，得到作答结果；基于所述作答 结果计算作答正确率，基于所述作答正确率评估 所述电力领域大语言模型的效果；其中，所述电 力领域大语言模型评价题库是通过调研电力领 域各个应用场景，经过多模型测试和人工测试构 建的。本发明通过调研电力领域各个应用场景， 经过多模型测试和人工测试构建电力领域大语 言模型评价题库，该题库覆盖电力领域各方面的 A 知识，可对电力领域大语言