一种基于Whisper模型的住院医师临床口试智能评分方法2024

专利内容

(19)国家知识产权局 (12)发明专利申请 (10)申请公布号 CN 118098212 A (43)申请公布日 2024.05.28 (21)申请号 202410066645.9 (22)申请日 2024.01.16 (71)申请人 中山大学附属第一医院 地址 510080 广东省广州市中山二路58号 申请人 广东海洋大学 (72)发明人 刘家欣　卢振耀　郭隽英　吴晓丹　 (74)专利代理机构 北京律谱知识产权代理有限 公司 11457 专利代理师 黄云铎　孙红颖 (51)Int.Cl. G10L 15/06 (2013.01) G10L 15/16 (2006.01) G10L 15/26 (2006.01) 权利要求书2页 说明书8页 附图1页 (54)发明名称 一种基于Whisper模型的住院医师临床口试 智能评分方法 (57)摘要 一种基于Whisper模型的住院医师临床口试 智能评分方法，包括根据测试语音数据建立训练 数据集，训练数据集和文本标签翻倍；生成f* 512*512规模文本标签矩阵；样本翻倍的音频数 据特征矩阵输入两个连续的一维卷积层并使用 GELU函数激活，开始构建Transformer输入网络； 构建Transformer并加入全局注意力机制，生成 完整的Transformer；到达Transformer的最优权 重参数，生成改善的Whisper模型。使用Lora方法 生成新的卷积核参数用于替换卷积核参数，得到 带有更新后的权重参数的whisper的模