增强局部依赖关系无监督预训练语音识别模型及训练方法

专利内容

(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 CN 113380237 A (43)申请公布日 2021.09.10 (21)申请号 202110642843.1 (22)申请日 2021.06.09 (71)申请人 中国科学技术大学 地址 230026 安徽省合肥市包河区金寨路 96号 (72)发明人 朱秋实　戴礼荣　 (74)专利代理机构 中科专利商标代理有限责任 公司 11021 代理人 孙蕾 (51)Int.Cl. G10L 15/06 (2013.01) G10L 15/16 (2006.01) 权利要求书1页 说明书6页 附图2页 (54)发明名称 增强局部依赖关系无监督预训练语音识别 模型及训练方法 (57)摘要 本发明提供了一种增强局部依赖关系的无 监督预训练语音识别模型，所述语音识别模型包 括编码器模块和解码器模块；所述编码器模块包 括特征提取模块和上下文模块，所述上下文模块 采用包括深度可分离卷积模块的transformer编 码器，所述transformer编码器包括自注意力模 块；其中，所述深度可分离卷积模块和所述自注 意力模块的位置的组合方式如下：所述自注意力 模块后接所述深度可分离卷积模块，两者是串行 关系；所述自注意力模块和所述深度可分离卷积 模块并行；所述自注意力模块先和所述深度可分 A 离卷积模块并行，然后再和所述深度可分离卷积 7 模块串行；所述自注意力模块先和所述深度可分 3 2 0 离卷积模块串行，然后再和所