一种基于自监督语音表征的方言分类方法和系统

专利内容

(19)国家知识产权局 (12)发明专利申请 (10)申请公布号 CN 116631375 A (43)申请公布日 2023.08.22 (21)申请号 202310733281.0 (22)申请日 2023.06.20 (71)申请人 浙江大学 地址 310058 浙江省杭州市西湖区余杭塘 路866号 (72)发明人 佘清顺　赵洲　黄俊杰　姜伟昊　 (74)专利代理机构 杭州求是专利事务所有限公 司 33200 专利代理师 郑海峰 (51)Int.Cl. G10L 15/00 (2013.01) G10L 15/06 (2013.01) G10L 15/16 (2006.01) 权利要求书2页 说明书7页 附图1页 (54)发明名称 一种基于自监督语音表征的方言分类方法 和系统 (57)摘要 本发明公开了一种基于自监督语音表征的 方言分类方法，属于语音识别领域。获取不同方 言的音频样本，提取原始波形序列；使用预训练 模型进一步提取语音表征序列并降采样，得到帧 级别输入序列；使用Transformer编码器对帧级 别输入序列进行编码；使用注意力聚合方法将编 码结果进行池化统计，得到句子级别编码序列； 对句子级别编码序列线性投影，得到样本预测概 率；训练Transformer编码器、以及注意力聚合方 法和线性投影中的可训练参数，基于训练后的参 数预测音频中的方言类型。本发明使用自监督语 A 音表征作为输入特征并在Transformer中引入基 5 于内容的自注意力机