一种基于毫米波雷达的多模态语音识别系统及方法

专利内容

(19)国家知识产权局 (12)发明专利申请 (10)申请公布号 CN 116416996 A (43)申请公布日 2023.07.11 (21)申请号 202310469259.X (22)申请日 2023.04.27 (71)申请人 南京大学 地址 210023 江苏省南京市栖霞区仙林大 道163号 (72)发明人 谢磊　樊龙　王楚豫　陆桑璐　 (74)专利代理机构 江苏圣典律师事务所 32237 专利代理师 贺翔 (51)Int.Cl. G10L 15/26 (2006.01) G10L 21/0208 (2013.01) G10L 25/18 (2013.01) G10L 15/25 (2013.01) 权利要求书3页 说明书8页 附图4页 (54)发明名称 一种基于毫米波雷达的多模态语音识别系 统及方法 (57)摘要 本发明公开了一种基于毫米波雷达的多模 态语音识别系统及方法，系统包括：特征提取模 块和多模态融合与识别模块 ；所述特征提取模 块，利用毫米波雷达发射调频连续波信号，并从 反射信号中提取嘴唇运动特征和声带振动特征； 所述多模态融合与识别模块，用于融合嘴唇运动 特征和声带振动特征，并进行语音识别。本发明 通过融合嘴唇运动特征和声带振动特征技术，实 现了两种特征的互补和增强的效果，使得语音识 别的准确率得到进一步的提高。 A 6 9 9 6 1 4 6 1 1 N C CN 116416996 A 权　利　要　求　书