基于雷视云的轻量化多模态融合手势识别方法2026

专利内容

(19)国家知识产权局 (12)发明专利申请 (10)申请公布号 CN 117912103 A (43)申请公布日 2024.04.19 (21)申请号 202311862630.5 (22)申请日 2023.12.29 (71)申请人 广东工业大学 地址 510080 广东省广州市越秀区东风东 路729号 (72)发明人 刘震宇　李树聪　马崇润　涂思龙　 林锶颖　贾宸炀　 (74)专利代理机构 广州粤高专利商标代理有限 公司 44102 专利代理师 林丽明 (51)Int.Cl. G06V 40/20 (2022.01) G06V 20/40 (2022.01) G06V 10/80 (2022.01) G06V 10/764 (2022.01) 权利要求书9页 说明书20页 附图6页 (54)发明名称 基于雷视云的轻量化多模态融合手势识别 方法 (57)摘要 本发明涉及非接触式手势识别技术领域，更 具体地，涉及一种基于雷视云的轻量化多模态融 合手势识别方法。包括：获取视频数据、微多普勒 数据和点云序列；计算三种模态数据的归一化值 以及有效采集时间阈值，并划分统一有效采集时 间；将三种模态的有效采集数据分别输入到对应 的特征提取网络中，获取模态特征后进行特征融 合；将获取的多模态融合特征输入到手势分类网 络中进行训练。本发明将视频数据、微多普勒数 据、点云序列作为模态数据，减少单模态数据缺 陷对手势识别结果的影