一种基于多模态融合的人体动作识别方法及装置2023

专利内容

(19)国家知识产权局 (12)发明专利申请 (10)申请公布号 CN 116758628 A (43)申请公布日 2023.09.15 (21)申请号 202310615495.8 (22)申请日 2023.05.29 (71)申请人 北京邮电大学 地址 100876 北京市海淀区西土城路10号 (72)发明人 金磊　吴昊　淦子良　王小娟　 何明枢　 (74)专利代理机构 北京金咨知识产权代理有限 公司 11612 专利代理师 王紫腾 (51)Int.Cl. G06V 40/20 (2022.01) G06V 40/70 (2022.01) G06V 10/80 (2022.01) G06V 10/764 (2022.01) G06V 10/82 (2022.01) 权利要求书2页 说明书9页 附图4页 (54)发明名称 一种基于多模态融合的人体动作识别方法 及装置 (57)摘要 本发明提供一种基于多模态融合的人体动 作识别方法及装置，所述方法的步骤包括 ：在加 速度数据中截取加速度数据段，并在通过深度相 机采集到的关节点数据帧中截取对应时间段的 关节点数据帧；将截取的加速度数据段构建为加 速度参数矩阵，将所述加速度参数矩阵输入到预 训练的第一模型中，所述第一模型输出第一特征 向量；生成对应所述关节点数据帧中每个关节点 的关节点热力图张量，采用时间聚合策略将每个 关节点热力图张量处理为聚合张量；将全部聚合 张量输入到