1. 您所在位置：
  2. 网站首页
  3. 专利分类
  4. 物理
发明

一种基于张量和互信息的多模态数据融合方法和设备2024

2023-11-05 07:15:16 发布于四川 90
  • 申请专利号：CN202310870638.X
  • 公开（公告）日：2024-07-26
  • 公开（公告）号：CN116975776A
  • 申请人：湖北楚天高速数字科技有限公司
摘要：本发明公开了一种基于张量和互信息的多模态数据融合方法和设备，包括：数据预处理：获取多模态视频语料库，对语料库中视频片段进行预处理，包括文本、视觉、语音三种模态的数据，分割完整数据集为训练集和测试集；单模态表示学习：学习更细粒度的单模态的特征嵌入，利用互信息过滤单模态特征中的任务无关的噪声和冗余信息，对齐模态之间的表示；多模态融合学习：学习紧凑的多模态融合表示，利用多模态Tucker融合方法融合多种模态输入特征，利用互信息提升单模态输入特征和多模态融合特征的相关性，进一步过滤单模态中无关信息，减少融合过程产生的噪声信息；训练及预测：设计训练所使用的损失函数，利用反向传播算法训练模型，并进行最终的预测。

专利内容

(19)国家知识产权局 (12)发明专利申请 (10)申请公布号 CN 116975776 A (43)申请公布日 2023.10.31 (21)申请号 202310870638.X G06N 3/0442 (2023.01) G06N 3/045 (2023.01) (22)申请日 2023.07.14 G06N 3/08 (2023.01) (71)申请人 湖北楚天高速数字科技有限公司 地址 430050 湖北省武汉市汉阳区四新大 道26号湖北国展中心广场B4地块东塔 栋23层（1）办号2303室 (72)发明人 朱晨露　聂新　杨天若　邓贤君　 阮一恒　 (74)专利代理机构 武汉科皓知识产权代理事务 所(特殊普通合伙) 42222 专利代理师 王琪 (51)Int.Cl. G06F 18/25 (2023.01) G06F 18/214 (2023.01) G06F 18/213 (2023.01) 权利要求书3页 说明书10页 附图2页 (54)发明名称 一种基于张量和互信息的多模态数据融合 方法和设备 (57)摘要 本发明公开了一种基于张量和互信息的多 模态数据融合方法和设备，包括：数据预处理：获 取多模态视频语料库，对语料库中视

最新专利

相关专利