一种基于知识蒸馏的平衡化多模态学习方法2026

专利内容

(19)国家知识产权局 (12)发明专利申请 (10)申请公布号 CN 118095356 A (43)申请公布日 2024.05.28 (21)申请号 202410221149.6 (22)申请日 2024.02.27 (71)申请人 广州大学 地址 510006 广东省广州市大学城外环西 路230号 (72)发明人 孙哲　杨志　殷丽华　 (74)专利代理机构 广州高航知识产权代理有限 公司 11530 专利代理师 张宣布 (51)Int.Cl. G06N 3/0455 (2023.01) G06N 3/084 (2023.01) G06N 3/096 (2023.01) 权利要求书1页 说明书4页 附图2页 (54)发明名称 一种基于知识蒸馏的平衡化多模态学习方 法 (57)摘要 本发明提供一种基于知识蒸馏的平衡化多 模态学习方法，包括如下步骤：获取多模态数据， 从所述多模态数据中确定第一源模态和第一目 标模态；将所述第一源模态经编码得到第二目标 模态；将所述第二目标模态经编码得到第二源模 态；计算第一源模态与所述第二源模态之间的反 向翻译损失，计算第一目标模态与所述第二目标 模态之间的正向翻译损失；获得反向中间向量完 成下游任务的任务损失；平衡第二目标模态和第 二源模态的训练程度，通过自适应调节模态训练 平衡化得到蒸馏损失；计算总损失，通过最小化 A 总损失训练模型；重复执行步骤S1‑S7至模型达 6 到预设值。本发明有效缓解了模态间优化不平衡 5 3