面向视觉-语言预训练模型的多模态迁移对抗攻击方法2023

专利内容

(19)国家知识产权局 (12)发明专利申请 (10)申请公布号 CN 117094000 A (43)申请公布日 2023.11.21 (21)申请号 202310991798.X G06F 18/22 (2023.01) (22)申请日 2023.08.08 (71)申请人 合肥工业大学 地址 230009 安徽省合肥市包河区屯溪路 193号 (72)发明人 胡文波　洪日昌　王有泽　 (74)专利代理机构 安徽合肥华信知识产权代理 有限公司 34112 专利代理师 余成俊 (51)Int.Cl. G06F 21/57 (2013.01) G06N 3/047 (2023.01) G06N 3/0895 (2023.01) G06N 3/096 (2023.01) G06N 3/094 (2023.01) 权利要求书3页 说明书12页 附图2页 (54)发明名称 面向视觉-语言预训练模型的多模态迁移对 抗攻击方法 (57)摘要 本发明公开了一种面向视觉‑语言预训练模 型的多模态迁移对抗攻击方法，（1）定义问题和 最大化损失函数；（2）基于梯度信息同时生成对 抗性图像和对抗性文本，利用对比学习提升多模 态对抗样本的迁移性。本发明提出的方法基于梯 度信息将文本对抗攻击和图像对抗攻击整合到 一个统一的框架中，可以同时生成对抗性文本和 对抗性图像；同时本发明利用对比学习可以提高 特征迁移性的特点