1. 您所在位置：
  2. 网站首页
  3. 专利分类
  4. 物理
发明

面向视觉-语言预训练模型的多模态迁移对抗攻击方法2023

2023-11-24 07:17:55 发布于四川 8
  • 申请专利号：CN202310991798.X
  • 公开（公告）日：2023-11-21
  • 公开（公告）号：CN117094000A
  • 申请人：合肥工业大学
摘要：本发明公开了一种面向视觉‑语言预训练模型的多模态迁移对抗攻击方法，（1）定义问题和最大化损失函数；（2）基于梯度信息同时生成对抗性图像和对抗性文本，利用对比学习提升多模态对抗样本的迁移性。本发明提出的方法基于梯度信息将文本对抗攻击和图像对抗攻击整合到一个统一的框架中，可以同时生成对抗性文本和对抗性图像；同时本发明利用对比学习可以提高特征迁移性的特点，通过图文跨模态对比学习和模态内对比学习使得对抗样本能够在特征空间中从不同的视角远离原始样本，从而扰动多模态样本中一般化的结构特征，缓解了对抗样本在替代模型上过拟合的情况。

专利内容

(19)国家知识产权局 (12)发明专利申请 (10)申请公布号 CN 117094000 A (43)申请公布日 2023.11.21 (21)申请号 202310991798.X G06F 18/22 (2023.01) (22)申请日 2023.08.08 (71)申请人 合肥工业大学 地址 230009 安徽省合肥市包河区屯溪路 193号 (72)发明人 胡文波　洪日昌　王有泽　 (74)专利代理机构 安徽合肥华信知识产权代理 有限公司 34112 专利代理师 余成俊 (51)Int.Cl. G06F 21/57 (2013.01) G06N 3/047 (2023.01) G06N 3/0895 (2023.01) G06N 3/096 (2023.01) G06N 3/094 (2023.01) 权利要求书3页 说明书12页 附图2页 (54)发明名称 面向视觉-语言预训练模型的多模态迁移对 抗攻击方法 (57)摘要 本发明公开了一种面向视觉‑语言预训练模 型的多模态迁移对抗攻击方法，（1）定义问题和 最大化损失函数；（2）基于梯度信息同时生成对 抗性图像和对抗性文本，利用对比学习提升多模 态对抗样本的迁移性。本发明提出的方法基于梯 度信息将文本对抗攻击和图像对抗攻击整合到 一个统一的框架中，可以同时生成对抗性文本和 对抗性图像；同时本发明利用对比学习可以提高 特征迁移性的特点

最新专利

相关专利