一种基于自监督学习的多模态预训练模型迁移方法2026

专利内容

(19)国家知识产权局 (12)发明专利申请 (10)申请公布号 CN 118097685 A (43)申请公布日 2024.05.28 (21)申请号 202410298433.3 (22)申请日 2024.03.15 (71)申请人 南京大学 地址 210093 江苏省南京市鼓楼区汉口路 22号 (72)发明人 王利民　朱宇涵　武港山　 (74)专利代理机构 南京天翼专利代理有限责任 公司 32112 专利代理师 奚铭 (51)Int.Cl. G06V 30/19 (2022.01) G06V 10/82 (2022.01) G06N 3/09 (2023.01) G06N 3/084 (2023.01) 权利要求书2页 说明书7页 附图3页 (54)发明名称 一种基于自监督学习的多模态预训练模型 迁移方法 (57)摘要 一种基于自监督学习的多模态预训练模型 迁移方法，对于预训练好的视觉语言模型，通过 一个两阶段文本提示优化框架对文本提示进行 优化，提升视觉语言模型的开集能力，首先利用 初始化后的文本提示通过有监督任务和自监督 任务进行联合优化，然后再利用自监督任务进行 二阶段优化，得到鲁棒且泛化性强的文本提示， 从而将视觉语言模型迁移到下游图像识别任务 中。本发明提出一种新颖且简洁的框架，设计鲁 棒且泛化性强的文本提示，弥补预训练任务和下 游任务间差异，缓解有监督学习过程中的过拟合 A 问题，对任意的测试类别集合自适应，且无需利 5 用额外知