1. 您所在位置：
  2. 网站首页
  3. 专利分类
  4. 物理
发明

一种基于多模态嵌入桥接的可控密集字幕生成方法2026

2024-06-01 07:56:49 发布于四川 3
  • 申请专利号：CN202410121185.5
  • 公开（公告）日：2026-09-08
  • 公开（公告）号：CN118095263A
  • 申请人：中国科学院大学
摘要：本发明公开了一种基于多模态嵌入桥接的可控密集字幕生成方法，包括以下步骤：提取图像区域的对象嵌入；将语言引导进行编码，生成每个区域的可控嵌入；对齐和融合对象嵌入和可控嵌入，将对象嵌入与可控嵌入连接，获得连接特征嵌入；设置大语言模型，以连接特征嵌入为输入，输出字幕。本发明公开的基于多模态嵌入桥接的可控密集字幕生成方法，字幕输出准确率高，性能提升显著。

专利内容

(19)国家知识产权局 (12)发明专利申请 (10)申请公布号 CN 118095263 A (43)申请公布日 2024.05.28 (21)申请号 202410121185.5 G06V 10/42 (2022.01) G06V 10/44 (2022.01) (22)申请日 2024.01.29 G06V 10/77 (2022.01) (71)申请人 中国科学院大学 G06V 10/80 (2022.01) 地址 100049 北京市石景山区玉泉路19号 G06N 3/0455 (2023.01) 甲 G06N 3/084 (2023.01) (72)发明人 赵毓钟　万方　刘悦　廖明祥　 韩振军　焦建彬　季向阳　叶齐祥　 (74)专利代理机构 北京康思博达知识产权代理 事务所(普通合伙) 11426 专利代理师 范国锋 (51)Int.Cl. G06F 40/258 (2020.01) G06F 40/284 (2020.01) G06V 20/60 (2022.01)

最新专利

相关专利