1. 您所在位置：
  2. 网站首页
  3. 专利分类
  4. 物理
发明

基于多尺度差分的联合时刻检索与高光检测方法及系统2024

2024-03-11 07:22:23 发布于四川 8
  • 申请专利号：CN202311556062.6
  • 公开（公告）日：2024-03-08
  • 公开（公告）号：CN117668293A
  • 申请人：华中师范大学
摘要：本发明提供基于多尺度差分的联合时刻检索与高光检测方法及系统，其技术要点在于：输入视频和文本数据，提取视觉和文本特征；进行片段‑文本特征语义跨模态对齐；使用跨注意力机制来突出表达和文本查询相关的视频片段；使用差分信息感知来挖掘相邻片段之间的差分信息，采用多尺度卷积和图卷积网络来挖掘片段之间的多尺度关系，得到多尺度差分感知的联合表征；分别使用时刻检索和高光检测的任务头来预测最终结果，并计算各自的惩罚函数，进行反向传播优化整个网络的参数，待网络整体参数全部收敛之后，将最终的高光片段和检索时刻输出。本发明主要缓解了现有方法没有考虑到不同用户查询对应的时刻持续时长和高光分布存在显着差异的问题。

专利内容

(19)国家知识产权局 (12)发明专利申请 (10)申请公布号 CN 117668293 A (43)申请公布日 2024.03.08 (21)申请号 202311556062.6 G06F 18/25 (2023.01) G06N 3/042 (2023.01) (22)申请日 2023.11.17 G06N 3/045 (2023.01) (71)申请人 华中师范大学 G06N 3/0464 (2023.01) 地址 430079 湖北省武汉市洪山区珞瑜路 G06N 3/084 (2023.01) 152号 (72)发明人 孙昊　周明瑶　谢伟　 (74)专利代理机构 武汉科皓知识产权代理事务 所(特殊普通合伙) 42222 专利代理师 薛玲 (51)Int.Cl. G06F 16/783 (2019.01) G06V 20/40 (2022.01) G06V 10/80 (2022.01) G06V 10/82 (2022.01) G06F 40/30 (2020.01)

最新专利

相关专利