一种基于CLIP的视频质量评估方法及装置2023

专利内容

(19)国家知识产权局 (12)发明专利申请 (10)申请公布号 CN 116886893 A (43)申请公布日 2023.10.13 (21)申请号 202310810254.9 (22)申请日 2023.07.03 (71)申请人 广州大学 地址 510000 广东省广州市番禺广州大学 城外环西路230号 (72)发明人 王员根　邢凤闯　 (74)专利代理机构 广州三环专利商标代理有限 公司 44202 专利代理师 周全英 (51)Int.Cl. H04N 17/02 (2006.01) H04L 9/32 (2006.01) 权利要求书2页 说明书9页 附图1页 (54)发明名称 一种基于CLIP的视频质量评估方法及装置 (57)摘要 本发明涉及视频质量评估技术领域，公开了 一种基于CLIP的视频质量评估方法及装置。该方 法在待评估视频中提取帧令牌，利用预设的 CLIPVQA模型，将帧令牌和预设的伪MOS令牌进行 串联，生成帧令牌表示、包含视频帧的质量信息 的伪MOS令牌表示和包含视频帧的时空信息的融 合令牌表示；利用时空质量聚合网络获取视频级 别的质量表示，通过基于CLIP的编码器对视频的 语言描述进行编码，实现对时空质量特征的提取 和分析，然后通过视频内容和语言聚合生成视频 语言质量表示；最后将视频级别的质量表示和视 频语言质量表示融合，能得到待评估视频的评估 A 结果。本发明的CLIPVQA模型具有最先进的VQA性 3 能、良好的泛化能力和鲁棒性，可以提高视频质 9