基于预训练以及指令微调的通用图表多模态模型2025

专利内容

(19)国家知识产权局 (12)发明专利申请 (10)申请公布号 CN 117786407 A (43)申请公布日 2024.03.29 (21)申请号 202311821738.X (22)申请日 2023.12.27 (71)申请人 上海人工智能创新中心 地址 200232 上海市徐汇区云锦路701号 37、38层 (72)发明人 邵文琪　张凯鹏　孟繁青　鲁权锋　 高鹏　乔宇　罗平　 (74)专利代理机构 北京市诚辉律师事务所 11430 专利代理师 吴敏　耿慧敏 (51)Int.Cl. G06F 18/214 (2023.01) G06F 18/25 (2023.01) 权利要求书1页 说明书5页 附图2页 (54)发明名称 基于预训练以及指令微调的通用图表多模 态模型 (57)摘要 本发明提供一种基于预训练以及指令微调 的通用图表多模态模型。基于预训练以及指令微 调的通用图表多模态模型包括：获取样本图像及 其相应的指令和响应；基于样本图像及其相应的 指令和响应，进行图表到表格翻译任务的预训 练，得到基础通用图表多模态模型；通过从各种 图表相关任务中收集到的指令跟踪数据，构建大 型图表数据集；基于大型图表数据集对基础通用 图表多模态模型进行多任务指令调整，得到目标 通用图表多模态模型。本发明的基于预训练以及 指令微调的通用图表多模态模型提高了模型泛 A 化性。 7 0 4 6 8 7 7 1 1 N C CN 117786