通过预测交互的机器人操控学习方法及装置2025

专利内容

(19)国家知识产权局 (12)发明专利申请 (10)申请公布号 CN 118081770 A (43)申请公布日 2024.05.28 (21)申请号 202410439723.5 (22)申请日 2024.04.12 (71)申请人 上海人工智能创新中心 地址 200232 上海市徐汇区云锦路701号 37、38层 (72)发明人 李弘扬　汪邦骏　曾嘉　布清文　 陈立　李阳　王晖杰　乔宇　 (74)专利代理机构 北京市诚辉律师事务所 11430 专利代理师 吴敏　耿慧敏 (51)Int.Cl. B25J 9/16 (2006.01) 权利要求书2页 说明书14页 附图5页 (54)发明名称 通过预测交互的机器人操控学习方法及装 置 (57)摘要 本申请涉及计算机视觉技术领域，公开了一 种通过预测交互的机器人操控学习方法及装置。 所述方法在编码器方面，以交互过程中初始状态 和终止状态的关键帧作为视觉编码模块的输入， 获得视觉嵌入序列，将交互过程中的语言描述根 据预定义词汇集中的位置进行分词，获得语言嵌 入序列。在解码器，利用预测器预测未见过的过 渡帧，表示初始状态和终止状态之间的交互，使 模型理解“如何交互”；利用检测器推断交互物体 的位置，使模型获知“在哪里交互”。其中，通过双 向注意力实现过渡帧和交互物体的位置之间的 A 信息交换，促进训练过程中的相互支持，可以提 0 高下游机器人应用的性能。且过滤掉与交互无关 7 7 1 的信息，强调关键状态，从而实现集中