
MIT研究人员开发出一种新的机器人记忆系统,旨在在错误扩散到机器人的世界地图之前先将其识别出来。这个名为UQ-DAAAM的方法,可以帮助机器人找出不确定的描述,调取同一物体的更多视角,并用更准确的说明替换不可靠的标注。
关键事实
- UQ-DAAAM是“Uncertainty Quantification for Describe Anything, Anywhere, at Any Moment”的缩写。
- 该系统会比较同一物体在不同视角下的多种描述,以衡量不确定性。
- 当不确定性较高时,机器人会选择额外视角来改进物体说明,并把修订后的描述存入记忆。
- 在测试中,该方法用每个物体仅两条额外说明就化解了约92%的歧义。
- 研究人员表示,与当前最先进方法相比,该系统将物体描述准确率提高了5%。
这对家庭和工作场景中的机器人意味着什么?
实际效果是,机器人更不容易把重要物体记错标签,比如把墙上的除颤器误认成灭火器。这在机器需要执行时间敏感任务,或需要依赖“这是什么、上次在哪里见过”这类信息的多步骤任务时尤其重要。
该系统面向在环境中移动、随时间收集图像并将这些图像以说明文字形式存入三维地图记忆的机器人。它只在不确定性较高时才调用额外视角,因此被设计为可以在移动中持续更新记忆,而无需对每一帧都重新运行视觉语言模型。
研究人员认为,这种方法可用于家用或工业机器人,包括清理餐桌,或与人类协作者一起组装设备的机器。他们还表示,同样的不确定性量化框架未来也可能扩展到移动式机器人机械臂以及其他预测任务。
UQ-DAAAM是如何工作的?
这个系统建立在团队此前的DAAAM记忆框架之上。DAAAM使用视觉语言模型为机器人机载摄像头拍到的物体生成详细说明。UQ-DAAAM则增加了一层检查:在说明被保存为记忆之前,先判断机器人对每条说明究竟有多大把握。
它通过两个步骤完成这一点。首先,它评估语言模型对自己生成词语的置信度。然后,它比较同一物体在不同视角下的说明,看这些描述是否一致。系统会把这些信号融合成一个单一的不确定性分数。如果分数过高,机器人就会寻找更有帮助的同一物体图像,并用这些图像来修订说明。
研究人员表示,他们的选择启发式方法无需重新运行视觉语言模型,就能找出最合适的额外帧,从而将计算量压缩到足以让移动机器人在运动中持续更新记忆的程度。
为什么更好的机器人记忆很重要?
在真实环境中工作的机器人并不总能清楚看到物体。它们可能只看到局部画面、远处物体、模糊图像,或者光线很差。在这些情况下,错误的描述可能会被保留在记忆里,并影响后续动作和回答。
借助UQ-DAAAM,当不同视角提供的证据表明原始标签可能有误时,机器人就可以修订说明。研究人员表示,这不仅改善了物体描述,也改善了关于机器人在哪里见过某物、以及最后一次见到它是什么时候的回答。
研究人员报告了什么?
研究团队表示,修订步骤可化解机器人环境中约92%物体的歧义,而每个物体只需要两条额外说明。与基线方法相比,该系统将物体描述的准确率提高了5%。
共同第一作者Harry Zhang和Nicolas Gorlo与资深作者Luca Carlone合作完成这项研究。Carlone是MIT航空航天系副教授、信息与决策系统实验室首席研究员。该研究计划在神经信息处理系统会议上展示。
这项工作部分得到了美国陆军研究实验室和美国海军研究办公室的资助。
下一步是什么?
研究人员表示,他们希望把UQ-DAAAM用于其他类型的机器人,包括移动式机器人机械臂。他们也在研究,这套系统能否把机器人指回高不确定性的区域,以便机器重新访问那里并改进对环境的理解。
另一个目标是将类似的不确定性量化方法应用到预测机器人环境未来变化的系统中。

