是谁为提高机器人学习效率操碎了心，终于在动作分块里找到了希望。作者丨刘洁编辑丨岑峰斯坦福大学的 Chelsea Finn 团队又出新成果了。Chelsea Finn 团队一直是斯坦福走在具身智能研究前沿的团队之一，之前火遍全网的 ALOHA 炒菜机器人就是出自这个团队之手。团队领头人 Chelsea Finn 的创业公司 Pi 更是创立不到一个月就拿下来自红杉资本、OpenAI 等公司的7000万美元融资。最近，Chelsea Finn 团队在研究中发现，虽然延长动作块能够提升策略捕捉时间依赖性的能力，但这样做会减少对机器人近期状态的观察，导致在随机环境中更容易出错。为了克服这个难题，他们开发了一种双向解码（Bidirectional Decoding, BID）新型算法。BID 能将动作块化与闭环操作相结合，通过在每个时间步采样多个预测并寻找最优化的一个，增强扩展序列的时间一致性，同时在随机环境中实现自适应重新规划。为了验证 BID 算法的效果，他们在 Franka Kitchen 数据集上进行了模拟测试，发现机器人在家庭环境中的表现还不错。他们还用 Franka Panda 机器人做了真实实验，结果显示 BID 显著提高了机器人在目标移动时的放置成功率。这些测试不由得让人联想到了他们之前做的炒菜机器人，也许这个团队正计划把 BID 应用在 ALOHA 上，准备给家务机器人来个全面的技术升级。值得一提的是，这个团队中有一半都是华人面孔，之前开发 ALOHA 的也全是华人学生。目前，论文已在arXiv公开，相关代码也已开源。论文标题：Bidirectional Decoding：Improving Action Chunking via Closed-Loop Resampling论文地址：https://bid-robot.github.io/static/BID_paper.pdf项目网站：https://bid-robot.github.io/代码地址：https://github.com/YuejiangLIU/bid_diffusion

https://github.com/Jubayer-Hamid/bid_lerobot

1论文概览研究问题本文旨在解决机器人学习中的挑战，特别关注动作分块，即在没有中间重新规划的情况下预测和执行动作序列的过程，这些序列通常来源于人类示范。面临的挑战包括在捕捉时间依赖性与对随机环境中意外变化的反应之间的权衡，以及不同示范之间的风格变异性较大。该研究的动机在于通过对动作分块进行更深入的分析和提供实用的解码算法，来增强机器人系统的学习和执行过程。所要解决的问题包括：动作分块中时间依赖性与反应性之间的权衡不同示范之间的风格变异性较大需要一种实用的解码算法以提升机器人行为克隆的性能。提出的方法本文提出了双向解码（BID）方法。BID 是一种推理算法，将动作分块与机器人学习中的闭环操作相结合。它在每个时间步采样多个预测，并基于向后一致性（与先前决策的对齐）和向前对比（与更强策略的结果的接近度）来优化选择。这种综合方法增强了长动作序列的时间一致性，同时保持了适应动态环境变化的灵活性。BID在各种机器人任务中显著优于现有的闭环方法，代表了机器人系统学习和执行过程的重大改进。实验与结果数据集本文在三个数据集上进行了实验：Push-T、RoboMimic 和 Franka Kitchen。对于Push-T数据集，本文在七个任务上评估了所提出的双向解码（BID）算法，包括将物体放入人类手持的杯子中。实验中使用的机器人是Franka Panda，配备了两台相机，提供256 x 256像素分辨率的视觉观察。本文还评估了BID在大批量和现有推理方法下的可扩展性和兼容性。对于RoboMimic数据集，本文使用了五个任务，即Lift、Can、Square、Transport和Tool Hang。每个任务的训练数据集包含300个从多个人类演示中收集的回合。对于Franka Kitchen数据集，本文在涉及四个或更多物体的测试案例上评估了学习到的策略，这是一个具有挑战性但在家庭环境中实际应用的机器人操作任务。真实世界实验本文还通过两项现实世界实验进一步评估了提出的 BID。动态放置实验他们共收集了150个演示回合，包括50个干净且一致的演示和100个嘈杂且多样的演示。实验中使用的机器人是 Franka Panda，并采用基于视觉的扩散策略进行操作。机器人的任务是将其抓手中的物体送入人类手中的杯子中。每次演示包括四个主要阶段：(a) 随机初始化机器人位置，(b) 接近目标杯子，(c) 在目标杯子附近减速，(d) 释放物品。目标杯子的位置可能会在演示过程中发生变化。值得注意的是，BID 在动态设置中的成功率与静态设置相似，这表明它有可能将动作块扩展到不确定环境中。动态拾取实验本文评估了不同方法的性能，包括普通的开环和闭环采样、BID 的开环和闭环采样，以及 EMA 的闭环采样。机器人的任务是拿起一个杯子，并将其放在附近的碟子上。四个主要阶段是：(a) 初始化机器人，(b) 接近目标杯子，(c) 抓住目标杯子，(d) 拿起杯子，(e) 将杯子放到目标碟子上。目标杯子的位置可能会在一个过程中发生变化。结果表明，在动态环境中，相比其他方法，BID 的成功率至少提高了2倍，同时在静态环境中保持了其性能。

2BID技术解读动作分块有利于对演示中的时间依赖性建模，但却牺牲了对随机环境中意外状态的反应能力。他们选择通过闭环操作衔接长的动作块来解决这一问题。他们的主要假设是，虽然任何一对样本共享相同潜在策略的概率很低，但从大量样本中找到一致的一对样本的可能性要高得多。这种直觉促使他们将闭环动作分块问题理解为在每个时间步采样的一批计划中寻找最优动作。其中 𝒜 是动作块集合， 和 是两个衡量时间依赖性的标准，接下来将会详细描述这两个标准。指的是逆向一致性。这里，ρ 是一个衰减超参数，用于解释不确定性随时间增长而增加的情况。这种后向损失鼓励相邻步骤之间采用类似的潜在策略，同时允许逐步适应不可预见的过渡动态。 指的是正向对比度。其中 𝒜+=𝒜∖{𝑎} 是强策略 𝜋 预测的正集合，𝒜− 是弱策略 𝜋′ 预测的负集合，而 𝑁 是样本大小。下图展示了逆向一致性和正向对比度标准对样本选择的影响。由于 BID 中的所有步骤都可以并行计算，因此在现代 GPU 设备上，总体计算成本仍然适中。

3论文作者Chelsea FinnChelsea Finn 博士毕业于加州大学伯克利分校，师从Sergey Levine。她曾在 Google DeepMind 工作过 6 年，现在担任斯坦福大学计算机科学与电子工程系的助理教授，也是 Pi 的联合创始人。Chelsea Finn 的研究兴趣是机器人和其他代理通过学习和交互发展广泛智能行为的能力。她的实验室 IRIS 专注研究大规模机器人交互智能，隶属于 SAIL 和 ML Group。团队其他三位华人学生包括：Yuejiang LiuYuejiang Liu 是 IRIS 实验室的博士后，博士毕业于瑞士洛桑联邦理工学院。他专注于研究自监督学习、因果表征学习和测试时间适应，并将其应用于计算机视觉和多代理系统。Annie XieAnnie Xie 毕业于加州大学伯克利分校，曾在伯克利人工智能研究 （BAIR）实验室和 Sergey Levine 一起工作，现在是 Chelsea Finn 指导的博士生。她的研究重点是开发在最少人工监督下学习的机器人系统。Maximilian DuMaximilian Du今年学士毕业于斯坦福大学，主修计算机科学、心理学（辅修）和创意写作（辅修），在 Chelsea Finn 的IRIS 实验室从事机器人学习工作，现在是 Chelsea Finn 即将入学的博士生。（AI科技评论长期围绕AI与机器人领域的前沿研究进行盘点和报道，过去数年，我们接收和报道了上千篇报道，覆盖全球各大高校与企业的顶级实验室。欢迎添加微信nabaur进行交流，如果您有优秀的工作想要分享，也欢迎投稿或者联系报道。）参考资料：https://bid-robot.github.io/static/BID_paper.pdf