咨询热线：
400 188 3810

<<微信扫码对接
PNP机器人，即：Plug&Play Robotics
学术背景来自于哈尔滨工业大学，多伦多大学等，团队背景来自于UR/ABB等全球先驱机器人企业，团队位于北京、上海、深圳、苏州、北美等地

PNP机器人是Franka Robotics战略合作伙伴，提供技术、渠道、市场等支持
面向具身智能模仿学习、强化学习、VLA等方向，提供Franka机器人成套解决方案

具身智能Vision-Language-Action的思考

发表时间：2025-01-17 16:48作者：智猩猩ROBOT

导读

作者为王啸峰，中科院自动化所博士


原文来自知乎，地址：https://zhuanlan.zhihu.com/p/9880769870


本文只做学术/技术分享，如有侵权，联系删文。


01

现在具身智能VLA主要分成那些方案？


1、经典方案用encoder-decoder型Transformer或类似的结构from scratch训练，把机器人状态和视觉观测当成latent condition，然后用action query-based Transformer decoder解码出动作。


  • ALOHA(ACT)系列
  • RT-1
  • 何凯明最近的HPT


2、拥抱预训练的 LLM/VLM，把action当成token直接预测，好处是借鉴成熟的语言模型，预训练和scale的经验成本更小。

  • RT-2
  • OpenVLA

3、拥抱扩散模型Diffusion Model，Diffusion多步降噪对于fine-grained灵巧任务更加友好

  • DiffusionPolicy
  • RDT-1B

4、LLM + Diffusion：参考最近通用生产+理解一体的大模型发展，VLA领域也借鉴了该方案，LLM用来压缩多模态表征，Diffusion作为action expert精细化输出action trajectories。

  • Octo
  • π0

5、视频生成 + 逆运动学：参考World Model的一些发展，先根据首帧和指令生成运动视频，然后逆运动学得到对应的动作。这种方式可解释性很强，但是非常受到视频生成质量和instruction-following的能力的影响。【虽然难，但是scope会更大，例如UniSim可以生成corner case训练数据，还可以当成闭环仿真环境来琢磨RL算法】

  • UniPi
  • RoboDreamer
  • UniSim
  • GR-1/GR-2[这个稍微有点特殊，不是利用逆运动学，而是把视频生成当成pretrain的方式，作者认为如果能做到预测未来pixel，那么肯定是有助于预测未来action的]

02

不同的VLA方案有哪些结论、共识？


1、多源机器人数据要对齐：现在机器人数据suffer from异质性问题：varying robot hardware and different environment，相机的安装位置，机器人外观等等。
  • RT-X和RDT-1B从数据上进行粗略对齐：包括图像空间统一分辨率，动作空间维度对齐，动作空间归一化处理，数据存储格式统一等
  • Kaiming的HPT从模型结构上进行对齐，就是用Query-based Transformer分别对齐图像空间和机器人状态空间，纯data-driven学东西，没有先验设计，感觉还可以有很大的优化空间

2、先大规模Pretrain再下游任务finetune：pretrain有多种方式，有用VLM、LLM pretrain的，有用视频生成做pretrain的。

  • LLM/VLM架构中把action当成token直接预测，好处是直接拥抱成熟的语言模型，预训练和scale的经验成本更小。
  • [欢迎探讨]从难度上来说我认为 visual生成 >visual理解/text文本输出。以及视觉信息更丰富，从逆运动学的而言video-to-act肯定比high-level text-to-act更容易。所以我觉得visual generation pretrain的上限肯定比text pretrain高，不过现在的问题就是视觉生成任务本来就难，数据也没text多，从当下效果的角度来说个人觉得还是LLM/VLM pretrain好。

3、加入历史观测是有益的，但是加入过多的历史观测增益有限，且对efficiency造成影响。

4、高分辨率的图像输入对于精细的任务是有益的，但是会对efficiency造成影响。

5、Diffusion多步forward有助于fine-grained、灵巧任务的action建模。并且参考最近多模态大模型的发展[TransFusion，JanusFlow，π0]，Diffusion本身也是可以作为LLM的一个轻量head或者类MoE的expert，所以使用Diffusion并不影响拥抱pre-trained大语言模型。

6、直接生成action trajectories比生成single step action更加trajetcory smoothing and enhance real-time performance。

7、大部分还是open-loop去execute action，即生成H帧action，直接执行H帧，然后再观测再预测action。虽然有closed-loop的Temporal Emsemble的方案，但是smooth程度和效果都不太行。


03

未来方向？


1、多源机器人对齐

  • 机器人数据的表征方式：训练一个面向机器人数据的clip或者vae。
  • 机器人数据都在3D物理世界中，那么能不能从3D canonical空间的角度进行对齐。

2、具身数据如何构建、清洗？

  • 相比于LLM或者视频生成，具身的数据还是太少了，并且也难以采集，如何高效采集具身数据，或者如何高效利用egocentric的数据服务于具身场景做pretrain都是值得探索的【这里小小推一下我们最近的工作EgoVid，5M的egocentric video dataset，detailed text caption以及action caption，以及comprehensive的数据清理，标注+清洗近千A卡 days，现数据，caption，cleaning metadata已全部开源https://egovid.github.io/，感兴趣的科研uu们可以冲！】
  • 参考LLM或视频生成的发展，干净对齐的数据对于模型训练可以说是top1的影响因素了。但是在具身领域，考虑到数据本身就不充足，所以现在pretrain阶段不会对数据有太多清洗的步骤，future work可以狠狠探索。

3、具身领域的o1或者CoT

  • RT-2探索了CoT对于VLA的增益，但是之后貌似没有太多工作跟进这块，感觉self-reasoning / inference time scale 对于复杂、unseen的具身任务至关重要。

4、统一的具身benchamrk让不同的模型公平比较。现在还是百花齐放状态，大多数方法还是和自己比较，论文中claim的很多关键点并没有solid的benchmark平台去验证有效性。

end


点击下方名片 即刻关注我们

分享到：
 PNP机器人
 集智联机器人
 提供机器人即插即用（Plug & Play）解决方案

首页                    产品中心                 解决方案                    新闻中心                    联系我们
官方热线+86  400 188 3810                                                                       地址：江苏省苏州市吴江智慧产业园云创路233号第5层
具身业务+86 180 1817 5378 （Franka机器人）                                         业务分布：北京、上海、深圳、香港、多伦多（美国和加拿大）
联系邮箱：sales@pnprobotics.com