咨询热线:
400 188 3810

<<微信扫码对接
PNP机器人,即:Plug&Play Robotics
学术背景来自于哈尔滨工业大学,多伦多大学等,团队背景来自于UR/ABB等全球先驱机器人企业,团队位于北京、上海、深圳、苏州、北美等地

PNP机器人是Franka Robotics战略合作伙伴,提供技术、渠道、市场等支持
面向具身智能模仿学习、强化学习、VLA等方向,提供Franka机器人成套解决方案

干货分享:关键是数据!全球前沿的具身智能数据收集策略——具身操作的数采方案概览

发表时间:2024-12-29 21:50作者:Muyun99

目录

1. 具身数据的数据金字塔

2. 工业界具身数采现状

 2.1 Tesla

 2.2 Physical Intelligence

 2.3 智元机器人

 2.4 一些总结和思考

3. 学术界大规模数采现状

 3.1 Data Scaling Laws  -- 清华高阳老师团队

 3.2 RDT-1B -- 清华朱军老师团队

 3.3 RH20T -- 上交卢策吾老师团队

 3.4 RoboMind -- 北京人形

 3.5 一些总结和思考

4. 遥操数采和 In the wild 数采

 4.1 依赖机械臂本体的遥操作方案

 4.1.1 以 ALOHA 为代表的同构遥操

 4.1.2 以 VR/AR 等为代表的 Retargeting-based 遥操

 4.2 不限制环境及机械臂的 In the wild 数采方案

 4.2.1 以 UMI / Fast-UMI 为代表的夹爪数采方案

 4.2.2 以 DexCAP / ARCAP 为代表的灵巧手数采方案

 4.2.3 以 ACE/AirEXO 为代表的外骨骼数采方案

 4.3 一些总结和思考

5. 一些思考

 参考


作为具身智能的子领域,自动驾驶已经步入了端到端时代。具身智能是自动驾驶的升维问题,不论是硬件的本体构型和形态、还是算法的模型输入输出都还在百花齐放的萌芽状态。在具身领域,大家也对 VLA 端到端大模型的方案很青睐,但是端到端自动驾驶该遇到的问题一个也逃不掉(端到端问题的详情可以见之前写的 Blog:https://zhuanlan.zhihu.com/p/684290204)。

除此之外,由于没有现成大规模部署好的具身本体,具身智能还有非常棘手的数据问题,如何高效地大规模采集机械臂数据用作模仿学习算法的燃料,来训练一个通用场景下,有通用技能的操作算法是一个大问题。运动控制大部分都是用 RL 进行训练,所以本文只讨论操作任务面向模仿学习/行为克隆的数采方式

01

具身数据的数据金字塔






02

工业界具身数采现状


这里主要讨论三家企业:特斯拉、Physical Intelligence 以及智元

2.1 Tesla



从 Tesla 放出的视频中可以看出,目前 Optimus 的数据来自于 VR 遥操 + 动捕手套:
  • 操作员会戴上 VR 眼镜用于和机器人的视野对齐
  • 动捕手套捕捉的手指运动转发到 Optimus 的灵巧手上

另外,从 Tesla 前段时间的 We Robot 发布会上可以看到 Optimus 的表现,从南哥的分析也可以看到,Optimus 的上肢行为应该是遥操,但其 locomotion 能力以及整机遥操的丝滑程度都还是很强的。BTW,前几天放出的接球 Demo 看着也有点像是遥操,进一步证明了遥操延时很低,而且 Retargeting 的映射做的很好

Tesla
  • 特斯拉超级工厂“新成员”——Optimus再进化:https://www.bilibili.com/video/BV1Cm421H7Kr
  • 特斯拉“We, Robot”发布会全程视频:https://www.bilibili.com/video/BV1a4mVYUEVV
  • 特斯拉WE ROBOT现场:https://www.bilibili.com/video/BV1mA21YhEFX
  • 特斯拉人形机器人接球挑战:


2.2 Physical Intelligence


其实也可以把 Physical Intelligence(PI)也归类到学术界里面,但是 Paper 里面展示的 1w 小时的数据实在是很难把其作为一个学校实验室来看待。



PI 并不做自己的本体,而且做的大模型 π0 也发布了一篇 Paper,有一些非常有价值的结论,放出的 demo 也蛮有意思,已经在和国内的公司合作,各个具身实验室或者企业也都在复现,非常有参考价值。从 Paper 中可以看到 PI0 Paper 中使用了 1w 小时的数据,共计七种 or 八种本体构型的数据
https://arxiv.org/abs/2410.24164


2.3 智元机器人



从视频中所公开的画面可以看到,智元至少在并行走两条数采方式,此外主要展示的是夹爪任务,而不是灵巧手
  • VR 遥操:和 Tesla 的 VR 遥操方式不太一样,操作员将 VR 头盔挂在胸前,而不是戴在头上。所以他们的头盔只用作控制器的定位,而不用做视野对齐
  • 仿真生成:视频里有一小段很炫的仿真 Demo,机器人将鸡蛋放到碗里,除了机器人本体以及交互对象(鸡蛋和碗)之外,周围仿真环境以及物体资产一直在变。看样子是已经串通了这样的 Scale Up 流程。如果能在仿真环境中生成一个轨迹,可以规模化地扩充和生成若干条轨迹
  • 智元开启通用机器人商用量产:https://www.bilibili.com/video/BV1vhBNYrEog


2.4 一些总结和思考


看起来,工业界的大规模数采现选择遥操方案,我认为的几点原因如下:
  1. 机器人商业阶段:从商业阶段来说,还没有到降本增效的时候。遥操的数据质量最高,而遥操的采集成本可以接受。在早期阶段,需要先把高质量数据玩明白才去继续往下来
  2. 遥操反哺机器人本体设计:智元和 Tesla 都是自己做本体,遥操系统其实可用于反哺硬件本体的设计。如果人能完成的行为,人形机器人不能丝滑的完成,可能哪些硬件设计还可以做改进
  3. 遥操辅助机器人进入场景:遥操不仅可以用于数采,做到一个低成本的遥操系统可以先让机器人进入危险作业的场景中去,当机器人真的用起来之后,才是 free 的数据。并且和自动驾驶汽车一样,Tesla 又可以把影子模式等等经验复用,用有效的数据反哺模型。从 We robot 发布会以及接球的 Demo 可以看出,Tesla 的人形本体完成度以及规模生产的统一程度相当的高,已经具备相关的条件了
  4. From 王建明老师的文章以及 Sergey Levine (PI 联创)的报告,Pi0 团队提到了为什么不选择其他的数采方式:

  • 不使用模拟数据:与真实世界场景的互动难以准确建模,存在分布偏移
  • 不使用视频数据:视频数据也存在分布偏移,同时缺乏任务特定性;担心视频数据已经被 VLM 预训练方法挖掘殆尽;视频数据有用但可能不足以单独实现机器人任务的性能和泛化
  • 为什么是真实数据:跨本体训练是关键,等机器人真的部署到全球,那时候收集真实世界数据将变得容易;预训练阶段只要求数据是多样化的,微调阶段需要更专业和更高质量的数据



参考资料:

  • Tesla We Robot发布会总结 - 技术分析:https://zhuanlan.zhihu.com/p/974718278
  • RFM EP01:Pi和π0具身基础模型:https://zhuanlan.zhihu.com/p/8997754156
  • How Real-World Cross-Embodiment Data Will Lead to Robotic Foundation Models:https://medium.com/@jianming.wang07/robotic-foundation-models-corl-2024-sergey-levines-talk-notes-e42bb3eb618e
  • Generalist Robot Policies:https://medium.com/@jianming.wang07/note-on-generalist-robot-policies-from-sergey-levine-in-corl-2024-46f9b7a90471


03

学术界大规模数采现状



看完了工业界,我们看看学术界是用什么样的采集路线呢,这里放上三篇工作


3.1 Data Scaling Laws in Imitation Learning for Robotic Manipulation -- 清华高阳老师团队

  • https://arxiv.org/abs/2410.18647

这篇 Paper 用 UMI 收集了超过 40k 组数采数据,有一些有趣的结论:

  • Simple power laws:Policy 的泛化性能与环境交互对象的数量大致遵循幂律关系;
  • Diversity is all you need:环境和物体的 Diversity(多样性) 远比 demonstration 的绝对数量重要;
  • Generalization is easier than expected:在尽可能多的环境(例如 32 个环境),每个环境有一个单独的操作对象以及 50 组示例数据;用这些数据训练出的 Policy,能够在新环境 + 新物体上泛化地比较好
  • 一旦环境或交互对象的 demonstration 数量达到一定阈值,额外的数据就只能带来微乎其微的收益了。

    本篇 Blog 更关注数采,所以拎出数采的内容单独说明:

  • 文中提到:由于 UMI 依赖 SLAM 来捕获 EE Pose,纹理缺乏的环境中 SLAM 算法可能会失效,所以搜集的demonstration 大概 90% 是有效的
  • 摘要中提到:四名数据收集者工作了一下午,我们收集了足够的数据,使两项任务的策略在具有看不见物体的新环境中实现大约 90% 的成功率。


3.2 RDT-1B -- 清华朱军老师团队



RDT-1B 作为一个开源的双臂7自由度操作大模型,近期备受关注。从 46 个开源数据集中整合了 1M episodes,再自己搜集了 6k episodes 可以在一些长时序和需要灵巧控制的任务中完成任务 从论文中可以看出作者搜集数据的方式是 ALOHA/Mobile ALOHA,通过主从同构映射和转发来实现遥操,是一种搜集高质量示例数据的数采方式,下面会详细讲一下


  • https://arxiv.org/abs/2410.07864


3.3 RH20T -- 上交卢策吾老师团队



RH20T 在业界的口碑不错,是一个比较高质量的数据集。卢老师团队开源的数据集质量都还不错,从 Paper 里面的图可以看到,用的是一个额外遥操作控制器(Omega.7/sigma.7力反馈 )来遥操七轴力控机械臂采集数据,机械臂末端加了一个六维力传感器,应该是一并采集末端直接力反馈信息,用于遥操作手的实时力反馈数据,采集平台周围是多视角相机。

论文中专门强调了标定信息和末端力传感器。其实看卢老师组的工作,其在 Grasp 和操作方向的工作对 3D 信息的利用其实比较关注,3D 信息比较依赖标注;另外卢老师组对于触觉和力位混合也投入了很多精力去做,刮胡子的 Demo 确实蛮惊艳的。从 RH20T 数据集中就可见一斑。


无独有偶,我们实验室在 3D 感知方向也有不少积累,Sparse4D 系列作者 xuewu 已经放出一篇具身中 3D 感知相关的论文,有兴趣的同学也可以看看
  • RH20T:https://arxiv.org/abs/2307.00595
  • BIP3D: Bridging 2D Images and 3D Perception for Embodied Intelligence:https://arxiv.org/abs/2411.14869
  • sigma.7:https://www.forcedimension.com/products/sigma


3.4 RoboMind -- 北京人形

论文中也采集了多本体的各种数据,结合了多种数采方式,在 ACT、RDT-1B 等工作上做了比较丰富的验证,数采方式

  • 使用自带的 ALOHA 操作平台来遥操 Agelix 机械臂
  • Gello 来遥操 Franka 和 UR5 机械臂
  • 使用 Xsense 动捕手套加上 Gello 来控制人形机器人
  • https://arxiv.org/abs/2412.13877


3.5 一些总结和思考

学术界青睐什么样的数采方式:
  • 对于夹爪和末端位姿:使用 ALOHA、Gello 或额外控制器等同构映射设备做遥操;使用 UMI 为代表的设备采集图像 + SLAM 来生成末端位置
  • 对于灵巧手:用动捕设备来采集人手关节的映射

学术界有什么样的数据,还需要什么样的数据:
  • 大部分数据集都包含图像数据 + 本体感受
  • 比较稀缺的是末端力传感器、Depth 信息和手眼标定位姿,分别对应的是力位混合的感知以及 3D 信息的使用


04

谈谈遥操数采和 In the wild 数采


看完了工业界和学术界大规模数采所选择的数采方案,对数采方式做一点总结。从**章的数字金字塔的归类中,数采方式可以分为四类。基于仿真的数采依赖仿真环境的 ready,对光照、物体材质、物理交互特性的影响都很大。在仿真中训练 work 后,还面临着迁移到真机的 Sim2Real 问题。以及从人类操作的视频数据中学习,需要面临的清洗数据的工作量庞大。我还没有深入看和实际操作过这两块的内容,不纳入讨论范围。所以这篇 Blog 里面我们只讨论遥操数采和 In the wild 数采方式


4.1 依赖机械臂本体的遥操作方案


 1.以 ALOHA 为代表的同构遥操


年初,大家都对 ALOHA / Mobile ALOHA 的遥操 Demo 感到惊艳,甚至被自媒体改编后虚构说是自主完成的,拉高了公众对于具身落地的预期。接下来大概讲讲 ALOHA 里面有哪些小细节:


我们直接来看改进后的 ALOHA 构型,桌面尺寸是 48" x 30"(121.92 cm x 76.2 cm),有四条机械臂 + 四个相机,人控制的臂叫做主臂(leader 臂),实际操作物体的臂叫做从臂(follower 臂),两个从臂上安装手臂相机、一个桌面仰视相机、一个支架上的俯视相机,型号都是 D405。作者的夹爪设计采用了低摩擦力的设计,能够能省力。主从臂可以是不同型号的,主臂可以便宜一些,从臂性能需要高一点,但需要同构。


数采时,采集员操作主臂,控制信号从主臂转发到从臂完成任务,作者还提供了 MuJoCo 的遥操版本。模型训练时,Paper 提到一个细节,由于转发过程中,从臂状态会耦合一个 PID 过程以 follow 主臂状态,所以要用主臂状态作为训练,因为主臂状态只有(人类)视觉反馈的控制信号。

此外,还有基于 ALOHA 硬件的一系列扩展工作:
  • ALOHA 其实配套了一个 ACT 算法,由于低延迟和易于训练大家常用于做 Demo。今年 10 月份作者在 arXiv 上更新了 ALOHA Unleashed,全面拥抱了 Diffusion Policy,也算是一种模型侧的信号。
  • ALOHA 加上可移动的底盘就形成了 Mobile ALOHA,可以做移动双臂任务,也是 pi-zero 做移动任务的数采方式
  • 另外还以众包的方式采集了数据,写了一篇 Report,也足够说明了 ALOHA 采集系统的易用性和可以 Scale Up 的潜力;
  • 对于硬件成本较高(需要单独两根从臂)或者不支持拖动示教等老机械臂的问题,Gello 是一种廉价同构映射的方案



参考资料
  • ALOHAv1 + ACT 算法:https://arxiv.org/abs/2304.13705
  • ALOHAv2:https://arxiv.org/abs/2405.02292
  • Mobile ALOHA:https://arxiv.org/pdf/2401.02117
  • ALOHA Unleashed:https://arxiv.org/pdf/2410.13126
  • RoboCrowd:https://robocrowd.github.io/static/pdfs/robocrowd_full.pdf
  • Gello:https://arxiv.org/abs/2309.13037

    2. 以 VR/AR 等为代表的 Retargeting-based 遥操

ALOHA 系列工作的问题是机械臂成本较高,需要单独配主臂用于人类控制。另一种思路就是用额外的控制器进行控制。常见的有 VR 和 AR 方案,VR 方案相对成本较低,思路和 ALOHA 转发控制信号类似,但是由于控制器配合 VR 头盔可以用于定位末端位姿(EE Pose),中间需要多一步逆运动学(IK)解算到关节角度。这里由于臂的可达空间以及 IK 的解不**的原因,可能会出现有些空间位置,控制器可达而机械臂不可达的不跟手情况。需要对特定机械臂做平滑处理。
另外,VR 方案其实有两种使用方式,一种是如 Tesla 所示,操作员会佩戴 VR 头盔,头盔中的视野和机械臂的视野是完全对齐的,另一种就是智元的方式,头盔其实只用于辅助手柄做定位,视野没有和相机采集视角对齐,ALOHA 的相机排布同样面临这一问题,且只能用减小相机盲区尽可能缓解这种问题,不能解决视角对不齐的问题。从数据质量上来说,视野对齐的效果应当是更好的,但是佩戴舒适度不够的情况下极易疲劳。所以智元的方案更是一种无奈的折中之举吧,从质和量上达到一种 Balance。
  • Open-TeleVision:https://arxiv.org/pdf/2407.01512
  • ARX方舟无限 LIFT 数据采集系统:https://www.bilibili.com/video/BV1xJiyYvEmt


4.2 不限制环境及机械臂的 In the wild 数采方案


上述的遥操方案其实都依赖机械臂,所以环境可能不太能泛化,例如要采集火锅店或者厨房的数据,就需要一台设备真的进入场景中采集。为了缓解这个问题,In the wild(开放环境)中采集的方案最近也很热门


4.2.1 以 UMI / Fast-UMI 为代表的夹爪数采方案


Diffusion Policy 的作者 Cheng Chi 提出了 UMI 方案(不得不说真是算法能力和硬件设计能力拉满的一位大佬),用 gopro + 3D 打印件构成了一版开放环境的采集系统,清华团队也用 UMI 方案探索了限定任务下具身的 Scaling Law 方案,进一步支撑了这个系统的完整度,作者也放上了 step-by-step 的安装视频,相当 nice 了。这个系统的 Setting 和整体 Solution 是这样的:

  • 用 Gopro 获取图像以及 IMU,IMU 可用于跑 SLAM 算法来获得末端位姿
  • 用夹爪上附着的 marker 来或者夹爪的宽度
  • 边缘的两个小镜子用于获得隐式的深度信息以及一对虚拟的左右相机
  • 应用简单的基于运动学的数据过滤,为不同的机械臂选择有效轨迹



简单介绍,细节有空后面单独写文章再补充了。接下来国内外学者基于 UMI 做了很多改进和扩展,依次介绍一下:
1.UMI 的全面改进方案1 Fast-UMI

使用 T265 获得 IMU,比 Gopro 的质量要好

  • 触觉压敏传感器,
  • 在铰链任务上的验证获得了比较好的效果
  • 获得末端位姿和关节状态两种数据,作者提到 IK 解算这步其实比较难做,很容易解算出一个和环境碰撞的关节状态,未来考虑优化



2. 上海国地共建中心
  • 定位相机改成了D435i,采集相机看不出什么型号
  • 夹爪换成了电动夹爪、可以读取电机数据获得力反馈

3. ReadAirLab

  • 看上去用了非常高精度的专用 IMU 传感器,在仿真里面非常跟手

4. IPhone 加上 UMI 可以进行机械臂的遥操
  • 利用 IPhone 的 IMU 用于末端位姿的跟踪

UMI 的优点:
  • 采集效率够高,相对于 ALOHA 等遥操采集能提升 3 倍以上的效率
  • 可以进行非特定环境中进行采集
  • 不依赖具体硬件,可以一次采集,做多次 Retarget 操作映射到不同机械臂上进行训练
  • 足够便宜,和丰富的可扩展性,原版其实没有力反馈,后续改进方案其实可以加

问题:
  • 在不同任务下,EE Pose 的精度也有待考证,没有一套评价指标,容易导致采了一堆数据之后,不知道是数据的问题还是模型的问题
  • 只有手部相机,在没有全局相机的情况下,有些任务不好学习
  • 关节角度解算这一步需要花比较大的功夫

参考资料:

UMI:https://arxiv.org/abs/2402.10329

UMI 安装视频:https://www.youtube.com/watch?v=x3ko0v_xwpg
Fast-UMI:
  • https://www.arxiv.org/pdf/2409.19499
  • https://www.bilibili.com/video/BV1enkGYKEg1
上海国地中心:https://mp.weixin.qq.com/s/FkcRisusKvKM9aiuXSaX2A
ReadAir-LAB:https://www.bilibili.com/video/BV1AuqMY8E4r
IPhone + UMI:https://www.bilibili.com/video/BV18skGYYEBw

4.2.1 以 DexCAP / ARCAP 为代表的灵巧手数采方案


这两个工作其实都是 Li Fei-Fei 老师组提出的,有一定延续性;具体思路是通过动捕手套来做灵巧手的映射,背包中放了 NUC 和 PowerBank 用于供电
  • Dexcap:https://arxiv.org/abs/2403.07788
  • ARCap:https://arxiv.org/abs/2410.08464

4.2.2 以 ACE/AirEXO 为代表的外骨骼数采方案


两者外骨骼方案的构型类似,需要对特定机械臂做适配,后面再展开讲讲。另外外骨骼的好处是可以安装一个全局视野的相机,弥补了 UMI 的缺陷
  • ACE:https://arxiv.org/abs/2408.11805
  • AirEXO:https://arxiv.org/abs/2309.14975


4.3 一些总结和思考


可以看到学术界在 Robot 数采这件事情上下足了功夫,在机械臂本体、数采方式都没有完全收敛的情况下,各种方案百花齐放。In the wild 方案不受环境的限制,应该来说更有前景,做一个数采系统需要质量和效率之间的 Tradeoff,才是能够 Scale Up 的关键,需要非常强大的工程能力



05

一些思考

从事了具身几个月以来,感慨具身是一个工程能力很强的学科。就像明仔说的一样,需要一个强大的工程思维能力。从数采到算法的闭环,中间有很多坑要采。可能不能像在 ImageNet、COCO、Nuscenes 的 Benchmark 上刷榜那么简单了,做出工作的周期也变长了很多,相比于 CV 可能是一个更需要踏踏实实做好闭环的领域了。事实上,我们也更加缺乏一个 Benchmark 来统一评价大家的算法,成功率这个指标因环境而异。一个成熟的研究组以及实验环境能够助力很多很多事情。

具身领域,由于问题从自动驾驶升维了,需要和物理进行 Contact-Rich 的交互,任务和观测都更加的多样化,能做的事情相当的多。另外非常推荐王建明老师的 Robot Data 系列邀请了作者直接访谈,非常有价值,看到投资人能够有这么强的专业能力和分享精神,非常敬佩。

歪题一下,机器人作为一个产业来说,国家队亲自下场干,是一个不多见的情况,又是一个泡沫与机遇并存的时代。从大的角度看,机器人产业链的上下游非常多,投入具身可以让制造能力上一个台阶,机器人进入场景和设备又会促进整个飞轮的正循环,更别说在军事等领域的国力威慑,是一个值得投入的长周期方向。从技术的角度看,物理 AI 和虚拟 AI 正在改变着我们的生活,说一下我的暴论,欢迎讨论。对于普众来讲,诚然,虚拟 AI 给了我们工具,可以提效,但是对于生活舒适性来说相对较浅薄,甚至大多数人不是缺乏工具,而是缺乏创意和执行力(比如我 orz),虚拟 AI 会让一部分有创意有执行力的人先动起来,对于金字塔底部的人没那么友好。而物理 AI 的正向循环是一种普惠,需要很长的时间实现这种闭环,但是大环境的推动会让硬件和算法研发的 Eureka 节点更快的到来。至于未来的终局是怎么样我不知道,今年录了一期关于 AI 的播客,感觉无计可施,所以 AI Safety 也是一个值得关注的领域。

最后打一波鸡血吧,机器人领域是工业制造的集大成者,希望成为一朵时代的浪花,为这个领域添砖加瓦,大伙儿加油干!

06

参考

其他参考

00001.^当谈论端到端自动驾驶的时候,我们到底在谈论些什么 https://zhuanlan.zhihu.com/p/684290204

00002.^Tesla We Robot发布会总结 - 技术分析 https://zhuanlan.zhihu.com/p/974718278

00003.^特斯拉超级工厂“新成员”——Optimus再进化 https://www.bilibili.com/video/BV1Cm421H7Kr

00004.^特斯拉“We, Robot”发布会全程视频 https://www.bilibili.com/video/BV1a4mVYUEVV

00005.^特斯拉WE ROBOT现场 https://www.bilibili.com/video/BV1mA21YhEFX

00006.^特斯拉人形机器人接球挑战 https://www.bilibili.com/video/BV1B9zzY1E5G

00007.^π0: A Vision-Language-Action Flow Model for General Robot Control https://arxiv.org/abs/2410.24164

00008.^智元开启通用机器人商用量产 https://www.bilibili.com/video/BV1vhBNYrEog

00009.^RFM EP01:Pi和π0具身基础模型 https://zhuanlan.zhihu.com/p/8997754156

00010.^How Real-World Cross-Embodiment Data Will Lead to Robotic Foundation Models https://medium.com/@jianming.wang07/robotic-foundation-models-corl-2024-sergey-levines-talk-notes-e42bb3eb618e

00011.^Generalist Robot Policies https://medium.com/@jianming.wang07/note-on-generalist-robot-policies-from-sergey-levine-in-corl-2024-46f9b7a90471

00012.^Data Scaling Laws in Imitation Learning for Robotic Manipulation https://arxiv.org/abs/2410.18647

00013.^RDT-1B: a Diffusion Foundation Model for Bimanual Manipulation https://arxiv.org/abs/2410.07864

00014.^RH20T: A Comprehensive Robotic Dataset for Learning Diverse Skills in One-Shot https://arxiv.org/abs/2307.00595

00015.^sigma.7 https://www.forcedimension.com/products/sigma

00016.^BIP3D: Bridging 2D Images and 3D Perception for Embodied Intelligence https://arxiv.org/abs/2411.14869

00017.^RoboMIND: Benchmark on Multi-embodiment Intelligence Normative Data for Robot Manipulation https://arxiv.org/abs/2412.13877

00018.^Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware https://arxiv.org/abs/2304.13705

00019.^ALOHA 2: An Enhanced Low-Cost Hardware for Bimanual Teleoperation https://arxiv.org/abs/2405.02292

00020.^Mobile ALOHA: Learning Bimanual Mobile Manipulation with Low-Cost Whole-Body Teleoperation https://arxiv.org/abs/2401.02117

00021.^ALOHA Unleashed: A Simple Recipe for Robot Dexterity https://arxiv.org/abs/2410.13126

00022.^RoboCrowd: Scaling Robot Data Collection through Crowdsourcing https://robocrowd.github.io/static/pdfs/robocrowd_full.pdf

00023.^GELLO: A General, Low-Cost, and Intuitive Teleoperation Framework for Robot Manipulators https://arxiv.org/abs/2309.13037

00024.^ARX方舟无限 LIFT 数据采集系统 https://www.bilibili.com/video/BV1xJiyYvEmt

00025.^Open-TeleVision: Teleoperation with Immersive Active Visual Feedback https://arxiv.org/abs/2407.01512

00026.^UMI https://arxiv.org/abs/2402.10329

00027.^UMI 安装视频 https://www.youtube.com/watch?v=x3ko0v_xwpg

00028.^Fast-UMI https://www.arxiv.org/pdf/2409.19499

00029.^Fast-UMI 分享视频 https://www.bilibili.com/video/BV1enkGYKEg1

00030.^上海国地共建中心 https://mp.weixin.qq.com/s/FkcRisusKvKM9aiuXSaX2A

00031.^ReadAir-LAB https://www.bilibili.com/video/BV1AuqMY8E4r

00032.^IPhone + UMI https://www.bilibili.com/video/BV18skGYYEBw

00033.^Dexcap https://arxiv.org/abs/2403.07788

00034.^ARCap https://arxiv.org/abs/2410.08464

00035.^ACE https://arxiv.org/abs/2408.11805

00036.^AirEXO https://arxiv.org/abs/2309.14975

00037.^具身智能的前景如何?是否适合读博? https://www.zhihu.com/question/627868480/answer/19265295720

00038.^EP10 Robot Data**季访谈总结 https://zhuanlan.zhihu.com/p/721925718

00039.^基于人类示范数据的高效机器人模仿学习 https://www.bilibili.com/video/BV1gwiBYXErh


注:本文原载于知乎原文:https://zhuanlan.zhihu.com/p/14109860960

文章整理时部分有改动,纯学术分享。


———全文完———


具身智能策略和方案精华汇总:


1、具身智能数据配置方案:

具身方案和配置:基于“扩散策略”模仿学习训练机器人以及常用配置方案


2、UMI在FRANKA机器人上通用方案
技术分享:UMI机器人操作通用框架在Franka机器人上的配置方法

3、主流物理引擎和仿真平台介绍

主流仿真平台——18种具身智能机器人仿真平台一文汇总



4、Geesis物理引擎最近超火,参考

开源生成式物理引擎Genesis:CMU 机器人研究所提升具身智能研究效率,机器人学、具身AI和物理AI应用的强大工具


5、清华大学开源机器人大模型RDT-1B

清华大学开源具身大模型RDT-1B:国内**双臂机器人操作任务扩散基础模型

PNP机器人:知识共享,智绘未来!


关于集智联机器/PNP机器人

集智联机器人, 英文名字:Plug & Play Robotics简称PNP机器人, 取义为“集中智慧互联,达到即插即用”,目标用先进的机器人技术实现机器人在各个行业的快速使用。集智联机器人团队成员均来自于国内外机器人行业知名企业,具有较强的学术背景。PNP机器人是聚焦机器人即插即用(Plug & Play)技术和Franka机器人等具身智能通用解决方案。


集智联机器人(PNP Robotics)

www.pnprobotics.com

sales@pnprobotics.com

咨询机器人和具身智能——技术咨询/销售/合作

180 1817 5378(微信同号)


 PNP机器人
 集智联机器人
 提供机器人即插即用(Plug & Play)解决方案

官方热线+86  400 188 3810                                                                       地址:江苏省苏州市吴江智慧产业园云创路233号第5层
具身业务+86 180 1817 5378 (Franka机器人)                                         业务分布:北京、上海、深圳、香港、多伦多(美国和加拿大)
联系邮箱:sales@pnprobotics.com