中文
中文
/
English
首页
Home
Franka机器人
Franka Robots
具身机器人
EAI Robots
PNP具身方案
Plug&Play Solutions
资讯&案例
Events&Cases
技术支持
Support
关于
About
Franka具身平台
Franka Dual具身平台
Franka遥操作
Diana3机器人
Diana7机器人
Diana7 MED医疗机器人
PNP模型部署
WUJI Hand
Revo灵巧手
Sharpa灵巧手
星动纪元灵巧手
PNP灵巧手产品
xArm轻型机器人
UR机器人
天机双臂机器人
ABB机器人
KINOVA
PNP机器人产品
Haply力反馈
Manus Glove数据手套
ALOHA&具身成套机器人
人形机器人
新闻
行业观点
具身案例
视频资料
资料下载
关于我们
PNP荣誉
Q&A问答
咨询热线:
400 188 3810
<<微信扫码
对接
PNP机器人,即:Plug&Play Robotics
学术背景来自于哈尔滨工业大学,多伦多大学等,
团队背景
来自于UR/ABB等全球先驱机器人企业,
团队位于北京、上海、深圳、苏州、北美等地
PNP机器人是Franka Robotics战略合作伙伴,提供技术、渠道、市场等支持
面向具身智能模仿学习、强化学习、VLA等方向,提供Franka机器人成套解决方案
【PNP具身分享】物理AI关键在数据!针对具身瓶颈数据集,RAI通过手持数据采集提升灵巧操作能力
发表时间:2026-09-08 07:23
作者:PNP机器人
人类拥有惊人的灵巧性;我们可以在口袋里摸索着找到家门钥匙,可以清洗易碎的玻璃器皿而不将其打碎,还能一边晾晒衣物一边保持平衡。但要让机器人自然流畅地完成这些任务,并且不损坏或掉落物品,则要困难得多。机器人擅长的是高精度、重复性的取放任务以及喷漆和焊接等非接触式任务——在这些任务中,机器人通常比人类更快、更精准。
赋予机器人人类般灵巧性的一种方法是收集人类执行任务的数据,从中学习一种策略,该策略既包含完成任务所需的感知能力,也包含所需的动作,然后将该策略应用于机器人。这种方法需要将人类行为转化为机器人可以学习并在新环境中复制的行为。
几十年来,机器人专家们一直尝试通过分析分解、任务和运动规划框架来实现这种转化,这些框架手工设计了抓取基元、力策略和符号化的任务表征。虽然这些方法为特定问题提供了巧妙的解决方案,但它们无法扩展到非结构化、真实世界操作的多样性。
端到端学习方法表明,机器人可以直接从数据中获取新技能,无需手动设计每个行为。视觉-语言-动作(VLA)模型现在可以解读场景、理解任务指令,并根据单一学习策略生成运动指令——正如 Generalist AI、Physical Intelligence、Sunday Robotics 和 Figure 最近展示的构建盒子和折叠衣服等操作所证明的那样。
然而,多步骤、动态、受力控制的任务仍然远远超出了目前机器人借助垂直臂阵列(VLA)可靠完成的能力范围。人们凭借毕生经验,就能熟练地完成诸如做饭、打扫全屋或更换电灯开关等日常任务。而机械臂要学习并可靠地执行这些任务,所需的灵巧度仍有待提高。
Part.01
机器人数据采集方法
机器人学习依赖于多种数据,数据源的选择决定了策略最终能够执行的任务类型。每种方法在规模、精度和可捕获的物理信号类型之间都做出了不同的权衡。目前该领域主要依赖的四种数据源是:互联网规模数据、仿真、以自我为中心的视频、远程操作和手持式数据采集。在 RAI,我们正在探索其中的三种技术:仿真、远程操作和手持式机械臂。
互联网规模数据
互联网规模的视频和图像数据提供了丰富的视觉和语义表征。基于这些数据训练的大型视觉语言模型(VLM)能够识别物体、理解空间关系,并推断任务的前提和后置条件。这些表征正日益成为机器人策略的感知骨干。音频数据同样在线丰富,为预训练提供了基础。然而,这些训练集中却缺少训练操作策略所需的大规模力数据、触觉数据和同步双目视觉数据。
模拟数据
仿真技术在机器人学习中支持两种截然不同的用途:一是生成合成传感器数据(例如,根据物理摄像头位置渲染的摄像头视图、深度图和接触信号),用于训练感知和端到端的视觉运动策略;二是并行化行为学习,使数千个虚拟机器人能够通过强化学习同时进行训练。这两种用途都受益于大规模生成仿真数据的便捷性。仿真技术最适用于预训练基础模型,然后利用特定任务的仿真数据或来自与机器人和任务高度匹配的数据源的数据进行微调。目前面临的挑战是,仿真物理并非总能捕捉到真实世界交互的复杂性,尤其是在处理柔性物体或快速变化的接触时。弥合仿真与现实之间的差距仍然是一个活跃的研究领域。
以自我为中心的视频合集
以人为中心的视频采集方式,即在人头或眼镜上安装摄像头,并追踪手部动作和手腕位置,提供了一种低成本的现场数据采集方法。受试者行动自如,可以按照自然的节奏完成任务。然而,基于视频的手部追踪存在严重的遮挡和精度限制问题,尤其是在操作容易被手遮挡的小物体时。人手的数据必须重新映射到通常自由度更少且不同的机器人手上。此外,以人为中心的视频采集无法捕捉力数据,任何未被视频捕捉到的人体感知信息都会丢失。
远程操作
现实世界中的远程操作是将物理机器人置于任务环境中,由操作员通过虚拟现实界面或运动学平移设备进行远程控制。这种方法能够生成真实的、与机器人对齐的物理数据:如果操作员能够通过远程操作界面完成任务,那么合适的控制策略也应该能够使机器人完成该任务。一些远程操作设置会将操作员从任务工作空间中移除,操作员只能远距离观察工作空间,且无法获得触觉反馈。由此导致的细微力和接触线索的缺失会降低操作员的操作速度,而这种较慢的节奏会被从操作员演示中学习到的策略所继承。为了恢复这种缺失的信号,必须在远程操作装置中添加触觉反馈,或者将通过其他方法捕获的力信息纳入训练数据中。
手持式数据采集
手持式数据采集方式要求操作者直接执行任务,同时操作一个专门设计的、模拟机械手的机械臂。操作者在操控真实物体时,会通过机械臂获得本体感觉反馈,而机械臂中的力传感器则会记录这些交互过程用于训练。这套装置足够直观,操作者经过短暂练习后,就能以接近自然的节奏完成许多任务。其不足之处在于,人手握持机械臂与机械臂握持同一机械臂之间存在操作体验上的差异,并且与徒手操作相比,灵活性有所降低。尽管如此,手持式数据采集方式仍然能够以其他采集方法无法企及的方式,同时保留人类的操作节奏和力反馈。
数据采集团队的一名成员使用手持式机械臂演示发动机上的装配任务。
我们的观点是,实现机器人灵巧性以进行接触丰富的操作的最有希望的途径是使用共同设计的夹爪进行手持数据采集,其中人类操作的设备与机器人执行操作的夹爪在运动学和感觉学上是相同的。
Part.02
通过手持数据采集提升灵巧操作能力
手持式数据采集的优势之一在于,操作者的自然灵巧性仍能体现在操作过程中,因为操作者不会因受到束缚而变得笨拙。由于机器人手和手持式夹爪在运动学上匹配,因此二者之间不存在本体上的差异。此外,良好操作所需的传感器信号(包括力)可以通过手持式夹爪上的传感器进行记录,这些传感器的特性与机器人手上的传感器相匹配。
力在制造、装配和拆卸过程中尤为重要,因为这些工序对公差要求极高,且接触频繁。以松开卡住的螺栓为例。在螺栓松脱并开始转动之前,扭矩会不断增加,但螺栓本身却不会发生明显的运动。因此,如果仅依靠视觉来判断,扳手只能对准螺栓,而无法施加足够的扭矩将其拧松。
对于力介导的任务,视觉还面临着一个更根本的局限性。即使在当前视觉转换器所达到的分辨率下,甚至随着分辨率的不断提高,仍然存在一些视觉上无法区分的物理状态。例如,一只手轻轻地放在瓶盖上和一只手用力挤压瓶盖,产生的图像几乎完全相同。更高的分辨率有所帮助,但“按压”和“静止”之间的差异主要并非分辨率问题,而是感知方式的问题。
此外,配备板载传感器和摄像头的手持式机械臂易于制造,且便于操作人员使用——无需机器人或工作空间。这种灵活性使得我们可以创建涵盖各种环境、条件和任务完成策略的多样化数据集。由于所有机器学习都基于插值,我们需要足够的数据来覆盖所有物理交互范围,以使模型能够有效地泛化。这意味着模型必须在受控的实验室环境之外,在更非结构化、更真实的场景中进行训练。
Part.03
协同设计用于数据采集和机器人执行的夹爪
当数据是通过人工演示收集时,机器人手的目标用户不再仅仅是机器人系统和屏幕后的机器人专家。设计者现在必须考虑第二个用户——操作者。
早期尝试通过在现成的末端执行器上加装跟踪摄像头和编码器,对现有机器人夹爪进行改造,使其适用于手持操作,但很快就发现存在人体工程学问题,导致数据质量下降。这些经验表明,数据采集设备和机器人末端执行器需要同步开发。
用于演示的手持式界面
用于机器人执行的驱动夹爪
我们共同设计了用于演示的手持式界面和用于机器人执行操作的机械臂,并将其整合为一个统一的平台。连杆机构、手指几何形状、运动学:这些在两种版本中都是相同的。在人机演示过程中,摄像头所看到的画面与机器人执行操作时所看到的画面在几何形状上完全相同。人通过机构施加的力直接映射到机器人执行器能够产生的力,而传感器则显示了任务成功完成时预期会接收到的信号。
这种匹配对于策略迁移至关重要。机器人策略本质上是一个将观测结果映射到动作的函数。确保这种映射可靠性的最简单方法是在训练和部署过程中保持观测结果的一致性。一个条件良好的策略要求当前观测结果能够明确地确定正确的下一步动作。如果在演示和执行之间几何形状发生变化,如果摄像头视角发生偏移,或者如果两种配置之间的力分布发生漂移,策略就会遇到从未见过的状态,从而导致迁移失败。
协同设计消除了一类此类迁移失败。人和机器人操作相同的机制,采用相同的配置,并使用相同的传感器套件。此外,协同设计旨在利用人类的能力和直觉进行训练。如果设备过于笨重或复杂,操作人员的性能就会下降。人体工程学是一个数据质量问题——如果操作人员感到疲劳或不适,最终的策略效果也会受到影响。
Part.04
协同设计夹具的演变
)构建,该平台证明了仅使用位置数据即可通过手持式数据采集生成有效的机器人策略。我们对原有的手持式装置进行了改进,使其机构更加稳健,用连杆机构取代了齿轮齿条机构以消除间隙,并添加了磁性位置编码器和力传感器,同时优化了跟踪摄像头的放置位置。将跟踪摄像头向上指向,使我们能够在干扰物体移动的情况下,在更多样化的环境中保持跟踪。
平行爪夹具可以完成一系列令人惊讶的任务,但单自由度机械臂的功能毕竟有限,尤其是在工具使用和手持操作方面。即使是经验丰富的操作员也会发现,用一只手操作棘轮扳手、拧螺丝刀或用另一只手固定钉子并进行锤击都非常困难。鉴于此,我们下一步的协同设计着重于力介导的装配和工具使用任务,优先考虑强力抓取、捏取以及操控工具的能力。
Part.05
考拉平台
Koala平台以双拇指有袋动物考拉命名,旨在解决此类任务。Koala包含两种型号:一种是用于人体数据采集的手持式手动机械臂,另一种是用于机器人执行操作的电动机械臂。该设计采用真正的协同设计方法,同时考虑了用户和机械臂的性能需求。其设计包含一个可旋转的整体式双拇指和两个欠驱动的连杆式手指,从而实现三个可控自由度和两个欠驱动自由度。结合轮廓分明且可变形的垫面,该设计能够实现多种抓取方式:从类似平行爪机械臂的超薄精密夹持,到对铅笔大小、两升装汽水瓶大小物体的强力抓取,再到对不规则物体的笼式抓取。
该机械臂的整体形态设计基于对人手可实现的抓取动作范围的评估(
; Cutkosky, 1989)。该装置的目标并非复制每一种人类抓取类型,而是在**限度减少主动自由度并保证所有目标任务均能成功完成的情况下,实现每种抓取动作的功能性结果。
对于许多常见的抓握动作,例如用所有手指环绕工具,考拉机械臂的运作方式与人手非常相似,通过单个触发器驱动的强力抓握来实现。当人手和机械臂的形态存在差异时,操作者会进行调整:例如,用拇指和食指侧面捏住钥匙的侧捏动作,在考拉机械臂上则变为用双拇指和手指进行强力捏握,仅需一个自由度即可实现相同的功能。我们优先考虑减少操作者需要操作的触发器数量,从而保持设备的直观性。通过将每个触发器动作与相应的手指动作耦合起来,机械臂能够充分利用操作者的自然反射,因此学习曲线非常短。
虽然协同设计限制有利于缩小设备与实际应用之间的差距,但也带来了真正的工程挑战。手持式版本需要能够承受人手的全部行程和力度而不发生断裂,同时还要将力比保持在 3:1 以下,以确保设备在长时间采集过程中保持舒适。而电动版本则用定制的滚珠丝杠驱动电机取代了人工操作的连杆机构,但沿用了相同的指形结构和传感器套件。操作者可以根据需要用力挤压,并将该力传递到环境中。
由于我们将操作者的手固定在一个刚性系统上,限制了他们的自由度,因此我们需要优先考虑人体工程学,以适应各种尺寸的人手。为此,我们设计并制作了三种尺寸的手持设备原型。这些尺寸能够舒适地适应各种尺寸的手型,使操作者可以长时间采集数据。
我们的数据采集系统将 Koala 手持式机械臂与同步多模态传感技术相结合。安装在机械臂上的广角摄像头以高清格式采集 RGB 图像,提供以操作者视角呈现的操作工作空间。机械臂的状态,包括宽度、速度和扭矩,通过电机编码器以 100 Hz 的频率记录。
Part.06
为什么更丰富的观察在没有记忆的情况下显得尤为重要
当今的机器人策略大多是被动的。它们观察当前时刻并采取行动,而不会参考几秒钟前发生的事情。这一限制是策略学习方式的根本所在——为了使策略选择正确的动作,其当前观察必须包含足够的信息来完全确定任务状态。如果没有记忆,任何两个意义不同的状态都不可能产生相同的传感器读数,否则策略将无法区分它们,从而导致失败。力觉和本体感觉数据直接解决了这个问题。它们消除了仅凭视觉无法消除的歧义,使得瞬时观察的信息足够丰富,即使策略无法回忆之前发生的事情,也能据此采取行动。融合了记忆和时间上下文的架构将显著放宽这一要求,这也是一个活跃的研究领域,我们将在本系列的后续文章中讨论。
Part.07
长远愿景
未来一年,我们的数据收集计划将采取积极的路线图。当前的重点是通过电池安装任务来演示力介导操作。该任务包括将支架安装在电池框架上,拧紧螺母以固定电池,连接连接器,并验证组装完成情况。这是一个多步骤的过程,需要在整个过程中进行精确的力控制。
长远愿景的核心是研发能够离开实验室、在难以于室内搭建的环境中收集数据的独立采集设备。例如,我们希望能够携带 Koala 设备到海滩捡拾垃圾。这些任务的数据采集本身就能对现实世界产生积极影响,并且能够模拟实验室环境无法复制的各种变化:崎岖的地形、恶劣的天气、新奇的物体,以及真实环境中丰富的光照和杂物分布。
数据收集仅仅是开始。如何将异构数据源(仿真、远程操作、手持演示和互联网规模的预训练)整合到一个连贯的训练方案中,才是许多有趣研究问题的关键所在。每种数据源对动作空间和传感器可用性都做出了不同的假设。简单地将它们组合在一起会导致这些假设之间的冲突,从而降低策略性能。
参考:
https://rai-inst.com/resources/blog/handheld-robotic-data-collection/
PNP技术文档
PNP技术资料——FR3版本
[PNP技术分享]Franka机器人使用注意事项、开源资料、必备技术资料等(收藏版)
【PNP更新】Franka FR3机器人版本Panda vs FR3对比和问题汇总
【PNP更新】Franka FR3机器人版本升级对比说明 V1 vs V2
【PNP具身技术分享】Franka系统版本更新历史,最新版本5.9.1
PNP技术资料——强化学习/模仿学习/世界模型
[PNP技术分享]RLinf面向强化学习开源框架—Franka机器人真机强化学习流程
【PNP具身模型分享】NVIDIA-DreamZero:世界行动模型Zero-Shot策略
具身方案和配置:基于“扩散策略”模仿学习训练机器人以及常用配置方案
【具身ICRA】ICRA2026 **论文风向总结——具身智能拐点:世界模型、多模态融合与灵巧操作技术革命
PNP具身参考资料
为什么全球顶尖具身实验室都在选FR3七轴力控机器人?揭开斯坦福、Google DeepMind等钟爱的具身智能机器人神器
PNP机器人展出:面向生活和工业具身智能场景单/双臂方案
全球知名具身智能机器人实验室:AI FACTORY&慕尼黑工业大学TUM&德国巴伐利亚州,25套双臂FRANKA机器人领衔
双臂类人形具身智能方向:一文汇总Franka机器人在科研、医疗等双臂机器人研究案例和双臂方案参考
双臂类人形具身智能方向:一文汇总Franka机器人在科研、医疗等双臂机器人研究案例和双臂方案参考
CoRL2025**论文: 麻省理工Fabrica,通用多部件装配的双臂机器人系统,全局规划与学习控制的深度结合
PNP 机器人在 2025 张江具身智能开发者大会的精彩篇章
PNP具身实践——VR灵巧手操作,PNP机器人推出基于裸手VR捕捉的灵巧手遥操作数据采集方案
机器人训练场签约:集智联机器人推动建立广东首个无人智能与具身智能数据采集训练场——以机器人数据驱动具身智能发展,打造产业战略高地
具身活动总结:PNP机器人在FAIR plus 2025机器人链接会中呈现具身智能机器人数据集和操作等多项技术
文/PNP原创,转载请申请授权
关于 PNP 机器人
PNP 机器人由哈工大、多伦多大学及 ABB、UR机器人专家组成,是德国Franka Robotics 官方**战略合作 伙伴,负责销售、技术支持与生态建设 。团队为国内顶尖实验室与机构提供基于 Franka 机器人、UR机器人等模仿学习、强化学习和视觉语言动作方案,推动具身智能的快速落地与规模化研究。
Contac us
咨询热线HOTLINE 400 188 3810
FRANKA机器人 180 1817 5378(同微信)
咨询具身智能方案加申请加入具身智能群请备注公司/学校+名字+从事方向,如 清华大学+李文+强化学习
上一篇
【PNP具身方案】强脑灵巧手仿生灵巧手Revo 2
下一篇
【PNP具身案例分析】从实验室走向工厂:SKILD AI如何重新定义工业具身智能落地范式
分享到:
PNP机器人
集智联机器人
提供机器人即插即用(Plug & Play)解决方案
首页
产品中心
解决方案
新闻中心
联系我们
官方热线+86 400 188 3810 地址:江苏省苏州市吴江智慧产业园云创路233号第5层
具身业务+86 180 1817 5378 (Franka机器人)
业务分布
:北京、上海、深圳、香港、多伦多(美国和加拿大)
联系邮箱:sales@pnprobotics.com
友情链接
思灵机器人
ABB集团