RosCon中国站：探索具身智能新高度——机器人在数据收集与学习策略中的优势和机会

2024年12约7-8日，ROS Conference中国站近日在上海成功举办，吸引了来自全球机器人与人工智能领域的领先专家。ROSCon China 2024中国站大会聚焦于人工智能、智能制造、生物医药等重点领域，展示包括位置云平台、智能制造解决方案、新兴技术应用、高端智能设备研发制造等在内的多项前沿技术。这是**次在中国大陆举办。

集智联机器人/PNP机器人受邀，创始人包文涛先生发表了机器人在数据收集与学习策略中的优势和机会方面的演讲，聚焦具身智能与机器人操作的深度融合，深入探讨了Diffusion Policy、UMI数据收集框架和遥操作技术的应用潜力。会议期间，集智联机器人携手Agile Robots和旗下Franka机器人展示了旗舰产品Franka机器人/Diana7机器人在多模态融合、力控技术和学习策略中的**表现，为具身智能机器人技术的操作发展提供了数据和方法的支撑。

亮点回顾

模块化关节技术的发展

集智联机器人创始人包文涛先生在开场回顾了协作机器人的发展为人形机器人硬件的成熟奠定了重要基础。首先，协作机器人在力控技术、多模态感知和精准运动控制等领域的突破，为人形机器人的柔性关节设计和精确力感知提供了技术支持。其次，协作机器人积累的大量人机交互数据，以及在多种复杂场景下的应用经验，显著优化了人形机器人的控制算法和运动规划能力。

此外，协作机器人通过模块化设计和标准化硬件接口，加速了驱动器、传感器等关键组件的研发进程，为人形机器人实现灵活性和稳定性的提升创造了条件。尤其是在智能制造和服务机器人领域的广泛应用，促进了硬件成本的下降和性能的优化，为人形机器人大规模落地奠定了经济和技术基础。

ROS强化学习机器人数字孪生通用平台介绍

基于ROS的强化学习机器人数字孪生通用平台，整合了机器人控制、仿真和强化学习算法的全栈能力，为研究与开发提供了高效的实验环境。平台由以下部分组成：

硬件基础：平台核心包括一个7自由度的Franka机器人（FR3）以及深度视觉设备Azure Kinect DK（RGB-D传感器）。工作站搭载Nvidia RTX 3070/4090 GPU和高性能CPU，为实时计算和强化学习模型的高效运行提供支持。

系统架构：平台基于ROS框架，通过MoveIt实现运动规划与消息传递，可控制物理机器人或通过仿真工具（如Gazebo）建立的物理引擎进行精确模拟。

功能特点：数字孪生技术实现机器人控制和状态反馈的无缝连接，强化学习模型可在仿真环境中快速迭代，并直接部署至物理机器人，显著加速了机器人学习与验证流程。

Franka机器人在多模态智能控制中的作用

Franka Robotics的代表性产品Franka Research 3（FR3）因其七轴设计和高灵敏度力控功能，成为智多模态学习领域的核心平台。其突出表现包括：

• 精准的力控能力：0.05N的力敏感度使FR3能够在动态和复杂的任务中保持恒定精度。

• 强大的开发生态：兼容C++、ROS和MATLAB，用户可通过开放的Franka Control Interface（FCI）轻松实现深度定制开发。

• 多模态数据融合：通过视觉、触觉和力感知的实时结合，机器人能够高效完成复杂任务。

Diffusion Policy在机器人控制策略中的突破性应用

集智联机器人创始人包文涛先生在演讲中重点分析了Diffusion Policy算法对机器人操作学习的影响：

• 复杂行为生成：Diffusion Policy通过条件去噪扩散建模，将复杂任务的动作空间映射为多模态概率分布，从而生成稳定而鲁棒的行为。

• 低超参数依赖：该策略无需针对不同任务调整大量参数，大大降低了在多样化制造场景中的应用成本。

• 机器人操作实际表现：在双臂混合、披萨涂酱、果皮切削等场景中，Diffusion Policy展现了对视觉干扰和环境变化的强适应性，使机器人能够精准应对操作的不确定性。

UMI数据收集框架：优势与缺点

UMI（通用操控界面）数据收集框架成为本次会议的重要话题之一，其在多模态数据采集中的贡献与挑战被广泛讨论。

优势：

• 多源同步采集：UMI能够整合RGB图像、末端执行器姿态和夹持器宽度，生成高质量的数据用于策略学习。

• 隐式深度感知：通过创新性的广角镜头与立体视觉结合，UMI框架实现了低成本但高精度的环境感知。

• 实时反馈能力：UMI通过连续控制夹爪宽度实现动态任务适应，特别适合精密制造中的复杂操作。

缺点：

• 计算成本较高：UMI框架依赖视觉标定数据和复杂SLAM算法的可靠性，这对硬件性能要求较高，可能限制了场景验证和复现的普及。

• 依赖多模态数据一致性：在环境噪声较大的场景中，多模态数据的同步性容易受到干扰，可能影响学习策略的稳定性。

  
  

改进型FAST UMI的优势

上海AI实验室基于UMI开发的改进型FAST UMI框架成为会议热点。其主要改进包括：

• 优化的硬件模型：配置一台配置为超广角模式的GoProHero 9相机以1280×720的分辨率和60帧每秒（FPS）捕捉鱼眼图像，提供广泛的视野以全面覆盖场景。末端夹持兼容五种主流夹爪如ROBOTIQ-2F85.

• 
  

• 简化数据梳理：通过RealSense T265捕捉手持夹具的六自由度姿态数据，将其转换为工具中心点（TCP）姿态，以表示人类演示的轨迹 。与UMI相比，消除了重建TCP轨迹所需的复杂后处理SLAM流程——complex post-processing SLAM pipeline，显著简化了数据处理，显著提升了机器人在未知场景中的学习效率。

• ROS节点框架：对于数据同步和ROS节点，为了协调来自多个传感器的数据采集，使用机器人操作系统ROS作为中间件，ROS提供了一个灵活的框架，用于开发机器人应用程序，能够实现各个节点之间的通信——这些节点是执行特定任务的独立进程，并确保来自多个来源的数据的精确同步。

• 硬件适配优化：针对主流工业机器人硬件，FAST UMI降低了计算需求，使其更适合大规模工业部署。

丰田研究院TRI的遥操作技术进展

丰田研究院（TRI）展示了结合遥操作与力控技术在机器人学习领域的最新成果。通过先进的力反馈遥操作设备，TRI实现了以下突破：

• 遥操作与自主学习的结合：TRI系统允许人类操作员通过力反馈设备直接控制机器人，同时记录高精度的操作数据用于策略优化。

• 更快的学习循环：结合遥操作生成的示例数据与强化学习算法，机器人能够在短时间内完成复杂任务的学习，如装配和物体操控。

• 增强的人机协作能力：通过模仿操作员的动作和力感知，机器人展现了接近人类技能的任务执行能力，推动了具身智能技术的前沿发展。

未来展望：具身智能与多模态开源数据的深度融合

1. 多模态技术的深化
   会议强调，具身智能的发展将继续依赖多模态技术的融合，尤其是在力控、视觉感知和触觉反馈的结合上。

2. 学习策略的融合应用
   随着Diffusion Policy和FAST UMI的应用推广，智能制造将进入一个更高效、更智能的阶段。多模态融合和实时数据处理的能力，将使机器人在具身操作领域有更广泛的应用。

3. 全球协作的加强
   借助Franka机器人等开放生态平台，国际研究机构和企业将在共享数据、开源模型和技术标准化方面展开更紧密的合作，共同推动具身智能领域的快速发展。

引领具身智能未来

Diffusion Policy算法为机器人制造领域注入了新活力，能够让机器人以更高效、更稳定的方式完成复杂任务。UMI框架及其改进版FAST UMI，通过多模态数据采集和策略优化，大幅加快了机器人的学习与部署进程。丰田研究院利用遥操作与力控技术的结合，展示了机器人学习从模仿到自主发展的新路径，为我们带来了全新的启发。

包总总结：“Franka机器人以其在具身智能领域的领先优势，成为全球研究与开发的重要平台。通过其灵活的七轴设计和强大的力控能力，Franka机器人能够显著缩短人工智能与机器人系统的学习周期，为推动智能制造和未来多模态协作铺平道路。集智联机器人/PNP机器人将继续以开放的姿态与全球合作伙伴携手，共创更加智慧高效的未来。”

Franka机器人再次证明了其作为具身智能与数据集领先的技术地位，为行业的快速迭代与技术进步提供了坚实的基础。

——全文完——

关于集智联机器/PNP机器人

集智联机器人， 英文名字：Plug & Play Robotics简称PNP机器人， 取义为“集中智慧互联，达到即插即用”,目标用先进的机器人技术实现机器人在各个行业的快速使用。集智联机器人团队成员均来自于国内外机器人行业知名企业，具有较强的学术背景。

PNP机器人是聚焦机器人即插即用（Plug & Play）技术和Franka机器人等具身智能通用解决方案。

集智联机器人(PNP机器人)

www.pnprobotics.com

sales@pnprobotics.com

技术咨询/销售/合作

180 1817 5378（微信同号）

申请加入具身智能群，请发公司/学习+方向/院校+名字，谢谢。