视触觉方案：视觉实现触觉方案并在Franka机器人上实验刚性和柔性物体的操控发表时间：2024-11-16 18:32 通过基于视觉的触觉传感器实现低成本远程操作和触觉反馈，用于刚性和柔性物体的操控
原文链接：https://arxiv.org/html/2403.16764v1 摘要触觉反馈对于人类成功执行复杂而精细的操作任务至关重要。最近触觉传感器的兴起使机器人能够利用触觉并大幅扩展其能力。然而，许多任务仍然需要人工干预/指导。为此，我们提出了一个远程操作框架，旨在根据安装在Franka机器人夹持器上的基于摄像头的触觉传感器的数据为人类操作员提供触觉反馈。引入部分自主性以防止在执行任务期间抓取的物体滑落。值得注意的是，我们完全依靠低成本的现成硬件来实现经济实惠的解决方案。我们在真实硬件上使用三个不同的操作员，展示了该框架在九种不同物体上的多功能性，从刚性物体到柔软易碎物体。 一、介绍触觉传感器旨在复制机器的触觉，使机器人能够收集与其接触的物体的物理特性信息，包括纹理、形状和柔软度。这种触觉能力在对易碎物体进行精确而精细的操作时尤其重要，例如处理食品或易碎材料。在各种触觉传感器技术中[1]，基于摄像头的触觉传感器由于其高分辨率、稳健性、电路简单和低成本，最近引起了研究界的广泛兴趣 [2]与电子传感器相比，这种传感器更先进。这种传感器通常由可变形弹性体组成，并在其后方集成一个摄像头，用于捕捉接触过程中发生的变形的高分辨率图像。举几个应用例子，手部操作[3]、体积网格重建[4]，以及对软脆物体的操作[5]已在文献中使用配备基于视觉的触觉传感器的自主机器人实现。然而，在许多现实世界的应用中，人类指导仍然是必不可少的，以确保成功的结果。这种必要性出现在从意外故障中恢复、在高度非结构化的环境中操作或记录示例操作等场景中。 受上述观察的启发，我们的研究深入研究了远程操作场景，旨在将人类指导技能与安装在机器人末端执行器上的基于视觉的触觉传感器收集的触觉信息相结合。更具体地说，我们提出了一种新颖的触觉到触觉 (T2H) 算法，我们将观察到的触觉信息转换为用户远程操作控制器上接收到的振动。尽管触觉反馈已在文献中得到广泛应用，例如参见[6，7，8]，据我们所知，目前还没有现成的解决方案可以将基于摄像头的触觉传感器数据带入价格合理的消费级硬件中，用于远程操作机器人机器人。我们的框架旨在满足这一需求，通过提供一种易于部署的方式来远程操作配备夹持器和两个 DIGIT 触觉传感器的 Franka 机器人[9]，使用 Oculus Quest 2 控制器。夹持器。机器人末端执行器模仿手持控制器的 6D 速度，而触发按钮用于关闭和打开夹持器。触觉感知被转换成控制器感知到的振动幅度，让用户直观地感受到物体是否被抓取以及抓取的力度。此外，我们为框架配备了部分自主行为，一旦机器人抓住物体，就会自动检测并防止滑落。
具体来说，我们的贡献是：
二、相关工作远程机器人控制，通常称为遥操作，是一个活跃的研究领域，有各种方法可以最有效、最准确地实现这一目标 。10]。谢等人讨论了使用操纵杆作为控制界面 [11]。石黑一雄等人深入研究了外骨骼的应用[12]，而 Gliesche 的作品将键盘和鼠标与动觉设备进行了比较 [十三]。Nandikolla 等人表示，控制机器人的另一种方法是通过脑机接口 (BCI)，利用用户的脑信号指挥机器人，让他们以创新的方式与机器人互动 。[14]。虽然这些方法提供了先进的远程操作，但需要注意的是，它们通常需要昂贵的设备，并且需要专业知识和培训。此外，它们中的大多数都是针对特定机器人平台量身定制的。 另一方面，虚拟、增强和混合 (VAM) 技术提供了先进的沉浸式应用程序，可用于通过位置或速度控制器来操纵机器人，并且可以轻松适应不同的机器人平台 。15，16，17，18]。此外，VAM 框架已被引入，通过可视化机器人在交付任务中的状态和意图来促进人机协作 [19，20] .场景 [21]。 然而，据我们所知，这些 VAM 框架均未专注于使用触觉反馈来操纵柔软易碎的物体。我们的方法使用 VAM 框架控制器为用户提供通过触觉传感器记录的触觉。这种传感功能硬件成本低，同时提高了用户操纵的便利性，尤其是在处理易碎物体时。 人机交互中的触觉反馈 触觉反馈在实现机器人操控的精确度方面起着重要作用。它包含各种反馈选项和控制器，有助于提高用户对机器人状态和运动的理解。各种反馈都被归类为触觉。振动触觉反馈是一种振动，可以提供有关机器人是否离障碍物更近或更远的感官信息 。22，23]而挤压弹力带可以模拟抓握物体的感觉 [24]。六个自由度控制器施加阻力来引导机器人的运动，例如，当机器人偏离预定路径时进行干预 [二十五，二十六]。然而，这些解决方案高度专业化且成本高昂。此外，将引导力作为触觉反馈有时会导致用户和机器人之间产生混淆和冲突，而寻找平衡是一个活跃的研究领域 [二十七]。此外，触觉设备还包括配备阻力板的手套，以模拟握住物体的感觉 [二十八]，腕戴式触觉设备，为虚拟和增强现实体验提供无控制器触觉反馈 [二十九]，以及用于模拟与虚拟物体交互的设备，触觉反馈集中在手腕上 [三十，31]。 虽然这些应用专注于触觉反馈以提高精确操作，但很少有关于使用视觉传感器的研究（例如 DIGIT [9]、Minsight [三十二]或 GelSight [33] ) 作为触觉反馈的驱动器。Cao 等人 [三十四]使用机械臂中的视觉传感器来评估材料特性、表面特性、粗糙度和摩擦力，并将其转换到反映该材料特性的触觉屏幕。 在我们的论文中，我们采用了不同的方法。首先，我们的解决方案使用 VAM 控制器和视觉传感器，这些控制器和传感器是市售的、价格合理的，并且不是机器人专用的。接下来，我们使用这些视觉传感器将触觉反馈与机械臂抓取的物体上施加的力的大小相关联。这有助于操作员了解对物体施加了多大的力，防止不必要的物体压缩而导致物体损坏，同时也防止在施加的力不足时 滑落。 三、问题陈述和方法概述本研究的主要目标是开发一个遥操作框架，利用现成的、经济高效的硬件来操纵可能很精密的物体。具体来说，该框架应实现以下目标：i）经济高效的遥操作，即实现基于低成本和商用硬件组件的系统，提高其可承受性；ii）精密物体操纵，即能够精确、轻柔地操纵易碎物体；iii）用户友好界面，即为用户设计直观的界面，确保易用性，并降低不同专业水平操作员的学习曲线；iv）实时控制，即提供无延迟的控制和反馈机制。 为了实现上述目标，我们提出了图1所示的 T2H 框架 。具体来说，我们考虑在夹持器上配备现成的基于视觉的触觉传感器的机器人机器人，以及能够向用户提供振动反馈的控制器。在我们的设置中，我们采用以下商用和低成本设备：DIGIT 触觉传感器[9]用于机器人，Oculus Quest 2 控制器用于远程操作。触觉传感器数据基于低计算图像处理转换为振动反馈，使用户能够感知到对操作物体施加的压力感。同时，控制器的线速度和角速度转换为机器人末端执行器的速度命令，为用户提供反应灵敏、直观的界面。此外，我们设计了一种部分自主行为，以主动防止操作过程中物体滑落。在实践中，这需要在检测到自主滑落时自动收紧抓握，确保牢固握住物体。触觉反馈和自主行为之间的协同作用使用户能够轻松操纵精密物体（如第五节所示 ），从而降低了这些物体 四、T2H 框架所提出的 T2H 框架包括以下关键模块，这些模块将在本节的其余部分详细介绍：i）从触觉传感器到遥控操作控制器的映射， ii）从遥控操作控制器到机器人命令的映射，以及iii） 用于防止滑落的部分自主性。 图2显示了通信架构以及信息流， 该架构完全集成在 ROS 中间件中。我们利用 Unity Robotics 工具箱3 来实现 Unity 和 ROS 之间的通信。具体来说，它允许我们创建一个部署在 Oculus 耳机上的自定义 Unity 应用程序，并能够向 ROS 发送/接收信息。通过这种方式，可以向遥控控制器提供触觉反馈，同时还允许将控制器的命令转发给机器人。在所提出的框架中，操作员可以直接查看操作环境，无需佩戴耳机。但是，计划在未来的工作中开发一个额外的图形用户界面 (GUI) 来进一步增强人类感知。
从触觉传感器到触觉反馈的映射为了根据触觉传感器的图像确定触觉反馈，我们扩展了之前工作中介绍的处理方法。5]。基本思想是计算每个传感器图像相对于背景参考图像的像素变化，背景参考图像可由操作员随时设置，然后将振动反馈与改变的像素数相关联。一般来说，随着抓握力的增强，与背景图像不同的像素比例也会增加，从而产生放大的触觉反馈，并应将其传达给操作员。
图 3：抓紧开心果时触觉图像（**行）与相应变化图像（第二行）的表示。场景和背景显示在左侧。
从遥控控制器到机器人的映射从遥控控制器到机器人的映射模块的目的是用机器人复制操作员执行的动作。只要A按钮保持按下状态，命令的转换就会持续，也就是说，如果按钮没有按下，机器人就会收到零速度命令。按下按钮A时，遥控控制器的线性和旋转速度都会映射到机械手低级笛卡尔控制器的输入中。
。
六结论在本研究中，我们提出了新颖的 T2H 框架，该框架基于基于视觉的触觉传感器为远程操作提供触觉反馈。我们使用低成本的消费级硬件实现了 T2H，并公开了源代码。该框架利用触觉图像与背景参考图像相比的像素变化来提供振动反馈，增强操作员在对象操作过程中的感知和控制。此外，部分自主功能旨在防止操作任务期间打滑。该系统的有效性已在具有各种物理特性的一系列物体（包括易碎物品）上得到证实，且不会造成损坏。在不同经验水平的操作员之间确认了可用性。未来的工作旨在通过预测人类意图引入主动行为，将 GUI 与耳机集成，并开展涉及多名操作员的广泛用户研究。 扫描下方二维码咨询 机器人相关具体对接（相关技术、商务、渠道、加入Franka机器人群等） ————全文完———— 关于Franka机器人 Franka Robotics Franka机器人原名Franka Emika，思灵机器人收购后更名为Franka Robotics，总部位于慕尼黑，陆续推出了Franka Panda，FR3等机器人产品。PNP机器人是思灵机器人和Franka机器人中国官方渠道伙伴，关注PNP机器人关注Franka. 推荐参考：Franka机器人中国业务全新启航——Franka机器人的10个基本问题，一文掌握归来的力控机器人最新产品和趋势 Franka机器人在具身智能方向展现了强大的技术优势。其七轴力控系统极大提升了机器人与环境的交互能力，使其在复杂场景下表现出类人般的精细动作和柔顺性，完美适应动态和未知环境。Franka还为开发者提供了FCI接口，可实时控制每个关节，实现高精度定制开发，支持各种先进的人工智能算法与具身智能的研究需求。 推荐参考：应用场景：Franka机器人9大应用场景——反应出的七轴力控机器人哪些技术维度？ 作为世界知名大学的通用型科研平台，Franka机器人在哈佛、斯坦福等顶尖学府广泛应用，成为前沿研究的首选工具。许多最新的科研突破，尤其是在机器人感知、学习和动作控制领域，都是通过Franka机器人进行验证，展现了其在具身智能研究中的无可替代性。 推荐参考：斯坦福大学李飞飞携Franka机器人创业空间智能提ReKep 六轴机器人和七轴机器人在设计、功能和应用场景上存在明显区别。为什么六轴机器人当前仍然是工业应用主流？七轴机器人的逐渐增长的市场需求在哪里？ 推荐参考：未来七轴机器人会占据主流？深度解析具身智能方向当前六轴机器人和七轴机器人的区别，七轴力控机器人发展会加快吗？ 关于集智联机器/PNP机器人 集智联机器人， 英文名字：Plug & Play Robotics简称PNP机器人， 取义为“集中智慧互联，达到即插即用”,目标用先进的机器人技术实现机器人在各个行业的快速使用。集智联机器人团队成员均来自于国内外机器人行业知名企业，具有较强的学术背景。 PNP机器人是Franka Robotics中国区域**合作伙伴，和Franka机器人深度合作，聚焦机器人即插即用（Plug & Play）技术和具身智能通用解决方案。 www.pnprobotics.com (PNP机器人官方网站) Franka技术咨询/销售/合作180 1817 5378（微信同号） 扫描二维码
|
图 1：所提出的 T2H 远程操作框架概述：利用基于摄像头的触觉传感器获得的数据通过 T2H 算法进行处理，通过远程操作控制器向操作员提供由此产生的触觉反馈，并生成机器人的命令。
图 2：T2H 远程操作框架的通信架构。
图6：T2H 框架验证的实验设置。所需运动以绿色箭头突出显示。
图 7：一组物体以及相应的触觉数据。
图 8：专家用户在操作葡萄时获得的触觉反馈，在未启用部分自主权（顶部）和启用部分自主权（底部）的情况下。