Franka 科研版机器人二次开发和研究案例——加州大学伯克利分校 人工智能研究中心发表时间：2024-08-03 18:12
集智联机器人已经正式成为德国 Franka Robotics GmbH中国区**战略合作伙伴，负责Frank Robotics在中国区域的关于Franka机器人的销售、渠道拓展、技术支持等工作。 本次系列介绍Franka科研版机器人FR3在科学研究中的案例。本文为中文翻译，请参考原文，论文解释权和所有权属于原作者。 LLARVA：视觉-动作指令调优增强机器人的学习 加州大学伯克利分校 人工智能研究中心 Project Webpage: https://llarva24.github.io/ar Xi v: 24 06 .1 18 15 v1 [c s. RO ]2 摘要 近年来，指令调谐的大型多模态模型（lmm）在一些任务上取得了成功，包括 图像字幕和视觉问题回答；然而，利用这些模型对机器人技术来说仍然是一个 开放的问题。以前用于机器人应用的lmm已经在语言和动作数据方面进行了广 泛的训练，但它们在不同环境下的泛化能力往往不被期望。为了解决这个问题 , 我们引入了LLARVA，这是一种使用新的指令调整方法训练的模型，它利用结 构化提示来统一一系列机器人学习任务、场景和环境。此外，我们还表明，预 测中间的二维表示，我们称之为视觉痕迹，可以帮助进一步对齐机器人学习的 视觉和动作空间。我们从开放的x-实施例数据集中生成8.5M的图像-视觉跟踪 对，以预先训练我们的模型，我们在RLBench模拟器和一个物理Franka 7自由度机器人中评估12个不同的任务。我们的实验产生了很强的性能， 证明了LLARVA使用二维和语言表示，与一些当代基线相比表现良好，并且可以 在各种机器人环境和配置中推广。 关键词：lmm，视觉动作指令调整，机器人学习 1介绍 最近，指令调优的大型多模态模型（LMMs），如指令BLIP[1]、DouultGPT[2]、LLaVA [3,4]、 PALM [5]等已经在各种视觉和语言任务上展示了***的性能。然而，现有的用于机器人 [6,7,8,9]的lmm并不总是在各种具体化设置中表现出相同的成功和一致性。这可能是由于在机 器人技术中遇到的独特挑战，如现实世界环境的可变性，机器人之间的差异， 以及可靠地控制 动作的需要。由于lmm已经被证明是成功的，部分原因是由于多模态指令调优，因此在机器人技 术设置中利用这种技术也是很自然的。在这里，我们提出了一种视觉-动作指令调优方法，它可 以弥补语言模型的基本训练前目标——下一个单词预测——和使模型能够处理各种机器人设置 的目标之间的差距。 在这项工作中，我们介绍了我们的机器人视觉和动作（LLARVA）的大型导航模型，这是一个用 于机器人应用程序的开源指令调谐LMM，可以在各种环境和机器人配置中有效地推广。我们的关 键思想是制定一种新的指令提示符，它将机器人类型、任务、场景配置和控制机制封装在一个 适合当代lmm的自然语言前缀中。我们提出了一个指令调优过程。
图1：LLARVA的概述。我们介绍了一种新的指令调优方法，它利用结构化提示来统一一系列机器 人学习任务、场景和环境，以及二维视觉轨迹，以进一步对齐视觉和动作空间。该模型通过一 个语言指令工作，该指令包含机器人模型、控制模式、机器人任务、本体感受信息和预测步数 , 并输出下一个机器人动作(s)和剩余部分的视觉跟踪。 针对机器人领域量身定制：当给出一个描述机器人模型、控制模式、机器人任务和本体感受信 息的指令时，该模型需要根据给定的自然语言提示来预测未来的行动。这种架构允许我们利用 结构化的语言提示作为机器人感知和控制的“通用语 ”（见图1） 。然而，对齐视觉和动作模式 以产生有意义的机器人输出仍然不是一项简单的任务。虽然最近的机器人模型使用了体素和点 云等三维表示来克服这一问题，但这些表示很难合并到大多数现有的开源lmm中，因为它们通常 接受单一的图像加语言作为输入。 由于这些原因，我们使用了二维图像，它很容易缩放并与现 有的lmm集成。我们发现，预测一个中间的二维表示，我们称之为视觉痕迹，可以帮助在不同的 机器人和任务配置中对齐视觉和动作空间。特别地，我们生成了一个末端执行器的二维视觉轨 迹（投影），并迫使模型与机器人的下一个动作一起预测这个轨迹。这种路径点预测有助于将 每个机器人动作与末端执行器的位置对齐，允许模型专注于细粒度定位，从而对机器人动作进 行更准确的预测。为了实现这一点，我们使用开放的x-实施例数据集（OXE） [10]，使用这样的 视觉轨迹构造指令，仔细地对动作空间、机器人类型和控制类型进行分类。通过实证研究，我 们表明，我们使用结构化提示的视觉-动作指令调优方法可以导致各种机器人环境和配置的泛化 。此外，我们还发现，预测视觉痕迹可以帮助进一步对齐视觉和动作空间。我们评估了LLARVA 在RLBench模拟环境中的18个不同的任务，以及使用一个真正的7自由度Franka 科研版 机器 人的拾取、堆叠和拆卸任务。最后，我们评估了我们的模型在RLBench中的两个机器人上的四个 任务上的泛化。我们表明，使用二维和语言表示的LLARVA与几个当代基线相比表现得很好。 2视觉动作指令调整 2.1前期准备工作 lmm被设计为同时处理多种数据模式，如图像及其相应的文本描述。每个模态都被编码到一个共 享的嵌入空间中，然后利用由 θ参数化的语言模型f进行推理。具体来说，一个图像是用一个预先训练过的视觉编 码器进行编码的，用ϕ参数化表示为v。相应的文本描述使用固定的语言编码器进行标记化和编 码。给定一个输入图像o和一个语言任务描述l，语言模型生成一个文本响应R，如下： R =f θ (vϕ(o),e γ (l)). 在本文中，我们在机器人事件的背景下使用了一个LMM，其特征是视觉观察的时间序列o1:N和本 体感觉状态1:N.这里，N表示某一集的长度。值得注意的是，在机器人应用程序的lmm领域中， 输出R通常包含一个事件的一个或多个预测动作。接下来，我们将描述我们的LLARVA模型。 2.2 LLARVA模型 二维视觉痕迹。视觉痕迹在我们的视觉-动作指导方法中起着关键的作用。二维轨迹的选择是为 了匹配基于图像的大型机器人数据集的高可用性，如OXE，但我们的方法也可以在三维数据中实 现。为了实现视觉输入和机器人动作之间的对齐，我们预测视觉轨迹作为一个辅助任务，因为 我们发现这有助于获得更好的细粒度定位，从而更准确地预测机器人动作。 我们将二维视觉轨迹定义为一个二维空间中的一系列坐标（x，y），它与输入的图像o对齐t在 时间步骤t。这些坐标表示夹持器（或端部执行器、手等）的轨迹。在整个事件集。时间步长t 处的视觉轨迹为： Pt:N= {(xi,yi) | i = t,t + 1, ...,N} (1) 这里，（xi,yi)表示情节的整个视觉轨迹中的第i-个坐标，N表示情节中的时间步长。我们注意 到，语言模型解码器在将多模态输入转换为可操作的输出时是至关重要的。通过利用共享的视 觉作用嵌入空间，我们的解码器产生了机器人系统可以使用的响应。 输入。对我们的LLARVA架构的输入包括两个组件。首先，我们有视觉观察ot，一个在时间步长t 时捕捉环境状态的图像。第二，我们有语言指令输入lt，它提示模型预测特定数量的后续步骤 ，整合具体化信息，如机器人、控制模式和先前的本体感受状态以及任务指令。具体来说，我 们制定了一个指令模板，包括机器人类型R（例如，Franka，UR5，xArm）、控制模式M（例如， 关节或末端执行器控制、绝对或增量控制）、任务指令I（例如，“打开抽屉 ”）、本体感觉信 息S（例如，位置或速度），以及指示未来要预测的动作数量的查询，表示为n。完整说明书说 明如下： lt=“你是一个使用M]控制的机器人。任务是I，前面的步骤是S。你能预测出末端执行器的运动 轨迹和下一步的动作吗？” 为了开发一个通用的和自适应的框架，能够适应对不同时间范围的任务的训练，我们增加了本 体感受信息输入的灵活性。具体来说，这些信息的结构为S=t-h :t，表示过去的关节和/或抓手 状态的序列。这里，h是模型之前设定的时间步数，是根据任务决定的。这种方法确保了在任务 持续时间范围内的鲁棒性和适应性，从而能够对短期和长期目标进行有效的培训。 架构我们的目标是开发一个能够预测机器人动作的模型，该模型在各种机器人任务、场景和环 境中表现出泛化。模型体系结构如图2所示。我们的指令调谐模型π 旨在利用当前的视觉观察ot 以及附带的语言指令lt作为输入。随后，它预测了下一个n步A的动作序列t:t+n-1以及末端执行 器P未来的二维视觉痕迹t:N，从当前的步骤一直延伸到这一集的最后一步： π (ot,lt) → At :t+n-1, Pt:N(2)
在我们提出的管道中，输入图像经过冻结视觉编码器v的处理ϕ ( ) , 提取视觉特征，并通过MLP层H投射到潜在空间。这将视觉特征与语言令牌的维度相一致。同时，使用语言编码器对语言输入进行标记化。视觉标记和单词标记被连接并输入LMM f的自回归变换器 θ , 它们经过训练以进行下一个标记预测。 2.3培训 图2：LLARVA的架构。 同时保持视觉编码器和局域网-guage编码器冻结，我们使用指令调整训练自动回归变压器使用标准LoRA适配器[11]在训练前和 微调阶段。每个图像ot因为有一集是伴随着一个语言指令lt，真相注释由机器人动作组成 Aˆt:t+n- 1和视觉痕迹户t:N.接下来，给定ot和lt，我们预测了下一步的动作和二维的视觉痕迹 。具体来说，对于响应R，我们通过以下方程式计算目标动作和目标视觉轨迹的概率：
(3)其中， θ表示可训练的参数，xi为当前预测令牌，n≤N。为了计算损失，我们使用具有这些概 率的标准交叉熵函数。接下来，我们将描述我们的两步训练过程，大规模的预训练和对下游任 务的微调。 **步：训练前的视觉动作指导。我们从一个已经经过过视觉语言（VL）任务的预先训练的LMM 开始。为了泛化机器人的任务、场景和环境，该模型在我们的大规模视觉-动作指令数据集上进 行了预先训练。由于该数据集的多样性，我们的模型同时训练了多种提示变量的配置，如机器 人类型R、控制模式M或任务指令I1.使用语言作为输入可以让我们能够弥补这些不同配置带来的 子集之间的基本差距。这种广泛和多样的训练过程可以建立一个强大的LMM框架，可以进一步微 调和调整，以处理各种机器人设置。我们注意到，这个训练前阶段不同于标准的LMM训练前阶段 。与在VL中使用投影仪对齐这两种模式相反，这里我们对齐这两种模式以泛化机器人配置。 步骤2：对下游任务进行微调。与其他领域不同的是， 由于对现实世界物理特性的实际考虑，机 器人模型必须先对下游任务进行精细的评估。因此，我们使用一个小数据集对预训练模型进行 微调，并固定配置第2.2节中定义的因素（例如，指令具有相同的机器人类型R、控制模式M等） 。在看到了不同的数据样本后，模型可以很容易地适应特定的下游设置，类似于它在预训练过 程中已经遇到的情况。 2.4视觉行动指令数据集 为了预训练LLARVA，我们生成了8个。来自开放的X实施例（OXE）数据集[10]的5M图像-视觉跟 踪对。如补充图5所示，我们的数据集由每个子集的配置详细信息可在补充的B节。 方法任务打开，关闭，把，推，扫滑动，关闭螺丝，到达和堆叠抽屉烧烤，敲钱按钮，簸箕 块，罐，葡萄酒拖块
拉瓦 60 80 56 44 100 28 8 12 56 84 52 0 表1：RLBench多任务设置的成功率（%） 。我们对12个任务的预训练模型进行了微调（使用视觉 跟踪预测），并对每个任务进行了25集的评估。每个评估集的失败分为0分，成功分为100分。 我们用三维信息来屏蔽方法。 来自37个OXE子集的不同图像集合和13个不同的机器人，包括广泛的任务、环境、相机（以及图 像）和末端执行器，以及其他因素。对于一集中的每一幅图像，我们计算末端执行器P的二维视 觉轨迹t:N.为此，我们使用了一个边界盒检测器[12]，它专门在OXE中的每个不同的末端执行器 上进行训练。边界框的中心点用于更简单的表示，步骤t的视觉轨迹是从图像t到图像N的所有中 心点的有序列表。该数据集的更多细节见补充部分的B节。 3实验和结果 我们评估了RLBench中12个任务的LLARVA，并与现有的二维和三维模型进行了比较。此外，我们 还测试了一个真正的7-自由度的Franka科研版本机器人。 3.1实施细节 LLARVA使用PyTorch [13]和官方的LLaVA 1.5 [4]实现实现。基本的LMM使用了一个Llama2 7b参 数的LLM，默认的图像投影层，和CLIP ViTL/14视觉编码器。我们对8个NVIDIA A6000gpu进行了 预训练、微调和评估。其他信息，如培训和微调食谱，在补充部分C。 3.2 RLBench评估 实验设置。我们使用与[7]中相同的18个RLBench任务进行评估。在微调阶段，选择前视图为ot , 以前5个关节位置为条件。h = 5).LLARVA预测视觉轨迹和下一步动作。n = 1)，它是一个由7 个联合速度和一个二进制夹持器状态组成的8维向量。为了进行评估，我们在验证集中每个任务 取25集，每集失败0分，成功100分。我们使用5个种子，平均得到最终的成功率。 基线我们使用二维和三维信息将LLARVA与几种基线进行了比较。ImageBC（CNN）和Image-BC（V iT） [14]是使用CNN的二维语言条件模型，分别使用ViT视觉编码器，在PerAct [7]中报道。 PerAct [7]模型使用体素作为三维输入来计算动作，C2FARM-BC [15]也是如此。与三维工作线 相比，我们的输入只使用一个相机视图，没有任何三维信息。 结果我们在表1中显示了12个任务的结果；额外的长期任务结果（如那些有多个步骤或子任务的 结果）见附录A。我们的模型完全优于其他基于二维的方法：平均成功率为43.3%，而Image-BC （CNN）和Image-BC（ViT）的平均成功率均为1.3%。此外，LLARVA与，甚至 击败基于3d的方法，如C2FARM-BC，平均22.7%，和PerAct，它达到
图3：我们可视化了地面真相（黄线），并预测了下游任务微调后的二维视觉轨迹（绿色虚线） 。我们预测的二维视觉轨迹为实现目标提供了合理的路线规划，甚至有时会偏离地面真相。 表2：LLARVA在一个真实机器人上的成功率（%）。我们比较了LLARVA与RPT和Octo，通过取每个 预先训练过的模型，并在同一组演示上对它们进行微调。LLARVA在所有任务上都优于其他任务 。 55.3%.我们注意到，这里的二维方法还包括那些使用来自不同相机视图的多个输入图像的方法 , 而LLARVA只使用一个相机视图，并且仍然显示出很强的性能。此外，我们观察到，尽管仅使 用一个相机视图导致一些遮挡情况，LLARVA仍然可以在这种情况下成功，显示了我们的模型的 适应性。 3.3真实机器人评估 实验设置。按照[16]的设置，我们使用了一个7自由度的Franka 科研版 机器人和默认的1自 由度平行颚夹持器。输入图像ot来自右侧的RGB摄像头。我们评估了三个任务：“挑选立方体” 、“取消立方体 ”和“堆栈立方体 ”。“在微调过程中，我们对每个任务使用相当数量的片段 作为[16]，都有/没有视觉跟踪联合训练。我们对前16步的关节位置进行了条件处理，并对以下 16步的预测和执行7维三角洲关节位置和一维夹持器状态。我们取16次评估RPT和LLARVA，10次 评估Octo，平均5次以获得最终成功率。 基线我们比较了LLARVA与RPT [16]和Octo [8]，这两种方法都声称了训练前给下游任务带来的 好处。RPT使用类似bert的[17]公式，必须另外对域内数据进行预训练，而Octo在混合数据集 OXE上进行预训练，并将各种配置映射到相同的动作空间。相比之下，LLARVA通过统一的语言模 板进行预训练，以更多样化的方式，没有强加单一的动作空间。 结果计算结果如表2所示。LLARVA在所有任务中都获得了最高的成功率。此外，与RPT相比， LLARVA只需要一个统一的预训练模型，即
表3：左：训练前教学和二维视觉追踪的效果。我们取消了RLBench中的指令前训练（第2.3节中 的步骤1）和四个随机任务的视觉痕迹。 右图：跨不同机器人进行的评估。我们展示了在RLBench中随机选择的四个任务的成功率（%） 。使用相同的训练食谱，我们用视觉跟踪但不同的机器人来微调我们预先训练好的模型。为了 进行评估，我们每个任务取25集，每个任务的失败得分为0，成功得分为100。 首先对我们的数据集进行指令，然后对每个下游任务进行微调。相比之下，RPT在适应每个单独 的任务之前都需要单独进行预先训练，这就带来了额外的时间和计算成本。此外， 由于Octo模 型在训练前阶段没有遇到过联合位置控制，因此难以适应使用不同的控制模式的下游任务。 LLARVA在适应下游任务的效率和与不同控制模式的兼容性/泛化方面都表现出更好的质量。 机器人规划与二维视觉轨迹。为了对齐视觉和动作空间，我们预测了可爱者的视觉痕迹，这迫 使模型发展出一个更全面的理解。在图3中，我们通过可视化跟踪显示，我们的模型可以规划备 选但正确的路径。例如，在左上角的图像中，抓手采取了一条不同的路径（向左走），而不是 地面的真相（向右走），但它仍然成功地破坏了立方体。图3还定性地显示了视觉跟踪可以通过 作为记忆缓冲来补偿模型可以处理的有限数量的机器人状态。例如，在图3的右下角中，任务是 “按栗色按钮，然后按绿色按钮 ”。可以看出，视觉轨迹帮助模型在完成**个子任务后达到 “绿色按钮 ”。 3.4 Ablations 教学前训练的效果。我们取消了第2.3节中的教学前培训，以评估其效果。如表3所示，无论视 觉痕迹如何，我们的模型在四个任务上都可以实现平均17.5%的改进。我们相信，这一改进是由 于我们多样化、大规模的预训练，它利用语言指令创建一个强大的机器人LMM主干，能够成功地 适应下游机器人设置。 二维视觉痕迹的效果。为了测试视觉轨迹的重要性，我们对有和没有视觉轨迹预测任务的模型 进行了微调。表3显示，这些跟踪在四个任务中提供了15%的平均改进。特别是，在频繁遮挡物 体的任务中，如“烤架下的肉 ”和“滑块 ”。“我们注意到，使用预训练痕迹和二维视觉痕迹 可以帮助模型即使在目标对象不可见的情况下完成任务。图3中的“把钱放在顶层 ”的例子证明 了这一点：架子是不可见的，一旦把手移动到柜台后面，它就被遮挡了。 跨机器人推广。为了评估LLARVA在不同机器人中的泛化，我们在RLBench中随机选择了四个任务 , 并对Franka机器人之外进行微调和评估。如表3所示，LLARVA在两个机器人上都取得了相似 的结果，这进一步证明了我们的大规模视觉-动作指令预训练所带来的泛化。 4相关工作 指令调优。LLMs [18,19,20]通常是在一个大型的文本语料库上进行预训练的，其无监督的训练 目标是下一个单词预测。指令调优（IT）有助于弥合语言模型的下一个单词预测的基本的训练 前目标和用户的目标，让模型执行特定任务之间的差距，输入-输出对的输入包括作为指令的文 本。火烈鸟[19]、GPT-4 [21]和BLIP [22,23]是早期lmm的先驱，LLAVA [24]通过提示GPT-4的 图像-标题对生成多模态指令调优数据。许多最近的VL模型[1,25,26,27,28,29]都遵循了这种方 法，因为它已经被证明可以提高零射击和少镜头任务[2,30,31]的泛化。与这些工作不同的是， 这里我们从一个自定义模板构建指令，该模板填充关于机器人事件的相关信息。我们的指令通 过允许模型基于先前的机器人状态预测下一个动作来捕捉机器人事件的基于时间的性质。 有语言条件的机器人代理。最近的机器人语言条件模型已经尝试了不同的方法，如生成视频预 训练（GR-1 [32]）、合并3d信息的标记化体素（PerAct [7]）、互联网规模VL数据的协同训练 （RT-2 [9]），以及使用变压器架构的大规模多样性预训练（Octo [8]）。然而，每种方法都 有明显的缺点，我们试图在模型中解决这些缺点。例如，GR-1在进行微调时需要进行架构更改 , 以考虑到不同的动作空间，而LLARVA更灵活，不需要这样的更改。此外，PerAct依赖于跨环 境中大规模不可用的三维信息，这就是为什么我们在实现我们的模型时选择使用二维图像的原 因。RT2在一个单独的基于web的数据集上使用协同训练，而我们在一个更小、多样化的视觉动 作指令数据集上更有效地使用指令调优来创建一个强大的主干。最后，Octo使用一个专门的头 部来预测动作，而我们模型中的语言头部被训练用“ 自然 ”语言预测机器人的动作和视觉痕迹 ; 这是通过使用语言指令作为一种统一的方式来实现的。 使用对象表示法的轨迹预测。轨迹建模已经是许多机器视觉应用程序的一个基本方面。许多以 前的工作都研究了对象表示对轨迹建模的使用，从经典的图像理解任务[33,34,35]到以对象为 中心的视频理解具有对象跟踪和交互的[36,37,38,39,40]，甚至是场景图[41,42,43,44]。最近 , 人们对视觉和语言的轨迹建模有效性越来越感兴趣，如参考表达定位任务[45,46,47]和使用 文本提示[48,49]的语义分割。特别是，本地化的叙事数据集[50]实现了一项新的任务， 旨在将 一个长而详细的图像标题与人类的轨迹轨迹对齐。我们的工作采用了一种不同的方法，因为我 们使用lmm来利用隐式末端执行器对象表示的二维视觉跟踪的概念。 5结论 我们提出的模型，LLARVA，代表了机器人指令调整lmm应用的一个重大进步。通过利用结构化的 提示来统一一系列的机器人配置，并引入视觉轨迹的概念，我们展示了一种能够更好地对齐视 觉和动作模式的泛化方法。我们对来自开放x实施例数据集的85M图像-视觉跟踪对进行了广泛的 训练，并在模拟和真实世界设置中进行了评估，突出了该模型与现有方法相比具有的优越性能 和泛化能力。这项工作标志着lmm与机器人技术的集成向前迈出了有意义的一步，有望在各种机 器人应用中提高适应性和效率。 6.限制和未来的工作 虽然LLARVA为在不同环境中增强机器人学习提供了实质性的好处，但认识到我们的方法附带的 某些局限性是很重要的。首先，甚至 虽然LLARVA已经显示了使用我们的教学语言格式的泛化能力，但我们认为未来的指令应该包括 关于现实世界的3-D信息。其次，lmm必须能够利用深度或体素处理多个视图，这可能需要使用 交错令牌，就像在一些现有的lmm中所做的那样。因此，我们认为 下一个机器人lmm应该利用这项技术，我们把它留给未来的工作。这为未来的下一代机器人指令 调整lmm的工作提供了一个很好的机会。 确认信息 我们要感谢傅克宏对数据收集的帮助，以及王小龙和伊利佳 ·拉多萨沃维奇的有益反馈和讨论 。我们也感谢妮可 沃尔特斯创造了我们可爱的标志。 有关“LLARVA ”的补充资料 在这里，我们提供了关于我们的模型的紧急属性、我们所构建的数据集和实现细节的附加信息 。具体来说，A节提供了额外的实验结果，B节提供了关于我们构建的视觉-动作指令数据集的细 节，C节提供了额外的实现细节。 一个附加的实验结果 A.1额外的实验 任务 推 的复数 方法 打开 的抽 屉 转动 轻敲 放置 钱 打扫 畚箕 滑动 块 关闭 罐子 螺丝钉 电灯泡 烤肉
LLARVA 12 52 0 0 0 0 0 0 0 表4：RLBench多任务设置的成功率（%） 。我们对18个任务的预训练模型进行了微调（通过视觉 跟踪预测），并对每个任务的25集进行了评估。每个评估集的失败分为0分，成功分为100分。 我们用三维信息来屏蔽方法。 在RLBench上进行了完整的仿真结果。在[15,7]之后，我们在18个任务上评估了LLARVA ， 综合结果见表4。LLARVA比二维方法有了显著的改进，并且在大多数方法中显示出与三维方法相 当的性能工作然而，对于更复杂、涉及多个子步骤或延长持续时间的“长期 ”任务，LLARVA表现 出与其他方法类似的局限性。具体来说，对于“放置杯 ”任务，成功是通过在架子上放置特定数 量的杯子来定义的，我们的实验显示，模型通常成功地放置了**个杯子，但随后变得混乱和随 机游荡。正如在主要论文中所讨论的，虽然二维视觉痕迹的引入为模型提供了一种基本的记忆感 （如在“按钮 ”案例中所示），但在 这个记忆的长度沿着时间轴仍然受到限制。这个问题可 以通过合并包含来自更多以前步骤的信息的附加条件来部分解决，但是， 它将对视觉语言模型 （vlm）能够处理的**上下文长度提出更大的要求。幸运的是，最近的一些工作，如[51]，已 经证明了具有长上下文长度的vlm的有前途的解决方案和性能。 针对特定于行为的任务的其他探索。为了对LLARVA进行更全面的评估，我们探索了RLBench中具 有特定行为模式的其他任务。表5给出了5个额外任务的结果，使用了与主论文中相同的微调和 评估设置。这5个任务被分为两种类型：“弯曲 ”
表5：RLBench中更多任务的评估结果。我们在RLBench中探索了其他任务，它们可以进一步归类 为“弯曲任务 ” (即。机器人手臂应该抓住目标目标，然后弯曲并向下移动目标)和“放置任务 ” (即。机器人手臂应该抓住目标物体，抓住并移动到一个指定的区域)。 任务 ”和“安置任务 ”。在“弯曲任务 ”中，机器人手臂需要抓住目标物体并将其移动到一定 的高度。LLARVA在这些任务上展示了出色的性能。在“放置任务 ”中，机械手臂必须抓住目标 对象并将其移动到预先指定的区域。LLARVA总体上表现良好，除了在“抓取 ”或“放置 ”阶段 需要精细的操作。例如，在“放刀 ”任务中，大多数失败的发生是因为钳子错过了薄而精致的 刀柄。相反，在“放伞 ”任务中，大多数故障发生在“位置 ”阶段，因为伞架有一个非常小的 孔，在插入时需要精确定位夹子。这些问题主要是由于缺乏来自视觉观察的详细信息，因为 LLARVA只使用了一个单一的视图图像 128x128分辨率。我们未来的工作将试图使我们的VLM能够处理多个视图图像，或者使用一个信 息更丰富的视觉编码器，从而更好地捕捉与任务相关的特征。 .2出现的属性
图4：紧急属性。顶部：这一集的任务是“把牛排从烤架上拿下来 ”。正如我们在第三张图片中 看到的，LLARVA在**次尝试中没有拿起牛排。但是，它再次尝试并第二次成功，显示了多次 尝试任务的能力。 底部：用作模型输入的单个视图显示了一个保险箱的顶部和背面。机器人的任务是将钱堆从保 险柜的顶部移动到保险柜内的一个架子上。LLARVA仍然可以把钱转移到保险箱里正确的架子上 , 尽管摄像头的视野没有显示出架子。失败后多次尝试。图4的最上面一行显示了一个模型未能 拾起对象的例子，然后在结束执行器在没有抓住对象的情况下返回视图时重试。具体来说，第 三幅图像表示末端执行器再次可见的时刻，然后LLARVA会再次尝试完成任务。这种行为源于这 样一个事实：此时输入到LLARVA的指令提示与**次尝试开始时的提示相似，主要的区别在于 提示中包含的之前的操作/位置。我们强调这是一个有趣的突发属性，因为训练数据不包括任何 具有此类行为的例子。 处理阻塞的视图。在LLARVA的训练前和微调阶段，我们只使用单个相机视图来提供视觉输入。只使用二维输入带来了一个挑战，因为机器人任务需要非常准确的三维行动预测。 该模型应该能够看到目标的确切位置，同时也有一种深度感，这是其他工作通常通过使用多个 相机视图或三维表示来实现的。我们注意到， 由于当前开源lmm的输入限制，我们的模型使用了 单一的相机视图。这些限制当然可以被克服，并留给未来的工作。 当场景中的对象相互遮挡时，使用单个相机视图会提出进一步的挑战。然而，我们发现，即使 在这些封闭的情况下，LLARVA通常也能完成任务。 例如，如图4的第二行所示，任务是“把钱放在顶部架子上的保险箱里 ”。摄像头的视图只显示 了保险柜的顶部和背面，这就足够从保险柜的顶部取钱了。然而，保险箱的顶部架子是不可见 的，而且LLARVA仍然可以预测正确的行动，把一堆钱放在那里。这个例子表明，在某些情况下 , LLARVA可以在尽管有视觉障碍的情况下工作，我们认为这部分可归因于视觉痕迹的引入。我 们假设，理解和预测视觉轨迹为模型提供了关于在存在这种闭塞时成功的末端效应器轨迹的信 息。
图5：数据分布。我们在开放x实施例[10]构建的数据集上对LLARVA进行视觉动作指令预训练， 包括8.5M图像-二维视觉跟踪对。 B其他数据集详细信息 在这里，我们提供了关于我们所构建的数据集的更多信息。 数据分布。正如在本文中所提到的，我们从Openx-实施例（OXE） [10]的一个子集来构建视觉- 动作调优数据集。我们排除了图像质量较差、图像分辨率较小、动作空间模糊的OXE子集，或具 有不同机器人形态的OXE子集，如自主移动机器人（amr，涉及运动），得到8.5万图像-文本对 , 其分布如图5和表6所示。总的来说，我们确保所得到的数据集包含使用末端执行器控制和联 合控制的[10]子集，除了包括绝对和增量控制模式。
表6：关于视觉-动作指令调优数据集的更多统计数据。
图6：来自我们构建的视觉-动作调优数据集的一些示例。我们可视化了在LLARVA的预训练阶段 使用的指令调整数据集的一些样本，并使用了相应的机器人类型和控制模式。 二维视觉痕迹的生成。二维的视觉痕迹可以看作是末端的痕迹 效应器在图像平面上的跨时间位置。为了生成这些轨迹，我们训练了一个目标检测器从输入的 二维图像中定位末端执行器。我们使用更快的R-CNN [52]的探测器2[12]实现来获得包围末端执 行器的边界框，然后使用边界框的中心点作为末端执行器的关键点。该检测器使用来自每个OXE 子集的200张手动注释的图像进行训练。图6显示了由此产生的检测器训练集的一些示例，其中 二维视觉轨迹显示为黄色。请注意，这些轨迹是一个二维坐标的序列，图6是这些序列的可视化 。在训练过程中，将序列在语言标记空间中进行预测，并与地面事实进行比较。 C附加的实施细节 C.1 RLBench实验 LLARVA对RLBench中的12个任务进行了评估。所有的RLBench任务包括两个或更多的变量- 描述目标的语言指令。例如，对于相同的任务，可能有三种不同的指令：“打开上面的抽屉 ” ，“抓住顶部把手，打开上面的抽屉 ”和“滑动上面的抽屉 ”。为了简单起见，我们使用** 个指令变体来进行训练。下面，我们将描述我们用于模拟器评估的RLBench任务，以及我们对这 些任务所做的任何修改。修改背后的目的是为了增加任务的变化，比如添加不同颜色的干扰物 。这就练习了模型的语言基础能力。除非另有说明，否则所有任务均未被修改。 培训设置。我们从一个LLARVA模型开始，该模型在第2.3节中描述的OXE上进行了视觉-动作指令 预训练，并使用8个A100gpu对特定任务的下游数据（如挑选、堆叠、解密）执行第2步（第2.3 节）指令微调。步骤2的指令调优将为每个RLBench任务使用800个演示来完成。步骤1和步骤2之 间的领域差距很大，因为我们从几乎完全真实的数据更改为模拟，同时改变机器人和任务。我 们注意到，虽然其他作品训练的数据量较少，但它们使用的数据数量级与LLARVA大致相同，并 利用了三维表示的能力。例如，PerAct [7]每个任务使用100个示例，但利用了基于体素的三维 表示，这很罕见，也很难获得。我们的方法的优势是能够利用二维表示，这可能需要额外的数 据，但与使用3-D的方法具有大致相同的数量级。 打开抽屉。任务是打开三个抽屉中的一个。成功度量是目标抽屉的棱柱形接头的完全延伸。 肉的烧烤。任务是从烤架上取下一块鸡肉或牛排，放在一边。成功的衡量标准是将指定的肉放 置在远离烤架的一边。 旋转Tap。任务是转动水龙头的左或右手柄。左右方向是根据水龙头的方向来定义的。成功度量 是指定句柄的关节至少为90。远离起始位置。 放钱。任务是拿起那堆钱，并把它放在一个保险箱的指定架子上。保险箱有三个架子：顶部、 中间和底部。成功的指标是把一堆钱放在保险箱的指定架子上。 按钮。其任务是按指定的顺序按下彩色按钮。场景中总是有三个按钮，它们的颜色从20个选项 中采样，要按的按钮数量在1到3个之间。成功度量是指按正确顺序按下的所有指定按钮。 扫描Dustpan。其任务是将污垢颗粒扫入指定的簸箕中。有两个垃圾盘，一个短，一个高，两者 都总是出现在场景中。成功的指标是所有的五种污垢颗粒都在指定的簸箕内。我们通过添加一 个使用不同大小的簸箕的变体来修改这个任务。 幻灯片块。在这个任务中，场景中有一个块和四个彩色的方块（绿色、蓝色、粉红色和黄色） 。任务是将方块滑动到绿色或粉红色的方块上。所使用的成功度量是位于指定目标方块上的块 的一部分。最初的任务只有一个目标方块，我们通过添加三个额外的彩色方块来修改它——一 个目标和两个干扰物。 关闭Jar。任务是用指定的颜色拧紧罐子上的盖子。场景中总是有两个彩色的罐子，一个目标罐 子和一个干扰罐子。使用的成功度量是盖在指定的罐子顶部，机器人夹具不抓住任何物体。我 们修改了这个任务，使其从两种可能的颜色（蓝色或蓝绿色）的列表中提取目标罐子的颜色。 干扰罐的颜色仍然从20个选择中选择。 螺杆灯泡。有两个不同颜色的灯泡支架，其任务是从按颜色指定的支架上取出一个灯泡，并将 其拧入灯泡支架中。目标支架的颜色从两种颜色中采样，而干扰物支架的颜色从原始的20个颜 色选项中采样。使用的成功度量是来自灯泡支架内的灯泡。我们修改了这个任务，为目标持有 人使用两种颜色（黄色和紫色），而不是原始任务规范中的20种颜色。 放酒。任务是拿起酒瓶，并把它放在一个木架上的指定位置。机架有三个位置：左、中间和右 。成功指标是将瓶子放置在机架上的指定位置。 到达并拖动。该环境有一个立方体、一个棍子和四个可能的彩色目标方块。该任务是拿起棍子 , 并使用它将立方体拖动到指定颜色的目标方块上。其他三个方块被认为是干扰物。使用的成 功度量是在目标区域内的块的一部分。我们修改了这个任务，从三种颜色（栗色、品红、蓝绿 色）中取样目标颜色。干扰物方块的颜色仍然从20个选项中采样。 堆栈块。这个场景以8个街区和一个绿色的平台开始。其中四个块是目标颜色，其他四个有干扰 物颜色。任务是在绿色平台上堆叠N个目标颜色的块。成功度量是在绿色平台区域内的N个块。 将项目放入抽屉。在一个封闭的抽屉柜上有一块方块。任务是将块放入指定的抽屉中的三个可 能的选项：顶部、中间或底部。成功度量是放置块在指定抽屉内的位置。 排序形状。这个场景有四个干扰物的形状和一个正确的形状。任务是拾起语言指令中指定的形 状，并将其放在分类器的正确孔中。成功度量是在相应的孔内的正确形状。 插入方形钉上。这个场景有一个平台，上面有三个不同颜色的钉子，还有一个中间有一个洞的 正方形物体。这三种颜色是从20个颜色实例中采样。任务是拿起方块并把它放在语言指令中指 定的钉上，成功度量是将方块完全放在钉上的位置。 堆叠杯。这个场景有三个杯子，颜色来自20个选项。任务是将所有的杯子堆叠在语言指令中指 定的杯子中。此任务的成功指标是位于指定杯子内的所有其他杯子。 把杂货店放在橱柜里。场景总是有九件杂货和一个橱柜。任务是将语言指令中指定的物品放在 橱柜里。所使用的成功指标是放置物品在橱柜里的位置。 放置杯子。场景总是有一个有三个辐条的杯架和三个有把手的杯子。任务是将N个杯子放在杯架 上（N个∈ {1,2,3}） 。所使用的成功指标是将每个杯的手柄与杯任务上的辐条对齐。 马桶座圈向下。这个场景包括一个最初有座位的厕所。其任务是放下马桶座圈。使用的成功指 标是马桶座圈的关节与座圈完全向下一致。 关闭笔记本电脑盖。这个场景由一台最初打开盖子的笔记本电脑组成。其任务是关闭笔记本电 脑。使用的成功指标是笔记本电脑盖子的连接在一个角度，这样屏幕完全向下。 把刀放在咀嚼板上。这个场景包括一把刀架里的一把刀和一块砧板。任务是从刀架上拿起刀， 并把它放在砧板上。使用的成功指标是刀在砧板的表面，机器人抓持器不抓任何东西。 将雨伞放在伞架上。这个场景由一把伞和一个伞架组成。这个 任务是拿起伞，放在架子上。使用的成功标准是雨伞在支架内，机器人握手不抓任何东西。 移动吊架。这个场景包括一个衣架和两个架子。任务是将吊架从当前的机架移动到另一个机架 。所使用的成功指标是衣架被放置在另一个机架上。 C.2个真正的机器人实验 硬件设置。我们使用一个弗兰卡埃米卡熊猫机器人和一个弗兰卡夹持器来进行真实的机器人数 据收集和评估。位于Franka机器人右侧的罗技BRIO 4K摄像头为我们的模型提供了单视图RGB ( 无深度数据）的视觉输入，如图7所示。 禁用相机自动对焦，数据以640x480分辨率捕获。该模型推理是在一个48GB的NVIDIA A6000上完 成的。 数据收集。我们使用来自https://g ithub.com/MaxFu/franka-scripted的数据收集代码和过程 来收集数据，用于挑选、堆叠和解密任务。该脚本将为任意数量的每集生成数据。对于每个一 集，该过程使用每个轴的均匀随机分布生成表平面上的x-y位置。该脚本指导机器人将立方体放 置在每个位置，然后在机器人被指示挑选、堆叠或破坏立方体时收集照相机和联合信息。在此 过程中没有使用视觉，因为立方体的位置都是生成的，因此都是已知的。 培训和执行。对于Franka 科研版 机器人实验，我们从LLARVA模型开始，该模型
图7：真正的机器人设置与Franka科研机器人用于评估LLARVA。 .3在第2节中，并使用8A100gpu对1920集特定任务的下游数据（如挑选、堆叠、解密）执行第2 步（第2.3节）指令微调。这与其他基线类似，如RPT [16]，它使用相同数量的领域内片段（19 20年）进行预训练，并根据任务增加120-240集进行微调。此外， [16]每一集使用三个摄像头视 图，而LLARVA只使用一个。然而，可以观察到，LLARVA在所有三个测试任务上都表现出优越的 表现，尽管使用了可比性或更少的情节。最后，每个真实的机器人评估包括16个重复的挑选、栈或分散操作，在每个重复的随机x-y位置。我们报告了这16次手术的成功率。 D许可证和隐私 每个数据集的许可、PII和同意细节都在各自的文件中。此外，我们希望强调的是，我们使用的 数据集不包含任何有害或冒犯性的内容，因为该领域的许多其他论文也在使用它们。因此，我 们不预期有特定的负面影响，但是，像任何机器学习方法一样，我们建议谨慎行事。 注意：本文为译文，请参考原文。 关于集智联机器人PNP Robotics 集智联机器人， 英文名字：Plug & Play Robotics， 取义为“集中智慧互联，达到即插即用”,目标用先进的机器人技术实现机器人在各个行业的迅速使用。集智联机器人团队成员均来自于国内外机器人行业知名企业，具有较强的学术背景，服务过超过500家终端客户。 集智联机器人公司主要围绕协作机器人、机器人生态产品和移动复合机器人开展业务，致力于成为协作式机器人生态工具和移动复合机器人配合装备的龙头企业，目的为客户提供创新的机器人柔性解决方案，让客户充分体验真正的即插即用功能(Plug & Play)。 集智联机器人（PNP Robotics）在机器人行业有多年的专业性经验，致力于开发机器人Plug&Play即插即用产品，是德国Franka机器人和ABB机器人中国区域官方战略合作伙伴。
集智联机器人(PNP Robotics)服务客户群体包括：
等在内的大中小型企业。 集智联机器人(PNP Robotics)
江苏苏州吴江经济技术开发区云创路233号智慧产业园1号楼东5层 www.pnprobotics.com sales@pnprobotics.com 0512-6303 6193 技术咨询/销售/合作 180 1817 5378（微信同号） |
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
其中lt是按照上面的定义进行构造的。
