开源模型RoboCasa ：通用机器人日常任务的大规模模拟发表时间：2024-12-01 19:38 本文介绍利用基于Franka机器人的开源大模型框架RoboCasa，来自德克萨斯大学奥斯汀分校和 NVIDIA Research组。 RoboCasa是一个大型模拟框架，用于训练具有一般能力的机器人执行日常任务。它以厨房场景为重点，以人为本，具有逼真而多样的环境。我们借助生成式 AI 工具（例如大型语言模型 (LLM) 和文本转图像/3D 生成模型）创建这些环境。我们提供 150 多个对象类别的 2,500 多个 3D 资产以及数十种可交互的家具和电器。作为首个版本的一部分，我们提供了一套 100 项任务，代表了广泛的日常活动。除了模拟任务外，我们还提供了高质量人类演示的数据集，并利用自动轨迹生成技术以极低的额外成本显著扩展训练数据量。 逼真多样的场景
在此初始版本中，我们专注于厨房场景。为了捕捉现实环境的复杂性和多样性，我们查阅了大量建筑和家居设计杂志，并汇编了一系列厨房布局和风格，反映了世界各地家庭厨房的多样性。我们根据标准尺寸和空间规格对这些厨房进行建模，并为其配备了大量可互动的家具和电器，包括橱柜、炉灶、水槽、微波炉等。 跨实施例支持该模拟器支持多种形式的移动机械手，例如单臂移动Franka机器人平台、人形机器人和带臂的四足机器人。 每个厨房场景都配备了一系列可互动的家具和电器。几种类型的可互动物体都经过了铰接；例如，机器人可以打开和关闭微波炉的门，并转动炉灶上的旋钮。其他类型的可互动物体可以经历状态变化；例如，当转动炉灶上的旋钮时，相应的燃烧器就会打开。 使用文本到图像模型增强场景多样性每个场景都可以通过替换大量高质量 AI 生成的纹理来定制，这些纹理是使用MidJourney的流行文本转图像模型创建的。我们分别为墙壁、地板、柜台和橱柜面板提供了 100 种纹理。这些纹理可以用作逼真的域随机化的一种形式，以大幅增加我们训练数据集的视觉多样性。 使用文本到 3D 模型创建多样化对象资产我们整理了一个包含 2,500 多个对象的存储库，涵盖 150 多个类别，包括各种水果、蔬菜、包装食品和容器。部分对象资产来自Objaverse数据集，其余大部分对象由Luma AI提供的文本到 3D 对象生成模型生成。 培训基础机器人技能我们专注于八项基础技能，作为支撑大多数家庭活动的长期操控行为的基本构建块：(1) 拾取和放置、(2) 开门和关门、(3) 开抽屉和关抽屉、(4) 旋转旋钮、(5) 转动杠杆、(6) 按下按钮、(7) 插入和 (8) 导航。当前版本包括 25 项原子任务，用于系统地训练和评估这些技能。 在大预言LLM指导下生成复合任务复合任务涉及排序技能，以解决语义上有意义的活动，从补充厨房用品到煮咖啡。我们创建这些任务的目标是捕捉现实而多样的任务，这些任务反映了以人为中心的现实世界家庭活动的生态统计数据。我们使用大型语言模型 (LLM)（尤其是GPT-4）的指导来定义我们的任务，因为它们囊括了人类世界的大量常识和世界知识，因此可以根据环境和机器人的技能有效地提供任务候选。 原文参考：https://robocasa.ai/docs/introduction/overview.html ------------全文完--------------- 关于Franka机器人 Franka Robotics Franka机器人原名Franka Emika，思灵机器人收购后更名为Franka Robotics，总部位于慕尼黑，陆续推出了Franka Panda，FR3等机器人产品。PNP机器人是思灵机器人和Franka机器人渠道伙伴，关注PNP机器人关注Franka. 推荐参考：Franka机器人中国业务全新启航——Franka机器人的10个基本问题，一文掌握归来的力控机器人最新产品和趋势 Franka机器人在具身智能方向展现了强大的技术优势。其七轴力控系统极大提升了机器人与环境的交互能力，使其在复杂场景下表现出类人般的精细动作和柔顺性，完美适应动态和未知环境。Franka还为开发者提供了FCI接口，可实时控制每个关节，实现高精度定制开发，支持各种先进的人工智能算法与具身智能的研究需求。 推荐参考：应用场景：Franka机器人9大应用场景——反应出的七轴力控机器人哪些技术维度？ 作为世界知名大学的通用型科研平台，Franka机器人在哈佛、斯坦福等顶尖学府广泛应用，成为前沿研究的首选工具。许多最新的科研突破，尤其是在机器人感知、学习和动作控制领域，都是通过Franka机器人进行验证，展现了其在具身智能研究中的无可替代性。 推荐参考：斯坦福大学李飞飞携Franka机器人创业空间智能提ReKep 六轴机器人和七轴机器人在设计、功能和应用场景上存在明显区别。为什么六轴机器人当前仍然是工业应用主流？七轴机器人的逐渐增长的市场需求在哪里？ 推荐参考：未来七轴机器人会占据主流？深度解析具身智能方向当前六轴机器人和七轴机器人的区别，七轴力控机器人发展会加快吗？ 关于集智联机器人PNP Robotics 集智联机器人， 英文名字：Plug & Play Robotics， 取义为“集中智慧互联，达到即插即用”,目标用先进的机器人技术实现机器人在各个行业的迅速使用。集智联机器人团队成员均来自于国内外机器人行业知名企业，服务过超过500家终端客户；学术背景来自于哈尔滨工业大学，上海交通大学，多伦多大学等知名高校，先后获得“姑苏领军”、“崇本领军”、“吴江领军”等人才称号。 集智联机器人公司主要围绕机器人生态产品和移动复合机器人开展业务，致力于成为协作式机器人生态工具和移动复合机器人配合装备的龙头企业，目的为客户提供创新的机器人柔性解决方案，让客户充分体验真正的即插即用功能(Plug & Play)。 集智联机器人(PNP Robotics)
www.pnprobotics.com sales@pnprobotics.com 0512-6303 6193 机器人技术咨询/销售/合作 180 1817 5378（微信同号） |
