【数据集汇总】机器人抓取与操作领域核心数据集汇总梳理

在机器人具身智能与机械臂操控技术的发展进程中，高质量、大规模的数据集是算法迭代与模型泛化的核心基础。从早期的平面抓取检测，到如今的 6 自由度抓取、跨类别部件操作、双手灵巧操控，每一步技术突破都离不开对应基准数据集的支撑。

本文系统梳理了当前领域内主流的目标抓取数据集与物体操作数据集，涵盖其核心特点、数据规模、适用场景与访问方式，同时补充了若干被广泛使用的经典基准，方便研究者快速选型与调研。

一、目标抓取（Grasping）数据集

这一类数据集主要聚焦「如何在物体上生成稳定、可执行的抓取位姿」，是机械臂操作的底层基础任务，覆盖 2D 平面抓取到 6D 空间抓取等不同技术维度。

1. 矩形表示抓取检测奠基工作

  • 对应论文：Efficient grasping from RGBD images: Learning a new rectangle representation

  • 链接状态：提供的 CiteSeerX 链接解析失败，无法获取原文内容

  • 核心背景：该工作是深度学习时代抓取检测的奠基性研究之一，提出了用「五参数矩形」表示平面抓取的经典范式。其配套的Cornell Grasp Dataset是领域最早的标准抓取基准，包含数百张日常物体的 RGB-D 图像与人工标注的抓取矩形，至今仍是平面抓取算法的标配测试集。

2. 多目标多抓取检测：Real-World Multiobject, Multigrasp Detection

  • 项目地址：https://github.com/ivalab/grasp_multiObject_multiGrasp

  • 发表信息：IEEE RA-L 2018，IROS 2018 展示

  • 核心特点：

    • 基于 Faster R-CNN 框架改造，支持 RGB-D 图像输入，单次前向传播即可同时检测多个物体与多个抓取候选

    • 支持单物体多抓取点、多物体杂乱场景的抓取预测，更贴近真实工业与家庭场景

    • 提供完整的训练、推理代码与预训练 ResNet50 模型，同步配套 ROS 版本实现

  • 数据适配：原生支持 Cornell 数据集训练，可按 VOC 格式扩展自定义数据集

  • 引用信息：Chu F, Xu R, Vela P A. Real-world multiobject, multigrasp detection[J]. IEEE Robotics and Automation Letters, 2018, 3(4): 3355-3362.

3. 大规模仿真抓取基准：Jacquard Dataset

  • 官方地址：https://jacquard.liris.cnrs.fr/

  • 发布团队：法国里昂中央理工 LIRIS 实验室，IROS 2018

  • 核心特点：

    • 面向机器人抓取检测的大规模仿真数据集，基于 ShapeNet 物体模型生成，覆盖丰富的物体类别与观测视角

    • 提出模拟抓取测试（Simulated Grasp Trial, SGT）评估标准：在仿真环境中复现抓取动作，以实际物理抓取成败作为评价依据，比传统的 IOU 几何匹配更贴近真实效果

    • 注册用户可提交预测结果，通过官方仿真器在线评估算法性能

  • 访问方式：需签署 EULA 协议并通过机构邮箱申请，免费公共邮箱（Gmail、Hotmail 等）不予通过

4. 6 自由度几何抓取：Learning 6-DOF Grasping Interaction

  • 项目地址：https://research.google/pubs/learning-6-dof-grasping-interaction-via-deep-3d-geometry-aware-representations/

  • 链接状态：页面解析失败，无法获取完整内容

  • 核心背景：Google Research 推出的 6D 抓取代表性工作，核心是通过深度几何感知的 3D 表示学习，实现空间中 6 自由度抓取位姿的预测与交互，是早期基于 3D 几何的 6D 抓取方向的奠基性研究之一。

5. 仿真生成大规模抓取集：ACRONYM

  • 官方地址：https://sites.google.com/nvidia.com/graspdataset

  • 链接状态：境外站点，当前无法正常访问

  • 核心背景：NVIDIA 发布的大规模仿真抓取数据集，全称为「A Large-Scale Grasp Dataset Based on Simulation」。基于 ShapeNet 海量物体模型，通过物理仿真生成百万级 6 自由度对跖（antipodal）抓取标注，支持深度抓取检测网络的大规模预训练，是 6D 抓取领域的经典基准之一。

6. 几何多样化抓取分析集：EGAD!

  • 官方地址：https://dougsm.github.io/egad/

  • 发表信息：IEEE RA-L 2020

  • 核心特点：

    • 通过进化算法生成物体网格，均匀覆盖「简单 - 复杂」「易抓取 - 难抓取」两个维度，解决了传统数据集物体几何多样性不足的问题

    • 训练集包含2282 个可 3D 打印的物体模型，评估集包含 49 个梯度化难度的评测物体，可直接用于 Sim2Real 迁移验证

    • 提供 Dex-Net 兼容的 HDF5 格式数据库，包含预计算的 Ferrari Canny 抓取质量指标与对跖抓取标注

  • 下载方式：官网直接提供训练集、评估集模型与完整数据库下载

7. 亿级通用抓取基准：GraspNet-1Billion

  • 参考链接：https://github.com/RayYoh/OCRM_survey/blob/main/www.graspnet.net

  • 核心背景：由香港大学等团队推出的大规模通用物体抓取基准，是当前全球规模最大的真实场景抓取数据集之一。包含海量真实场景 RGB-D 图像与高精度 6D 抓取标注，覆盖数百种日常物体与杂乱堆叠场景，配套标准评测协议与 GraspNet API，是泛化抓取检测算法的核心评测基准。

8. 大模型生成抓取数据集：Grasp-Anything

  • 官方地址：https://airvlab.github.io/grasp-anything/

  • 核心特点：

    • 基于 AIGC 基础模型生成的大规模抓取数据集，包含100 万张带抓取标注的图像样本，规模远超传统人工 / 仿真标注数据集

    • 支持语言引导抓取：可根据自然语言指令指定抓取物体的具体部位（如 “抓取计算器的键盘区域”）

    • 同步推出 Grasp-Anything-6D 子集，支持三维空间 6 自由度抓取任务

  • 核心价值：突破了真实数据标注成本高、规模小的瓶颈，为大模型时代的抓取检测提供了大规模预训练数据

补充：其他经典抓取数据集

除上述数据集外，领域内还有多个被广泛使用的基准：

  • Cornell Grasp Dataset：平面抓取领域的标杆数据集，280 个物体、885 张 RGB-D 图像，是算法入门与基线对比的首选

  • Dex-Net 系列：伯克利 AUTOLAB 推出的仿真抓取数据集系列（2.0/3.0/4.0），包含千万级抓取标注与鲁棒性评分，是工业级抓取网络的主流预训练数据

  • OCID Grasp：面向杂乱堆叠场景的抓取数据集，包含大量遮挡、堆叠的桌面物体场景，贴近仓储分拣真实场景

  • VMRD：真实机械臂采集的视觉抓取数据集，包含多视角 RGB-D 数据与抓取成功 / 失败标注

二、物体操作（Object Manipulation）数据集

这类数据集不再局限于单点抓取，而是覆盖抓取后的物体操作、铰接部件交互、灵巧手操控、语言引导任务等更复杂的场景，是通用机器人操作能力的核心评测基准。

1. 通用操作物体基准：YCB Object and Model Set

  • 官方地址：http://ycb-benchmarks.s3-website-us-east-1.amazonaws.com/

  • 发布团队：耶鲁大学、CMU、伯克利联合推出，2015 年

  • 核心特点：

    • 领域内最通用的日常物体集，包含 77 种常见家庭 / 工业物品（食品包装、工具、餐具、玩具等）

    • 提供高精度 3D 网格模型（泊松重建、体素积分两种方式）、多分辨率激光扫描模型（16k/64k/512k 面片）、带纹理的模型文件

    • 每个物体配套 600 张高分辨率 RGB 图像与 600 张 RGBD 图像，支持多视角视觉算法训练

    • 提供 OpenRAVE 的 Kinbody 文件、Python 下载工具与 ROS 节点，适配主流机器人仿真与真实系统

  • 协议：数据采用 CC BY 4.0 协议，代码采用 MIT 协议

2. 铰接物体知识库：AKB-48

  • 官方地址：https://liuliu66.github.io/AKB-48/

  • 核心定位：真实世界铰接物体知识库（Articulated Object Knowledge Base），专注于带活动部件物体的建模与部件级分析

  • 核心价值：为铰接物体的部件分割、运动学估计、交互操作等任务提供真实物体数据与标注，覆盖抽屉、柜门、按钮等常见铰接结构，是 GAPartNet、PartManip 等部件级操作基准的核心数据源之一。

3. 部件级交互仿真引擎：SAPIEN

  • 官方地址：https://sapien.ucsd.edu/

  • 发布团队：UCSD Su Hao 团队

  • 核心定位：全称为 SimulAted Part-based Interactive ENvironment，是面向部件级物体交互的物理仿真环境

  • 核心特点：

    • 原生支持铰接物体的物理仿真，内置丰富的日常家具、工具类铰接物体模型

    • 提供高真实度的传感器仿真（RGB、深度、点云），Sim2Real 域差距小

    • 是 ManiSkill、PartManip 等多个主流操作基准的底层仿真引擎，被广泛应用于强化学习、模仿学习的操作任务训练

4. 跨类别部件感知与操作：GAPartNet

  • 官方地址：https://pku-epic.github.io/GAPartNet/

  • 发表信息：CVPR 2023 Highlight

  • 核心定位：首个面向跨类别泛化的部件级感知与操作数据集，核心思想是通过「通用可操作部件（Generalizable and Actionable Parts, GAPart）」实现跨物体类别的能力迁移

  • 核心数据：

    • 定义了 9 种 GAPart 类别：圆形固定把手、条形固定把手、铰接把手、铰接柜门、铰接盖子、滑动盖子、滑动抽屉、滑动按钮、铰接旋钮

    • 覆盖 27 个物体类别，1166 个物体实例，共 8489 个部件实例，每个部件包含语义标注与 6 自由度位姿标注

  • 支持任务：部件语义分割、部件位姿估计、部件级物体操作

  • 核心贡献：提出面向部件的域对抗训练方法，显著提升了跨物体类别的泛化性能，验证了部件级方案在 Sim2Real 场景的有效性

5. 通用操作技能统一基准：ManiSkill2

  • 官方地址：https://maniskill2.github.io/

  • 发表信息：ICLR 2023

  • 核心定位：面向通用操作技能的统一评测基准，基于 SAPIEN 仿真引擎构建

  • 核心特点：

    • 覆盖 20 种操作技能，包含刚体操作、铰接物体操作、软体操作三大类，支持单臂 / 双臂、固定基座 / 移动基座多种配置

    • 内置 2000 + 物体，开箱即用，无需自行收集资产

    • 提供400 万帧以上的专家演示数据，支持模仿学习算法研究

    • 原生支持 3D 点云观测，提供物理真实的深度传感器仿真（SimSense），便于 Sim2Real 迁移

    • 支持 pip 一键安装，配套 Google Colab 教程与 PPO、BC、DAPG 等基线算法

  • 性能表现：异步渲染架构实现高速视觉强化学习，普通工作站 10 分钟可采集百万帧视觉观测

6. 语言引导连续状态操作：ARNOLD

  • 官方地址：https://arnold-benchmark.github.io/

  • 发表信息：ICCV 2023

  • 核心定位：面向语言引导的连续状态任务学习基准，基于 NVIDIA Isaac Sim 构建

  • 核心特点：

    • 聚焦「连续物体状态」操作：区别于传统的二元开闭任务，支持抽屉开 50%、倒水 75% 等连续目标状态，更贴近真实人类指令场景

    • 包含 8 类语言条件任务：拾取物体、物体重定向、开关抽屉、开关柜门、倒水、转移水等

    • 覆盖 40 个差异化物体、20 个真实感场景，提供 1 万条带语言描述的专家演示

    • 设置 7 种数据划分：同分布测试、新物体泛化、新场景泛化、新目标状态泛化等，系统评测算法的泛化能力

    • 支持流体物理仿真，搭载 PhysX 5.0 物理引擎与光追渲染

7. 双手灵巧操作基准：Bi-DexHands

  • 项目地址：https://github.com/PKU-MARL/DexterousHands

  • 发表信息：NeurIPS 2022 Datasets and Benchmarks Track

  • 核心定位：面向双手灵巧操作的强化学习基准，基于 NVIDIA Isaac Gym 构建

  • 核心特点：

    • 包含 16 + 双手灵巧操作任务：物体传递、接物、开门、拧瓶盖、推方块、剪东西、倒水、按按钮等，覆盖多种日常双手交互模式

    • 支持 YCB 与 SAPIEN 数据集的 2000 + 物体，可用于多任务、元强化学习的泛化性测试

    • 极致性能：单张 RTX 3090 可并行运行 2048 个环境，平均帧率超 40000 FPS

    • 提供全套算法基线：覆盖单智能体 RL、多智能体 RL、多任务 RL、元 RL、离线 RL 全方向

    • 支持点云视觉观测，提供 Gym 风格的 Python API，易于二次开发

8. 铰接物体灵巧操作：DexArt

  • 官方地址：https://www.chenbao.tech/dexart/

  • 发表信息：CVPR 2023

  • 核心定位：面向铰接物体的多指灵巧手操作基准，聚焦跨物体泛化能力

  • 核心特点：

    • 4 类典型铰接操作任务：开关水龙头、开合笔记本盖、提桶、开合马桶盖，每类包含多个不同外观的物体实例

    • 采用稀疏点云作为视觉输入，无先验分割标注，更贴近真实场景

    • 系统评测了不同预训练策略、不同视觉骨干对强化学习效果的影响，验证了 PointNet 几何表示在视角鲁棒性上的优势

  • 核心结论：部件级推理、更多样的训练物体、合适的几何表征，是提升灵巧操作泛化性的关键

9. 跨类别部件操作策略：PartManip

  • 官方地址：https://pku-epic.github.io/PartManip/

  • 发表信息：CVPR 2023

  • 核心定位：首个大规模跨类别部件操作策略评测基准，基于 GAPart 定义构建

  • 核心数据：

    • 6 类操作任务：开门、关门、开抽屉、关抽屉、按按钮、抓把手

    • 覆盖 11 个物体类别，494 个物体实例，共 1432 个操作任务

    • 采用稀疏视角点云作为输入，不提供部件分割等先验信息，更具现实挑战性

  • 核心方案：提出「状态专家蒸馏 + 视觉学生学习」的两阶段框架，结合域对抗学习提升跨类别泛化能力，在未见过的物体类别上性能显著优于传统 RL 方法

  • Sim2Real 验证：在真实 Franka 机械臂上完成了未见过物体的部件操作验证，证明了方案的现实迁移能力

10. 日常活动具身基准：BEHAVIOR-1K

  • 官方地址：https://behavior.stanford.edu/behavior-1k

  • 链接状态：页面解析失败，无法获取完整内容

  • 核心背景：斯坦福大学推出的以人为中心的具身 AI 基准，包含 1000 种日常家庭活动任务，基于真实物理仿真环境构建，覆盖长周期、多步骤的复杂操作任务，是评估通用具身智能体操作能力的高端基准。

补充：其他经典操作基准

  • RLBench：基于 CoppeliaSim 的机器人操作学习基准，包含上百种操作任务，配套演示数据与强化学习接口，是小样本操作学习的常用基准

  • RoboSuite：基于 MuJoCo 的机器人操作基准，包含堆叠、插入、开门等经典任务，支持 Franka、Sawyer 等多种机械臂

  • MetaWorld：元强化学习操作基准，包含 50 + 操作任务，用于评测算法的快速适配与泛化能力

  • PartNet-Mobility：大规模铰接物体 3D 数据集，包含数千个带运动学标注的家具、工具模型，是铰接操作研究的核心资产