视频动作识别这几年算是计算机视觉里最卷的赛道之一了。从安防里的打架斗殴检测到智慧体育的运动员姿态分析再到短视频平台的内容审核背后全都要靠动作识别模型撑着。但真正动手做过这个方向的人都知道模型结构反而是最不用愁的PyTorch官方就有现成的SlowFast、VideoMAE实现真正让人掉头发的是找数据集。你可能经历过这种情况刷论文发现SOTA模型在某个数据集上刷到了90%的精度自己跑代码时却连这个数据集该去哪儿下都不知道去官网一看链接失效去GitHub翻半天发现作者只放了图片没放标注好不容易找齐了数据格式又是各种奇怪的txt、json混着来。这篇文章就是把我在这个方向上攒了大半年的数据集清单和踩坑记录整理出来持续更新希望能帮你少走点弯路。1. 视频动作识别与时空动作检测到底需要什么样的数据集先理清一个基本概念因为很多刚入门的朋友会在这上面绕晕。动作识别Action Recognition、行为识别Behavior Recognition、时空动作检测Spatio-Temporal Action Detection这三者在数据集的选择上差异非常大用错数据集是新手最高频的失误。动作识别解决的是这段视频里发生了什么事输入是一个完整的视频片段输出是一个类别标签比如跑步挥手跳高。这是最经典的任务也是绝大多数入门教程在讲的问题。你需要的数据集是像UCF101、Kinetics这类每个样本是一段短视频标注就是一个动作类别。这种数据集的视频通常比较短几秒钟没有复杂的背景干扰非常适合用来做预训练或者验证模型的基本能力。行为识别更偏向于理解一个人或一群人在做什么事情通常带有更强的时序依赖和上下文信息比如一个人从口袋里掏出手机这种动作就包含了一系列连续的子动作。行为识别数据集往往会标注更细粒度的动作片段而不是整段视频打一个标签。在工业界做安防监控、智能医疗护理时用的多是这类数据集。时空动作检测则是最复杂的任务它不仅要知道视频中发生了什么动作还要在每一帧中定位出是谁、在什么位置做了这个动作。简单说就是分类加检测输出的是动作类别加时空位置的框序列。常用数据集有AVA、UCF101-24、JHMDB等。这类数据集的标注成本极高一个小时的视频可能要标注几周所以开源数量远少于前两类。另一个不能忽略的是骨骼动作识别数据集。你在实际项目中如果做的是部署到边缘设备或实时交互系统往往拿不到高清晰度的视频数据只能用摄像头采集的人体关键点坐标来做识别。这就是NTU RGBD、Kinetics-Skeleton这类数据集的用武之地。下面这张表可以帮你快速定位自己属于哪类任务该去找什么数据集任务类型典型数据集标注形式适用场景动作识别UCF101、Kinetics-400视频级类别标签模型预训练、基础分类任务行为识别MultiTHUMOS、Charades多标签时间片段安防监控、长时间视频理解时空动作检测AVA、UCF101-24、JHMDB每帧目标框动作类别视频目标检测、自动驾驶骨骼动作识别NTU RGBD、FineGYM人体关键点坐标序列边缘部署、实时交互确定好任务类型之后再选数据集效率会高很多。千万不要做时空动作检测却拿着UCF101直接训练虽然有UCF101-24这个特殊版本但默认的UCF101是不带框标注的很多人第一次踩坑都是踩在这里。2. 动作识别方向的核心数据集清单与评价动作识别数据集是整个方向的地基。我从个人使用的角度出发按照研究价值和工程实用性两个维度重新排名而不是按论文被引量。2.1 UCF101与HMDB51入门首选但别再沉迷了UCF101大概是全世界计算机视觉研究生第一个接触的视频动作数据集。它包含101个动作类别13320段视频来源是YouTube所以视频分辨率参差不齐背景也千奇百怪。优点是下载容易、类别丰富、社区资料多缺点是视频时长太短平均5秒左右模型很容易通过单帧外观特征比如篮球场的颜色就完成分类导致精度虚高。我个人的建议是UCF101适合用来调试代码流程比如验证你的训练pipeline是否正确、数据增强流程是否跑通、推理可视化代码是否正常工作但不太适合用来证明算法创新点。现在投论文如果还在UCF101上做主力实验审稿人大概率会觉得创新验证不够充分。下载UCF101时要注意一点官网和第三方镜像的文件结构略有不同。官方版本分成了101个子文件夹每个子文件夹里是同一类别的视频文件。但有些镜像站会打包成train/test两个大文件夹再加一个txt索引文件。这两种结构对应不同的数据读取代码拿到手先确认一下别等代码报错了才回头检查。HMDB51比UCF101更早包含51个类别、6849段视频来源是电影和YouTube。视频质量更差动作幅度更大有大量的相机运动干扰。它的意义更多在于作为补充数据集验证模型的鲁棒性毕竟电影片段里动作变化更自然场景更复杂。不过现在HMDB51已经被认为过于简单了数量上也撑不起深度学习模型的需求只能在消融实验里当个配角。2.2 Kinetics系列与Something-Something预训练的顶梁柱如果说UCF101是入门班教材那Kinetics系列就是研究生的必修课。Kinetics-400包含约30万段视频、400个类别每个类别至少400段视频。这个数据集的视频全部来自YouTube每个片段10秒钟动作类别覆盖日常生活的方方面面——从弹吉他、刷牙到翻跟头。Kinetics-400最大的价值在于预训练。OpenAI的CLIP、Meta的VideoMAE都用它做视频领域的预训练或者用它蒸馏出高质量的伪标签。你在实际项目中如果数据量不够最直接的提点方式就是加载一个在Kinetics-400上预训练过的权重然后在自己的数据上微调效果通常能提升5到10个点。不过Kinetics系列现在有个比较大的麻烦——视频下载链接大量失效。早期的Kinetics-400标注文件里每个视频存的是YouTube的ID由于版权原因很多视频已经被删除导致实际能下载到的视频数量远远达不到官方声称的30万段。后来社区有人发布了修复版Kinetics-400的完整版与筛选版你下载时尽量选修复版不要自己去官网脚本抓取那会浪费大量时间。Something-Something简称SSv2则是动作识别里非常有风格的一个数据集共220847段视频174个类别。它和Kinetics的区别在于SSv2的类别标注全部是把某物从某处移到某处把某物翻过来这类与物体交互的抽象动作几乎不含场景信息。这意味着模型无法靠静态外观比如背景里的滑雪场来作弊必须真正理解物体的运动时序。这也是为什么SSv2上很多在Kinetics上表现优异的模型精度断崖式下跌的原因。如果你做的是具身智能、机器人操作这类需要理解物理交互的任务SSv2的训练经验非常有参考价值。但要注意SSv2的训练集、验证集、测试集划分方式和Kinetics不同它是按组group划分的同一动作的不同拍摄人不会同时出现在训练集和验证集里。数据加载时要把这个逻辑处理好不然会数据泄漏。2.3 细粒度与长视频行为识别Charades与MultiTHUMOS搞完基础动作识别你如果进入真实业务马上会遇到第二个问题现实场景里的视频很少只包含一个孤立的动作往往是连续几分钟甚至几十分钟的行为流。比如监控画面里一个人从进门、脱外套、坐下、开电脑全程是一个完整的视频。这时候你需要的是多标签时间片段行为识别数据集。Charades是一个被低估的数据集。它包含9848段视频157个动作类别由亚马逊MTurk上的众包人员在自己家里拍摄。每段视频平均30秒内部包含多个动作片段每个片段可以有多个标签。比如一个人走进卧室拿起一本书躺在床上阅读这条视频就会被标注成三个时间片段。这个数据集来源对模型而言比较难但很贴近真实环境背景杂乱、光照不一致、动作幅度小模型在Charades上能做好放到真实场景里鲁棒性会好很多。MultiTHUMOS是THUMOS数据集的增强版对每个动作帧进行密集标注。它包含413段视频、65个动作类别每段视频平均标注了10.5个动作类别。这个数据集是长视频时序动作定位Temporal Action Localization研究的主力数据集之一如果你的任务是检测视频里第几秒到第几秒发生了什么动作就绕不开MultiTHUMOS。行业里做安防监控的人我看到他们训练出的模型往往是先用MultiTHUMOS做预训练再用自己的业务数据微调。理由是MultiTHUMOS的密集时序标注信息量极大模型能学到动作与动作之间的边界和依赖关系这种演技是普通分类数据集很难教给模型的。3. 时空动作检测Spatio-Temporal Action Detection数据集时空动作检测是三个任务里难度最高、标注成本最贵的。数据集的稀缺程度也直接反映了这一点像样的开源数据集一只手能数得过来。3.1 AVA学术研究的行业标准AVAAtomic Visual Actions是目前最权威的时空动作检测数据集由谷歌的研究团队维护是CVPR、ICCV等顶会上时空检测论文的主战场。AVA的标注是从430段15分钟时长的电影片段中抽取出来的每帧标注了所有人的目标框以及与框关联的动作标签。动作类别主要聚焦在人的身体动作人与人的交互人与物体的交互这些原子动作上比如坐着握手打电话。AVA的官方数据量约19万帧标注框约57万个平均每帧有多个人的框和多个动作标签共存。它精细到什么程度呢每个人物框最多可能要标注3到4个并行动作比如一个人站着的同时看着手机又在说话。这种多标签并行的设定是AVA和检测数据集最大的差别。使用AVA的时候有几个实操注意点AVA的标注是按帧存的训练时通常需要以检测到的person proposal一般用预训练检测器生成为输入然后对每个proposal做动作分类。你需要提前准备好人体的bounding box。官方推荐使用60FPS的验证集进行评测帧率不同会导致结果直接不可比。数据的视频部分来自电影存在大量镜头切换、遮挡、多人遮挡数据增强策略里对随机裁剪和尺度抖动的设置非常敏感。3.2 UCF101-24与JHMDB面向姿势和时间关系的小目标UCF101-24是UCF101上为时空动作检测任务重新标注的一个子集保留了24个动作类别视频数量3207段每帧都有标注框。24个类别里面很多是篮球跳远拳击这类高动态运动对目标框的跟踪和修正要求比较高。JHMDB则是一个较小但非常有用的数据集包含928段视频21个类别每帧都标注了人体关键点、目标框和动作标签。它的特点是视频较短约1-2秒、单人动作居多、动作类别集中在全身性运动如走路跑步挥剑非常适合做基于姿态估计的两阶段时空检测方法。实际做实验的时候如果你的方法包含姿态估计分支强烈建议先在JHMDB上跑通流程因为它的标注维度丰富框关键点动作调试起来非常方便。而在UCF101-24上要注意官方划分的train/test split是有坑的网上流传的划分文件版本很多务必使用作者主页release的版本。3.3 时空动作检测数据集的标注格式比较业内最常见的时空动作检测标注格式有两种框-帧格式和**Tube管道**格式。对于新手来说这个分类很关键因为和数据加载、评测逻辑直接相关。框-帧格式属于逐帧独立的检测标注类似目标检测只不过检测的对象从单张图片的物体变成了视频每一帧里的人物框和动作标签。AVA就是这种格式。Tube格式属于将一个人在某段时间内的空间轨迹一串框框视为一个完整的检测单元。UCF101-24和JHMDB在评测时经常用Tube的方式即模型需要输出一个首尾时间区间内的连续框序列。有的数据集官方提供的是逐帧框标注但评测脚本内部会自动把模型输出的逐帧检测结果聚合成Tube再计算mAP。实操时最常遇到的坑是训练时用AVA的框-帧格式测试时却按Tube格式做聚合前后逻辑没对齐导致结果怎么复现都差一截。这里再次强调先看清你选的数据集提供什么样的标注再看评测脚本要求什么样的格式两者之间差的那一层转换逻辑往往藏在数据集的readme里翻论文时不会写。4. 骨骼动作识别与多模态动作数据集另一个值得单独开一篇的方向是骨骼动作识别。这类数据的输入不是RGB图像而是人体关键点的坐标序列2D或3D。它天然对背景、光照不敏感模型参数更小适合部署在嵌入式设备上比如智能健身镜、康复训练设备、驾驶状态检测。4.1 NTU RGBD骨骼动作识别的代表作NTU RGBD数据集是目前骨骼动作识别最主流的数据集。它包含60个动作类别NTU-60后来扩展了NTU-120由40个志愿者采集共56880个视频样本。每个样本同时包含深度图、3D骨架、RGB视频、红外视频四种模态多模态设计是这个数据集最大的特点。很多人会认为NTU是纯骨骼数据集因为它最著名的用法是拿3D骨骼关节点坐标做训练。但严格意义上它同时提供了RGB和深度信息如果你做多模态融合研究这是非常合适的基准数据。使用NTU时最需要关注的划分标准是cross-subject跨人和cross-view跨视角。cross-subject是指训练集和测试集的人不重叠测试模型的泛化能力cross-view是指训练集和测试集的摄像头视角不重叠测试视角鲁棒性。不同的论文会分别报告这两组结果你复现时务必确认代码用的是哪种划分否则精度会差好几个点。4.2 FineGYM与PKU-MMD跨越动作识别和时空检测的桥梁FineGYM是一个细粒度动作识别数据集包含约30329个视频片段99个类别覆盖体操动作。它的特点是动作类别相似度极高比如前空翻和后空翻外观上可能只有一帧角度的差别但在语义上完全相反。这个数据集对模型的时序建模能力要求很高是检验模型能否捕捉细微运动差异的试金石。PKU-MMD则是一个面向多模态动作理解的大规模数据集包含1076个长视频51个动作类别。长视频内部按动作片段做了细粒度的时间标注且同时提供RGB、深度、红外、骨骼四种模态。它既可以用作动作识别也可以用作时序动作检测最大的价值在于支持长视频中多个动作的检测与分类这个更接近真实业务的任务。做实际工程项目时我经常把PKU-MMD当作压力测试数据集用。因为它的视频足够长、动作足够交织模型处理不好就会在片段边界上产生大量误检正好用来检查模型的时序上下文建模是否到位。4.3 多模态与大规模数据集EPIC-KITCHENS、ego4d如果你做的是第一人称视角egocentric相关的研究可选的公开数据集就更稀缺了。EPIC-KITCHENS是最知名的第一人称厨房动作数据集包含约55小时的视频覆盖11种厨房内的操作比如切菜、开冰箱、倒水。它的细粒度标注甚至到了拿刀-切洋葱-放刀这种原子操作级别极大推进了第一人称动作理解。Ego4D则是Meta连同多所高校发布的大规模第一人称视频数据集超过3670小时视频来自74个不同地点。Ego4D不只是动作识别还包含记忆、预测、交互等丰富的任务标签是近期VLM视觉语言模型在多模态视频理解上的重要基准之一。这类数据集的下载都需要走官网申请流程审核期有时候长达半个月起步所以想用它们的话提前规划好时间别卡在DDL前才去申请。5. 小众但爆炸有用的业务场景数据集前面梳理的都是学术圈耳熟能详的主流数据集但如果你跟我一样靠这个吃饭做点实际业务项目那一定知道大多数时候主流数据集完全不够用。工业界里动作识别更常见的是冷门场景自定义数据下面是几个我实际用过的开源数据资源方向散落在各个仓库里值得花时间去找。5.1 工业安全与异常行为数据集做智慧工地、工厂安全生产的项目我们最常做的就是未戴安全帽检测、跌倒检测、区域入侵检测但公开数据集鱼龙混杂。UR Fall Detection是一个专用于跌倒检测的小数据集包含30段视频和对应的3D加速度数据虽然规模小但跌倒姿态的标注极其标准适合做初版验证。Multi-camera Fall Dataset则提供了多个机位的跌倒视频可以用于测试多视角跌倒检测。人的打架斗殴、持刀伤人这类异常行为目前能稳定获取的开源数据集不多。RWF-2000是其中一个比较知名的暴力检测数据集包含2000段监控视频标注了有无暴力行为。不过它的类别标签就只有fight和nonfight两个做细粒度动作分类还行做时空定位比较吃力。你要是想要更精细的边界框级别的暴力行为标注可能得找找UBI-Fights涵盖真实打斗场景且提供帧级别的打斗强度标签。对于工业场景如果你有明确的硬件条件比如摄像头固定、视角固定、光照相对稳定那直接采集业务场景数据并标注的效果几乎一定能吊打公开数据集预训练模型。公开数据集在工业项目里的正确用法是预训练验证流程而不是直接上岗。5.2 驾驶行为数据集与手势数据集自动驾驶领域的行为识别也是一个很活跃的方向。State Farm Distracted Driver Detection是Kaggle上的一个经典项目数据集包含不同驾驶员在10种类别下的图像级驾驶行为样本比如打电话、喝水、整理头发。虽然它本质上是图像分类任务但近年有不少团队把时序建模加进去做多帧联合推理取得了更好效果。3MDAD是一个多模态驾驶行为数据集包含驾驶员的面部、手势、姿态信息更适合做驾驶分心检测。如果你做的是手势识别公开的SKIGStatic Kinect Gestures或者NVGesture数据集值得关注。NVGesture是英伟达发布的动态手势数据集包含1532个手势视频序列25个手势类别有深度图与RGB两种模态。它对手势的时空变化建模要求较高测试多模态融合时表现不错。5.3 医疗康复与运动分析数据集医疗健康领域的视频行为识别是比较小众但价值极高的方向。KTH动作数据集虽然老但在医疗康复的项目里常被当作运动功能评定的基础验证数据。UI-PRMD是一个针对物理康复运动的数据集采集了10位康复者执行10种标准康复动作时的骨骼数据包含角度、位置等多种特征非常适合做康复动作规范度评估。我也接触过一些组在做老年人的日常活动监测比如喝水、起身、行走数据基本都来自自己采购的传感器与摄像头采集。开源方面CAD-120包含高层次的日常活动识别数据涵盖了倒液体、吃零食、打电话等10种日常活动并且标注了物体与人的交互关系用来做老年人独居场景的日常活动识别非常合适。6. 开源数据集的获取渠道、下载技巧与自查清单数据集光知道名字没用下载顺利才是真本事。这个部分总结一些常年踩坑才学到的实用技巧。6.1 数据集的十大可靠来源数据集官网或作者主页最权威但经常因为服务器年久失修而失效。如果失效优先看是否有镜像。Kaggle Datasets很多经典视频数据集都搬运到了Kaggle上比如UCF101、HMDB51、NTU RGBD的部分子集。上传者做了整理下载体验远好于官方FTP。Hugging Face Datasets越来越多的视频数据集被转换为可直接用datasets库加载的格式视频类似webdataset流式读取简直救星。Open Data Lab、Academic Torrents学术数据集镜像速度快适合大文件批量下载。GitHub上的Awesome-Video-Datasets这类收集仓库会有人维护大而全的清单但时效性参差不齐下载前仔细核对。Google Dataset Search适合查找冷门数据集。Papers with Code数据集页面不仅能看到数据集介绍还能看到该数据集上的SOTA模型排名选型参考价值大。百度飞桨AI Studio部分国内视频数据集有搬运对国内网络友好。各类比赛平台的持续数据集比如CVPR的ActivityNet挑战赛每年都会发布新的子数据集。各大学实验室镜像服务器部分数据集在高校实验室的FTP上会有第二备份。6.2 视频数据集下载时的标准排查流程视频数据集的下载失败绝大多数情况是网络访问问题、存储空间预估失误、官方链接失效这三个原因。我建议先做这几个动作下载前先用命令行测试目标URL是否能正常响应不要用浏览器下载到一半才发现失败。估算存储空间时视频数据集解压后通常比压缩包大2到3倍。你要留足这部分空间。检查视频文件是否完整很多视频数据集会附带MD5文件下载完务必校验。没有MD5的可以用ffprobe批量检查视频是否可以解码。文件结构要提前摸清有的数据集把视频与标注分开压缩先解压哪一个并不会影响标注但目录结构不同会影响加载代码。6.3 预测下载时间与存储需求的快速算法视频数据集的体量差异极大从几百MB到几百GB都有。我给一个粗略估算公式供参考估算所需存储空间预估 视频总个数 × 平均视频时长秒 × 平均码率Mbps ÷ 8举例假设你下载一个包含20000段视频的数据集每段10秒平均码率2Mbps20000 × 10 × 2 ÷ 8 50000 MB ≈ 50GB再加上标注文件和解压后的额外空间建议实际预留150GB左右。这个估算主要用于规划下载时间和磁盘配额避免下到一半磁盘满了。如果下载时文件非常大建议用aria2或者wget的断点续传模式不要用浏览器下载浏览器断掉之后往往要从头开始。另外网络不稳定的时候下载一个几十GB的数据集最好写个shell脚本循环重试直到全部文件下载成功脚本与Markdown结合本身的实用性确实比手动一个个点下载更可靠。6.4 数据使用合规与版权问题这个是经常被忽视但极其重要的一块。视频数据集的版权情况差异巨大使用前务必细读。个人学习和科研用途大部分学术数据集都有明确的许可协议如CC BY-NC 4.0、Research Only。但如果你要用于商业项目就要特别小心。拿Kinetics系列来说它的视频片段来源是YouTube每条视频的版权归属于原上传者数据集本身提供的是URL列表和标注而不是视频文件。你要是将其用于商业模型训练就要确保你抓取的YouTube视频不违反原视频的版权。另外有相当一部分医学数据集和生物特征数据集出于隐私保护是禁止再分发的下载时需要签署协议且不允许共享第三方。这类数据集的合规风险最高商业用途上要咨询法务。7. 根据你的算力水平如何选择最合适的数据集这一节可能是很多人最关心的。数据集选型不只是看任务类型还要看你的硬件条件。我在之前的经验里有个很深的体会选一个匹配自己算力的数据集比选一个最权威的数据集更重要。7.1 学术研究型拼算力选大不选小如果你在一所高校或大厂研究院手头有4张或8张A100级别的显卡那你完全可以直接上Kinetics-400或者AVA这种大规模数据集。这种配置下你可以训练完整的VideoMAE、SlowFast这类大模型做预训练或者做架构创新实验。训练Kinetics-400这类规模的数据集时单卡训练基本不现实大家通常会用分布式训练。以SlowFast为例在8张V100显卡上训练50个epoch大约需要2到3天时间A100会更快。如果你做的是AVA上的时空检测模型因为还需要先生成人体检测框整个流程会更耗时。对此一定要预留实验迭代的时间别指望一天能出结果。7.2 个人开发与实验室小算力优先选择小数据集和预训练微调如果你是个人开发者或者实验室只有一张消费级显卡比如RTX 3090、4090那就别硬啃Kinetics了。UCF101或者HMDB51可以做完整的从零训练实验用它们验证模型结构的思路没问题。更好的一种做法是下载一个在Kinetics-400上预训练好的模型权重然后在UCF101或者你自己的小数据集上微调这样既不用花巨量时间去训练又能拿到远高于从零训练的精度。在消费级显卡上做时空动作检测JHMDB这个小数据集是比较好的切入点。它的视频数量少、单人动作为主一张3090就能跑起来。做实验时把batch size调小梯度累积开到4到8还是能比较顺畅地训练的。7.3 企业项目选型以部署目标反推数据集企业做动作识别项目时选数据集的标准和学术完全不一样。我见过太多团队拿着学术数据集训练完模型直接上生产结果在客户现场精度崩成渣。正确的做法是根据部署设备的摄像头角度采集与现场环境高度相似的数据固定视角、俯拍角度、光照分布、真实服装。公开数据集的分布和真实场景差距越大落地效果越差。公开数据集只用于模型预训练业务数据用于微调。建议预训练用Kinetics-400或SSv2的预训练权重微调用自己标注的几百到几千个样本这样效果基本是又快又好。边缘设备多为嵌入式GPU模型的每秒处理帧数和内存占用是硬指标。选数据集时优先看那些数据形态与最终输入接近的比如部署时用骨骼数据就优先找骨骼数据集训练。8. 数据集的后续维护与更新计划因为视频动作识别和时空检测方向迭代非常快每年都有新数据集发布也有旧数据集被社区淘汰所以这个清单我会持续维护。我个人的更新周期是每季度整理一次重点关注这几个信息源CVPR、ICCV、ECCV论文发表后新发布的数据集比赛平台如Kaggle、CVPR挑战赛上涌现的新数据集GitHub上Awesome列表的新增条目知名实验室官网的新数据集发布公告如果你也有自己珍藏的宝藏数据集欢迎交流我会在后续更新里补进去。这个方向的数据集生态越来越丰富但也越来越碎片化能帮大家省点找数据的时间就是我维护这份清单最大的意义了。最后分享一个找数据集的通用思路不要一上来就搜动作识别数据集大全而是先精确到任务模态场景规模比如骨架动作识别 医疗康复 多视角 小规模数据集。带着这种具体需求去检索找到的数据集才真正能用于你自己的项目。这也是我一直坚持维护这份分类清单而不是简单堆链接的原因。