ActivityNet 数据集包含 200 种不同类型的活动、共计 849 小时的 YouTube 视频。就活动类目和视频数量而言，ActivityNet 是迄今为止最大的时序活动检测 (temporal activity detection) 基准。
ActivityNet V1.3 共包含 19,994 个未剪辑视频 (untrimmed video)，并按 2:1:1 的比例，分为训练、验证和测试 3 个子集。每个活动类别平均包括 137 个未剪辑视频，每个视频平均 1.41 个活动，且这些活动都有时序边界 (temporal boundary) 注释。测试视频的真实注释不公开。