常见数据集 训练数据简述nuplannuplan 是后者升级版 自动标注的 地点美国 新加坡,3D 障碍物红绿灯高精地图支持轨迹预测 规划任务 支持闭环nuscenesNAVSIM 数据集simulator 不与ego做交互用真实的数据 做模拟器中的渲染carla simulator3d 城市模拟城市地图 交通参与者 传感器模型 天气光照适合闭环评测可以自定义仿真场景Bench2 Drive链路数据全面 闭环与环境交互的闭环 可以互相影响 综合来看最好Benchmark基准测试的名称。Sensor是否提供或支持传感器数据如摄像头、激光雷达等。Closed-Loop是否支持闭环评估即车辆的决策会实时影响环境模拟真实的驾驶交互而不是单纯回放历史数据。E2E-Sim是否支持端到端End-to-End自动驾驶的仿真评估。Expert是否包含专家示范数据可用于模仿学习。Complex是否包含复杂场景的测试。Multi-Ability-Eval是否支持多能力评估即能否精细评估模型在不同驾驶技能上的表现如超车、避障、转弯等。nuScenes 业界知名的3D感知数据集。它主要用于开环评估不支持闭环也不支持端到端仿真。nuPlan 大规模规划数据集。它支持闭环和复杂场景但不支持端到端仿真也没有专家数据。Waymax 基于JAX的闭环仿真平台。它支持闭环和复杂场景但不支持传感器数据和专家数据。Longest6 CARLA排行榜V1的修改版。它仅评估基本技能如车道保持、转弯不支持闭环、端到端、专家数据和复杂场景。CARLA LB V2CARLA官方的Leaderboard 2.0。它支持闭环、传感器和复杂场景但缺少专家示范数据开环评测车辆 完全按照数据中的GT去开l2 距离 是预测轨迹的距离的差距指标碰撞率预测轨迹和其他障碍物发生碰撞的比例开环只用于快速迭代 常用nuScesnes闭环评测闭环 车辆与环境交互执行模型输出轨迹的同时环境也受到车辆轨迹而变化NAVSIM常用指标NC (No at-fault collision) - 无责任碰撞含义衡量自动驾驶车辆自车在行驶过程中是否发生主动碰撞。它会严格区分是“自车责任”的碰撞还是其他交通参与者造成的碰撞或者是与静态障碍物如护栏、树木的碰撞。作用这是最基础的安全底线如果发生责任碰撞通常会直接影响最终的综合评分。DAC (Drivable Area Compliance) - 可行驶区域合规性含义评估车辆是否始终保持在合法的、可行驶的区域如车道内、交叉路口内行驶有没有越出马路、开上人行道或逆向行驶。作用确保车辆遵守交通规则保证行车轨迹的合法性。TTC (Time-to-Collision) - 碰撞时间含义预测车辆与周围障碍物在未来发生碰撞所需的时间。它本质上衡量的是自车与障碍物之间的安全时间余量。作用反映车辆的安全裕度。如果 TTC 值过小说明车辆进入了危险接近状态极易发生追尾或碰撞。EP (Ego Progress) - 自车进度含义衡量车辆沿导航目标参考路径向前推进的程度通常以完成导航任务的百分比来表示。作用评估规划和控制的有效性反映车辆的行进效率。指标越高说明车辆越能高效地完成任务。Comf (Comfort) - 舒适性含义评估驾乘体验的平顺度主要考察加速度、加加速度jerk等物理参数是否在预设的舒适阈值内。作用如果车辆频繁急加速、急减速或急转弯舒适性指标就会下降这反映了算法控制的平滑性。这五个指标通常会被用于计算一个综合得分例如在 NAVSIM 中的 PDMS 评分通过加权求和等方式对自动驾驶系统的整体驾驶性能进行全面且客观的打分。carla闭环常用指标
