近日，在全球权威的自动驾驶nuScenes竞赛的最新评测中，毫末智行斩获纯视觉3D目标检测任务（nuScenes Detection task）无外部数据榜单第一名，并将关键性指标nuScenes Detection Score（NDS）提高到68.8%。
自动驾驶纯视觉感知算法已经成为行业的热点，如何提高基于视觉的3D障碍物的精度和准确度成为当下核心的技术挑战。毫末在此项检测任务中主要使用了两种方法，一种是基于NeRF的三维建模方法，并基于此方法设计了深度分支网络模型来输出深度伪标签，另一种是由SEEM监督的语义分支网络来输出语义伪标签，最终结合深度伪标签、语义伪标签来提升检测效果。
nuScenes数据集是目前自动驾驶领域中最流行的公开数据集之一，数据采集自波士顿和新加坡的实际自动驾驶场景，是第一个集成摄像头、激光雷达和毫米波雷达等多种传感器，实现360度全传感器覆盖的数据集。nuScenes数据集提供了二维、三维物体标注、点云分割、高精地图等丰富的标注信息，包含1000个场景，拥有140万帧图像、39万帧激光雷达点云数据、23个物体类别、140万个三维标注框，其数据标注量比KITTI数据集高出7倍以上。
所谓纯视觉3D目标检测任务，就是在不使用激光雷达、毫米波雷达等额外的传感器信息条件下，仅使用6个摄像头完成车外360度环视视野的3D目标检测，不仅需要检测周围环境中所有的车、行人、障碍物、交通标志、指示灯等若干类对象，还要精确感知到他们在真实物理世界中的位置、大小、方向、速度等信息。该项任务的主要难点是通过2D图像难以准确的获取目标的真实深度和速度，当提取的深度信息不准确时，一切的三维感知任务都会变得异常困难；而当提取的速度信息不准确时，则可能会对后续的决策规划任务产生致命性的影响。
得益于更先进算法和更高算力的进步，nuScenes竞赛的3D目标检测任务榜单成绩不断取得提升，其中毫末AI技术团队将关键性指标NDS提升到68.8%，充分展示了其在自动驾驶技术领域的实力。
