dd3d

DD3D: Is Pseudo-Lidar needed for Monocular 3D Object detection?

目录

• 引用
• 简介
• 训练配置
• 使用教程
• 数据准备
• 训练
• 评估

引用

Dennis Park and Rares Ambrus and Vitor Guizilini and Jie Li and Adrien Gaidon. "Is Pseudo-Lidar needed for Monocular 3D Object detection?" IEEE/CVF International Conference on Computer Vision (ICCV), 2021.

简介

DD3D是一个端到端single-stage单目相机目标检测模型，融合了PL方法的优势(scaling with depth pre-training) 和end-to-end方法的优势(simplicity and generalization performance)，训练过程简单，只包含depth pre-training和detection fine-tuning。在模型发布时，DD3D是NuScenes(nuscenes.org/object-det)单目3D检测排名第一的工作(截止2021.9.3)。

训练配置

我们提供了在开源数据集KITTI上的训练配置与结果，详见DD3D训练配置

模型库

模型	骨干网络	Car Easy Mod. Hard	模型下载	配置文件	日志
DD3D	dla_34	23.49 17.57 15.21	model	config	log | vdl
DD3D	v2_99	29.17 23.42 20.73	model	config	log | vdl

使用教程

数据准备

请下载KITTI单目3D检测数据集，数据集信息请参考KITTI官网

注意：KITTI官网只区分了训练集和测试集，我们遵循业界的普遍做法，将7481个训练集样本，进一步划分为3712个训练集样本和3769个验证集样本

下载好后的数据集目录结构

kttti
   ├── ImageSets
   |      ├── test.txt
   |      ├── train.txt
   |      └── val.txt
   ├── testing
   |      ├── calib
   |      └── image_2
   ├── training
          ├── calib
          ├── depth_2
          ├── image_2
          └── label_2

   ...

将kitti数据软链至datasets/KITTI，或更改配置文件数据集路径。

训练

单卡训练，先运行以下命令，进行warmup

python -u tools/train.py --config configs/dd3d/dd3d_dla_34_kitti_warmup.yml

然后进行训练

python -u tools/train.py --config configs/dd3d/dd3d_dla_34_kitti.yml --resume

多卡训练，先运行以下命令，进行warmup

export CUDA_VISIBLE_DEVICES=0,1,2,3
fleetrun tools/train.py --config configs/dd3d/dd3d_dla_34_kitti_warmup.yml

然后进行训练

export CUDA_VISIBLE_DEVICES=0,1,2,3
fleetrun tools/train.py --config configs/dd3d/dd3d_dla_34_kitti.yml --resume

训练中断，可以通过--resume进行继续训练。

评估

运行以下命令，进行评估

python tools/evaluate.py --config configs/dd3d/dd3d_dla_34_kitti.yml --model pretrained_model_path