-
Notifications
You must be signed in to change notification settings - Fork 7
Expand file tree
/
Copy patheval.sh
More file actions
85 lines (69 loc) · 1.97 KB
/
Copy patheval.sh
File metadata and controls
85 lines (69 loc) · 1.97 KB
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
# ====================================== ViPOcc Evaluation ======================================
# eval occ
python eval.py -cn eval_lidar_occ
#scene_O_acc : 0.927
#scene_IE_acc : 0.713
#scene_IE_rec : 0.686
#object_O_acc : 0.790
#object_IE_acc : 0.685
#object_IE_rec : 0.643
# eval rendered depth
python eval.py -cn eval_depth_kitti360
#abs_rel : 0.097
#sq_rel : 0.446
#rmse : 3.383
#rmse_log : 0.188
#a1 : 0.886
#a2 : 0.956
#a3 : 0.980
# eval predicted depth
python eval.py -cn eval_depth_kitti360 \
"model_conf.eval_rendered_depth=false"
#abs_rel : 0.097
#sq_rel : 0.441
#rmse : 3.427
#rmse_log : 0.188
#a1 : 0.883
#a2 : 0.957
#a3 : 0.980
# ========================== BTS Official Evaluation ==========================
# KITTI-360, occupancy prediction
python eval.py -cn eval_lidar_occ \
"checkpoint=\"checkpoints/BTS-KITTI-360.pt\"" \
'model_conf.z_range=[20, 4]' \
'model_conf.backbone.use_depth_branch=false'
#scene_O_acc : 0.923
#scene_IE_acc : 0.690
#scene_IE_rec : 0.644
#object_O_acc : 0.791
#object_IE_acc : 0.689
#object_IE_rec : 0.601
# KITTI-360, depth estimation
python eval.py -cn eval_depth_kitti360 \
"checkpoint=\"checkpoints/BTS-KITTI-360.pt\""
#abs_rel : 0.103
#sq_rel : 0.492
#rmse : 3.007
#rmse_log : 0.194
#a1 : 0.891
#a2 : 0.958
#a3 : 0.978
# KITTI-360, pseudo depth estimation (median scaling)
python eval.py -cn eval_pseudo_depth
#abs_rel : 0.142
#sq_rel : 0.533
#rmse : 3.297
#rmse_log : 0.209
#a1 : 0.832
#a2 : 0.952
#a3 : 0.981
# (no scaling)
python eval.py -cn eval_pseudo_depth \
'model_conf.depth_scaling=null'
#abs_rel : 0.586
#sq_rel : 3.743
#rmse : 6.653
#rmse_log : 0.477
#a1 : 0.071
#a2 : 0.598
#a3 : 0.889