多模态

Frustum ConvNet

Pipeline

• 2D img 滑块 出frustum
• 把frustrum内的pointcloud 编码成 frustum-level feature vector（PointNet style）
• 再把feature vector投射成2d feature map
• 然后送进FCN

似乎像depth方向的pointpillar

数据增强

randomly sample from 3D points corresponding to each region proposal to have a fixed number 1,024 for KITTI

SFD

Sparse Fuse Dense， 多模态

• 利用深度补全生成的伪点云来解决 点云稀疏性的问题
• 提出了一种新的RoI融合策略3D-GAF 3D Grid-wise Attentive Fusion 来充分利用不同点云的信息（真伪俩种）（更细粒度和更精确）
• SynAugment(同步增强)，使我们的多模态框架能够利用所有针对仅使用激光雷达的方法定制的数据增强方法
• CPConv (Color Point Convolution)。它可以同时探索伪点云的二维图像特征和三维几何特征。

Introduction

稀疏的LiDAR点云在距离较远和遮挡区域提供的信息较差，难以生成精确的三维边界框。

在融合RoI特征时，以前的RoI融合方法是将BEV激光雷达特征图裁剪的二维激光雷达RoI特征与FOV图像特征图裁剪的二维RoI特征进行拼接。我们注意到这种RoI融合策略是粗糙的。（真的还有人用这么原始的concat🐎）