PointRcnn中特征提取方式在使用pointnet++[11]提取特征时,包含两个重要模块,即set abstraction(即,SA)和feature propagation(即,FP),如下图3所示其中SA是特征encoder过程,通过点云筛选与特征提取逐步减少点云点数,提高特征表达能力与感受野,FP是特征decoder过程,通过点云上采样,获得稠密的点云表达,并级联SA过程的特征,提高终的点云特征表达能力。
将两组特征联合作为proposal的pooling特征。
Roi aware Point Cloud Pooling Roi grid pooling[6]与上面两种pooling方法不同的是,并没有将proposal通过voxel得到固定大小的特征图,而是根据pv-rcnn[6]中提出的key point信息,将proposal用6*6*6=216个grid points表达,grid points是从proposal中的key points均匀采样获得,且RoI-grid point features提取过程和key point feature提取过程是相似的。简单来说是以grid point为中心,r为半径的区域内提取不同尺度、不同感受野的特征,在使用2层的MLP网络获得终的特征表达,如图7所示。
canonical transfor ** tionRoi aware Point Cloud Pooling[5]整体流程如下图6所示,与STD[9]中的pooling方法类似,先将proposal分割成固定大小的voxel,如14×14×14,然后再提取voxel特征表达:
· RoIAwareMaxPool:使用的是阶段输出的point-wise se ** ntic part feature,在voxel中计算 ** x pooling
· RoIAwareAvgPool:使用的是proposal中经过canonical transfor ** tion点坐标特征和segmentation score,在voxel中计算avg pooling
1. 特征提取:在proposal中随机筛选N个点,1)获得阶段的点特征;2)获得N个点的坐标,并用如下图5所示的canonical transfor ** tion得到与原坐标系无关的坐标特征。两种特征联合在一起,作为proposal中点的特征表达
2. Voxel表达:将不同大小的proposal,通过voxel统一化到相同大小:dl = 6,dw = 6,dh = 6
3. 使用VFE layer提取终特征
Roi grid point feature extraction总结:目前基于point-wise feature的目标检测方法还处于研究阶段,效率无法保证,精度还未在真实自动驾驶车上,但由于该方法直接从点云提取特征,大的保留了点云的原始信息,比较有潜力得到更好的效果。参考文献:
1、PointPillars: Fast Encoders for Object Detection from PointClouds
2、VoxelNet: End-to-End Learning for Point Cloud Based 3D Object Detection
3、PIXOR: Real-time 3D Object Detection from Point Clouds
4、Multi-View 3D Object Detection Network for Autonomous Driving5、YOLO3D: End-to-end real-time 3D Oriented Object Bounding Box Detection from LiDAR Point Cloud6、SqueezeSeg: Convolutional Neural Nets with Recurrent CRF for Real-Time Road-Object Segmentation from 3D LiDAR Point Cloud7、PointSeg: Real-Time Se ** ntic Segmentation Based on 3D LiDAR Point Cloud8、LaserNet: An Efficient Probabilistic 3D Object Detector for Autonomous Driving
http://vjxmw400.cn.b2b168.com
欢迎来到深圳市中为检验技术有限公司网站, 具体地址是广东省深圳市龙岗区深圳市龙岗区横岗街道横岗社区力嘉路109号1A106,联系人是黄经理。
主要经营咨询相关产品。
单位注册资金单位注册资金人民币 500 - 1000 万元。
我们公司主要提供检测等服务,我们确信,凭借我们的专业服务和良好的协调、沟通能力,使客户在经营生产中顺利进行,协助客户不断成长,在合作中与客户实现共赢。欢迎您致电咨询!