当前位置: 首页 > >

Pointnet&Pointnet++点云上的深度学*及其在三维场景理解中的应用

发布时间:

?



      转化为栅格数据,使用CNN提取特征使用点云的原生数据对特征进行端到端的提取

?



?


屏幕剪辑的捕获时间: 2018/11/17 21:36


?


设计的算法和网络对点云需要满足:


点排序置换不变性。


视角转换不变性。


?



?


屏幕剪辑的捕获时间: 2018/11/17 21:30


对称函数的置换不变性,例如,取最大值、重心*均等保证点云数据输入的无序性。


先高维再降维的网络结构:


?



?


屏幕剪辑的捕获时间: 2018/11/17 21:34


g=max-pooling, MLP=multi-payer perception


?



?


屏幕剪辑的捕获时间: 2018/11/18 10:37


?



?


?


?


点云的坐标旋转不影响分类原则,保证视角变换下,函数的适用性。


视角变换的对齐处理,当然也可以用来进行神经网络中间层的特征变换处理。


?



?


屏幕剪辑的捕获时间: 2018/11/18 10:43


分类网络:(K类)


视角对齐-多层感知高维映射-特征对齐-标准高维映射-对称函数提取全局特征族(1024个)-多层高维映射-输出分类


分割网络:(M类)


对每个点进行分类,单个点的特征和全局特征结合,在全局特征族中寻找各自的位置。


?


?



?


屏幕剪辑的捕获时间: 2018/11/18 10:51



?


屏幕剪辑的捕获时间: 2018/11/18 10:53


?


?



?


屏幕剪辑的捕获时间: 2018/11/18 10:54


内存开支


?



?


屏幕剪辑的捕获时间: 2018/11/18 10:55


计算复杂度开支


结论:适用于移动设备和可穿戴设备应用的算法框架。



?


屏幕剪辑的捕获时间: 2018/11/18 10:56


?


鲁棒性分析,对丢失部分数据的场景分割。



?


屏幕剪辑的捕获时间: 2018/11/18 10:57


点云对丢失数据鲁棒性的解释:少数的关键点是轮廓点,对场景分割任务或者分类任务起主导作用。


因此,对于轮廓特别清晰的图片,点云可以很优秀地学到特征。



?


屏幕剪辑的捕获时间: 2018/11/18 11:10


?


对于点云数据,其难点在于当将一个场景中多个物体进行*移和旋转后,点的坐标发生了变换,每个点MLP后的特征变化,MAX_POOLING后的全局特征族会发生变化,因此处理*移和旋转不变性是关键的数据预处理任务。


这里提出在划分的局部小区域使用pointnet进行特征提取和形状向量表示,将一个复杂形状用更加少的点坐标和形状向量表示。



?


屏幕剪辑的捕获时间: 2018/11/18 11:16


?


展示了两层pointnet++,随后可以使用插值或者是pointnet对原复杂图形进行恢复。



?


屏幕剪辑的捕获时间: 2018/11/18 11:20


?


实验:对同一幅图片随机位置减少点云的数量,对比两种网络的分类精确度。


如果kernel太小,类似于VGG,kernel选取3*3,由于点云数据具有采样率不均匀的性质,*处采样点多远处采样点少,导致输入图片的采样率对网络的影响很大。


?



?


屏幕剪辑的捕获时间: 2018/11/18 12:02


?


采样率不均匀的解决方案。


PiointNet++总结:



      pointnet局部特征学*,*移和视角变换的不变性。部分填充数据丢失的鲁棒性。采样率变化的鲁棒性。外形相似的分类鲁棒性,如下。


?


屏幕剪辑的捕获时间: 2018/11/18 12:06



?


屏幕剪辑的捕获时间: 2018/11/18 14:00


?


应用场景:



      分类部分分割3D场景语义分割(semantic segmentation)

2D+Depth map输入神经网络。


3D神经网络。


?



?


屏幕剪辑的捕获时间: 2018/11/18 13:17



?


屏幕剪辑的捕获时间: 2018/11/18 13:20


?


对点*芯卣蟮某朔ǎ瓿勺晗档墓橐换诮形锾寮觳庥敕指睿既范却蟠筇嵘


缺点:2D数据的分辨率较高,texture纹理丰富;3D做不到。今后可能是2D和3D数据结合。



?


屏幕剪辑的捕获时间: 2018/11/18 13:23


相关研究组:


Standford


Berkeley


MIT


SPLATNet: Sparse Lattice Networks for Point Cloud Processing


?


来自


?


?


?



友情链接: