机器之心原创
作者：陈萍不同于人类，计算机「看待」世界有自己的方式。为了达到类似人类的视觉水平，各种算法层出不穷，本篇就来窥探其冰山一角。我们生活的世界是一个三维物理空间。直观而言，三维视觉系统有助于机器更好地感知和理解真实的三维场景。三维视觉作为计算机视觉的一个比较重要的研究方向，在过去几十年间得到了扎实和系统地发展，形成了一套完整的理论体系。近年来，随着三维成像技术如激光雷达、TOF相机及结构光等的快速发展，三维视觉研究再次成为研究热点。在上一篇文章中，我们对3D视觉基础相关内容进行了概括性总结，本文我们将进行比较深层次的介绍，主要涉及3D视觉算法及其应用领域。3D目标检测多模态融合算法基于视觉的目标检测是环境感知系统的重要组成，也是计算机视觉、机器人研究等相关领域的研究热点。三维目标检测是在二维目标检测的基础上，增加目标尺寸、深度、姿态等信息的估计。相比于二维目标检测，三维目标检测在准确性、实时性等方面仍有较大的提升空间。在目标检测领域，2D目标检测方面发展迅速，出现了以R-CNN、FastRCNN、MaskRCNN为代表的two-stage网络架构，以及以YOLO、SSD为代表的one-stage网络架构。然而由于2D图像缺乏深度、尺寸等物理世界参数信息，在实际应用中存在一定局限性，往往需要结合激光雷达、毫米波等传感器实现多模态融合算法，以增强系统的可靠性。因此，研究者们提出了许多3D目标检测方法，根据传感器的不同大致可分为视觉、激光点云以及多模态融合三大类。其中视觉又包括单目视觉和双目视觉（深度视觉）两类；激光点云包括三维点云投影和三维空间体素特征；而多模态融合实现了激光点云与视觉的融合。下面将对现阶段比较流行的3D目标检测多模态融合算法研究进行介绍。论文1《3D-CVF:GeneratingJointCameraandLiDARFeaturesUsingCross-ViewSpatialFeatureFusionfor3DObjectDetection》提出了voxel-based的多模态特征融合。论文