其实说白了还是感知问题。

用理想自己的说法，现在用的是「激光雷达和视觉摄像头融合感知」。再往深了说，其实还是摄像头感知为主，激光雷达为辅。

但是感知这件事其实并没有那么好做。

你以为摄像头捕捉到图像，然后根据图像直接识别对吧？

但其实，并不是这样。虽然我们看到的是图⽚，但是在计算力眼中，它看到的其实是⼆维⽹格，需要进⾏转换和编码。

摄像头感知要经过检测、分类、跟踪、语义分割的过程

检测：找出这个物体的位置

分类：弄清楚这个东西是啥？

跟踪：即持续追踪这个物体的动作

语义分割：将像素和语义类别进行匹配

比如上图特斯拉的占用网络，用8 个摄像头的视频流作为输⼊，生成的3D模型，但是其中用到了不同的颜色来对不同物体进行分类。

那么具体感知过程其实是这样：输入图片之后，我们会对图片进行预处理，然后提取特征：

然后，最关键的其实还是分类。这个过程其实就是对提取到的特征进行训练。

比如你要让感知认出狗子，那就要大量输入相关模型，让计算机去学习，哦，原来这叫狗。

这事儿还真不容易，因为你总会遇到很多corner case（极端情况），就像下面这种：

对摄像头来说，你说它是车吧，但是它还背着个自行车，所以，到底把它识别成自行车呢？还是车呢？this is a question。

那么，对应的理想这事儿，其实就好理解了。就是遇上corner case了。

理想给自己的计算机视觉喂养数据，一般都来自道路场景，那么，陵园场景，就是一个基本上不会碰到的也没想到去训练的场景。

谁也不会无聊到逮到自己的计算机神经网络，然后给它看各种墓碑形状吧，让它去认吧，想想就有点瘆人.......

然后，在你对外的UI发布上，墓碑 也要占据一席之地。

只能说，这个场景确实有点刁钻了hhh，不知道后续理想会不会补齐。

那么，最后一个问题，理想为什么结合摄像头+激光雷达做感知？

其实很好理解，本质就是视觉感知能力不强，可能无法非常准确的辨别物体，激光雷达能很好的补齐短板。

比如之前难到特斯拉的一个场景，8个摄像头各自捕捉各自的，无法准确识别

在自己感知能力不强的情况下，激光雷达则能直接到这个物体的3D信息：

还原一下上面大车场景就是：

摄像头：这玩意儿，是个什么东西，小车？大车？静止的车？认不出来啊。

激光雷达：这是一个非常大、又长、且在运动中的立方体

摄像头：比对一下资源库，明白了，这是一个大车！

大概就是这样。

好了，散会！

注：图片来自网络，侵权请联系删除）

如果你觉得内容不错，欢迎点赞、关注、转发，这对我的创作有很⼤帮助。