Apollo Day

2022年11月29日，百度Apollo Day如期举行，尽管这是一次因疫情而在线举行的Apollo Day，但也是一次特点鲜明的Apollo Day。

在这次活动中，百度集团在自动驾驶领域的技术专家倾巢出动，第一次向外界解密了该公司在L4自动驾驶领域的核心技术理念。

在发布会中，百度Apollo技术专家对外介绍的一些核心topic包括：

1.百度自动驾驶的技术框架；

2.基于文心大模型的自动驾驶感知系统；

3.学习型的PNC系统；

4.百度自动驾驶数据闭环系统；

5.数据驱动的仿真系统；

6.百度Apollo自动驾驶地图；

7.自研AI芯片赋能高阶自动驾驶；

8.百度L4/L2+技术共生的战略。

百度技术专家王井东介绍了文心大模型在自动驾驶感知领域的应用，使得该公司在长视距物体检测、多模态感知、长尾障碍物检测方面的效果得以大幅提升。

这是百度文心大模型首次应用在自动驾驶CV领域。

在数据闭环方面，百度技术专家李昂提出该公司评价一个优秀数据闭环系统的优点。

李昂认为，对于一个数据闭环系统而言，大数据和大算力是一个基础特点，更重要的是，如何在云端和车端的挖掘出高提纯数据，并能高效地将这些数据转化为自动驾驶系统的能力。

鉴于当前量产智能驾驶重感知、轻地图的趋势，该公司AI和地图领域的技术专家黄际洲提出，如果要想确保99.99%以上的可靠性，L4级自动驾驶无法离开高精地图。

黄际洲同时对外发布了Apollo自动驾驶地图。

在自动驾驶的训练和AI芯片方面，昆仑芯科技CEO欧阳剑介绍了百度昆仑芯二代芯片在自动驾驶超算中心方面的应用。

昆仑芯二代芯片也具有在Robotaxi车端作为边缘AI技术芯片的潜力。

对于中国的自动驾驶产业而言，百度昆仑芯二代芯片在自动驾驶领域落地意义重大。

上述内容的发布，约等于百度揭开该公司在自动驾驶系统中主要的技术底牌。

基于这些支撑，百度认为，Robotaxi的商业化落地近在咫尺。

对于当下直接做L4级智能驾驶行业一些公司的破产和后撤，百度副总裁王云鹏并不惊讶。

他说，在两年之前他就预测，在直接做L4领域，将会出现“冰火两重天”的局面，但当时的预测还是有一点早，因为这些初创公司的资金储备还不错，到今年才陆续出现问题。

另一方面，王云鹏也指出，百度Apollo和一些友商们，包括Waymo、Cruise等企业依然干得相当不错，尤其是Waymo，全无人Robotaxi运营的扩张在提速。

在体验上，Waymo现在的驾乘体验和几个月之前相比，都有显著的改善。

至于被问及直接做L4级企业“冰火两重天”的分界点是什么时，王云鹏指出，能够实现全无人有规模的商业化运营就是这个“分水岭”。

对于初创公司而言，跨过这个点，就是一马平川；如果跨不过去，就很难获得资本的支持，在竞争中掉队在所难免。

百度Apollo 在今年8月已经实现了全无人商业化运营，在发布会上，百度Apollo宣布将持续扩大业务规模，在2023年打造全球最大的全无人自动驾驶服务运营区。

该公司的技术专家陈竞凯表示，百度的自动驾驶技术泛化能力进步速度超预期，落地新城市技术交付时间仅需20天。

这是一个雄心勃勃的目标，对于自动驾驶技术而言，一旦解决了无人化规模落地的问题之后，将会进入快速发展阶段。

数据的规模效应会让先发优势扩大，因为发展速度和数据规模会形成自我实现的飞轮效应，发展速度越快，数据规模越大；数据规模越大，体验越好，发展速度越快。

技术体系

技术体系是百度 Apollo信心的来源。

百度自动驾驶技术体系，以安全为核心而搭建。

包括功能安全和预期功能安全两个体系。

功能安全部分，主要关注硬件的故障和失效。

系统设计的重点是，在没有人介入的情况下，自动驾驶系统需要自动检测到故障和失效问题，并在检测到问题的时候，安全地进行紧急处理。

在预期功能安全方面，包含云端智能、车端智能和车云辅助。

车端智能包括常规的感知系统、预测决策和规划控制3个模块，此外，还包括一个额外安全评估系统，该系统的核心任务是判断“安全不安全”，一旦发现车辆处于不安全状态就会通过车云辅助系统介入。

在开始的时候，该安全判断机制会偏向于保守。通过训练，让自动驾驶系统的能力边界不断地得以扩张。

百度自动驾驶技术系统的各模块中，值得额外引发关注的实践包括：

一、利用文心大模型提升感知系统能力。

在感知模块，百度采取自有的文心大模型提升自动驾驶感知的效果。

在此之前，文心大模型在NLP领域取得了非常好的成果，

当被问及文心大模型和Transformer的区别时，百度技术专家王井东指出，Transformer是一种和CNN对应的更基础的结构，文心大模型可以基于Transformer实现。

据王井东介绍，文心大模型在感知领域发挥的作用，主要包括以下几个方面：

1.利用没有标注的3D数据训练检测大模型。

王井东说，激光雷达的3D点云数据很难标注。

将不同类型的激光雷达所收集的没有标注的3D数据应用于训练，提升检测大模型的效果，是文心大模型的一个作用。

基本流程是，利用已有的带标注的2D数据和部分带标注3D数据对模型进行训练，再使用训练好的大模型对无标注3D数据进行打标签，然后将这些打了“伪标签”的数据和之前的数据混合在一起对大模型进行训练，训练完毕之后，大模型对无标签数据再次进行打标签。

据王井东介绍，更新后的“伪标签”标注的准确度会有显著提升，然后再用更新后的“伪标签”数据与原来的数据一起对模型进行训练，大模型的检测效果再次提升。

如此反复。

上述流程，即当下业界比较流行的半监督训练。

2.增强线上小模型的感知能力。

应用场景包括：

提升车端在线小模型的远距离检测能力。

因为距离比较远的时候，激光雷达覆盖不到，车端的远距离检测只能依赖视觉方案，车端小模型在远视距的3D物体检测方面的能力远不及大模型。

提升多模态感知中的分类能力。

在中距离的多模态感知中，将激光雷达的点云信息与视觉BEV信息融合，将能够更加有效地发现3D障碍物的语义信息，比如识别出是一辆救护车，这对规划决策的价值很大。

通过大模型提升车端小模型的感知能力是一种可行的解决方案。

百度文心大模型的操作方式主要包括两个：

一个是利用线下大模型对3D障碍物进行自动化标注，并将标注后的数据应用于小模型的检测训练。

另一个方案是通过“知识蒸馏”将大模型的能力赋能给小模型。包括在backbone环节、2D head、3D head三个检测环节进行知识蒸馏。

3.利用文心图文大模型进行长尾图像的数据挖掘进行训练。

文心大模型是一个通用世界的模型，其基本逻辑是，在现实世界上训练好的能力，应用在自动驾驶中也是OK的，而自动驾驶中遇到的一些长尾数据场景，在现实世界的其他场景也能够遇到。

比如，一个塑料袋贴在地面上，很难识别，也不大常见，通过云端下发的数据采集成本也不低，但这样的信息，通过文心大模型，可以在现实世界的标准库中找到很多类似的场景，然后进行训练，提升模型效果。

二、数据闭环系统。

在数据闭环基础设施方面，百度技术专家李昂认为，当数据规模越来越庞大时，衡量数据闭环系统效率的两个方面是：

在车端和云端获得高纯度数据的能力，以及在云端消化高纯度数据的能力。

李昂分别在上述两个领域介绍了百度在实践中的一些经验。

1.数据提纯能力。

百度获得高纯度数据的方式有两个方面：

一方面，依托识别失败的图片，对相似图片进行定向挖掘，找出这些具有相似特征的图片，然后进行训练。

另一方面，他们的思路是找到分布在模型失效边界的数据，利用这些数据对模型进行针对性训练。

上述思路主要通过云端大模型和车端小模型的推理模块实施定向挖掘而获得。

李昂介绍，上述数据挖掘的效率，一方面取决于推理模型读取数据的速度，另一方面取决于模型推理和计算的速度。

前者可通过文件系统创新提升效率，后者可通过分布式的方式提升。

据李昂介绍，该公司的数据闭环系统，集成了百度自研的Paddle Flow数据缓存基础架构，使得推理引擎的数据读取能力提升了10倍。

2.数据消化能力。

百度数据闭环系统，在数据消化能力的建设上分为三个部分，包括：全无人的自动化训练引擎、系统层面上的联合优化和优化数据集数据分布的实践。

在自动训练方面，百度自动驾驶的训练引擎比较有特色。

比如对某一个模块的优化，他们不是针对一个模型进行优化，而是针对一个候选的模型群进行优化。

此外，该公司的训练，不仅仅是对模型的参数进行调整以实现梯度下降，而是对模型的超参数进行同步调整，以改变模型参数梯度下降的动力学性能。

同时，在这个训练的过程中，还会有一个异步推理引擎对模型优化的效果进行评估。

在联合优化方面，百度的理念是，自动驾驶系统是一个复杂系统，但你对感知的模块进行训练的时候，也许可以获得一个最优结果，但放在仿真系统里面进行评估时效果也许不是变好，反而可能会变差。

一个例子是，在轨迹预测时，障碍车的轨迹预测将会影响主车的路径规划。

在这里，感知、预测决策其实是互相影响的，鉴于此，在对感知模块进行训练时，不仅感知模块的效果要最优，预测决策模块、仿真系统的结果都要达到最优，才能实现优化系统的目标。

这里涉及两个问题：

一方面，对于一些增量数据，如果把所有模型都训练一遍，训练成本将会大幅上升。

另一方面，如果只对一个模块进行训练，也许单模块效果最优，但系统效果会下降。

百度的联合优化思路是，将特定模块的训练同时与仿真系统的评价整合在一起，进行联合优化，确保局部目标和系统目标是一致的。

在数据分布方面，李昂指出，深度学习最重要的输入是数据，但最关键要解决的一个问题是让经验风险最小化。

本质上要解决样本失真的问题。

在数据分布问题上，百度采取的方法是通过标签化或场景化方式来描述数据分布。

他们通过一些描述性指标，可以将所有的数据都映射到不同的场景，当对每个场景的数据进行统计时，就可以获得整个数据集的数据分布。

可以表达数据分布之后，就可以对数据分布进行评估。

当然了，该公司提出的学习型PNC系统，以数据为灵魂的仿真系统等方面的理念，也多有可圈可点之处，在此不多做赘述。

差异化

对于百度自动驾驶系统而言，有一些模块的经验，友商是可以跟进的，但也有一些模块的经验，友商在短期之内是比较难跟进的。

比较显著的差异化领域包括：

一、自动驾驶地图。

陈竞凯认为，自动驾驶不可能离开地图。

因为交通系统是一个规则约束下的系统，自动驾驶是运行在我们实际的交通条件下的，当然不能脱离规则的约束，地图恰恰是这个规则系统表达的一个核心框架。

鉴于此，本次Apollo Day百度发布了Apollo自动驾驶地图。

该地图的一些比较显著的特点是：

1.实时在线地图。

百度技术专家黄际洲指出，离线地图在道路交通情况发生变化时，对于自动驾驶系统非常不友好。

他们的解决方案是，基于车端的多模传感器生成实时在线地图、结合其他车辆共享数据形成的众源地图和通用高精地图，进行融合，能够有效解决道路环境临时发生变更的场景。

2.驾驶知识增强。

对于百度地图而言，在任何一条道路，任何一个道路场景，都有海量的交通驾驶数据，通过融合这些数据，就可以形成一个知识图谱，即在中国的任何一个道路场景，该地图都拥有一个最优驾驶行为的数据。

对于自动驾驶系统而言，有了Apollo自动驾驶地图，就意味着有一个实时在线的“副驾驶”提醒在这个场景怎么驾驶会更舒适、更合理。

比如，在一个左转场景，过去之后如果要马上右转，驾驶知识增强模块可以给出相应的变道、限速的建议。

3.交通大脑。

该系统基于百度地图、车路协同基础设施和该公司智能交通解决方案，能够为用户提供实时路况信息、交通事件信息，帮助自动驾驶系统选择路线、控制车速以更恰当的时机通过红绿灯。

黄际洲认为，百度是国内唯一一家既在自动驾驶领域又在地图领域拥有深度know-how的公司。

二、AI芯片。

在发布会现场，昆仑芯科技CEO欧阳剑首次对外介绍了昆仑芯二代在自动驾驶领域的应用。

欧阳剑认为，自动驾驶应用场景和数据中心非常类似，但自动驾驶对稳定性、可靠性、易用性的要求更高。

据欧阳剑介绍，在自动驾驶训练场景，昆仑芯二代能够完美地适配百度Robotaxi的云端训练。

在性能上，该芯片对感知模型训练的效率和普通GPU相比，除了效率更高之外，在功耗上只是友商的一半。

欧阳剑指出，昆仑芯的三代、四代产品也在研发之中。

在当下，中美科技战愈演愈烈，美国方面已经限制了高端GPU的对华出口，百度昆仑芯二代芯片在自动驾驶超算中心的应用，不仅可以使得该公司在自动驾驶的训练上更有优势，在未来，也可能为中国自动驾驶产业提供超算基础设施。

三、AI基础设施。

百度有自己的成体系的AI基础设施，包括百度大脑、Paddle Paddle、文心大模型、昆仑芯、百度云等……

比如，飞桨系统相当于AI的操作系统，能与昆仑芯完美适配，该公司的文心大模型在自有的OS和芯片平台上进行优化，迭代的速度更快、效果更好。

因为，应用层的优化可以与底层系统的优化联动起来。应用层的一些需求，可以直接反馈给底层的基础平台，甚至是优化底层基础平台支持应用的迭代。

此外，对于自动驾驶而言，大数据、大模型、大算力正成为趋势，自动驾驶，将会成为未来消耗云计算资源最大的应用。

因此，对于每一家自动驾驶公司而言，未来的竞争很大程度上是云基础设施的竞争。

在云计算上体系化的能力，使得百度在自动驾驶基础设施上更具竞争力，一方面自动驾驶AI模型的生产速度更快；另一方面，模型训练的成本更优。

当然了，对外共享云基础设施，也会变成一个巨大的生意。

这些基础设施的优势，将会在接下来的几年时间中体现出来，尤其是当自动驾驶在最后冲刺的过程中难度越来越大的时候。

尾声

当然了，和友商Waymo、Cruise们不一样，百度也在做L2+。

该公司认为，将L4级自动驾驶技术进行迁移，赋能L2+智能驾驶，不仅可以获得收入，更可以获得数据。

这些数据，将反哺L4级智能驾驶系统的迭代。

L4级智能驾驶的竞争，像是登山，越到后面难度越大；越到后面，越考验企业底层技术能力。

这是百度的优势。