科学家提出等效加速测试方法,提升仿真与实车测试速度1000倍

深科技利大千 2024-06-29 06:04:02

人类关于自动驾驶的梦想可追溯至百年以前。过去 20 年,随着 AI 技术的进步,自动驾驶技术也在突飞猛进地发展。

但是直到今天,自动驾驶汽车仅发展到 L3 级别,而对于商用之路的 L4 以上级别似乎仍然遥远。导致这一结果的核心原因是,相关的安全性能仍无法达到大规模落地应用的要求。

自动驾驶汽车安全性测试的严重低效性,成为阻碍其研发迭代与落地应用的瓶颈性难题。

清华大学助理教授封硕与美国密西根大学刘向宏(Henrry X.Liu)教授团队,凝练了该行业难题背后的科学难题——超高维空间小概率事件估计。

研究人员提出“连续时空智能环境测试”的全新思路,为自动驾驶测试的低效率难题提供新方案,进而解决自动驾驶汽车安全性的“长尾问题”。

图丨封硕在密西根大学全球自动驾驶论坛进行主题报告(来源:封硕)

他们创立“自动驾驶汽车等效加速测试”理论与方法体系,基于密集学习用 AI 生成自动驾驶智能测试环境,克服了片段化场景测试的局限性,显著加速了仿真与实车测试速度 3 至 5 个数量级(1000 倍到 10 万倍)。

该研究被 Nature 的评论文章评价为“取得了保障自动驾驶安全性的关键性进展”[2]。

图丨Nature 当期论文封面(来源:Nature)

相关论文以封面论文形式发表于 Nature,题目为《基于密集强化学习的自动驾驶汽车安全性测试》(Dense Reinforcement Learning for Safety Validation of Autonomous Vehicles)[1]。

据了解,这是在 Nature 正刊发表的首篇自动驾驶领域论文。清华大学助理教授封硕是第一作者,密西根大学刘向宏教授担任通讯作者。

图丨相关论文(来源:Nature)

显著加速仿真与实车测试速度 3-5 个数量级

据测算,一款自动驾驶汽车需要在自然驾驶环境中,累积测试达到 100 亿公里以上,才能得到较高置信度的安全性能测试结果,这是行业公认的“百亿公里”测试难题。

以全球自动驾驶公司 Google/Waymo 为例,创业以来,其仅累积了 0.2 亿实车测试里程和 200 亿仿真测试里程。考虑到公司产品类型与版本的多样性,上述里程远无法满足研发迭代的测试需求。

2015 年是自动驾驶领域发展的小热潮,当时,多家车企、智库预测等都乐观地认为自动驾驶会在“五年后”大规模落地,然而这个目标至今仍未实现。

基于“自动驾驶大规模落地的必经之路是安全测试验证”的认知,研究人员从 2017 年开启了这项研究。“当时,测试验证并不是热点问题,领域内很多人认为这只是一个工程问题。”封硕表示。

彼时,他在密西根大学刘向宏教授课题组进行博士后研究,课题组成员讨论:自动驾驶没有向预期的大规模发展,核心因素极有可能是安全问题。因此,只有解决了这个问题,成本和法律等其他问题才有可能迎刃而解。

另一个问题是:AI 技术已经发展多年,但为何迟迟没有解决自动驾驶的安全问题呢?

封硕指出,这与安全攸关系统的低容忍度密切相关,即发生任何一次失效,都可能给社会或人类的生命财产带来严重的损失。

(来源:Nature)

而这篇论文之所以能够发在 Nature 正刊,不仅是因为解决了一个具体的技术问题,而是解决了一个具有共性的科学难题。“我们首次从安全攸关系统角度看待问题和提出解决方案。”封硕表示。

该研究的创新思路体现在,提出了一种用智能体测试智能体(AI Aginst AI)的全新测试方法。其中,一个智能体是自动驾驶(控制方),另一个智能体是交通环境(被控制方)。

他解释说道:“通过构造虚拟的测试环境,能让自动驾驶汽车在这种测试环境中,像开在真实的公开道路测试一样,但效率更高。”

这些智能体具有两个特点:

一是尽可能地像人一样开车,以能够反映它在真实世界中的安全性能;

二是 AI 可以让整个测试过程更快,并具有一定的对抗性。

(来源:Nature)

在自动驾驶领域有一个热点话题:到底多安全才是足够安全的?是 99.9999% 还是 99.99999%,或者更高?

据 Waymo 数据,在交通事故中有 90% 是由人类驾驶分神等原因造成的操作失误。

如果用自动驾驶替代人类驾驶员,极有可能可以避免这些错误,也意味着自动驾驶的安全性至少要比人类驾驶员提升 1 个数量级以上。

目前,自动驾驶测试主要分为以下两个阶段:

第一个阶段是传统的、基于真实采集数据的场景测试。

第二个阶段为智能测试环境下的测试,在该测试中,能够对安全性能提供可量化和决策的依据。

英国皇家工程院院士华盛顿·Y·奥奇恩(Washington Y. Ochieng)在国际电气和电子工程师协会智能交通系统国际会议中提到,“目前,基于场景的测试方法存在局限性,而 S. Feng 等人在 Nature 提出的方法在试图解决稀疏度灾难的问题[3]。”

封硕表示,场景片段化测试是对于简单、已知风险的测试,而真正的安全测试难点在于对未知风险场景的预测。

“我在国内外做学术报告时,很多同行对我们的技术认可并高度关注,也很高兴看到我们的成果推动了领域对自动驾驶领域测试‘新标准’的讨论。”他说。

据介绍,目前,研究人员已与公安部合作,希望利用该系统在国内进行相关安全测试。

此外,该系统还被全球首个自动驾驶汽车测试场 Mcity、美国交通中心(美国交通部指定十大自动驾驶测试场之一)、美国国家交通安全管理局唯一汽车研究测试实验室所在测试场等采用。

“AI Against AI”的全新理论与方法,有利于形成新一代机器智能的测试与研发范式,对安全攸关系统的大规模落地应用产生巨大影响,包括自动驾驶、航空航天、核聚电、智能电网、医疗问诊和全自动的手术机器人等领域。

为稀疏度灾难提供三种解决方案

20 世纪,英国数学家理查德·贝尔曼(Richard Bellman)提出“维数灾难”的概念。此前,AI 主要解决的问题也是围绕着维数灾难,即问题越复杂维数越高,例如用 AlphaFold 预测蛋白质。

但对于小概率事件,已有的 AI 技术尚未形成有效的解决手段。深度学习广泛地应用于自动驾驶的各个领域,包括感知、决策、控制、测试等,因而稀疏度灾难对自动驾驶构成了安全性挑战。

图丨深度学习模型的稀疏度灾难示意图(来源:Nature Communications)

在前序研究基础上[1],研究人员发现,“稀疏度灾难”并不一定仅可用在安全测试中,而是可能广泛存在于自动驾驶的其他任务中。

他们在理论上对稀释度灾难问题研究后发现,安全攸关事件稀疏度的发生概率越小,深度学习所需要的数据量和计算量就会越大,并且该关系可能是指数关系。

最近,封硕与刘向宏指出了影响自动驾驶安全性能的关键问题是“稀疏度灾难”,并从数学上定义了稀疏性灾难。

此外,他们还分别从数据、算法和辅助技术方面,提出了三种可行性技术路线:使用安全攸关数据密集学习、改善模型泛化和推理能力和通过车路协同等技术降低安全风险事件的发生概率。

近日,相关论文以《自动驾驶汽车的稀疏度灾难》(Curse of Rarity for Autonomous Vehicles)为题发表在 Nature Communications[4]。

清华大学助理教授封硕和密歇根大学刘向宏教授是共同第一作者兼共同通讯作者。

图丨相关论文(来源:Nature Communications)

数据:使用安全攸关数据密集学习。

其中,一种可能的方法是,专门利用与罕见事件相关的数据,以显著降低估计方差。

另一种可能的方法是,定性地生成高价值数据,并进行密集学习。

封硕认为,用生成式 AI 收集数据的方式是未来的重点,并有可能会与现阶段特斯拉直接收集数据的方式,形成一种相辅相成的关系。

算法:改善模型泛化和推理能力。

如果没有小概率事件,通过常态的事件依靠推理,是处理稀疏事件的方式之一。

例如,人类在学习驾驶技能后(约 100 小时),在没遇到过稀疏事件和指数增加数据前提下,基于常识推理能力来处理该事件。

实际上,大语言模型普遍存在的幻觉问题,也属于小概率事件。如果大语言模型能够逐步增强推理能力,有可能成为解决稀疏度灾难的技术路线之一。

以当前的技术路线,自动驾驶的安全性已经达到 99.999%,距离最终商用大概相差 1 到 2 个数量级。封硕说道:“我们提出的技术路线不一定需要完全突破,有可能补上数量级的差距,便迈进自动驾驶商业化的门槛。”

辅助措施:通过车路协同等技术,来减小安全风险事件发生的概率。

目前,有专家提出,用基于规则和模型做安全性的保障。

以车路协同为例,在车载端和路测端的安全性都达到 99.999% 的前提下,如果将二者数据融合,理论上通过这种方法也有可能补齐目前自动驾驶的“1-2 个数量级差距”。

封硕表示,这三种可能解决稀疏度灾难的技术路线是互补的。未来真正让自动驾驶走向 L4 以上级别大规模商用,其中一种技术路线有可能是决定性的,也有可能是三种路线的组合。

稀疏度灾难的问题在大模型中也广泛存在,但目前相关理论性研究还处于空缺状态。基于此,在下个阶段的研究中,封硕计划将稀疏度灾难问题扩展在 AI 领域,并进行深入研究。

“自动驾驶则是 AI 在安全攸关系统最先可能落地的应用场景。未来,我们的目标是让自动驾驶和人工智能更加安全。”封硕说。

参考资料:

1.Feng, S., Sun, H., Yan, X. et al. Dense reinforcement learning for safety validation of autonomous vehicles. Nature 615, 620–627 (2023). https://doi.org/10.1038/s41586-023-05732-2

2. Colin Paterson,Chiara Picardi Hazards help autonomous cars to drive safely. Nature 615 , 594-595 (2023). https://doi.org/10.1038/d41586-023-00798-4

3.Elias Nassif. et al. Safety Standards for Autonomous Vehicles: Challenges and Way Forward. 2023 IEEE 26th International Conference on

Intelligent Transportation Systems (ITSC) 24-28.https://doi.org/10.1109/ITSC57777.2023.10422153

4.Liu, H.X., Feng, S. Curse of rarity for autonomous vehicles. Nature Communications 15, 4808 (2024). https://doi.org/10.1038/s41467-024-49194-0

运营/排版:何晨龙

0 阅读:13

深科技利大千

简介:感谢大家的关注