近日，由清华大学精密仪器系类脑计算研究中心施路平、赵蓉教授领导的研究团队开发出全球首个类脑互补视觉芯片“天眸芯”（Tianmouc），突破传统视觉感知芯片带宽墙、能耗墙的限制，能够实现高速、高精度、高动态范围视觉信息采集。
目前，这项研究成果已经以“A vision chip with complementary pathways for open-world sensing”（面向开放世界的感知且具有互补通路的视觉芯片）为题发表在 Nature 上，并且还登上了 Nature 封面。作为国内智能感知芯片领域的重大突破，这项研究标志着中国在类脑感知领域迈出了坚实的一步。
（来源：Nature）
视觉，是人类获得外部信息最重要的一种方式，人类所接收的全部外界信息中有超 80％ 都是通过视觉获取的，很大程度上而言，“人类是最典型的视觉动物”。
随着目前 AI 技术的飞速发展，视觉感知已成为 AI 技术中最为直观和重要的感知方式之一，并且展现出不可或缺的重要性。基于视觉感知，AI 能够实现对图像、视频等视觉信息的识别、分析和理解。从智能机器人、医学影像分析，到自动驾驶、具身智能等，视觉感知技术成为推动 AI 进步的关键力量，逐渐渗透到人们生活的方方面面。
然而，视觉感知技术在当前也面临一些挑战，首当其冲的是如何在复杂、多变且不可预测的开放世界中实现高效、精准且高鲁棒性的视觉感知。
以自动驾驶为例，传统的视觉感知技术往往会受限于带宽、功耗等，存在失效、失真及高延迟的问题，比如夜间行驶的强闪光干扰、行驶到隧道口的明暗光线骤变等，严重影响自动驾驶系统的稳定性和安全性。
图｜开放世界视觉感知技术面临的挑战，以及互补双通路类脑视觉感知解决方案（来源：Nature）
为了攻克这一挑战，施路平和团队聚焦类脑视觉感知芯片技术开发，在研究中提出一种新范式 —— 基于“视觉原语”的互补双通路类脑视觉感知策略（视觉原语描述视觉信息的不同基本要素，比如颜色、精度、速度、灵敏度、空间分辨率等）。
“我们受人类视觉系统原理的启发，把来自开放世界的视觉信息分解为基于视觉原语的信息表征，然后再通过有机组合这些视觉原语，模仿人类视觉系统特征，最终形成了两条优势互补、信息完整的视觉感知通路。”这篇论文的共同通讯作者、清华大学精密仪器系类脑计算研究中心主任施路平教授表示。
据论文介绍，该视觉感知通路包含“认知导向的精准认知通路”和“快速响应的动作导向通路”。其中，认知导向通路基于空间分辨率、数据精度、颜色等一系列视觉原语实现更为精准地认知；动作导向通路则基于空间差、时间差、速度等一系列视觉原语减少延迟，实现高鲁棒性的快速响应。两条通路相互补充，可实现高动态范围、低延时、高精度的视觉信息采集。
图｜“天眸芯”芯片结构示意（来源：Nature）
基于此，施路平和团队开发出“天眸芯”，作为全球首个类脑互补视觉芯片，“天眸芯”基于 90 nm 背照式 CMOS 技术制造，包含“用于光电转换的混合像素阵列”和“用于构建两个互补视觉通路的并行和异构读取架构”两大部分。
随后，他们围绕“天眸芯”的动态范围、响应速度、带宽、能耗等多个性能指标进行了评估。结果显示，总动态范围达 130dB，精度可达 10bit，速度可达 1 万帧/秒，尤其是带宽方面，相较于（具有同样精度和时空分辨率）传统相机减少了约 90%。
总的来说，“天眸芯”能够以极低的带宽和极低的能耗下，实现高速、高精度和高动态范围的视觉信息采集，能够有效应对各种极端复杂场景，突破了传统视觉感知芯片在稳定性、安全性等方面的性能瓶颈。
图｜面向开放世界的感知试验（来源：Nature）
除此之外，施路平和团队还围绕“天眸芯”开发出与之配套的软件和算法，并在开放道路环境的自动驾驶平台上进行性能验证。
试验结果显示，“天眸芯”系统在多种极端场景下均可实现高性能、低延迟的实时感知推理，在智能无人系统领域展现出广阔应用潜力。
“‘天眸芯’的成功开发为未来自动驾驶、具身智能等重要应用开辟了新的道路。”这篇论文的共同通讯作者、清华大学精密仪器系赵蓉教授表示。
图｜施路平和团队开发的类脑视觉感知芯片“天眸芯”（来源：清华大学）
“天眸芯”其实是施路平和团队继成功开发出全球首款异构融合类脑计算芯片之后的又一次重磅成果。
早在 2019 年，施路平和团队开发出全球首个同时支持“脉冲神经网络”和“人工神经网路”的 AI 芯片 —— “天机芯”（Tianjic），将两种互不兼容的 AI 芯片融为一体，实现了多模态的交互芯片工作时内部数据访问带宽达 600gb/s，在降低能耗的同时提高速度且保持高精准度。
（来源：Nature）
该篇研究论文已经以“Towards artificial general intelligence with hybrid Tianjic chip architecture”（面向通用人工智能的异构天机芯片架构）为题发表在 Nature 上，并且也登上 Nature 封面。
值得一提的是，这项研究成果实现了中国在 AI 和芯片两大领域 Nature 论文零的突破，彼时，该研究还被 Nature 总编辑 Magdalena Skipper 评价为 “AI 领域的重要里程碑”。
与此同时，为了推动 AI 芯片的产业落地转化，清华大学类脑计算研究中心围绕“天眸芯”项目孵化了北京灵汐科技有限公司（简称灵汐科技）。
据了解，灵汐科技成立于 2018 年，是一家类脑计算技术公司，专注于打造自主原创的类脑计算芯片和计算系统的软硬件体系，业务布局涵盖类脑芯片、计算模组、计算板卡、智能终端设备、类脑服务器、大模型一体机以及相关算法软件等，并且灵汐科技也是此次“天眸芯”研究项目的合作单位。
随着清华大学类脑计算研究中心团队“天机芯”和“天眸芯”的成功开发，标志着中国在“类脑计算”和“类脑感知”两大重要方向上均取得了原创性的底层突破，此外，该团队围绕“类脑智能生态”开发的类脑软件工具、类脑机器人等相关技术也已经实现落地应用。
参考资料：
1.https://doi.org/10.1038/s41586-024-07358-4
2.https://doi.org/10.1038/s41586-019-1424-8
3.https://www.tsinghua.edu.cn/info/1175/111803.htm
4.http://faculty.dpi.tsinghua.edu.cn/lpshi.html
5.http://faculty.dpi.tsinghua.edu.cn/r_zhao.html
