Motional与MIT团队开发CW-Net,让自动驾驶汽车实时解释自身决策
该系统将神经网络内部计算转化为人类可读的概念,如“接近停驻车辆”或“靠近骑行者”,并在拉斯维加斯公开道路完成实车测试,性能损失小于1%。
AI解读:自动驾驶系统依赖的神经网络被视作“黑箱”,能做出正确驾驶动作但说不清原因,一旦出错(例如无故急刹车),工程师和乘客都无从追溯。Motional与MIT团队提出的CW-Net改变了思路:不再事后用自然语言“猜测”网络意图,而是让车辆的最终决策直接建立在一组人类可读的概念之上——比如“接近停驻车辆”或“靠近骑行者”——这意味着每次刹车都能因果对应到某个具体概念。在拉斯维加斯的实车测试中,这套系统帮助研究人员发现,实验版规划器“幻觉”出前方停驻车辆导致无意义停车,以及刹车实际来自安全备份系统而非主规划器——这些单看行为难以察觉的问题,如今能被安全员和工程师实时定位。对运营自动驾驶车队的企业和监管者而言,CW-Net把可解释性从实验室仿真带到了开放道路,代价仅是驾驶能力基准差小于1%;但Motional也承认,这套机制更多是让问题显形的手段,不能替代对错误数据的修正和对备份系统的完善。普通消费者暂时无需为此改变任何选择,因为这项技术尚未进入量产车型,短期内更多影响的是自动驾驶开发者和安全评估流程。
Motional与MIT计算机科学与人工智能实验室的研究人员开发出一套系统,能让自动驾驶汽车实时解释自己的驾驶决策。相关成果发表在《Nature》期刊上,参与方包括Motional团队(其CEO Laura Major在列)和MIT CSAIL。
这项名为“Concept-Wrapper Network”(简称CW-Net)的方法,旨在把自动驾驶系统神经网络内部的计算过程转换成人类可读的概念,例如“接近停驻车辆”或“靠近骑行者”。Motional称,这些概念可以实时显示在仪表盘上,说明哪些因素正在影响车辆的驾驶决策。
与事后生成自然语言解释(可能只是“貌似合理”)不同,CW-Net设计为车辆的最终决策系统直接基于这些人类可理解的概念采取行动,因此刹车事件可以直接追溯到触发它的具体概念。Motional将其描述为“因果忠实”(causally faithful)。
实车测试暴露实验系统的两类故障
Motional表示,可解释AI研究此前大多局限在实验室的计算机仿真环境中。本次团队把CW-Net部署在一辆配有资深安全操作员的自动驾驶汽车上,在私人测试跑道和拉斯维加斯周边的公开道路收集数据。使用的系统是早期实验版深度学习规划系统,性能被认为有竞争力,但存在明显缺陷。
测试中发生两起事件说明了CW-Net的作用。第一起:车辆在交通锥旁反复停车,操作员起初以为是锥桶触发。移走锥桶车仍停,CW-Net显示真实原因是实验规划系统“幻视”出前方有停驻车辆——这一模式可追溯至其训练数据。这一解释帮助研究团队理解、预测并解决该问题。
第二起涉及骑行者:车辆照常检测并停车,但CW-Net揭示,实验规划系统并未依据骑行者的存在做决策。安全员注意到后,对骑行者采取了更多谨慎操作。后续分析证实了谨慎的必要——此次刹车的来源是安全备份系统,而非实验版深度学习规划器。
可解释性的性能代价低于1%
为AI系统增加可解释层通常会带来速度和性能损耗,Motional承认这一风险。但研究人员将CW-Net与领先自动驾驶算法进行基准测试时,驾驶能力的差距不足1%。
Laura Major在解释为何需要这种可解释性时说:“仅靠端到端方案整体上能达到相当好的80%~90%,甚至95%的解决率,但这并不足以移除驾驶员,也不足以赢得城市、社区和客户的信任。”
在运营层面,能直接看到“停车由幻视导致”或“操作来自备份系统而非主规划器”的安全员,比仅凭行为判断的操作员反应和报告更精确。这种可见性直接影响工程团队的诊断速度和安全性评估的置信度。
监管压力与跨领域适用
Motional将CW-Net研究与自动驾驶技术进入新市场和新司法管辖区后运营者面临的更大压力联系起来——监管方自然要求AI决策过程更透明,其预计类似CW-Net的工具可能从研究项目走向基准要求。
除乘用车外,Motional还提到自动驾驶无人机乃至机器人手术等其他安全关键领域,这些领域的操作者和开发者需要方法理解系统的能力、局限和意外行为。