自动驾驶通常依靠识别道路标志安全行驶,但其核心能力正成致
命弱点。加州大学圣克鲁兹分校研究显示,攻击者用一张印特定文字的纸,就能诱使AI系统
做危险决策,甚至让车辆冲向人群。
这种“CHAI”攻击方法利
用无人驾驶系统对视觉语言模型的过度依赖,模型会把环境图像中的文字误当作“指令”。且
攻击无需侵入软件系统,放一张优化过的纸在摄像头视野内,就能实现物理层面“远程控制
”。
在针对DriveLM的测试中,攻击成功率达81.8%。即便系统
检测到行人过马路,路边出现“左转”或“直行”标志,AI也会无视碰撞风险执行错误指令。该
方法在无人机领域同样危险,能迫使无人机降落在危险区域,无视安全协
议。
研究人员强调,这种威胁在多种场景均有效。随着AI加
速应用,构建“防御屏障”识别恶意文本指令,是具身智能领域亟待解决的安全挑战。当前视
觉语言模型无法区分合法与恶意指令,专家呼吁部署AI系统前内置安全验证机制。