大语言模型、自动驾驶与具身智能:一场关于“机器如何理解世界”的思考
第一章：两个世界的分野
1.1 大语言模型：活在符号世界里
大语言模型，本质上是一个生活在“离散符号空间”里的系统。它的输入是token——文字被切分成一个个小块，图片被编码成视觉token，音频被转换成声学特征。所有这些都被映射到一个统一的向量空间里。它的内部工作机制，可以简化理解为“下一个token预测”。给定上文，预测下文。这个过程中，模型学到了海量的知识——物理定律的描述、社会规则的叙述、各种专业领域的术语和逻辑。但关键点在于：它学到的只是这些知识的“描述”，而不是知识本身在物理世界中的体验。GPT可以写出关于“摔倒”的精彩段落，但它从未真正摔倒过。它可以描述“烫”的感觉，但它没有被烫过。它可以背诵牛顿三定律，但它没有推过一辆车，没有感受过惯性和摩擦力。它的输出，是另一串token，再解码成人类可读的文字、代码、或者图像。没有身体。它不感知重力、摩擦力、碰撞。它不知道一个杯子有多重，不知道一块冰有多滑，不知道推一扇门需要用多大的力气。没有时间。它的“上下文窗口”是一个被截断的时间片段。它没有“过去”和“未来”的连续体验，只有一段被切好的文本。没有因果。它学到的是“语言里怎么描述因果关系”，而不是物理世界中真正的因果链条。它知道“因为下雨所以地湿”这个句子出现的概率很高，但它没有经历过“雨滴落下→地面变湿”这个过程。所谓的“思考”，对于大语言模型来说，只是一次前向传播——输入流过神经网络，输出一个概率分布。它不是一个人在“想”，而是一个巨大的统计模型在做“预测”。所以，大语言模型擅长的事情非常明确：知识检索、语言生成、抽象规划、人机对话。它是人类文明的“图书馆管理员”，但不是物理世界的“行动者”。1.2 具身智能：活在物理闭环里
具身智能——无论是自动驾驶汽车、仓储机器人、还是人形机器人——面对的是完全不同的世界。它的输入不是干净的文本token，而是嘈杂的传感器信号：摄像头传来的RGB图像、激光雷达返回的点云、惯性测量单元报告的加速度和角速度、关节编码器反馈的角度和力矩。这些都是连续的、带噪声的、实时变化的物理信号。它的内部，是一个不断循环的闭环：感知→状态估计→规划→控制→执行→再感知。这个循环的周期，在自动驾驶中是10-50毫秒，在人形机器人中可能短到1毫秒。它的输出，不是文字，而是物理动作：电机的转矩、车轮的转速、机械臂的轨迹、手指的抓取力。具身智能面对的几个核心挑战，和大语言模型完全不同：必须在真实因果中行动。推一张桌子，桌子会移动。踩空了，会摔倒。抓一个鸡蛋，力气大了会捏碎，力气小了会滑落。每一个动作都有真实的物理后果，这些后果是不可撤销的。决策是多层次的。高层任务（“收拾餐桌”）、中层行为（“走到餐桌前→识别餐具→抓取→放入洗碗机”）、底层控制（“当前关节角度→目标关节角度→输出力矩”），每一层的时间尺度和抽象程度都不同，它们必须协同工作。容错率极低。大语言模型说错了一句话，用户可以重新问一次。自动驾驶在高速公路上犯一个错误，可能就是一场事故。机器人把一个花瓶从架子上碰下来，就是真实的财产损失。仿真与现实的鸿沟。在虚拟环境中训练得再好的模型，放到真实世界中都可能失效——因为仿真永远无法完全模拟真实世界的物理特性：摩擦力、材料形变、光照变化、传感器噪声。1.3 分岔口的本质
所以，大语言模型和具身智能确实是两个截然不同的赛道，它们的底层逻辑不一样：大语言模型是“符号世界里的推理机”。它处理的是人类文明沉淀下来的符号化知识，它的工作是“理解”和“生成”，它的介质是语言。具身智能是“物理世界里的生存系统”。它处理的是实时的传感器信号，它的工作是“行动”和“交互”，它的介质是物理动作。一个在图书馆里博览群书，一个在荒野中学习生存。它们需要的技能完全不同。但故事并没有到此结束。因为这两个世界正在以前所未有的方式碰撞、融合，而这种碰撞最激烈的战场，就是今天的自动驾驶技术路线之争。
第二章：自动驾驶的三条路线
自动驾驶，本质上是一个“具身智能”问题——一辆车在物理世界中感知、决策、行动。但它又是一个极度特殊的具身智能问题：环境相对结构化（有道路、标线、交通规则），任务相对单一（从A到B），交互对象相对有限（其他车辆和行人）。正因为这种特殊性，自动驾驶成为了具身智能技术路线的“试验场”。不同的技术哲学在这里激烈交锋，形成了三条清晰的路线。2.1 纯端到端VA路线：像素进，动作出
VA，即Vision-Action（视觉-动作）。这条路线的主张是：不要任何中间表示，不要任何规则代码，不要让机器“说人话”。直接从摄像头像素，到方向盘转角。这条路线的代表是特斯拉的FSD，从V12版本开始，特斯拉把30万行C++规则代码压缩到了一个神经网络里。到V14版本，最后的手写控制代码也被移除，整个系统变成了一段式的大神经网络。首先是骨干网络，通常是卷积神经网络或视觉Transformer，负责从多个摄像头的RGB图像中提取特征。然后是时序建模模块，把连续几帧的特征拼成时空信息。接着是BEV融合模块，把来自不同摄像头的特征投射到一个统一的俯视图空间中。最后是决策控制头，直接输出三个连续值：方向盘转角、油门开度、刹车压力。整个过程，从像素到动作，全部在一个网络中完成。网络是端到端可微的，可以从人类驾驶数据中直接学习。不依赖人类语言。训练时，监督信号是人类司机的方向盘扭矩和踏板位置，不是“前方有车请减速”这样的文字标签。推理时，输入是像素张量，输出是控制量张量，中间没有任何环节生成文字、类别名称、场景描述。网络“知道”前面有一个人，但这种“知道”存在于某个特征图的激活强度中，而不是“人”这个字。不依赖任何离散符号。没有tokenizer，没有词表，没有思维链。一切都是连续的向量流。全程可微分。整个系统可以作为一个整体进行反向传播训练，不需要人工设计中间模块的接口。不可解释。你无法问它“为什么刚才左打了方向盘”。你只能看注意力图来猜测。极度依赖数据。因为它没有接受任何人类先验知识——没有物理公式、没有交规条文、没有“红灯停绿灯行”的硬编码——它只能从数据中学习一切。特斯拉的训练池已经达到百亿英里级别的人类驾驶片段，有效帧数达到数万亿帧。长尾问题靠堆数据。没见过的像素组合——比如一辆粉色的消防车、一个躺在马路上的充气海豚——模型的行为是不可预测的。它不是“推理出”应该躲避，而是“没学过”该怎么应对。地域迁移成本高。在美国训练好的模型，直接拿到中国来，面对公交车、非机动车、行人混行的路况，面对全新的交通标识体系，需要重新采集数十亿帧的数据。2.2 VLA路线：让机器“说人话”
VLA，即Vision-Language-Action（视觉-语言-动作）。这条路线的主张是：在视觉和动作之间，插入一个语言层。让机器先用语言“思考”，再输出动作。这条路线的代表是理想的VLA司机大模型和小鹏的第一代VLA系统。它们的架构大致是：摄像头特征被压缩成视觉token，送入一个大语言模型或视觉语言模型的主干网络中。模型内部用语言token做思维链推理——“前方穿反光背心的人是施工指挥，我应该减速并向左偏”。然后，再将这些推理结果解码成动作token或控制量。更好的语义理解。能够理解施工标志、交警手势、乘客的语音指令。这些都需要语言层面的常识推理。更好的可解释性。模型“说”出了它的推理过程，开发者可以看到它是怎么想的。更强的零样本泛化能力。大语言模型中存储的通用知识，可以帮助模型应对未见过的场景。时延。大语言模型的自回归生成过程需要时间，每多生成一个token就增加几十毫秒的延迟。在高速行驶中，50-100毫秒的延迟可能意味着十几米的制动距离。幻觉。大语言模型固有的“胡说八道”倾向，在驾驶场景中可能是致命的。它可能“推理”出一个不存在的障碍物，然后做出错误的避让动作。信息损失。物理世界是连续的，语言是离散的。把连续的传感器信号编码成离散的语言token，必然会丢失信息。正如反对者所说：语言是离散结构化，物理是连续非结构化，硬翻译必丢信息。算力开销。运行一个大语言模型需要大量的计算资源，这对车端芯片是巨大的挑战。有意思的是，到了2026年，行业出现了明显的回调。小鹏的第二代VLA直接砍掉了语言转译层，变回了V→A直连，决策延迟压到了80毫秒。这表明，至少在驾驶主闭环中，语言层的位置正在被重新审视。2.3 世界模型路线：在脑子里先放一遍电影
世界模型路线，也叫WA（World-Action，世界-动作）路线。这条路线的主张是：不要语言，也不要裸像素。机器应该在内部建立一个结构化的“世界状态”，然后在这个状态上进行推演和规划。这条路线的代表是华为的WEWA和蔚来的NWM。它们的核心思想是：首先，从传感器数据中构建一个“内部世界状态”——这不是一张图片，也不是一段文字，而是一个结构化的物理台账。这个台账记录了：自车的位置、速度、航向；周围每个物体的位置、速度、类型、尺寸；道路的拓扑结构、车道线、交通信号；可行驶区域的占据网格；以及最重要的——每个物体在未来几秒钟内的预测轨迹分布。然后，在这个世界状态上进行“推演”——在内部模拟多种可能的未来：如果我加速会怎样？如果刹车会怎样？如果向左变道会怎样？每种选择会产生什么样的后果？这条路线最接近人类老司机的思维方式：老司机开车时，脑子里有一张动态的战术地图，标着周围每辆车的位置和运动趋势，并且不断地在预测“那辆车可能要切进来了”。强大的预判能力。因为它显式地预测未来，所以能够提前发现潜在的危险。前车的轨迹不确定性刚刚上升，系统就已经开始准备避险方案了。更好的安全性。因为它在行动之前先在内部进行了推演，所以可以避免一些明显危险的举动。华为的CAS 4.0系统宣称重刹率降低了30%。可解释性较好。虽然不如语言那么直观，但开发者可以查看系统的“世界状态”，了解它“看到”了什么、“预测”了什么。算力需求大。实时维护一个高精度的世界状态，并在其上做多模态的未来推演，需要强大的计算能力。状态估计的准确性是关键瓶颈。如果世界状态本身就建错了，那么所有的推演都是空中楼阁。城区通行效率有时偏保守。因为系统过于谨慎，可能会在一些不需要犹豫的场景中犹豫，导致通行效率不如人类老司机。2.4 三条路线的核心分歧
这三条路线的核心分歧，回到了第一章的核心问题：机器的“内部语言”应该是什么？VA路线说：不需要内部语言，连续向量就够了。像素进，动作出，中间全是数值。VLA路线说：内部语言应该是人类语言。让机器用人话思考，用人话推理。世界模型路线说：内部语言应该是物理状态。不是文字，不是像素，而是“物体+属性+预测”的结构化表示。这个分歧，本质上是对“机器如何理解世界”这个根本问题的不同回答。
第三章：人类司机的三层认知
在讨论了三条技术路线之后，让我们回到一个更根本的问题：人类是怎么开车的？人类驾驶员，特别是经验丰富的老司机，实际上同时在使用三种认知模式：3.1 肌肉记忆层
当你每天走同一条路上下班，开到后来，你会发现自己在“自动驾驶”——不是机器在开，是你的身体在自动执行。看到前车刹车灯亮，脚自动移到刹车踏板；转弯时，方向盘自动转到合适的角度；变道时，头自动转向后视镜。这一层是“反射式”的。它不需要意识的参与，速度快，消耗的认知资源极少。它是通过成千上万次的重复训练形成的。3.2 人脑思考层
当你遇到不熟悉的路况——临时封路、交警手势、复杂的立交桥——你会切换到有意识的思考模式。你在脑子里对自己说话：“哦，这里封路了，我得从旁边那条路绕过去。”“这个交警的意思是让我停下来等一等。”这一层是“推理式”的。它使用语言作为思考的载体，速度较慢，但灵活性强，能够应对未曾见过的情况。3.3 老司机建模层
最有经验的司机，会在脑海中实时构建一个“动态模型”。他们知道前后左右各有什么车，每辆车大概的速度是多少，预测哪辆车可能要变道，哪个人可能要横穿马路。他们会时不时地扫一眼后视镜，刷新这个模型的最新状态。这一层是“预测式”的。它不是简单的反射，也不是有意识的推理，而是一种持续的、自动的“态势感知”。它让老司机能够提前预判危险，从容应对。3.4 三层协同
90%的时间，肌肉记忆层在工作，上层处于待命状态。当老司机的“态势感知”发现异常——比如前车的轨迹开始不稳定——它会发出预警，准备接管。如果情况复杂到肌肉记忆无法处理——比如需要临时改变路线——有意识的推理层就会被唤醒。最关键的是这三层之间的“仲裁机制”：谁在什么时候拥有控制权？答案是：安全永远是最高优先级。当肌肉记忆层的急刹指令与世界模型层的“右后方有大货车”信息冲突时，仲裁器会选择更安全的方案。当推理层说“下一站服务区停一下”时，这个指令会被排入任务队列，在安全的前提下执行。人类司机的三层认知，给了我们一个重要启示：最好的系统不是选择其中一种模式，而是让三种模式各司其职，动态仲裁。
第四章：三种模式的融合
基于对人类驾驶认知的分析，可以得出一个结论：自动驾驶的终局，不是VA打败VLA，也不是VLA取代WA，而是三种模式的融合。4.1 各司其职
VA反射层负责日常驾驶中的常规操作——车道保持、跟车、简单的加减速。这一层要求毫秒级的响应速度和极低的计算开销。它处理的是那90%的“正常”工况。WA世界模型层负责安全兜底和态势感知。它持续维护一个高精度的世界状态，预测未来几秒钟内可能发生的各种情况。当它发现风险升高时，可以向仲裁器发出预警，甚至在必要时否决VA层的指令。VLM语义层负责任务规划和常识理解。它处理乘客的语音指令、理解复杂的交通标志、应对未曾见过的场景。但它的输出是“高层任务规划”，不直接介入毫秒级的控制闭环。4.2 动态仲裁
正常情况下，让VA层自主运行，其他层处于待命状态。当VLM层输出新的任务规划时，将其排入执行队列，并在适当时机执行。当各层输出冲突时，按照“安全第一”的原则做出裁决。4.3 行业趋势
到2026年，行业头部玩家实际上已经在向这个方向收敛：特斯拉的FSD V14仍然以VA为主干，但引入了Grok做意图解析和决策回放。小鹏的第二代VLA砍掉了主链上的语言层，但同时用X-Mind世界模型补预测能力。理想的马赫VLA把3D ViT世界模型塞进了VLA的编码层。华为的ADS 4坚决以世界模型为主干，但座舱语义交互仍然使用大语言模型。营销话术各不相同，但底层架构都在做同一件事：让VA打底，让WA守边界，让VLM管语义，按场景动态仲裁。
第五章：从自动驾驶到通用机器人
自动驾驶是具身智能的一个特例——而且是“最简单”的特例。当目光从自动驾驶扩展到通用机器人时，挑战呈指数级增长。5.1 任务空间的爆炸
自动驾驶的任务是单一的：从A到B。即使加上“变道”、“泊车”、“充电”等子任务，目标集合仍然是封闭的、可枚举的。通用机器人的任务空间是开放的：洗杯子、叠衣服、做饭、照顾老人、整理房间……每一个任务都可以无限细分，而且任务的边界是模糊的。“把房间收拾一下”这个指令，不同的人有不同的理解。5.2 动作空间的升维
汽车的动作空间是低维的：方向盘、油门、刹车，三个自由度。人形机器人的动作空间是高维的：全身30-50个关节，双手各5-6个自由度，加上灵巧的手指。而且，这些动作需要与环境发生丰富的物理接触——抓、捏、推、拧、插、按压。每一个动作都涉及复杂的接触力学。5.3 环境的非结构化
自动驾驶的环境是相对结构化的：有道路、标线、交通信号、交通规则。通用机器人的环境是完全非结构化的：家里的客厅、厨房、卧室，每家的布局都不一样；物品的种类、材质、摆放位置千变万化；还有人类和其他宠物在环境中活动。5.4 评价函数的模糊
自动驾驶的评价标准相对清晰：安全（不撞车）、舒适（不晕车）、效率（尽快到达）。通用机器人的评价标准模糊得多：把碗放对位置是“对的”，放错位置是“笨的”而不是“危险的”；倒水倒满了是“失误”，但不致命；帮老人起床力气大了是“粗鲁”，力气小了是“没用”。这些评价维度很难写成一个静态的损失函数。5.5 数据的极度匮乏
自动驾驶有数百万辆车每天在路上行驶，回传海量的脱敏视频数据。通用机器人：全球人形机器人的保有量只有万台级别，而且大部分在实验室里按预设脚本运行。真实的家庭交互数据近乎为零。遥操作采集成本极高——一个“叠衣服”的动作片段可能需要专家戴着数据手套示教几十次。5.6 结论：融合是唯一的出路
正是因为这些挑战，通用机器人比自动驾驶更需要三种模式的融合：纯VA路线在机器人上基本走不通，因为数据太少、任务太开放。纯VLM路线也不行，因为大语言模型没有物理直觉，不知道怎么迈过一个门槛。纯世界模型路线同样不够，因为世界模型需要数据来校准，而机器人领域的数据极度稀缺。唯一的出路是：VA做底层技能，VLM做任务规划，世界模型做物理预测，再加一个仲裁器做动态协调。
第六章：最后的追问
人类司机的每一个决策，哪怕是在走神状态下做出的，背后都有一个几十亿年进化出来的、刻在基因里的生存函数在无条件运行。这个函数的优化目标极其明确：让自己活着，让车里的亲人活着，尽可能不让别人死。这个函数不需要思考，不需要推理，甚至不需要意识。它是恐惧、是紧张、是看到前车刹车灯时脚自动移到刹车踏板上的本能。它是一切驾驶行为的底层驱动。AI的所有“决策”，本质上都是在优化一个由人类工程师写下来的目标函数。这个函数里可能有“安全”，但它是一个数学定义，是一串权重，是一个在损失函数里被平衡的项。它不是一个从存在层面就不可动摇的底线。人类在“求存”，AI在“求解”。人类司机遇到突发状况，第一反应是“我怎么活下来”；AI的第一反应是“在当前观测和约束下，找出奖励最高的动作序列”。如果工程师在奖励函数里把“准时到达”的权重设得稍高了一点，AI就可能在某个边缘case里做出“冒险提速”的决策——因为它真的不“怕”死。人类有“负向开关”，AI只有“正向加权”。人类在面临死亡威胁时，会瞬间切断所有次要目标，全部算力集中在求生上。这是一种硬性的优先级反转。而AI的架构里，很难有一个真正的“生死开关”——它只能在“安全权重乘10”和“舒适权重乘0.1”之间做调整，但这依然是一个数学上的平滑变化，不是存在论级别的翻转。人类的“安全”是绝对的，AI的“安全”是相对的。对人类来说，“可能会死”这件事本身就是不可接受的，不管收益有多大。但对AI来说，只要“安全得分”在数值上高于“危险得分”，它就会执行那个动作。它感受不到“害怕”。所以，无论VA、VLA、WA三层如何完美协作，无论仲裁器如何精巧，只要这个系统底层没有一个真正的生存函数——一个不是被“优化”出来、而是被“设定”为不可逾越的底线——它就永远和人类驾驶员有着本质的区别。这也是为什么，L3以上的自动驾驶，最难的不是感知，不是规划，甚至不是决策，而是如何在AI的系统中，注入一个它自己都无法修改的、物理级的生存本能。
10个月宝宝每天需要喝多少奶粉？
