迈向人类级驾驶智能：VLA视觉语言行动模型

芝能科技出品

2025年，由于安全和强监管的作用，辅助驾驶行业正处于黎明前的黑暗。

面对复杂的现实路况、多样的人类行为模式，以及传统AI在泛化和理解能力上的瓶颈，理想汽车在《AI Talk第二季》系统性的阐述了“VLA（视觉语言行动模型）”。

从逻辑上来看，VLA不是单一的模型升级，从模仿昆虫般的规则算法，到具备哺乳动物智能的端到端系统，再到真正具有人类驾驶认知和执行能力的“司机大模型”。

我们从技术演化的三阶段入手，深入解析VLA的架构组成、训练流程和关键突破，探讨它如何打破智能驾驶发展的困局，成为迈向L4+自动驾驶的关键支点。

阶段一：规则驱动与“昆虫智能”

回溯智能驾驶的早期阶段，我们依赖于机器学习下的感知模块，配合高精地图、规则算法执行。系统的每一个子模块（感知、规划、控制）都需精密耦合，更多依赖人工设定的规则。

这一阶段，智能驾驶系统更像是一只被设定程序路径的“蚂蚁”：只能在特定场景中“爬行”，缺乏对环境的真正理解和泛化能力。

◎ 感知模型参数规模小：仅几百万参数，处理能力严重受限。

◎ 对地图强依赖：高精地图一旦失效，系统极易出现功能崩溃。

◎ 缺乏上下文理解能力：面对突发场景（如施工绕行、人为交通指挥等）无所适从。

这正如马戏团里受训的昆虫，仅能在被设定轨道内完成任务，缺乏主动决策与认知能力。

阶段二：端到端与“哺乳动物智能”

2023年起，理想汽车启动端到端（E2E）辅助驾驶研究，并在2024年开始实车部署。端到端模型将感知与控制流程一体化，通过大规模数据驱动“模仿学习”。

该阶段的模型能通过模仿人类驾驶行为完成任务，具备初步泛化能力。

◎ 学习对象为人类驾驶行为：模型能够“看图开车”，感知场景并输出驾驶指令。

◎ 缺乏因果推理能力：模型虽能模仿，但无法理解行为背后的因果关系。

◎ VLM（视觉语言模型）的初步引入：引导模型理解交通信号语义和少量文字信息，但由于开源VLM多为低分辨率，泛化能力不足。

端到端系统像是能骑车的猩猩：虽然能完成任务，但并不真正理解交通世界的规律与逻辑。这种“经验驱动”的模型仍存在理解维度浅、推理能力弱、泛化能力有限等瓶颈。

阶段三：VLA（司机大模型）与“人类智能”

进入VLA时代，智能驾驶系统不再是规则控制器，也不仅仅是模仿者，而是拥有“类人思维”的驾驶主体。

VLA系统具备真正意义上的三重能力融合：

◎ Vision：3D视觉 + 高清2D图像；

◎ Language：交通语言理解 + 内部CoT推理链；

◎ Action：驾驶行为的计划、决策与执行。

VLA不同于传统VLM或E2E模型，它不仅能“看懂世界”，还能“理解”并“行动”，其智能程度首次接近人类驾驶员。

预训练阶段的目标是打造一个视觉与语言紧密融合的VL（Vision + Language）多模态大模型，作为VLA的训练起点。

当前版本的模型规模达到32B（320亿参数）级别，并部署于云端训练平台。

此模型整合了丰富的视觉语料，包括3D空间感知和高清2D图像，其图像分辨率相比现有开源VLM提升了10倍，覆盖了远距识别、交通标志以及动态场景等复杂要素。

同时，语言语料涵盖了驾驶指令、路况语义及行为规则，包含导航信息、人类指令和驾驶习惯用语。

联合语料方面，通过将视觉语境与语言语义共同嵌入，如导航地图结合驾驶行为的理解，三维图像与指令逻辑结合，旨在构建一个具备物理世界理解能力的“多模态世界模型”。

完成预训练后，32B模型被蒸馏为3.2B端侧模型，以适配Orin-X或Thor-U硬件平台，采用MoE（混合专家模型）架构实现效率与精度的平衡，确保模型能在实时40Hz帧率以上运行，满足车规级部署要求。

进入后训练阶段，重点转向从理解到行动的模仿学习。

如果说预训练赋予了模型“看与听”的能力，那么这一阶段则是让模型学会“动手”。

通过大规模人车共驾数据的学习，模型能够模仿人类驾驶行为，学习轨迹、加速、刹车等操作。此外，生成式行为学习不仅限于回归预测，还能够进行轨迹生成与优化。

任务集成模型（TAM）结构则将视觉语言理解与动作生成深度融合，提高任务执行效率。

最终形成一个具备完整驾驶循环的VLA结构：从环境感知、意图理解到驾驶行为执行，构成闭环控制系统。

模型扩展至4B参数，保留CoT（思维链）机制但限制在2～3步内，以兼顾推理能力和系统延迟。

强化训练阶段强调的是从驾校到真实道路的过渡，注重人类偏好与安全边界控制。

不同于传统的RL方法，VLA的强化训练体系引入了RLHF（人类反馈强化学习），通过人类介入标注数据形成“人接管—AI迭代”循环，融入用户偏好、道路安全行为习惯等软性目标。

Diffusion预测模块能够在执行动作前预测未来4~8秒内的环境与轨迹变化，提供因果推理能力，为决策提供时域支持。

这一过程如同驾驶员从实习到正式上岗的过程，使VLA不仅能开车，而且能安全、稳健地应对真实世界中的突发情况。

视觉语言行动模型（VLA）体系中，最具突破性、也最贴近用户实际驾驶需求的部分，就是“司机Agent”的构建。

所谓“司机Agent”是一个具备类人驾驶智能的“数字驾驶员”——它不仅能够看清楚、听明白，更关键的是，它能理解路况、语言指令以及驾驶意图，并做出合理的行动决策。这是VLA三个阶段演进的核心成果。

传统的感知+规则算法，像昆虫一样只能被动反应、遵循简单指令。而端到端模型虽更聪明，像是训练有素的动物，可以模仿人类行为，却缺乏真正的世界理解。

而VLA中的司机Agent则进一步融合了3D视觉理解、语言推理（CoT），以及实时行动策略学习能力，可以将一段自然语言“你在前方出口处靠右行驶”翻译为精准的轨迹控制，甚至在突发场景下进行动态调整。这意味着它不仅能看清红绿灯，还能“理解”红绿灯的语义和策略影响。

司机Agent依托于三个关键训练步骤构建而成：

◎ 首先基于云端32B模型进行视觉语言联合建模，以理解3D现实世界与高分辨率2D图像并建立交通语境下的“语言-视觉”嵌套结构；

◎ 其次在端侧3.2B蒸馏模型上通过模仿学习实现行动建模，从人类驾驶数据中学会对视觉语义做出反应；

◎ 最后通过强化学习（尤其是RLHF）引入人类反馈，使系统不仅能学习“如何做”，更能学会“如何避免错误”，从而优化安全边际与驾驶习惯，完成从模拟到实战的过渡。

VLA的司机Agent并非只是一套规则的叠加，而是一个拥有短链推理能力（CoT）和多模态协同决策能力的泛化智能体。

在保持执行实时性的同时，它可以做出“如果我现在加速，5秒后前车可能会减速”的因果推演，并结合其训练过的行为偏好，选择更符合人类驾驶风格的方式进行操作。

这个“司机Agent”是VLA真正走向量产落地的核心标志：它不仅是模型的集合体，更是驾驶行为的数字化拷贝。

这一Agent的成熟将直接决定辅助驾驶是否能从“功能堆叠”迈向“驾驶替代”，真正成为每一位用户可信赖的“副驾”。

VLA的出现，不只是技术体系的进化，更是辅助驾驶行业从困境走向突破的关键。今天的辅助驾驶争议重重：技术无法闭环、泛化能力弱、安全问题频出。

但正因如此，VLA应运而生。不仅具备了“类人认知”，还以工程化路径落地，在算力可控范围内实现高度拟人化驾驶体验。它将视觉、语言、行动三者融合，从理解世界到改变世界，迈出了自动驾驶真正“可商用、可规模化”的第一步。

VLA并非终点，而是一个开端。正如黎明前的黑暗终将过去，VLA标志着辅助驾驶正从工程试验品，迈向未来社会的基础设施。