摘要
多模态大语言模型（MLLM）的架构在过去三年经历了三次根本性跃迁。从2022年Visual ChatGPT的"LLM调用多个单模态专家"的松散管道，到2023年GPT-4V与LLaVA开创的"冻结视觉编码器+可学习投影器"晚期融合范式，再到2025年Meta Llama 4、阿里Qwen3.5与Google Gemini 3.0集体转向的"统一Transformer统一Token化"原生多模态架构——这场演进的核心矛盾始终未变：模态间信息融合的深度，决定了多模态能力的上限，而非视觉编码器本身的精度。
本文从技术演进与工程落地的双重视角，系统拆解多模态架构的三次范式转移。文章对比了晚期融合（Late Fusion）与早期融合（Early Fusion）在标度律、推理效率与部署复杂度上的差异；梳理了模态对齐机制从线性投影到Q-Former再到MoE连接器的三代演进；分析了原生多模态面临的高分辨率视觉Token爆炸问题及其压缩策略；回顾了训练范式从"冻结骨干+训练投影器"到端到端联合预训练的三次进化；并探讨了统一生成架构将"理解"与"创造"合二为一的技术路径。文末给出面向一线开发者的选型决策矩阵，从任务类型、部署资源、分辨率需求与模态覆盖四个维度给出可操作的模型选择建议，以及16GB显存环境下的最小可复现部署路径。
第一章：为什么需要原生多模态——从视觉问答到世界模型的范式转移
多模态能力的诞生，源于一个朴素的观察：人类认知并非由独立的"语言模块"与"视觉模块"拼接而成。然而，早期AI系统的多模态处理恰恰走了这条"拼接"的路。
2022年至2023年初，Visual ChatGPT与HuggingGPT代表了第一代多模态系统的典型架构：以LLM作为中央调度器，通过调用链（chain-of-calls）依次调用独立的视觉识别模型、OCR引擎、图像生成扩散模型等单模态专家。这种"LLM-as-Brain"模式的优势在于灵活性——任何新出现的SOTA视觉模型都可以即插即用。但代价同样显著：系统延迟由多个API调用的串行时间累加决定，单点故障导致整个管道崩溃，且LLM在协调调用时产生的高层语义损失无法通过下层专家模型弥补。对于需要细粒度空间推理（如"指出图像左下角第三本书的书名"）或跨模态因果推断（如"视频中敲碎玻璃杯的声音与画面是否同步"）的任务，管道式架构的误差会在每个传递环节被放大。
2023年3月，GPT-4V的发布标志着第二代范式的开端。同年4月，LLaVA的开源代码让学术界第一次能够系统性研究"单模型多模态理解"。这一范式的核心设计是晚期融合（Late Fusion）：冻结一个预训练好的CLIP ViT视觉编码器，通过可学习的投影层（Projection Layer）或Q-Former，将图像特征压缩后嵌入LLM的词向量空间。LLM接收的不再是纯文本Token序列，而是"[视觉Token] + [文本Token]"的混合序列，并在自注意力机制中自然完成跨模态交互。
晚期融合范式让多模态大模型在视觉问答（VQA）、图像描述（Image Captioning）和文档理解等任务上迅速接近甚至超越专用视觉模型。但其根本假设——视觉编码器与LLM可以独立预训练、再通过一个轻量级连接器拼接——在面对2025年的新需求时开始暴露结构性瓶颈。
2025年以来，多模态需求的重心已从"看图说话"转向更复杂的场景：视觉推理（如数学图表的多步推导）、跨模态生成（根据文本生成图像、根据草图生成3D模型）、以及世界模型级别的物理预测（预测视频下一帧的物理变化）。这些任务对模态间信息融合的深度提出了更高要求。在晚期融合中，视觉信息在独立的ViT编码器中已经历了一层信息压缩，再经过投影层进行二次压缩，最终才进入LLM的自注意力计算。两次压缩导致细粒度空间关系、纹理细节与动态时序信息在到达LLM的语言推理层之前已大量丢失。更根本的问题在于：多模态能力的瓶颈，究竟取决于视觉编码器的质量，还是取决于模态融合发生的深度？
2025年的头部模型集体给出了答案：是融合深度。
Meta Llama 4首次在MoE架构上实现原生多模态，阿里Qwen3.5全面推行Early Fusion与Gated DeltaNet（Gated DeltaNet为Qwen系列的非注意力记忆层技术，此处与其多模态融合方案的具体结合细节需核实），Google Gemini 3.0坚持统一Decoder-only架构处理文本、图像与视频，苹果则发布了原生多模态标度律的系统性论文。这些信号指向同一个方向：将所有模态从底层统一为离散Token，在单一Transformer内部自注意力层中完成深度融合，而非在模型外部通过连接器"翻译"。
下图展示了三代多模态架构范式的演进路径，从松耦合管道到冻结编码器拼接，再到统一Transformer的原生融合。
graph LR
subgraph Phase1["2022-2023: 管道式拼接"]
A1["用户输入"] --> B1["LLM调度器"]
B1 --> C1["调用视觉模型"]
B1 --> D1["调用OCR模型"]
B1 --> E1["调用生图模型"]
C1 --> F1["结果拼接输出"]
D1 --> F1
E1 --> F1
end
subgraph Phase2["2023-2024: 晚期融合"]
A2["图像输入"] --> B2["冻结ViT编码器"]
B2 --> C2["可学习投影层"]
D2["文本输入"] --> E2["LLM词嵌入"]
C2 --> F2["视觉Token序列"]
F2 --> G2["拼接序列输入LLM"]
E2 --> G2
G2 --> H2["自注意力计算"]
H2 --> I2["文本输出"]
end
subgraph Phase3["2025-2026: 原生多模态"]
A3["图像/视频/音频/文本"] --> B3["统一Tokenizer"]
B3 --> C3["统一Token序列"]
C3 --> D3["单一Transformer"]
D3 --> E3["自注意力深层融合"]
E3 --> F3["任意模态输出"]
end
Phase1 -.-> Phase2 -.-> Phase3上图从左到右清晰呈现了三代架构的核心差异。最左侧的管道式拼接完全依赖外部API调用，LLM本身不直接处理像素信息；中间的晚期融合虽然将视觉特征注入了LLM内部，但视觉编码器与LLM的预训练是割裂的，二者通过投影层这一"窄桥"连接；最右侧的原生多模态则将整个 pipeline 压缩为一个端到端的统一模型，所有模态在输入阶段即被拉平为同一表示空间中的Token序列，深度融合发生在Transformer的每一层自注意力计算中，而非仅在输入层拼接。这种架构级别的简化，正是从"胶水拼接"走向"底层统一"的本质含义。
第二章：晚期融合——视觉编码器与LLM的"两段式婚姻"
晚期融合（Late Fusion）是2023年至2024年多模态大模型最主流的工程范式。其设计哲学直白而务实：视觉理解有成熟的预训练模型（CLIP ViT、EVA-CLIP、SigLIP），语言理解有成熟的预训练LLM，两者之间只需要一座"桥"。这座桥，就是模态连接器（Modality Connector）。
以LLaVA（2023年4月）为典型代表，晚期融合的标准架构包含三个固定模块。第一模块是冻结的视觉编码器，通常采用CLIP-L/14或SigLIP-SO400M，输入224x224或336x336的图像，输出空间化特征图（spatial feature map），再经全局池化或按块展平为视觉Token序列。第二模块是可学习的连接器，早期LLaVA使用一个简单的线性投影矩阵将视觉Token的维度对齐到LLM的隐藏层维度；后续改进版本引入了两层MLP以增强非线性映射能力。第三模块就是LLM本身，在训练阶段通常保持冻结或仅对LoRA适配器进行微调，接收拼接后的"[BOT][视觉Token]...[视觉Token][用户文本]"序列，通过自注意力机制中的跨模态交互生成回复。
连接器的三种主流设计，代表了不同的工程权衡。线性投影层（Linear Projection）参数量最小（通常仅为d_vit × d_llm级别的矩阵），训练成本极低，是LLaVA-1.0和早期Qwen-VL的默认选择。但它的问题同样明显：线性映射对视觉特征的空间层次结构与语义粒度的压缩能力有限，复杂场景中的多目标关系容易被抹平。Q-Former（BLIP-2引入）是一个基于Transformer的查询压缩器：使用32或64个可学习的查询向量（Query Token）作为"信息提取探头"，通过交叉注意力从完整的视觉特征图中主动"提取"与当前文本最相关的信息。这种设计的优势是压缩率高——一张图的信息被压缩为固定长度的查询向量序列，不受原始图像分辨率影响。但代价是引入了一个额外的轻量级Transformer，增加了前向传播的延迟，且查询向量本身是可学习的，对训练数据分布的泛化能力存在隐忧。Perceiver Resampler（Flamingo采用）则介于二者之间：使用固定数量的Latent Query通过交叉注意力将变长视觉特征压缩为固定长度的视觉Token，保留了部分空间结构信息，但计算量随视觉Token数量线性增长，高分辨率图像仍会导致显著的推理 slowdown。
晚期融合的工程优势不可忽视。对于需要快速启动多模态能力的团队，冻结视觉编码器与LLM、仅训练连接器意味着训练数据量可控制在百万级别（如LLaVA-1.5使用558K图文对进行投影层微调），训练时间从数周缩短至数天，单张A100即可启动实验。这种"站在巨人肩膀上"的策略，让晚期融合成为学术界复现与改进多模态能力的最短路径。
然而，结构性缺陷也随之浮现，且这些缺陷无法通过微调查漏补缺，而是根植于架构本身。
第一，分辨率锁死。冻结的视觉编码器通常在224x224或336x336的固定分辨率上预训练，输入高分辨率图像需要先下采样，导致文档级OCR、遥感图像分析、医学影像诊断等对像素级精度要求高的任务性能天花板明显。虽然Qwen2.5-VL等后续模型通过将图像切分为多个336x336的patch分别编码来支持高分辨率，但这本质上是用工程技巧绕过架构限制，而非从根本上解决问题。
第二，模态对齐停留在浅层。视觉特征在独立的ViT中已完成了空间聚合与语义抽象，再经过连接器的一次压缩，到达LLM时已经是高度抽象的"视觉语义向量"。LLM的自注意力层确实可以在这些向量与文本向量之间建立关联，但底层细粒度特征（如像素级纹理、亚像素级边缘、帧间微小时序变化）已经在进入LLM之前不可逆地丢失了。这意味着晚期融合模型擅长"看图说话"，却在需要细粒度视觉推理的任务上频频碰壁。
第三，扩展标度律不一致。纯LLM的标度律（Scaling Law）已经被研究得相当透彻：损失与计算量之间的关系遵循可预测的幂律。但晚期融合模型需要同时维护视觉编码器、连接器、LLM三个独立组件，每个组件的扩展曲线不同，整体标度律变得不可预测。当团队试图将模型从7B扩展到70B时，应该优先放大LLM还是换用更强的视觉编码器？这个看似简单的问题，在晚期融合范式下没有标准答案。
第三章：早期融合与统一Token化——走向原生多模态的第一块基石
如果说晚期融合的目标是让LLM"学会读取"视觉信息，那么早期融合（Early Fusion）的目标则是让模型"从出生时就会看、会听、会说"。
原生多模态（Native Multimodal）的核心设计哲学，是将图像、视频、音频、文本等不同模态在输入阶段就统一转换为离散的Token序列，输入到单一Transformer中。从预训练的第一步开始，模型就在同一组自注意力权重下处理跨模态信息，而非在两种独立预训练系统之间做后期嫁接。
苹果在2025年发布的《Scaling Laws for Native Multimodal Models》为这一范式转移提供了迄今为止最系统的实证支撑。研究团队对比了早期融合与晚期融合在相同计算预算下的预训练表现，得出了三个对工程师具有直接指导意义的结论。
其一，在验证损失上，早期融合与晚期融合在大规模（>7B参数）下基本持平，但在参数量小于3B的小模型上，早期融合的验证损失比晚期融合低3.2%，训练速度提升15%（具体数值依据该论文实验设定，需以原文核实）。这意味着对于资源有限的边缘部署场景（如手机端侧、车载系统），早期融合不仅效果更好，还更省训练成本。原因直观：晚期融合需要为视觉编码器和连接器分配固定比例的参数预算，这些参数在小模型中"抢走了"本可用于语言推理的容量；而早期融合将所有参数都投入到统一的Transformer中，模态间共享容量，小模型的参数利用效率更高。
其二，早期融合无需维护独立的视觉编码器，部署架构大幅简化。在晚期融合模型中，推理服务需要同时加载ViT、连接器和LLM三个子系统，显存占用是各组件之和，且三个组件的版本升级需要同步维护。早期融合模型则是一个单一的Transformer checkpoint，加载、量化、张量并行、流水线并行的工程实现与纯LLM完全一致，团队可以直接复用现有的推理基础设施。
其三，早期融合的标度律与纯LLM高度一致，损失与计算量之间同样遵循L ∝ C^-0.049的幂律关系。这意味着过去三年围绕LLM预训练积累的全部工程经验——学习率调度策略、数据混合比例、梯度累积策略、检查点保存频率——都可以直接迁移到原生多模态模型的训练中。对于大型AI实验室而言，这种"经验可复用性"的隐性价值，不亚于任何公开的算法改进。
当前头部模型的原生多模态实践，验证了这一范式的工程可行性。Meta Llama 4在MoE架构上统一处理文本、图像与视频，视觉信息不再经过独立的ViT编码器，而是与文本Token一同进入稀疏激活的Transformer层。Google Gemini 3.0坚持统一Decoder-only架构，从底层将音频波形、视频帧序列与文本统一编码。阿里Qwen3.5的Early Fusion设计则将视觉Token与文本Token在同一mRoPE（multi-dimensional Rotary Position Embedding）空间中表示，使得模型在处理图文交错的长文档时，位置编码本身即携带了模态间的空间-文本对齐信息。
统一Token化的技术实现，目前存在两条路径。第一条是像素级直接Token化：将原始图像直接切分为小块（patch），每个patch经过轻量级编码器（如VQ-VAE的编码器或ViT原生分块投影）映射为离散Token ID。这种方法保留了最原始的像素信息，但需要设计专门的位置编码策略来注入二维空间结构。第二条是语义级离散Token化：先使用视觉编码器将图像压缩为语义丰富的连续特征，再通过Vector Quantization（向量量化）将连续特征映射到离散的codebook中，这些codebook的视觉词汇随后被合并到LLM的统一词表中。Emu3.5和NExT-OMNI采用了这条路径，其优势是视觉Token本身携带更高层语义，单个Token的信息密度更高，序列长度更短；缺点是引入了两阶段编码（视觉编码器 → VQ → LLM），可能重新引入部分信息瓶颈。
下图对比了晚期融合与早期融合在架构层面的根本差异。左侧的晚期融合保留了视觉与语言预训练的独立性，但模态间信息传递被迫经过连接器的"窄门"；右侧的早期融合将所有模态在输入端拉平为统一Token流，深度融合从第一层自注意力即开始发生。
graph TB
subgraph Late["晚期融合架构"]
A["原始图像"]
A --> B["ViT编码器"]
B --> C["视觉特征"]
C --> D["连接器"]
D --> E["视觉Token 256-1024个"]
F["文本输入"] --> G["文本Token嵌入"]
E --> H["序列拼接"]
G --> H
H --> I["LLM"]
I --> J["输出文本"]
end
subgraph Early["早期融合/原生多模态架构"]
K["图像/视频/音频/文本原始信号"] --> L["统一Tokenizer"]
L --> M["统一Token序列"]
M --> N["单一Transformer"]
N --> O["深层跨模态融合"]
O --> P["任意模态输出"]
end架构对比揭示了一个常被忽视的事实：晚期融合本质上是一种"事后补救"策略。它假设视觉与语言可以独立发展到高水准，再通过一个轻量连接器实现"联姻"。这一假设在简单多模态任务上成立，却在面对需要深度跨模态推理的复杂任务时破产。早期融合则取消了"独立发展再拼接"的假设，从预训练阶段就强制模型在统一表示空间中学习多模态关联。这种"从零开始共同学习"的策略，虽然对数据组织与训练基础设施的要求更高，却为模型扩展与能力涌现提供了更坚实的架构基础。
第四章：模态对齐机制的深度演进——从线性投影到专家混合连接器
模态对齐（Modality Alignment）是多模态系统的核心瓶颈。无论采用晚期融合还是早期融合，核心问题始终一致：如何让来自不同物理模态、不同统计分布、不同语义粒度的信号，在同一个表示空间中实现有意义的交互与推理。
按技术复杂度与信息交互深度，模态对齐机制经历了清晰的代际演进。
第一代对齐机制是几何映射。BLIP-2的线性投影、LLaVA-1.0的两层MLP，本质上是寻找一个从高维视觉特征空间到LLM词嵌入空间的仿射变换。这种设计的假设是：CLIP ViT提取的视觉特征已经经过了"语言对齐"的预训练（CLIP本身就是在图文对上进行对比学习），因此视觉特征与语言特征之间的"语义差距"不大，一个线性变换足以弥合。这个假设在粗略的图文对应关系上成立（如"狗"的图像对应文本"狗"），但在需要细粒度空间定位、属性推理或跨模态因果推断的任务中，线性映射的信息容量明显不足。从信息论视角看，线性投影是一个信息有损的降维操作，当视觉编码器输出的特征维度（如1024或1408）被压缩到LLM的隐藏维度（如4096或8192）时，几何映射无法创造新的语义关联，只能"搬运"已有的关联。
第二代对齐机制引入了信息提取的主动性。BLIP-2的Q-Former是一个包含交叉注意力的轻量级Transformer，它不再被动地"接收"视觉特征，而是通过可学习的查询向量主动从视觉特征图中"提问"——查询向量与视觉特征交叉注意力后，提取出与当前文本任务最相关的视觉信息。这种"视觉-文本双向查询"的设计，让对齐过程具备了一定的上下文敏感性。Perceiver Resampler则走了另一条路：使用固定数量的Latent Query（如64个）作为信息"瓶颈"，强制模型从高分辨率特征图中筛选出最紧凑的视觉摘要。第二代对齐器的共同特征是引入了额外的注意力计算层，让视觉到语言的映射不再是静态的矩阵乘法，而是动态的、任务依赖的信息路由。
第三代对齐机制，也就是当前最具工程前景的方向，是将混合专家（MoE）引入连接器设计。苹果与索邦大学联合团队2025年的工作揭示了一个反直觉的发现：在早期融合中，引入MoE架构不仅能提升性能，还能让不同专家自动分化出模态专业化（Modality Specialization）的分工模式。
具体而言，在MoE连接器的实验中，研究者为每一层设置了多个专家（Expert），所有输入Token（无论来自视觉还是文本）先经过一个共享的Router网络，Router根据输入特征的语义内容，将其分配给最匹配的专家处理。实验观察到的现象极具启发性：浅层专家自发地趋向模态专业化——部分专家主要处理纯视觉Token（处理局部纹理、边缘、颜色分布），部分专家主要处理纯文本Token（词法、句法、语义关联）。中层专家逐渐承担跨模态融合的职责，处理诸如"文本描述与图像区域匹配"、"问题中的指代项与图像中的对应物体关联"等任务。深层专家则专注于高阶推理，如"基于图像的数学推导"、"视频时序因果推断"等需要同时调动多模态知识的复杂任务。
更关键的发现是：模态无关的路由（modality-agnostic routing）表现优于人工预设的模态专属路由。研究者为对比测试设计了两组路由策略：A组让Router能够感知输入Token的模态来源（视觉/文本/音频），并据此将视觉Token强制导向视觉专家、文本Token导向文本专家；B组则完全隐藏模态标签，让Router仅基于特征内容本身做分配。结果显示，B组的路由策略在多个多模态基准测试上的损失比A组低4%~7%。这一结果的意义超越了多模态领域本身：它说明"模态"这一先验概念，对模型的学习可能并非必要条件。模型若能从数据本身自发发现模态间的结构与边界，其跨模态泛化能力反而更强。对于那些致力于构建全模态世界模型的团队而言，这个结论指向一个激进的工程决策：在训练数据中不标注模态来源，让模型在完全模态盲（modality-blind）的条件下学习统一表示。
从部署效率看，MoE连接器在1.6B参数规模下的验证损失比同计算量的密集连接器低9.5%，但推理时仅激活约1/4到1/8的专家。这意味着实际推理的FLOPs开销与较小的密集模型相当，但模型总体参数规模更大，知识容量更高。
下图展示了MoE连接器中模态专业化路由的工作方式。视觉Token与文本Token进入同一Router，被动态分配到不同的专家，专家在不同深度层级自发形成模态专属与跨模态融合的分工。
graph LR
subgraph Input["输入层"]
V["视觉Token"]
T["文本Token"]
end
subgraph Router["共享Router网络"]
R["路由决策"]
end
subgraph Experts["专家池"]
E1["专家1：视觉局部特征"]
E2["专家2：视觉局部特征"]
E3["专家3：文本语义解析"]
E4["专家4：跨模态关联"]
E5["专家5：高阶推理"]
E6["专家6：跨模态生成"]
end
subgraph Output["输出"]
O["融合表示"]
end
V --> R
T --> R
R --> E1
R --> E2
R --> E3
R --> E4
R --> E5
R --> E6
E1 --> O
E2 --> O
E3 --> O
E4 --> O
E5 --> O
E6 --> O通过MoE路由器的设计，模态对齐从"一个固定通道连接两个独立系统"，演化为"一个动态分配网络内部化多模态信息路由"。这一演进的意义在于：对齐不再是输入层的"一次性翻译"，而是分布在模型每一层、每个Token、每个推理步骤中的持续过程。当视觉Token在第12层被分配给处理"跨模态因果推理"的专家时，它携带的信息已经经过了前11层的语义抽象与跨模态交叉，对齐的精度与深度远非单层投影层所能比拟。
第五章：高分辨率与细粒度视觉理解——当原生多模态遇上视觉Token危机
原生多模态架构虽然理论上可以处理任意分辨率的原始图像，但一个残酷的工程现实随之浮现：图像分辨率每提升一倍，视觉Token数量增加四倍。
以ViT常见的patch size 14×14为例，一张标准的1000×1000图像被切分为约72×72=5184个patch，每个patch映射为一个视觉Token，即超过5000个视觉Token。相比之下，一条典型的用户文本指令通常仅含50-200个Token。在Transformer的自注意力机制中，计算复杂度与序列长度呈二次方关系，5000个视觉Token意味着注意力矩阵的维度是文本输入的数十倍，推理延迟与显存占用都会急剧膨胀。对于需要实时交互的应用场景（如AR眼镜的视觉助手、自动驾驶的视觉感知），原生高分辨率输入在理论上消除了信息瓶颈，但在工程上制造了新的效率灾难。
这一"分辨率-Token-效率"三角困境，催生了四条并行的技术解决路径。
第一条路径是动态分辨率策略。Qwen2.5-VL采用了一种精妙的"全局概览+局部细查"双编码器设计。系统首先将完整图像以低分辨率（如448×448）送入一个轻量级视觉编码器，获取全局语义上下文；同时，图像被切分为多个高分辨率局部窗口（如每个窗口1000×1000），对关键区域进行细粒度编码。全局特征提供场景级别的语义锚点（"这是一张餐厅菜单"），局部特征提供OCR级别的字符识别精度（"第3行写的是'宫保鸡丁 28元'"）。这种模拟人类视觉"先看整体、再聚焦细节"的策略，在文档理解、表格解析、图表推理等任务上取得了显著效果，但引入了两次编码的开销与全局-局部特征融合的工程复杂度。
第二条路径是视觉Token压缩。Mini-Gemini提出的方案是：使用一个高分辨率编码器提取丰富的视觉特征，再通过特征金字塔融合（Feature Pyramid Fusion）将其压缩为固定数量的浓缩Token（如256个或512个）。压缩过程是可学习的轻量级网络，目标是在保留关键语义信息的同时大幅缩减序列长度。这种方法的权衡在于压缩率与保真度之间的取舍：压缩率越高，LLM处理越快，但细粒度空间信息（如小字体文字、微小物体边界）的丢失风险越大。
第三条路径是原生高分辨率Tokenizer。Cosmos Tokenizer是NVIDIA在这一方向的代表性工作。它将图像编码为低bit率的离散Token，同时通过专门设计的空间保持编码器保留二维空间结构信息。其核心洞察是：LLM处理视觉信息时真正需要的不是原始像素，而是经过压缩后仍保留空间邻接关系的语义Token。一个设计良好的视觉Tokenizer可以在100:1甚至更高的压缩率下，保留模型完成VQA和文档理解所需的关键视觉信息。这种方案将"分辨率问题"从LLM的注意力计算层前移至Tokenizer的设计层，一旦Tokenizer优化到位，LLM本身可以完全复用标准的自注意力实现，无需为视觉输入做特殊工程改造。
第四条路径是"压缩-解压"的逆向思路，在OCR等特定场景取得了突破。DeepSeek-OCR的设计哲学是：与其让LLM处理数千个视觉Token，不如先用一个专用的视觉压缩器将高分辨率文档图像（如300DPI的扫描件）压缩为不到100个紧凑的视觉Token，再由MoE架构的语言模型进行OCR识别。这个方案用"空间换时间"的极端策略，将LLM注意力层的输入从5000+个Token缩减到不足100个，推理速度提升一个数量级。代价是压缩器本身引入了额外的预训练需求与潜在的压缩损失，但对于以文本提取为核心目标的扫描文档处理任务，这种权衡是划算的。
四条路径共同指向同一个工程原则：原生多模态不意味着"必须将原始像素不加处理地输进Transformer"，而是意味着"模态融合发生的层级可以前移到任何合适的处理阶段"——只要在统一Token化之后，所有信息都在同一表示空间中由同一组Transformer权重处理即可。Tokenizer可以复杂、可以压缩、可以有先验结构，但一旦Token生成，后续的计算必须是统一的、端到端的、无模态隔离的。
下图对比了传统高分辨率视觉处理路径与压缩路径的数据流差异。左侧展示未加压缩时高分辨率图像产生的Token数量导致的注意力计算爆炸；右侧则展示经过视觉压缩器后，LLM以少量浓缩Token高效完成处理。
graph TB
subgraph Traditional["传统高分辨率路径"]
A["1000x1000高分辨率图像"] --> B["ViT patch 14x14"]
B --> C["5097个视觉Token + 文本Token 100个"]
C --> D["序列长度 5197"]
D --> E["自注意力 O(5197^2)"]
E --> F["推理延迟高，显存占用大"]
end
subgraph Compressed["视觉Token压缩路径"]
G["1000x1000高分辨率图像"] --> H["视觉压缩器 Cosmos/DeepSeek-OCR"]
H --> I["512或100个浓缩视觉Token"]
J["文本输入 100个Token"] --> K["合并序列"]
I --> K
K --> L["序列长度 600"]
L --> M["自注意力 O(600^2)"]
M --> N["推理延迟低，显存可控"]
end高分辨率视觉处理的工程实践揭示了一个关键认知：原生多模态的"原生"二字，指的不是拒绝任何预处理，而是拒绝"模态间的结构性隔离"。一个精心设计的视觉压缩器与LLM之间的协作，仍然是原生多模态——只要压缩器输出的Token进入了LLM的统一词表，并在同一Transformer层中参与自注意力计算。相比之下，晚期融合中ViT编码器输出的连续特征向量若不经过离散化和词表合并，就永远无法真正融入LLM的推理流。这个边界定义，对工程团队的技术选型有直接影响。
第六章：训练范式的三次进化——从冻结骨干到端到端联合预训练
架构设计的优劣，最终需要在训练过程中得到验证。多模态模型的训练范式，与架构设计同步经历了三次关键进化，每一次进化都标志着对"多模态知识从何而来"这一问题的更深层次理解。
第一阶段（2023年）的核心假设是：LLM的语言知识已经足够丰富，问题只在于让它学会"读取"视觉信息。因此，训练策略采用冻结LLM全部参数，仅训练连接器（投影层或Q-Former）。BLIP-2和InstructBLIP是这一阶段的代表作。训练数据通常是图文对（如LAION-5B、CC12M的子集），损失函数为标准语言建模损失，目标是在冻结的LLM输入空间中，为视觉特征找到合适的"锚点"。这种策略的训练成本极低——仅需百万级图文对、数小时到数天的训练时间，即可让7B LLM具备基础视觉问答能力。但它的能力边界也很清晰：模型只能"调用"LLM已有的语言知识来描述视觉内容，无法通过视觉信息修正或扩展语言理解。当被问及图像中不符合常识的异常（如"一只猫坐在天上"），模型往往不会指出异常，而是尝试用已有语言模式强行描述——因为语言模型的参数从未被视觉证据更新。
第二阶段（2024年）的范式转向了端到端微调，代表作为LLaVA-1.5和Qwen-VL。研究者发现，仅训练连接器会让LLM的跨模态能力停留在表面；解冻LLM的部分或全部参数进行指令微调（Instruction Tuning），模型能够通过视觉-语言指令对（如"描述这张图片"、"这张图中有几个人"、"根据图表计算增长率"）学习更深层的跨模态推理。视觉编码器通常仍保持冻结，因为预训练ViT的视觉特征被认为是"通用"的，不需要针对下游任务调整。这一阶段的训练数据从百万级扩展到千万级，并引入了高质量的指令微调数据集（如LLaVA-Instruct、ShareGPT4V）。能力跃升显著：模型开始具备细粒度物体定位、图表推理、多轮图文对话等能力。但隐患同样存在：视觉编码器的输出分布与LLM的输入分布之间，仍然存在一个由冻结权重固定的"语义断层"。连接器可以学习映射，但无法创造映射所需的两端都不具备的语义关联。
第三阶段（2025-2026年）的标志是端到端联合预训练（End-to-End Joint Pre-training）。Qwen3.5、Llama 4、Gemini 3.0等模型从预训练的第一步开始，就将图文对、视频-文本对、纯文本语料混合在一起输入模型。模态间的关联不是训练后期"嫁接"的，而是从最底层开始共同学习。这种范式的训练成本最高——需要TB级别的多模态语料、数千GPU的预训练集群、数周的训练周期——但它带来的能力增益同样最高。
苹果的原生多模态标度律论文对联合预训练的混合策略给出了具体指导。研究系统地测试了不同图文混合比例（image-text pair : pure text 从 1:1 到 1:10 不等）对预训练损失的影响，发现了一个对工程团队极为友好的结论：模态混合比例对标度律的影响非常微弱，在合理范围内（10%到50%的多模态数据占比），验证损失的差异不超过2%。这意味着开发者不需要为寻找"最优数据配比"而花费大量实验资源，可以在现有文本预训练流程中直接混入适当比例的多模态数据即可启动联合预训练。这一结论降低了原生多模态预训练的门槛，尤其对中小型实验室而言意义重大。
然而，端到端联合预训练也引入了新的工程挑战。多模态数据的加载、解码、预处理（如视频抽帧、音频分窗、图像增强）与纯文本数据的pipeline完全不同，在数据并行训练中，跨模态数据加载的I/O瓶颈常常成为训练吞吐量的主要限制因素。此外，视觉Token序列长度远长于文本Token，导致同一global batch中的序列长度差异巨大，对padding策略和显存分配策略提出了更高要求。
VITA-1.5提出的四阶段课程式训练（Curriculum Learning）为这些问题提供了一套经过验证的解决方案。第一阶段进行纯语言预训练，让模型建立强大的文本理解与生成基座；第二阶段引入视觉-语言对齐数据，在冻结语言参数的情况下先训练视觉Tokenizer与连接器的映射；第三阶段解冻全部参数，引入音频与视频数据；第四阶段进行多模态指令微调。这种渐进式策略避免了多模态同时引入导致的训练不稳定性，同时确保模型在每一阶段都有明确的能力基线。
从工程实践角度，对于大多数不具备从头预训练70B模型资源的团队，第三阶段的联合预训练仍然可以通过"持续预训练"（Continual Pre-training）的方式部分实现：在开源的7B或13B原生多模态基座（如Qwen2.5-VL或Llama-4-Scout）的基础上，用领域特有的多模态数据（如医学影像-报告对、遥感图像-标注对）进行小学习率的继续预训练。这种方法虽然不能获得从头预训练级别的能力跃升，但足以在特定垂直领域实现显著的性能提升，且训练成本可控（通常只需1-10B token的数据量，数张A100训练数天即可）。
第七章：统一生成——从理解到创造的最后一公里
原生多模态的终点不仅是"看懂"，更是"生成"。当前多模态生成领域存在三种范式的激烈竞争：自回归（AR）生成、扩散模型（Diffusion）、流模型（Flow）。传统拼接架构中，理解用LLM、生成用扩散U-Net，两套系统难以统一。原生多模态推动"理解-生成同体"，即同一个模型既能解析输入模态，又能生成输出模态，且所有模态共享同一套参数与同一套表示空间。
自回归生成是最接近LLM原生范式的路径。模型的行为仍然是"预测下一个Token"——只是这个Token可能是文本单词、图像视觉Token或音频采样Token。Emu3.5和NExT-OMNI是这条路线的代表。Emu3.5通过将图像、视频、音频全部编码为离散视觉/听觉Token，将生成任务转化为一个大词汇表的序列预测问题。NExT-OMNI更进一步，实现了任意模态到任意模态（any-to-any）的生成：文本可以生成图像，图像可以生成音频描述，视频可以生成文本摘要。这种完全统一的框架在概念上极为优雅——整个模型只需要一个损失函数（交叉熵）和一个训练目标（预测下一个Token）。但AR生成的核心瓶颈在于：高质量图像生成需要数千个Token才能表达足够的空间细节，逐Token生成的延迟对实时应用而言是致命的。
扩散模型代表了另一条路径。Show-o的设计哲学是：在统一Transformer内部混合两种生成模式——用自回归规划全局结构（如图像的整体布局、物体的空间位置），用离散扩散（Discrete Diffusion）填充局部细节（如纹理、颜色过渡）。这种"AR+Diffusion"的混合策略让模型在保持统一架构的同时，利用了扩散模型在细节生成上的优势。扩散过程可以并行采样多个Token，生成速度远快于纯自回归。但代价是引入了额外的噪声调度和去噪步骤，训练稳定性相比纯AR更难以控制。
流模型（Flow Model）是第三条新兴路线。JanusFlow引入整流流（Rectified Flow）将生成步数从传统扩散模型的数百步压缩到1-8步，实现了接近实时的图像生成速度。Rectified Flow的核心思想是：在扩散模型的概率流ODE上直接学习从噪声到数据的直线路径，而非曲折的曲线路径。这种方法不仅减少了采样步数，还改善了不同模态之间的生成一致性——因为流模型在训练时学习的是连续的流场，跨模态对齐更加自然。JanusFlow的实验表明，在8步生成条件下，图像质量已经与50步扩散模型相当，而推理延迟降低了6倍以上。
Emu3.5提出的DiDA（Discrete Diffusion Adapter）是另一条有趣的中间路线。它将自回归的逐Token生成转换为双向并行预测：在训练阶段，模型学习预测被掩码的视觉Token集合，而非严格的从左到右序列；在推理阶段，模型可以一次性并行解码多个Token位置，然后进行迭代精化。DiDA在保持自回归框架不变的前提下，实现了约20倍的生成加速。这种"双向并行化"的改动对训练基础设施的侵入性极小——不需要修改模型架构，只需要在数据加载器中加入掩码采样逻辑。
统一生成模型的核心工程问题，是三者的帕累托前沿如何取舍。AR生成质量最高但速度最慢，适合对质量要求极高且延迟不敏感的场景（如艺术图像生成、广告素材制作）。扩散模型在质量和速度之间取得平衡，是图像生成服务的主流选择。流模型速度最快但训练复杂度最高，适合实时交互场景（如AR实时渲染、机器人视觉反馈）。对于需要同时支持理解与生成的产品团队，当前最务实的选择是Show-o类的混合架构：统一Transformer同时掌握AR规划和扩散细节生成，根据应用场景动态切换生成策略。
从更长期的视角看，统一生成的终极目标是将"预测下一个token"从语言序列扩展到物理世界的下一帧预测。当模型看到一段物体下落的视频，它不仅能描述"球在下落"，还能预测"球将在0.5秒后撞击地面并弹起"。这种从语言模型到世界模型的跃迁，恰恰是原生多模态统一架构才能承载的使命——因为物理世界的 prediction 需要同时调动视觉、时序和空间推理，而这三种能力必须在深层共享表征才能真正协同。
第八章：开源生态与开发者选型决策矩阵
对一线工程师而言，技术范式的演进最终要落地为具体的模型选型与部署决策。本章梳理当前主流开源原生多模态模型及其架构特点，并给出四个维度的选型矩阵。
Qwen3.5-VL是当前中文多模态生态中最活跃的基座。其核心架构为Early Fusion + mRoPE（multi-dimensional Rotary Position Embedding） + MoE稀疏化，支持119种语言与GUI操作，意味着模型不仅能理解图像，还能根据屏幕截图执行点击、输入等操作指令。其训练数据涵盖了从自然图像到网页截图、从手写文档到移动应用界面的广泛场景，使其成为自动化办公、RPA（机器人流程自动化）和多语言客服系统的首选基座。7B级别的Instruct版本在16GB显存下即可运行推理，对中小型团队极为友好。
Llama 4 Scout/Maverick（Meta 2025）是MoE+原生多模态的代表。Scout版本仅17B激活参数（总参数量109B），单张H100即可完成部署推理，支持1000万Token的上下文窗口。这一规格使其成为需要处理超长视频序列或大型PDF文档场景的理想选择。Maverick版本性能更强，总参数量达400B（激活参数同为17B，128个专家），面向企业级高吞吐量服务。Llama 4的MoE架构让模型在保持大知识容量的同时，推理成本与激活参数量成正比——一个109B总参数的模型，每次推理只激活17B参数的FLOPs，这一特性对成本敏感型部署极具吸引力。
DeepSeek-VL2系列是MoE架构的高效多模态理解基座，在文档理解与细粒度文本提取上表现突出。而专门针对文档解析的DeepSeek-OCR则采用了"视觉压缩器+MoE语言模型"的高分辨率OCR路线：其视觉压缩器将高分辨率扫描件压缩为不足100个紧凑Token后输入MoE语言模型，在保持OCR精度的同时将推理速度提升了一个数量级。对于法律文档分析、医疗影像-报告配对、金融报表自动录入等垂直场景，DeepSeek-VL2与DeepSeek-OCR的组合方案性价比非常高。
Emu3.5定位为"世界模型"，其核心卖点是DiDA加速的统一生成。与侧重理解的其他模型不同，Emu3.5的强项在于从文本/草图生成图像、从单帧图像生成视频、从文本描述生成3D结构。其统一生成能力使其成为创意工具链（如AI辅助设计、虚拟制片、游戏资产生成）的潜在基座。但生成模型对显存和推理延迟的要求更高，7B级别的生成质量与专用扩散模型（如SDXL、Flux）相比仍有差距，更适合作为多任务统一后端，而非单一的高画质生成服务。
JanusFlow（深度求索）则走了解耦视觉编码的理解+生成双路径。理解路径使用标准视觉编码器处理输入图像，生成路径使用Rectified Flow进行快速图像生成。这种"理解用一套、生成用另一套"的设计看似回到了拼接范式，但两套系统共享同一语言模型主干，且视觉编码器与流生成器都经过了与语言模型的联合训练。其工程优势在于：理解质量不受生成路径的扩散噪声影响，生成速度不受理解路径的视觉编码器分辨率限制。这种精细的解耦-再统一策略，在需要同时进行实时理解与实时生成的场景（如具身智能机器人的视觉感知-动作规划循环）中具有工程价值。
面向开发者的选型可以从四个维度建立决策矩阵：
任务类型：以理解为主的任务（VQA、OCR、文档解析）优先选择Qwen3.5-VL或DeepSeek-VL2，因为二者在理解基准上的评分最高。以生成为主的任务（文生图、图生视频）优先选择Emu3.5或JanusFlow，因为二者原生支持多模态输出。需要理解与生成并重的场景（如交互式AI助手、智能体界面操作），Show-o类混合架构或JanusFlow的双路径设计更具灵活性。
部署资源：边缘设备（手机、IoT、车载系统）优先选择Qwen2.5-VL-3B级别的小模型或经过INT4量化的7B模型，激活内存可控制在4-8GB。单GPU（16-24GB显存）环境可以部署LLaMA-4-Scout-17B或Qwen2.5-VL-7B-Instruct，二者在大多数任务上已具备生产级能力。多节点集群（4-8张A100/H100）才可以考虑激活参数超过40B的模型（如Llama-4-Maverick或Qwen3.5-VL-72B）。
分辨率需求：标准图文场景（社交图片、产品照片、网页截图）任何现代多模态模型均可处理。高分辨率文档（300DPI扫描件、大幅面工程图纸）优先选择DeepSeek-VL2或Qwen2.5-VL，二者的高分辨率处理策略经过专门优化。视频流场景需要框架级别的时序建模支持，Llama 4和Gemini 3.0在原生视频理解上的架构优势更为明显。
模态覆盖：纯图文场景选择最丰富，几乎所有模型均支持。音视频联合理解（如视频配音分析、会议记录生成）需要原生支持音频Token化的模型，Llama 4和NExT-OMNI的音频-视觉-语言三模态统一架构是少数可用的开源选择。动作控制与机器人操控（VLA任务）需要模型输出连续的动作向量或离散的控制指令，OpenVLA和基于Llama-4的机器人版本正在这一领域快速推进。
最小可复现路径：以Qwen2.5-VL-7B-Instruct为例，在16GB显存环境中，使用HuggingFace Transformers库加载模型，设置max_pixels=12802828控制最大输入分辨率，image_resolution=auto让模型自动选择最佳缩放策略，使用标准的`<image>
用户指令
<|im_end|>`格式构造对话prompt。对于Llama-4-Scout-17B，使用vLLM或SGLang作为推理后端，开启FP8或INT8量化可将显存占用从约35GB压缩至18-20GB，配合张量并行可在双卡24GB环境运行。
第九章：未来方向——从多模态到全模态世界模型
展望2026年下半年及2027年，多模态大模型将从"理解多种模态"向"理解物理世界"跃迁。这一跃迁依赖三个技术支柱的成熟。
第一，全模态对齐。当视觉、听觉、触觉、 proprioception 全部统一为Token序列，模型将具备真正的物理世界理解能力。OpenVLA在机器人操控上的突破已经证明，将视觉输入映射为机器人动作输出（Visual-Language-Action）是可行的，但当前VLA模型仍依赖冻结的视觉编码器和单独的动作解码头。全模态对齐要求从底层统一：摄像头的像素流、麦克风的声波序列、力传感器的触觉反馈、关节编码器的姿态数据，全部作为同一种Token流输入同一Transformer，模型学习预测下一帧视觉、下一时刻触觉与下一个动作Token的联合分布。这种统一的物理世界建模，是真正具身智能的必要条件。
第二，实时多模态。流式输入（如持续视频+音频对话）的实时理解与生成都面临严峻的延迟约束。当前多模态模型的延迟主要来自三个环节：视觉编码器的分辨率处理、自注意力层的二次方计算、以及自回归生成的逐Token输出。每一步都有10倍级别的优化空间：视觉端可以通过事件相机（event camera）直接输出稀疏、低延迟的视觉Token；注意力端可以通过线性注意力或状态空间模型（如Mamba、Gated DeltaNet）将复杂度从二次方降至线性；生成端可以通过流式扩散或一次性的流模型生成器将多步去噪压缩为单步。当这三个优化叠加，实时多模态交互的延迟将从当前的几百毫秒压缩到几十毫秒，达到人类对话的即时感门槛。
第三，世界模型。Emu3.5和NExT-OMNI已经将"预测下一个token"从语言序列扩展到了物理世界的视觉帧。但真正的世界模型需要做的不仅是预测下一帧画面，更是预测物理因果：当模型看到一只手将杯子推向桌边，它应该预测杯子坠落的轨迹、碎裂的概率、以及碎片的分布——而不仅仅是下一帧的像素变化。这种物理常识的嵌入，可能需要从底层引入结构化的物理先验（如刚体动力学、流体力学的神经网络化表示），或者通过在大量物理模拟数据上的规模化预训练来隐式学习。
两个开放问题将决定这一领域的长期走向。其一，当所有模态都统一为离散token时，模态间的本质差异——如视觉的空间连续性与文本的符号离散性——是否需要专门的归纳偏置（inductive bias）来保留？当前的统一架构完全依赖自注意力来学习这些差异，但人类视觉皮层与语言皮层在神经结构上的分化提示，某些模态专有的处理机制可能是有益的。其二，原生多模态的统一训练是否会导致某种模态被主导模态淹没？在训练数据中，文本语料的规模远大于视觉或音频语料，模型是否会在优化过程中"偷懒"，将所有模态都映射为语义上最丰富的文本表示，从而丢失了视觉特有的空间信息和音频特有的时序信息？
这两个问题没有现成答案，但它们定义了原生多模态架构下一步的演进方向：不是继续追求更彻底的"统一"，而是在"统一"与"分化"之间找到更精细的平衡点。世界模型的未来，或许正存在于这条张力线上。
评论
0评论加载中…