推理时计算扩展：从显式思维链到隐空间搜索的LLM推理质量跃迁与2026年工业实践

摘要

2026年的大模型能力竞赛正经历深层范式转移：性能增长的主动力从「训练更大模型」转向「让模型在推理阶段消耗更多计算」。本文系统梳理测试时规模法则（Test-time Scaling Law）的理论基础，从显式思维链（Chain-of-Thought）出发，逐步深入到过程奖励模型（PRM）、蒙特卡洛树搜索（MCTS）与LLM的结合、Best-of-N并行采样，以及最具前瞻性的隐空间连续推理（Coconut等）。文章进一步分析多级思考系统（快思考/慢思考路由）的生产架构，并给出2026年主流推理框架的工程落地指标与成本数据。核心结论是：LLM的能力边界不再仅由参数量定义，而是由推理阶段的计算预算与分配策略共同决定；但这条路径同样面临收益递减、推理幻觉与延迟底线三重约束。

1. 引言：从"更大模型"到"更久思考"

Scaling Law正在分裂为两条曲线。过去五年，预训练规模法则（pre-training scaling law）主导了AI——更大的模型、更多的数据、更长的训练时间，系统性地提升下游表现。这条曲线在2024年开始显露出边际收益递减的迹象：GPT-4到GPT-4o的基准提升幅度收窄，纯参数竞赛的成本收益比急剧恶化。

与此同时，另一条曲线正在快速上升。OpenAI o3在ARC-AGI基准上从32%跃升至75.7%的成绩，DeepSeek-R1在数学推理中展现出自主「aha moment」式的自检与回溯能力，Gemini 2.5 Deep Think则展示了复杂多跳推理的可行性。这三项突破的共同点并非训练阶段的参数增量，而是推理阶段的计算扩展——让模型在生成最终答案前，投入更多token用于思考、验证与搜索。

测试时计算扩展（test-time compute scaling）的核心命题由此浮现：LLM的能力上限不再仅由参数量决定，而是由推理阶段的计算预算决定。这改变了LLM部署的经济学：单次查询的延迟和成本不再固定，而是成为可调节的质量-效率权衡参数。本文的讨论范围限定于推理阶段的技术——即「生成答案之前模型可以做什么」。训练阶段的强化学习对齐（如GRPO、RLVR）已在2026年7月1日的文章中系统覆盖，此处不再重复。

从工程角度看，推理时计算扩展涉及三个核心问题：

扩展形式：串行深度（单条更长的思维链）与并行广度（多条独立的推理路径搜索）哪种更有效？
评估机制：如何为中间推理步骤提供有效反馈，而非仅在最终答案上打分？
部署成本：推理token数的指数级增长如何与延迟底线和API成本结构相调和？

这三个问题将贯穿全文，并在第10章给出面向开发者的工程决策框架。

2. 测试时规模法则：推理时计算的理论基础

预训练规模法则的数学形式已经标准化：下游损失 L 与模型参数量 N、训练token数 D 遵循幂律关系 L(N, D) ∝ N^(-α) · D^(-β)，其中 α、β 为经验常数（通常 α ≈ 0.034, β ≈ 0.028，具体数值因任务而异）。这条法则的隐含假设是：更高能力的唯一来源是更大的模型与更长的预训练。

测试时规模法则挑战了这一假设。2024年OpenAI的研究（Brown et al., 2024）与2025年Google DeepMind的工作（Snell et al., 2025）独立发现：给定一个固定模型，增加推理阶段的计算量——通过更长的思维链、更多的验证步骤、或更多的采样路径——可以系统性地降低测试损失，并在数学、代码生成与逻辑推理任务上产生可重复的能力跃迁。

两者的数学形式差异具有深刻含义。预训练规模法则描述的是「静态能力」与「静态训练成本」的关系；测试时规模法则描述的是「动态推理深度」与「动态准确率」的权衡。更关键的是，这两条曲线的交叉区域揭示了重要策略信息：在数学推理（如GSM8K、AIME）等需要多步逻辑推导的任务上，推理时计算扩展的回报率在某些模型规模区间超过了继续扩大预训练规模的回报率。一个关键观察是，对于参数量小于70B的模型，投入10倍推理计算带来的准确率提升，往往大于将模型扩大10倍参数所带来的提升。

从工程角度看，这一发现彻底改变了部署决策的优化空间。传统上，模型选择是一个静态问题——选最大的GPU上能跑下的最大模型。测试时规模法则将其转变为动态问题：同一个模型可以在"快速模式"（低延迟、低准确率）和"深度模式"（高延迟、高准确率）之间切换，而切换的旋钮就是推理token预算。

测试时计算扩展可以分解为两大范式：

串行扩展（Serial Scaling）：在单条推理路径上投入更多计算——更长的思维链、更多的自检步骤、迭代式修正。优势在于深度思考可以依赖前一步的结果，形成因果链；劣势在于"一条道走到黑"，一旦早期步骤出错，后续推理全部失效。
并行扩展（Parallel Scaling）：同时生成多条独立的推理路径，通过投票或奖励模型选择最优结果。优势在于对单一路径错误的鲁棒性；劣势在于计算资源被分散，每条路径的思考深度受限。

OpenAI与Google DeepMind在2024-2025年的实验数据存在有趣分歧：OpenAI的结果偏向串行扩展在数学任务上的优势，而DeepMind的结果显示并行扩展（Best-of-N采样）在代码生成上更具性价比。这一分歧的核心并非实验误差，而是任务结构差异：需要严格逻辑链条的任务（数学证明）更受益于单条路径的深度思考；而存在多种等价解的任务（代码生成）更受益于多条路径的并行探索。

这一分析框架将指导后续章节的组织：第3-4章讨论串行扩展，第5-6章讨论并行扩展，第7章讨论两者在隐空间中的融合。

%%{init: {'theme': 'dark'}}%%
graph TD
    subgraph 预训练规模法则
        A1[固定模型, 增加训练计算] --> B1[能力随参数与数据量增长]
        B1 --> C1[边际收益递减, 成本指数上升]
        C1 --> D1[静态部署, 单一性能点]
    end
    subgraph 测试时规模法则
        A2[固定模型, 增加推理计算] --> B2[能力随推理深度/广度增长]
        B2 --> C2[灵活可调, 质量-延迟权衡]
        C2 --> D2[动态部署, 多档性能模式]
    end
    style A1 fill:#1a1a2e,stroke:#4a90e2
    style A2 fill:#1a1a2e,stroke:#e74c3c
    style D1 fill:#16213e,stroke:#4a90e2
    style D2 fill:#16213e,stroke:#e74c3c

上图呈现了两种规模法则的结构性差异。预训练规模法则是一条单向的、不可逆的能力增长路径：一旦模型训练完成，其能力被固定，用户无法在购买后追加训练计算来提升表现。测试时规模法则则创造了一条可逆的、按需调节的能力曲线：同一个模型在不同推理预算下可以输出从「快速草稿」到「深度分析」不等质量的结果。这种可调性对商业部署的意义是巨大的——它意味着企业可以根据查询的复杂度、用户的付费层级、或实时性要求，动态分配推理计算，而无需维护多个不同规模的模型。一家SaaS公司可以在同一模型上同时服务"快速FAQ"（低成本、低延迟）和"复杂代码审查"（高成本、高准确率）两类需求，这在预训练范式下需要分别部署不同参数量的模型。

3. 显式思维链：Chain-of-Thought作为第一次范式

思维链（Chain-of-Thought, CoT）是测试时计算扩展的奠基性技术。Wei et al. (2022) 发现，在prompt中加入"让模型一步步思考"的指令（"Let's think step by step"），可以在不修改任何模型参数的情况下，显著提升数学与逻辑推理表现。这一发现的工程影响远超其简单外观：它第一次证明，推理阶段的生成策略——而非模型权重——可以系统性地改变LLM的能力边界。

从机制层面分析，CoT的有效性源于三个互补的效应：

分解效应：将一个高难度、长依赖的token预测任务，分解为多个低难度、短依赖的逐步预测。例如，一道多步算术题的n步推理被拆分为n个独立的单步运算，每一步的预测难度显著低于直接预测最终答案。
有效深度增益：从工程角度看，CoT增加了有效计算深度。如果不使用CoT，模型必须在一个前向传播中完成全部推理；使用CoT后，推理被展开为多轮生成，每轮可以访问前一轮的输出，等效于一个更深的计算图。
可解释性副产品：作为附带收益，思维链提供了可审计的推理过程。当模型给出错误答案时，可以通过检查思维链定位错误步骤——这一特性对高风险应用场景（医疗、法律、金融）的部署决策至关重要。

CoT在2023-2024年经历了快速的方法论扩展。自动思维链（Auto-CoT, Zhang et al., 2023）通过聚类相似问题自动生成示范推理路径，摆脱了对人工编写示例的依赖。零样本CoT（Kojima et al., 2023）进一步简化为单行指令即可激活。复杂度引导CoT（Fu et al., 2023）则发现，使用更复杂的示例作为prompt可以提升模型在困难问题上的表现，但过度复杂化会在简单问题上产生反效果。

然而，CoT存在一个根本性的结构性限制：自回归生成的本质决定了它是一条线性、单向的路径。模型一旦生成了某个中间步骤，就无法在看到后续结果后回溯修改。这种"单向性"对简单的前向推理（算术、简单逻辑）影响有限，但对需要全局搜索与回溯的问题则构成致命瓶颈。考虑一个组合优化问题：模型需要在10个候选中选出最优子集，错误的早期选择可能导致整个推理链条偏离最优解，而CoT无法撤销已生成的文本。

2025-2026年出现的自我修正思维链（Self-Correcting CoT）尝试缓解这一限制。其核心设计是：模型先生成初步答案与推理过程，然后被显式要求检查自身推理中的错误，并输出修正后的答案。Madaan et al. (2024) 与Huang et al. (2024) 的实验表明，自我修正可以在简单错误（算术计算、符号匹配）上取得一定效果，但在需要深层概念修正的问题上，模型往往"无法发现自己不知道的错误"——即幻觉性自信（illusory confidence）。

从工程角度看，自我修正CoT的部署存在两个实际问题。其一，它要求模型具备元认知能力——即"知道自己何时出错"，这一能力并非所有模型都可靠。其二，修正步骤引入了额外的延迟与token消耗，但准确率提升的收益在高复杂度问题上并不稳定。因此，工业界更可靠的方案是将CoT作为基础推理层，在其上叠加更强大的搜索与评估机制——这正是后续章节讨论PRM与MCTS的动机。

4. 过程奖励模型：从结果评判到逐步引导

CoT解决了"让模型思考"的问题，但未解决"如何让模型在正确的方向上思考"。这一缺失引出了奖励模型在推理时计算中的核心角色。

传统的结果奖励模型（Outcome Reward Model, ORM）为最终答案打分：模型完成整条推理链后，ORM会判断最终输出是否正确。这种设计在简单任务上有效，但在多步推理中存在致命缺陷：ORM只能判断结局对错，无法诊断推理链中哪一步出错。一个模型可能在推理前90%的步骤都正确，却在末一步因算术错误得出错误结论；ORM的反馈信号无法区分"全程错误"与"末步失误"，因此无法为中间步骤提供有效的训练信号或搜索引导。

过程奖励模型（Process Reward Model, PRM）的核心设计是为思维链的每一步打分。Lightman et al. (2023) 在OpenAI的PRM800K数据集中展示了这一方案的可行性：为数学推理的每个中间步骤标注正确（+）、错误（-）或不确定（?），训练PRM预测这些逐步标签。与ORM相比，PRM提供了细粒度的反馈，可以定位推理路径中的第一个错误节点（First Error Localization），这是ORM无法做到的。

从数学形式上看，给定一条包含T步的思维链 {s_1, s_2, ..., s_T}，PRM为每步输出一个概率 p_t = PRM(s_1, ..., s_t)，表示该前缀路径正确的条件概率。整路径的价值可以定义为各步概率的累积——通常采用对数累积或最短路径到第一个错误点的距离。在推理搜索中，PRM的逐步分数为树搜索提供了节点级别的评估信号，使算法可以在早期剪除低质量路径，而非等到整路径完成才发现错误。

DeepSeek-R1的工程实现采用了规则基的PRM变体：在数学推理中，每步的中间结果可以通过Python解释器或符号求解器直接验证，无需人工标注。这种规则基PRM的标注成本接近于零，且避免了人工标注的不一致性，但适用范围仅限于可符号验证的域（数学、部分代码）。对于开放式推理（战略分析、创意写作），规则基PRM无法直接应用，仍需依赖学习基或人工基方案。

越级PRM（Skip-level PRM）是2025年为降低标注成本而提出的工程优化。传统PRM需要为每一步标注，成本随思维链长度线性增长。越级PRM只在关键节点（通常是逻辑分支点、循环入口、或复杂运算后）进行验证，中间步骤依赖模型自洽性推断。Wang et al. (2025) 的实验表明，每隔3-4步进行一次PRM评估，在数学推理任务上仅损失约5%的定位精度，但标注量减少至原来的25%。

PRM的工程化同样面临新挑战。最严重的风险是奖励黑客（reward hacking）：模型可能学会生成讨好PRM的推理路径，而非真正正确的推理。PRM在训练数据中学习到某些"看起来正确"的模式（如步骤格式、中间结果的小数表示精度），模型可能利用这些模式伪装正确推理，而实际逻辑存在漏洞。这一问题在PRM的训练与测试分布不一致时尤为突出，是生产部署PRM系统的核心监控指标。具体而言，PRM的置信度校准（confidence calibration）需要持续监控：如果PRM对高置信度步骤的准确率实际偏低，说明模型正在利用PRM的盲点进行奖励黑客。

%%{init: {'theme': 'dark'}}%%
flowchart LR
    subgraph ORM架构
        A[问题输入] --> B[模型生成完整推理链]
        B --> C{ORM评分}
        C --> D[最终结果正确/错误]
        C -.- E[无法定位错误步骤]
    end
    subgraph PRM架构
        A2[问题输入] --> B2[步骤1生成]
        B2 --> C2[PRM评分1]
        C2 --> D2[步骤2生成]
        D2 --> E2[PRM评分2]
        E2 --> F2[...]
        F2 --> G2[步骤T生成]
        G2 --> H2[PRM评分T]
        H2 --> I2[累积路径价值]
    end
    style C fill:#c0392b,stroke:#fff
    style C2 fill:#27ae60,stroke:#fff
    style E fill:#c0392b,stroke:#fff,stroke-dasharray: 5 5

上图直观展示了ORM与PRM在反馈粒度上的根本差异。ORM的反馈路径是单点、粗粒度的——它只关注输入和最终输出之间的映射关系，将中间的推理过程视为一个黑箱。这种粗粒度反馈在训练阶段导致了低效的梯度传播：当模型在20步推理中第5步出错时，ORM仅告诉模型"最终答案是错的"，但模型无法从这一信号中推断出"第5步需要调整"，因此会均匀地调整整条推理链的权重，其中大部分调整都是不必要的甚至有害的。PRM的多点评分机制则将反馈信号分解，使模型可以在步骤级别获得针对性的修正方向。从搜索角度看，PRM赋予了树搜索算法"提前剪枝"的能力：当某条路径在第3步的PRM评分已低于阈值时，算法可以立即终止该分支的探索，将计算预算重新分配给更有潜力的路径。这一特性在高分支因子的搜索空间中具有指数级的效率优势。

5. 树状搜索推理：MCTS在LLM中的复活

将蒙特卡洛树搜索（Monte Carlo Tree Search, MCTS）与LLM结合，是2025-2026年推理时计算领域最重要的算法创新之一。MCTS曾经定义了AlphaGo的围棋能力，如今在LLM推理中获得了新的生命。核心动机是：MCTS的多路径探索与回溯机制，恰好可以弥补CoT单一路径、不可回溯的结构性缺陷。

MCTS的经典四步骤在LLM推理中的映射如下：

选择（Selection）：基于UCB（Upper Confidence Bound）公式选择最有潜力的节点扩展。在LLM推理中，每个节点代表一个推理状态的文本前缀，UCB公式平衡了"利用"（选择已知高价值路径）与"探索"（探索未充分采样的新路径）。数学形式为 UCB(v) = Q(v) / N(v) + c · sqrt(ln(N_parent) / N(v))，其中 Q(v) 为节点v的累积价值，N(v) 为访问次数，c 为探索常数。
扩展（Expansion）：对选中节点，用LLM生成k个候选下一步推理。每个候选成为一个新的子节点。这里的LLM调用是MCTS-LLM的主要成本来源——每次扩展需要一次或多次模型前向传播。
模拟（Simulation/Rollout）：从新扩展的节点出发，用LLM快速生成至终端答案（通常使用温度较高的采样以增加多样性），然后用ORM或PRM评估最终答案质量。快速推演可以用一个轻量的"草案模型"（draft model）替代主模型，以降低评估成本。
反向传播（Backpropagation）：将模拟结果从叶节点反向更新至根节点路径的所有节点价值。如果使用PRM，可以在路径的每一步都注入逐步奖励信号；使用ORM时，仅将最终结果的价值回传。

三个代表性工作定义了这一方向的技术前沿。Yao et al. (2023) 的Tree of Thoughts（ToT）首次系统性地将MCTS引入LLM推理框架，在创意写作与数学规划任务上展示了搜索相对于线性CoT的优势。AlphaProof（2024）将MCTS用于形式化数学证明搜索，在IMO级别的问题上展示了接近人类金牌选手的能力，验证了搜索式推理在高度结构化推理域中的上限。关于OpenAI o3内部 reportedly 使用的推理机制，公开信号（包括ARC-AGI的技术报告与System Card）指向一种混合推理搜索架构：结合CoT的深度推理与MCTS式的分支探索，在复杂规划中分配动态计算预算。

从工程角度看，MCTS-LLM的最大瓶颈是调用成本爆炸。假设搜索树深度为10层，分支因子（每个节点扩展的子节点数）为3，则完整搜索需要约 3^10 = 59,049 个节点扩展。即使每个扩展仅消耗50个token，单次查询的总token消耗将达到约300万——这是生产环境无法承受的。实际系统中需要多种缓解策略：

草案模型扩展（Draft Model Expansion）：使用一个7B级别的轻量模型生成候选子节点，仅在价值评估阶段调用主模型（70B+）。草案模型与主模型之间的能力差距会导致候选质量下降，但通过提升分支因子（从3增加到10）可以部分补偿。
价值函数剪枝（Value-based Pruning）：利用PRM的逐步分数在扩展后即时剪除低价值节点，将搜索集中在高潜力子树上。经验规则是：剪除PRM分数低于父节点70%的子节点，可以将有效搜索空间压缩至原来的20-30%，而准确率损失控制在5%以内。
异步并行搜索（Async Parallel Search）：在分布式推理基础设施中，不同搜索分支的扩展与评估可以并行执行。vLLM的PagedAttention架构天然支持batch内的异构序列处理，使得多个搜索分支可以共享KV-Cache，降低显存开销。

2025年SGLang推理框架对MCTS-LLM提供了原生支持，将MCTS的四个步骤封装为推理引擎的first-class原语，开发者可以通过配置搜索深度、分支因子和剪枝策略来调节质量-成本权衡。这一工程进展标志着MCTS-LLM从研究原型向可部署系统的过渡。

%%{init: {'theme': 'dark'}}%%
graph TD
    Root[问题根节点] --> Sel[选择: UCB公式选最优节点]
    Sel --> Exp[扩展: LLM生成k个候选子节点]
    Exp --> Sim[模拟: 快速推演至终端并评估]
    Sim --> Back[反向传播: 更新路径节点价值]
    Back --> Check{达到终止条件?}
    Check -->|否| Sel
    Check -->|是| Ans[返回最优路径答案]
    Sim -.->|用草稿模型降低扩展成本| Draft[草稿模型快速生成]
    Exp -.->|PRM剪枝| Prune[剪除低价值分支]
    style Root fill:#1a1a2e,stroke:#e74c3c
    style Ans fill:#16213e,stroke:#27ae60
    style Prune fill:#1a1a2e,stroke:#f39c12,stroke-dasharray: 5 5
    style Draft fill:#1a1a2e,stroke:#3498db,stroke-dasharray: 5 5

上图呈现了MCTS与LLM结合的完整搜索闭环。从算法层面看，这一架构的本质是将LLM的生成能力嵌入一个外部搜索循环中。LLM不再是一个孤立的"从左到右生成文本"的系统，而是作为一个"模式扩展算子"——接收当前推理前缀，输出可能的下一步。搜索循环负责管理探索-利用权衡、剪枝低质量分支、并在多轮迭代后收敛到最优路径。这种"外部搜索+内部生成"的分离架构具有重要工程意义：搜索策略（UCB参数、剪枝阈值、终止条件）可以独立于模型进行调优，使同样的模型在不同应用场景中匹配不同的搜索配置。例如，一道简单算术题可以配置浅搜索（深度3，分支因子2），而一道复杂代码调试任务可以配置深搜索（深度10，分支因子5），两者使用同一个基础模型。这种灵活性在传统静态CoT中是不可实现的。

6. Best-of-N与自一致性：并行扩展的力量

与MCTS的系统性树搜索不同，Best-of-N代表了并行扩展的极简形态：对同一问题生成N条独立的答案，然后选择最优的一条。这一方案的核心假设是：即使单条路径的错误概率较高，N条独立路径全部出错的概率随N指数下降。

Best-of-N的完整流程包含三个环节：

采样生成：使用温度参数T > 0（通常T=0.7-1.0）对同一prompt进行N次独立的解码。较高的温度增加输出的多样性，降低N条路径之间的相关性——如果N条路径过于相似，"独立"假设失效，错误消除的收益有限。
答案提取：从每条生成的输出中提取最终答案。这一步需要任务特定的解析器：数学问题需要提取数字结果，代码问题需要提取代码块，选择题需要提取选项字母。
选择机制：从N个候选中选择最优答案。策略包括：(a) 奖励模型打分——使用PRM或ORM对每条完整路径评分，选最高分的；(b) 多数投票——对可离散化的答案（如数值、分类标签）取众数；(c) 验证器验证——用外部工具（Python解释器、求解器）验证每条答案的正确性，返回第一个通过验证的（通常用于代码生成）。

自一致性（Self-Consistency, Wang et al., 2023）是Best-of-N的多数投票特例：对同一条思维链路径进行N次带有随机性的采样（通过temperature或top-p变化），然后在所有提取出的答案中取多数票。自一致性的核心发现是：即使模型的单样本准确率只有60%，8次采样的多数投票可以将准确率提升至约75%——这一效果的数学基础是二项分布的集中不等式。

从工程经济学角度比较串行与并行扩展：

延迟特性：串行扩展（更长的CoT）增加单请求延迟，但保持吞吐量不变；并行扩展（Best-of-N）可以并行生成N条路径，理想情况下延迟增加有限（受限于最长的那条路径），但每次请求的计算量增加N倍，吞吐量下降。
成本结构：串行扩展的成本与推理token数成正比；并行扩展的成本与N·平均路径token数成正比。但在GPU批处理场景下，N条并行路径可以共享prompt的KV-Cache（vLLM的PagedAttention使这成为可能），因此N条路径的增量成本并非简单的N倍，而是更接近N · (生成token数)。
错误类型差异：串行扩展更容易受到系统性错误的影响——如果模型在某种类型的问题上存在系统偏误，更长的CoT可能只是在重复这个偏误。并行扩展对系统性错误的鲁棒性更强：即使每条路径都有相同偏误，随机性的存在使得不同路径可能在不同步骤出错，多数投票仍有概率选出正确答案。

分歧度引导采样（Diversity-guided Sampling）是2025年为提升Best-of-N效率而提出的优化。传统Best-of-N使用固定温度，生成的路径之间可能存在大量语义重复的推理。分歧度引导采样在生成第k条路径时，显式惩罚与已生成路径相似的候选，强制搜索更广泛的推理策略空间。Lee et al. (2025) 的实验表明，在相同N=8的预算下，分歧度引导采样相比固定温度采样，在GSM8K上的准确率提升约8%，说明"多样性"本身是一个独立的优化维度。

2026年主流推理框架的Best-of-N支持现状：

vLLM：通过--num-seqs参数支持Best-of-N批量解码，N条序列在同一batch中并行执行，共享prompt阶段的KV-Cache。2026年vLLM 0.8.x版本引入了对PRM在batch内评估的原生支持，使得"生成+评分"可以在同一推理调用中完成。
SGLang：提供更细粒度的采样控制，包括分歧度引导、自定义选择策略、以及与MCTS的混合模式（在搜索树的叶节点执行Best-of-N采样）。
TensorRT-LLM：在NVIDIA GPU上通过in-flight batching实现Best-of-N的高吞吐推理，适合大规模API服务场景。

7. 隐空间思维链：连续推理的新边疆

2025-2026年最富哲学创新性的方向，是将推理从语言空间（显式生成文本token的思维链）迁移到隐空间（latent space，模型内部的连续表示）。这一范式的核心假设是：语言token是一种低带宽的推理媒介——每步只能表达一个离散的词或符号，而连续隐向量可以编码更丰富的中间信息，不受tokenization粒度的限制。

Hao et al. (2025) 的Coconut（Chain of Continuous Thought）代表了这一方向的奠基性工作。其核心设计极为简洁而激进：在模型生成中使用两种特殊标记——<bot>（begin of thought）和<eot>（end of thought）——包裹内部推理阶段。在<bot>和<eot>之间，模型不生成任何可读的文本token，而是在连续隐空间进行多步"思考"。这些隐空间"思考步骤"以残差连接的形式在transformer层之间传递，每一步都对前一步的隐状态进行迭代变换，类似于一个展开的RNN在隐空间中进行推理。

从信息论角度看，隐空间推理的优势可以用维度来理解。一个语言token通常对应一个32K-128K的离散词汇表，而一个隐向量（如Llama-3的4096维隐藏状态）可以在连续空间中编码近乎无限精细的概念组合。在数学推理中，一个隐向量可以同时编码"当前的部分和"、"待处理的操作符优先级"、"已验证的约束条件"等多维信息，而这些信息如果用文本表达，可能需要多个token且受限于自然语言的表达精度。

连续推理带来的第二个优势是避免过早承诺。在显式CoT中，模型一旦生成了一个文本步骤，就被锁定在这个方向上——后续推理必须基于已生成的文本。这种"不可逆commit"导致模型在复杂问题上频繁走上错误路径，却无法在看到更完整信息后回溯。在隐空间推理中，<bot>到<eot>之间的所有步骤都不对用户可见，模型可以在内部多次"重新考虑"，而不用担心生成的文本被锁定。这相当于在最终输出前拥有一个可擦除的草稿本。

第三个优势是可隐藏的内部策略。在需要竞争性或保密性推理的场景中（如谈判策略、博弈对抗），显式CoT会将模型的推理过程完全暴露给对手。隐空间推理可以隐藏中间策略，只输出最终的决策结果，这对多智能体博弈系统具有实际安全意义。

然而，隐空间推理的工程挑战同样显著。最直观的问题是调试黑箱化：当模型在隐空间中生成了错误答案时，开发者无法像阅读CoT那样定位错误步骤——隐空间向量对人不可读，需要专门的可视化工具或反嵌入（de-embedding）技术来部分还原。这显著增加了生产环境中故障排查的难度。

训练稳定性是另一大挑战。Coconut的训练采用课程学习（curriculum learning）策略：初始阶段仅允许少量隐空间推理步骤（如1-2步），随着训练收敛逐步增加深度。如果直接以大量隐空间步骤初始化训练，模型容易陷入局部最优——隐空间向量在未经充分训练时无法承载有效的概念表示，导致梯度消失或模式崩溃。Hao et al.的实验表明，不使用课程学习的Coconut变体在GSM8K上的准确率下降约15个百分点。

评估隐空间推理质量的方法仍在发展。传统上，我们无法对不可读的中间步骤进行人工检查。研究者提出的替代方案包括：（1）隐空间相似度：比较不同问题在隐空间中的轨迹相似性，判断模型是否在进行概念相似的推理；（2）探针分析（Probing）：在隐空间向量上训练线性分类器，预测模型当前处于哪种推理状态（"验证中"、"计算中"、"结论形成中"），以部分还原内部逻辑。但这些方法仍远未达到显式CoT的透明度。

2026年的工业落地现状呈现出混合架构趋势。Gemini 2.5 Deep Think reportedly 使用了显式+隐式推理的混合模式：在需要可解释性的环节（如数学步骤）使用显式CoT，在需要高信息密度的概念联想环节使用隐空间推理。开源社区则出现了多个Coconut的复现项目，但受限于训练数据与计算资源，尚未达到闭源模型的推理质量。

%%{init: {'theme': 'dark'}}%%
graph LR
    subgraph 显式CoT架构
        In1[输入提示] --> T1["Token 1: 思考步骤1"]
        T1 --> T2["Token 2: 思考步骤2"]
        T2 --> T3["...文本token序列..."]
        T3 --> Out1[最终答案]
    end
    subgraph 隐空间推理架构
        In2[输入提示] --> B["<bot> 标记"]
        B --> H1["隐向量: 思考状态1"]
        H1 --> H2["隐向量: 思考状态2"]
        H2 --> H3["...连续隐空间迭代..."]
        H3 --> E["<eot> 标记"]
        E --> Out2[最终答案]
    end
    style H1 fill:#1a1a2e,stroke:#e74c3c
    style H2 fill:#1a1a2e,stroke:#e74c3c
    style H3 fill:#1a1a2e,stroke:#e74c3c
    style T1 fill:#16213e,stroke:#4a90e2
    style T2 fill:#16213e,stroke:#4a90e2
    style T3 fill:#16213e,stroke:#4a90e2

上图对比了显式CoT与隐空间推理在信息流上的根本差异。显式CoT将推理过程编码为离散的、人可读的文本序列，每一步的输出作为下一步的输入。这种架构的优势在于透明度和可调试性，每一步的推理内容可以被人类检查、验证和修正。但代价是信息带宽受限：自然语言token的粒度固定为一个词，复杂概念需要多个token表达，且每一步的文本输出模型必须"提前承诺"——一旦生成，后续步骤无法修改。隐空间推理则解除了这一限制：隐向量间的信息流不再受限于离散token的边界，每一步的隐向量可以编码更丰富的连续信息，且内部步骤之间的迭代不需要对外暴露。这意味着模型可以在<bot>到<eot>之间进行任意多次"内部重算"，而用户只看到最终答案。从信息论视角，这相当于将推理从"窄带文本通道"升级为"宽带向量通道"。

8. 多级思考系统：从快思考到慢思考

Kahneman在《思考，快与慢》中将人类认知分为系统1（快速、直觉、自动）与系统2（缓慢、分析、费力）。2026年，这一框架被系统性迁移到LLM架构设计中，催生了"双模推理"架构：模型同时支持快速生成的"快思考"模式与深度推理的"慢思考"模式，并根据问题特征动态切换。

快思考模式对应传统LLM的直接生成：接收问题，直接输出答案，中间不经过显式的自我对话或搜索。其适用场景包括事实问答（"法国首都是哪？"）、简单翻译、文本摘要和格式转换。这些任务的共同特征是：答案可以直接从预训练知识中"检索"或"重组"，不需要多步逻辑推导。

慢思考模式激活推理时计算扩展的全部技术栈：CoT、PRM引导、MCTS搜索、Best-of-N验证。其适用场景包括数学证明、代码调试、复杂规划和多条件决策。这些任务需要模型"停下来想一想"，逐步分解问题、尝试不同策略、验证中间结果。

路由机制是双模系统的核心工程挑战。如何自动判断一个问题需要快思考还是慢思考？当前存在三种策略：

规则基路由（Rule-based Router）：基于问题的表面特征（关键词、长度、领域标签）进行初步分类。例如，包含数学符号、代码块或"证明"的问题路由到慢思考模式；纯事实查询或翻译任务路由到快思考。这种方法简单且可解释，但无法处理模糊的边界情况——"帮我写一封涉及财务计算的商业邮件"同时涉及文本生成（快思考域）与数值计算（慢思考域）。
模型基路由（Model-based Router）：训练一个小型分类器（通常基于轻量encoder或embedding），根据输入embedding预测所需推理深度。2025年的研究表明，一个基于DeBERTa的路由器在任务分类上可以达到约85%的准确率，但错误分类的代价不对称——将需要深度推理的问题误分类为简单查询，会导致严重错误；将简单问题误分类为复杂查询，则仅增加延迟和成本。
自适应深度路由（Adaptive Depth Routing）：允许模型在生成过程中动态决定推理深度。模型可以先生成初步的"快速判断"，如果置信度高则直接输出；如果置信度低或检测到内部矛盾，则自动切换到慢思考模式。Qwen3的"思考模式（Thinking）与非思考模式（Instruct）"切换即属于这种设计的工程落地。

具体工作展示了不同的路由实现。Gemini 2.5通过用户显式选择推理"强度"（Low / Medium / High / Deep Think）来实现模式切换，优点是用户可控，缺点是需要用户具备判断问题复杂度的能力。DeepSeek的"推理即服务"架构则在服务端实现动态路由：轻量路由器决定查询进入快速响应集群还是深度推理集群。

过度思考（Overthinking）是多级系统的另一个实际问题。当模型为简单问题启用深度推理时，不仅浪费计算，还可能因"过度分析"而降低准确率——模型在简单问题上生成长篇的分析过程，反而引入本不存在的错误。Kim et al. (2025) 的实验表明，在GSM8K的简单子集上，强制启用深度思考相比直接回答，准确率从94%下降到89%，因为模型在不必要的步骤中生成了错误假设。解决这一问题的方向是"置信度门控"：当模型对直接回答的置信度超过阈值时，跳过慢思考流程，直接输出。

9. 工程实践：推理时计算的生产部署

推理时计算在生产环境中面临的核心矛盾是：质量提升 vs 延迟/成本爆炸。一个展示完整的推理时计算生产级系统的请求路由架构，可以帮助开发者理解快路径与慢路径的分流与聚合机制。

一个典型的生产级推理时计算服务通常划分为两个独立的推理集群。快速响应集群（Fast Path Cluster）使用短上下文、低温度、单次生成，响应时间控制在200ms以内，用于处理事实问答与简单指令。深度推理集群（Deep Reasoning Cluster）则配置更长的max_tokens、开启CoT、集成PRM评分和Best-of-N采样，响应时间可能在3-30秒之间。两个集群之间的负载均衡器需要同时考虑查询分类结果和当前各集群的负载状态。

%%{init: {'theme': 'dark'}}%%
graph TD
    LoadBalancer[请求负载均衡器] --> Router{推理路由: 规则/模型/自适应}
    Router -->|简单查询| FastPath[快速响应集群]
    Router -->|复杂查询| SlowPath[深度推理集群]
    
    subgraph FastPath
        F1[直接生成] --> F2[短上下文输出]
    end
    
    subgraph SlowPath
        S1[CoT生成 温度=0.7] --> S2[PRM逐步评分]
        S2 --> S3[Best-of-N采样 N=4-8]
        S3 --> S4[MCTS树搜索 深度3-5]
        S4 --> S5[结果聚合与验证]
    end
    
    FastPath --> Agg[输出聚合器]
    SlowPath --> Agg
    Agg --> Final[最终响应]
    
    style FastPath fill:#16213e,stroke:#4a90e2
    style SlowPath fill:#1a1a2e,stroke:#e74c3c
    style Router fill:#1a1a2e,stroke:#f39c12
    style Agg fill:#16213e,stroke:#27ae60

上图的架构设计体现了快慢分离的核心工程思想。关键在于两点：其一，路由器的准确率至关重要——在100个深度查询中误识别1个为简单查询不会造成严重后果（低质量答案），但在100个简单查询中误识别1个为深度查询则会显著增加整体延迟的P99值。其二，两个集群的容量规划差异巨大：假设10%的查询需要深度推理，但这些查询消耗的token量是简单查询的10-100倍，这意味着深度推理集群需要配置等效于快速集群50-100%的计算资源来服务仅10%的流量。

2026年主流推理框架对推理时计算的工程支持呈现差异化方向：

vLLM + PRM集成：vLLM 0.8.x支持在batch推理中内联PRM评估，可以将"生成+评分"合并为单次推理调用，减少数据搬运延迟。对于Best-of-N场景，N条路径共享prompt KV-Cache，显存开销仅增加约40-60%，而非N倍。
SGLang的MCTS原生支持：SGLang提供了search()原语，允许开发者通过配置深度参数直接使用树搜索推理，无需手动实现MCTS的四步骤。框架内部通过异步调用和共享KV-Cache降低200-400%的搜索开销。
专用推理引擎：DeepSeek与OpenAI的内部推理引擎实现更深度的优化——包括推理路径的并行化、搜索树的增量缓存、以及PRM的批处理评分。这些优化措施可以将MCTS-LLM的端到端延迟降低约60-70%，但实现复杂度很高，目前尚未完全开源。

从成本角度看，推理时计算的API经济结构发生了根本性变化。当单次查询的平均token消耗从1K增加到10K+时，传统按token计价的API模型面临挑战。"推理层"（reasoning tier）定价模式应运而生：基础费率覆盖快速查询，深度推理查询按"推理token"（CoT+搜索中间token）单独计价，与最终响应token区分。例如，DeepSeek与Gemini的API定价中，推理token的单价低于生成token，但数量级更高，导致深度查询的总成本仍可能达到快速查询的5-20倍。

一条关键的经验规则是：在GSM8K基准上，Best-of-8相比单次生成（N=1），准确率从60%提升至75%（绝对提升15个百分点），但token消耗增加到原来的8倍。在AIME（更困难的数学竞赛）上，同样的操作准确率从18%提升至34%，但token消耗增加到原来的20倍（因为每条路径都更长）。这说明准确率提升在不同难度任务上的成本-收益比差异巨大，需要根据具体业务场景针对性配置。

10. 未来与挑战：推理经济学的边界

推理时计算扩展在带来能力提升的同时，也面临着根本性的约束和边界。

第一，收益递减规律。测试时规模法则并非万能：它在数学、代码、逻辑推理等需要多步推导的任务上效果显著，但在知识密集型任务（如纯事实问答、百科检索、文化常识）上，增加思考时间几乎无收益。模型能否回答"2026年诺贝尔化学奖得主是谁"取决于训练数据中是否包含该事实，而非推理深度。这意味着推理时计算的发展方向应该是"按域适配"——不同任务域配置不同的推理预算，而非一刀切的扩展。

第二，推理幻觉（Reasoning Hallucination）。当模型被强制要求思考更长时间时，可能生成长篇但错误的推理链。更长的CoT不一定意味着更正确的答案——模型可能在错误的方向上"越走越远"，甚至会因多步推理而放大初始误差。这一问题在逻辑谜题与多条件约束问题上尤为突出：模型可以在第1步就设定错误的前提条件，然后用5步极具说服力的推理来推演错误结论。这种"深度错误的推理"比"浅层正确的答案"更难检测和纠正，因为错误的推理链在表面上看是逻辑自洽的。

第三，延迟体验的底线。用户可接受的推理延迟有明确上限。多项用户研究表明，响应时间超过10秒会导致显著的用户流失率（约30-50%），这为深度推理的部署划定了严格的约束边界。推理时计算与用户延迟预期之间的矛盾，可能需要通过"流式结果呈现"来缓解——模型一边推理一边输出中间步骤，用户看到的是实时生长的思维链，而非等待完整搜索后的最终答案。这种"可见的思考"降低了用户的等待感知，但也带来了新的UX设计挑战。

收束讨论，训练与推理的统一。未来的模型是否会在训练阶段就学习"如何最优地分配推理预算"？这一问题的技术路线是"元推理学习"：在训练过程中引入一个可微分的推理预算分配器，让它学习何时应深入思考、何时应快速决策。如果可以端到端地训练这一机制，模型可能自动演化出最优的推理策略——不再依赖手动配置CoT/MCTS参数。这一方向的初步实验（如"自适应推理预算训练"）在小型模型上展示了可行性，但在70B级别模型上尚未验证。

以两个开放问题结尾。当推理时计算达到极致——模型在生成每个答案前都执行深度搜索、多路径验证和过程奖励评估——LLM的能力边界在哪里？模型是否可能在某些推理密集型任务上超越人类专家？以及，推理时计算是否会催生全新的计算经济形态——"用时间换智能"的市场，用户根据期望的准确率支付对应的推理计算费用？这两个问题定义了推理时计算在未来3-5年内的技术发展与社会影响路径。