长上下文大模型的技术演进与内存突围

摘要

2024年至2026年间，大语言模型的上下文窗口经历了从4K到128K、再到百万级token的指数级跃迁。这一跃迁看似只是"把序列长度参数调大"的工程操作，实则触及了Transformer架构的三重结构性瓶颈：位置编码的外推相容性、自注意力的二次方计算复杂度，以及KV缓存随序列长度线性膨胀的显存墙。当序列长度超过训练规模时，标准的RoPE编码面临注意力分数稀释与远距离依赖丢失；当序列长度达到十万级时， $O(T^2)$ 的注意力计算量单卡H100已无法在一次前向中完成；当序列长度继续增长到百万级时，KV缓存体积本身成为批处理容量的决定性约束。

本文沿着三条技术主线展开分析。第一条主线是位置编码的外推优化，从RoPE的旋转向量编码出发，剖析位置插值（Position Interpolation）、NTK-aware插值和YaRN温度缩放如何将模型的有效上下文从训练长度扩展到数十倍乃至百倍。第二条主线是注意力机制的稀疏化与KV缓存压缩，系统考察H2O的Heavy Hitter策略、StreamingLLM的注意力汇点机制，以及SnapKV的自适应压缩，量化各方案在精度损失与内存节省之间的帕累托边界。第三条主线是线性/分布式注意力架构，深入分析Ring Attention的环状通信-计算重叠机制，以及序列并行（Sequence Parallelism）如何将单序列的延迟从与序列长度成正比降到与分块大小成正比。

三条路线从软件层面到架构层面再到系统层面渐进深入，面向正在面临长上下文部署挑战的推理工程师和架构师，本文提供一份具备可操作建议的技术决策框架。

第一章：长上下文需求的工程驱动

1.1 从短期指令到长文档解析

大模型在推理阶段的输入长度正在经历一场静默的军备竞赛。2023年初，主流商用API的上下文上限集中在4K至8K tokens之间。到2024年，Claude 3、Gemini 1.5 Pro和GPT-4 Turbo相继将上限推至100K以上，Gemini 1.5 Pro的实验版本更达到了1M token的里程碑。这一扩张不是炫技式的参数攀比，而是由明确的工程需求驱动的。

第一类需求来自代码理解与生成。GitHub Copilot Workspace和Cursor等工具需要将整个代码仓库作为上下文输入，以便模型理解跨文件的类型依赖、接口约定和调用链关系。一个中等规模的项目（如一个微服务的Go或Python项目）的源代码总量轻松达到50K至200K tokens。将代码切分为碎片再逐一推理，会导致跨模块的语义关联断裂，而人类程序员在理解代码时天然具备"全局浏览"的能力。要求模型在4K窗口内完成这一任务，相当于要求人类只读三页纸就去重构整个系统。

第二类需求来自企业级文档处理。法律合同的交叉引用、财务报表的多期对比分析、医学文献的系统性综述，都需要模型在长文档中维持跨段落的精确引用关系。一份典型的IPO招股书或专利申请书长度在80K至300K tokens之间。传统的检索增强生成（RAG）将文档切分为块后分别嵌入和检索，但检索精度限制了约20%的关键上下文无法被正确召回，而"大海捞针"式的长上下文评测（Needle in a Haystack）反复证明，具备原生长上下文的模型在深层推理任务上显著优于RAG+短上下文的组合。

第三类需求来自多轮对话的记忆累积。当聊天窗口的累计token数超过训练时的对话长度上限时，模型必须通过摘要或截断来压缩历史。这不仅增加了延迟（摘要本身需要一次额外的推理），而且不可避免地丢失对话细节，尤其是在涉及复杂技术排错或创意迭代时，早期的上下文对后续决策的影响往往是非线性的。

1.2 二次方诅咒：标准自注意力的代价

Transformer自注意力机制的核心算子是 $QK^T$ 矩阵乘法，其计算量与序列长度的平方成正比。设序列长度为 $T$ ，批次大小为 $B$ ，层数为 $L$ ，每个头的维度为 $d_h$ ，头的总数为 $H$ ，则单次前向传播的注意力计算量（仅计算矩阵乘法，不含Softmax和输出投影）为：

\text{FLOPs}_{\text{attn}} = 4 \times B \times T^2 \times d_{\text{model}}

其中系数4来自两次矩阵乘法（ $Q \times K^T$ 和 $QK^T \times V$ ）。以Llama 3 70B为例， $d_{\text{model}} = 8192$ ，当 $T = 128K$ 、 $B = 1$ 时：

4 \times 1 \times (131{,}072)^2 \times 8192 \approx 5.6 \times 10^{14} \text{ FLOPs}

即约 $5.6 \times 10^{14}$ FLOPs（约0.56 PFLOPs），这是单层注意力的计算量。单卡H100 SXM5在FP16下的Tensor Core理论峰值为989 TFLOPS，仅该层注意力（不含FFN等其他算子）全功率运行下理论最短耗时约0.57秒——这还仅仅是一层注意力的计算量，未计入后续的FFN层、Softmax renormalization 和 KV缓存的显存读写。在实际部署中，Llama 3 70B（80层）模型在128K序列上的单次预填充（prefill）延迟通常超过两分钟，这一数字对于任何在线服务都是不可接受的。

KV缓存的显存占用与计算复杂度同样严峻。每层每个token存储Key和Value两个向量，在未做GQA压缩的朴素情况下，总大小为 $2 \times d_{\text{model}} \times \text{bytes\_per\_param}$ 。以Llama 3 70B（80层，FP16）为基准： $2 \times 8192 \times 2 = 32{,}768$ bytes/token/层，80层合计约2.62 MB/token。当 $T = 128K$ 时，单个序列的KV缓存约为343 GB，远超单卡80 GB的显存上限。即使采用GQA（分组查询注意力，Llama 3 70B将KV头数从64压缩为8，即1/8），单序列KV缓存仍约43 GB——128K序列的KV缓存即便经GQA压缩，加上模型权重后仍超出单卡80 GB显存，batch size被严格束缚在很小的范围，吞吐率远低于短序列场景。

1.3 为什么截断与分块无法满足需求

面对上述瓶颈，最直接的工程直觉是"把长文本切成段落，分别处理后再拼接"。这一思路在实践中暴露了多重结构性缺陷。

第一，截断破坏了跨段落依赖。法律条文中的"第七条"可能在文档开头定义，在末尾执行；代码中的函数声明与调用可能相隔数千行。将文本硬切分后，模型无法建立这些远距离关联，推理质量断崖式下降。即使在段落间加入摘要或索引，摘要本身的质量瓶颈和信息损失也无法避免。

第二，分块推理引入了额外的调度开销和一致性约束。每个分块的输出需要与相邻分块的边界对齐，边界处的语义不连续会累积为模型幻觉。多轮分块推理的延迟是超线性的——不仅要分别执行推理，还要在块间传递状态，这一过程在工程实现中常常比单轮长上下文推理更加复杂。

第三，RAG（检索增强生成）虽然在短上下文场景中有效，但在需要全局理解的场景中召回精度存在上限。LongBench等评测基准表明，在文档问答和摘要任务上，原生128K上下文的模型在F1分数上比RAG方案高出8到15个百分点，差距在涉及多段推理的复杂问题上更加显著。长上下文的本质优势不是"能读更多字"，而是"能在一次推理中维持全局一致性"。

graph LR
    subgraph 计算瓶颈分析
        X1[序列长度 T=1K] --> Y1[注意力 FLOPs: 3.4e10]
        X2[序列长度 T=8K] --> Y2[注意力 FLOPs: 2.2e12]
        X3[序列长度 T=32K] --> Y3[注意力 FLOPs: 3.5e13]
        X4[序列长度 T=128K] --> Y4[注意力 FLOPs: 5.6e14]
        
        style X4 fill:#FF6666,stroke:#333,stroke-width:2px
        style Y4 fill:#FF6666,stroke:#333,stroke-width:2px
    end
    
    subgraph KV缓存瓶颈
        V1[T=1K: 2.6 GB] --> V2[T=8K: 21.0 GB]
        V2 --> V3[T=32K: 83.9 GB]
        V3 --> V4[T=128K: 335.4 GB]
        
        style V4 fill:#FF6666,stroke:#333,stroke-width:2px
    end
    
    X1 -.-> V1
    X2 -.-> V2
    X3 -.-> V3
    X4 -.-> V4

理解二次方瓶颈的定量本质，需要从计算复杂度和显存占用两个维度分别分析。计算复杂度随序列长度呈二次方增长，而KV缓存随序列长度呈线性增长。在短序列区间（T<4K），模型权重的加载和前向传播的算子调度是主要瓶颈；当序列长度超过8K时，注意力计算量开始超过FFN层的计算量；当序列长度超过16K时，KV缓存体积开始与模型权重竞争显存。当T=128K时，单层注意力计算量约为0.56 PFLOP级别（约 $5.6 \times 10^{14}$ FLOPs）——单卡H100的理论峰值在理想情况下也需要约0.6秒来完成这一层注意力矩阵乘法，而实际情况中由于显存带宽和算子调度的限制，实际延迟通常是理论值的5到10倍。KV缓存方面，128K单序列的缓存需求超过160 GB，这意味着单卡80 GB H100在不考虑模型权重和其他开销的情况下，最多只能容纳不到半个序列。当序列长度超过16K时，注意力计算与KV缓存迅速超越模型权重本身成为主要瓶颈，迫使工程师必须在这两个维度上同时寻求突破。

第二章：位置编码的第一次突围

2.1 绝对位置编码的致命缺陷

Transformer原始论文中提出的正弦位置编码（Sinusoidal Positional Encoding）为每个位置 $pos$ 和每个维度 $i$ 定义了一个周期信号：

PE_{(pos, 2i)} = \sin\left(\frac{pos}{10000^{2i/d_{model}}}\right), \quad PE_{(pos, 2i+1)} = \cos\left(\frac{pos}{10000^{2i/d_{model}}}\right)

其设计意图是借助不同频率的正弦波为每个位置提供一个独特的"指纹"，同时保证模型能够通过内积运算感知相对距离。然而，实践证明这一假设过于乐观了：模型在训练时只见过有限长度（如4K或8K）内的位置编码，当推理序列长度远超训练长度时，这些位置指纹不再处于模型见过的分布范围内，导致注意力分布严重失真。

具体而言，标准正弦编码的波长范围从 $2\pi$ （高频维度， $i$ 接近 $d_{model}$ ）到 $2\pi \times 10000$ （低频维度， $i$ 接近0）。当 $pos$ 外推到训练未见过的长度时，低频维度经历过多周期，高频维度经历不足周期，导致模型对所有远距离位置的区分能力几乎丧失。在GPT-3（训练长度2K）直接外推到8K的实践测试中，未加任何适配的模型perplexity从约15恶化至35以上，可用性基本丧失。

2.2 RoPE：旋转向量编码

2021年，Su等人提出的旋转位置编码（Rotary Position Embedding, RoPE）从根本上改变了位置信息的编码方式。与将位置向量加到token嵌入上的传统做法不同，RoPE将绝对位置信息编码为query和key向量的旋转操作。具体而言，RoPE将每对维度 $(2i, 2i+1)$ 视为复平面上的一个二维向量，然后将该向量旋转一个与位置索引 $m$ 成正比的角度 $\theta_i \cdot m$ 。

旋转角度的基频定义为 $\theta_i = 10000^{-2i/d}$ ，其中 $d = d_{model}$ 。完整的RoPE变换可以写为矩阵乘法：

R_m(\mathbf{x}, \theta_i) = \begin{pmatrix} x_{2i} \cos(m\theta_i) - x_{2i+1} \sin(m\theta_i) \\ x_{2i} \sin(m\theta_i) + x_{2i+1} \cos(m\theta_i) \end{pmatrix}

基于复数的简洁表示为：

f(q, m) = f(q, 0) \cdot e^{i m \theta}, \quad f(k, n) = f(k, 0) \cdot e^{i n \theta}

RoPE的关键数学性质在于，query与key的内积仅依赖于它们的相对距离 $m - n$ ：

\langle f(q, m), f(k, n) \rangle = g(q, k, m - n)

这意味着，如果模型学到了关于距离 $\|m - n\| = 5$ 的某种注意力模式，这一模式可以直接泛化到训练时未见过的绝对位置——因为内积中不包含绝对位置，只包含相对距离。这一性质使RoPE成为外推的自然候选者，并在Llama、Qwen、Baichuan等主流开源模型中被广泛采用。

2.3 外推困境：RoPE的二次方衰减

RoPE的理论优雅性在实践中遭遇了硬性边界。当相对距离 $m - n$ 超过训练时的最大距离 $L_{train}$ 时，RoPE的内积值随距离二次方衰减至接近零。更精确地说，高频维度（ $\theta_i$ 较大）的振荡周期短，远距离下相位差导致严重的数值抵消；低频维度（ $\theta_i$ 较小）虽然周期更长，但内积值仍随位置增长呈现单调下降趋势。最终结果是：模型对远距离位置对的注意力分数急剧变小，注意力分布被压缩到邻近区域，长距离依赖被系统性地丢弃。

这一现象被称为"注意力分数稀释"（attention score dilution）。在长序列中，模型对超过训练距离的token对的注意力权重变得极低，导致远距离语义关联无法被有效建模。实验数据显示，Llama 2 7B（训练长度4096）在不加任何适配的情况下直接外推到128K长度，perplexity从5.7急剧恶化为12.3以上，LongBench评测中的F1分数下降超过40%。

2.4 局部窗口与滑动注意力的折中

在RoPE改进方案出现前，业界尝试过多种折中策略。Longformer和BigBird等稀疏注意力架构采用"局部窗口 + 全局token"的混合模式：大多数位置只关注其附近的窗口内的token，而少量全局token可以关注所有位置。这种结构的计算复杂度从 $O(T^2)$ 降为 $O(T \times w)$ ，其中 $w$ 是窗口大小。然而，全局token的数量有限（通常为16至64个），复杂的多段跨距离依赖仍需通过多层传播的间接路径来建模，表达能力受限。这些方案在特定基准上有效，但并未从根本上解决位置编码的外推问题，且通常需要对模型进行从头训练或大规模继续预训练，迁移成本较高。

flowchart LR
    A[绝对位置编码<br/>Sinusoidal PE] -->|训练长度=上限| B[无法外推]
    A --> C[可学习位置编码<br/>Learned PE] -->|训练长度=上限| D[无法外推]
    B --> E[需要从头训练或微调才能扩展长度]
    
    F[旋转位置编码<br/>RoPE] -->|保留相对位置性质| G[有限外推能力]
    F --> H[高频/低频维度独立编码]
    G --> I[可扩展至约2-4倍训练长度]
    I --> J[超过2-4倍后<br/>注意力分数稀释]
    
    K[Position Interpolation] --> L[线性缩放所有角度<br/>损失高频信息]
    M[NTK-aware插值] --> N[区分高频低频<br/>非线性缩放角度]
    O[YaRN] --> P[NTK插值 + 注意力温度<br/>修正熵增]
    
    J --> K
    L -->|perplexity退化明显| M
    N -->|高频保留良好| O
    P --> Q[128K-1M 有效外推]
    
    style A fill:#FFE4B5
    style C fill:#FFE4B5
    style F fill:#ADD8E6
    style Q fill:#90EE90
    style B fill:#FFB6C1
    style J fill:#FFB6C1

位置编码的演进是围绕"如何将训练时见过的位置信息有效迁移到更长序列"这一核心问题展开的。从早期的正弦编码和可学习编码直接将训练长度作为绝对天花板，到RoPE通过相对位置的内积不变性完成了第一次理论突破，再到后续的各种插值方案，本质上都是在探索不同频率维度所携带的位置信息应当如何被差异化地处理。绝对位置编码和可学习编码在序列长度超出训练范围后完全失效，因为模型根本没有见过这些位置的编码。RoPE的相对位置性质使其具备天然的外推能力，模型在训练时学得的相对距离模式可以在一定程度上泛化到新的绝对位置。但RoPE的外推能力也并非无限，当相对距离远超训练时的最大距离，高频维度的快速振荡导致内积值迅速衰减。从RoPE到YaRN的三次改进本质上都是对高频/低频基频成分的差异化处理策略——基础插值统一缩放所有维度，NTK-aware插值区分高/低频，YaRN进一步修正了注意力熵漂移问题。

第三章：NTK-aware插值与YaRN：无额外训练的扩展

3.1 基础位置插值

2023年，Chen等人在"Extending Context Window of Large Language Models via Position Interpolation"中提出了一个看似简单却影响深远的方法：不修改任何模型参数，直接将推理时的位置索引线性地缩小 $s = L_{target} / L_{train}$ 倍。也就是说，在128K长度的推理场景中，位置索引 $m$ 被替换为 $m / s$ ，使得每个位置的角度 $\theta'_i = \theta_i / s$ 。

以Llama 2（ $L_{train}=4096$ ）扩展到 $L_{target}=16384$ 为例， $s = 4$ ，所有维度所有位置的旋转角度被统一缩小为1/4。这意味着，原本对应位置1024的token在插值后只经历了原位置256的旋转角度，因此整个序列的旋转模式被压缩到了模型熟悉的范围内。Chen等人用少量（约1000步，100B tokens）的继续预训练验证了该方法的有效性，但实际上后续实践表明，纯推理时不加继续训练也能取得可接受的效果——模型在插值后的位置上表现出的perplexity退化远小于直接外推。

然而，位置插值存在结构性缺陷。RoPE的不同维度编码着不同频率的位置信息：低频维度（索引较小， $\theta_i$ 较小）的波长长达数万个token，负责编码长距离的粗略位置关系；高频维度（索引较大， $\theta_i$ 较大）的波长仅有几个token，负责编码短距离的精细位置关系。基础插值线性地将所有维度的角度同时缩放，导致高频维度的有效波长被过度压缩。原本波长约8个token的高频维度在 $s=16$ 的插值下波长变为0.5个token，几乎完全丧失了区分相邻位置的能力。这解释了为什么基础插值在长距离上有效，但短距离的局部注意力精度明显下降。

3.2 NTK-aware插值

NTK-aware插值（由社区贡献者bloc97等人提出）的核心洞察是：不同维度的位置信息波长不同，因此不应被等同缩放。NTK全称"Neural Tangent Kernel"，虽然该方法的命名来自NTK理论中关于高频成分学习速度的启发，但其工程实现本质上是对各维度缩放因子的非线性差异化处理。

NTK-aware插值将位置缩放因子修正为维度相关的函数。高维（高频）维度保持较少的缩放，低维（低频）维度接受较大的缩放。这通过修改RoPE的基底来实现：

\text{base}' = \text{base} \times s^{d_{model} / (d_{model} - 2)}

或者等效地，第 $i$ 维度的角度按以下公式调整：

\theta'_i = \theta_i \cdot \frac{1 + \alpha \cdot s \cdot \log_{10000}(d / i)}{1 + \alpha \cdot s}

其中 $s = L_{target} / L_{train}$ 是扩展比例， $\alpha$ 是控制高频保护强度的超参数。直观理解：对于高频维度（ $i$ 接近 $d_{model}$ ）， $i/d \to 1$ ，对数项趋近于零，缩放因子趋近于1，即几乎不缩放；对于低频维度（ $i$ 接近0）， $i/d \to 0$ ，对数项增大，接受较大的缩放。这样，高频维度保留了区分相邻位置的精细能力，低频维度承担了将位置范围映射到训练分布内的任务。

在Llama 2 7B从4K扩展到64K的实测中，基础位置插值的perplexity为7.2，而NTK-aware插值降至6.1，接近原始训练长度的5.7。这一差距在依赖局部精度的代码生成和数学推理任务上更为显著。

3.3 YaRN：注意力温度修正

NTK-aware插值解决了位置角度分布的问题，但引入了一个新的现象：当序列长度极大时，注意力分布的熵值过度增长。具体而言，大量远距离的查询-键对获得了不可忽略的小但非零的注意力分数，导致注意力分布从尖锐的稀疏模式变得弥散，模型难以聚焦于真正密切相关的token。2024年，Peng等人在YaRN（Yet another RoPE extensioN）中提出，应当在NTK插值的基础上增加注意力温度缩放（temperature scaling），将注意力分数除以一个与扩展比例相关的温度因子，以恢复原始训练长度下的注意力锐度。

温度因子的公式为：

t = t_{\text{_attn}} = \frac{0.1 \cdot \ln(s)}{\sqrt{d_{head}}} + 1

注意力分数在softmax之前被缩放为：

a'_{ij} = \frac{a_{ij}}{t_{\text{attn}}}

$t$ 随着扩展比s的对数增长而缓慢增加。以 $d_{head}=128$ 、 $s=32$ （扩展到128K）为例， $t \approx 1.04$ 。这个看似微小的温度调整对注意力分布产生了显著影响：在应用YaRN后，模型在128K长度下的LongBench F1分数比NTK-aware插值再提升约6到8个百分点，perplexity从6.1降至5.4。

YaRN的另一关键贡献是引入了"注意力缩放因子"
$\sqrt{\frac{1}{t}}$ ，对 attention logits 在进入 Softmax 前做缩放，从而修正了 RoPE 外推时的注意力熵增问题。这一修正是从NTK-aware插值迈向128K甚至1M token推理的关键一步。

3.4 动态NTK与FlashAttention的兼容

在工程实现中，NTK-aware插值和YaRN都需要修改生成时的RoPE角度基底或注意力温度系数。主流推理框架（vLLM、llama.cpp、TensorRT-LLM）均已支持NTK插值，但实现细节存在差异。vLLM采用动态NTK策略，根据当前序列的实际长度动态计算缩放因子，而非预先固定目标长度，这使得模型可以无缝处理从短到长的可变长度输入，无需在启动时声明最大长度。

动态NTK与FlashAttention的兼容是一个关键工程细节。FlashAttention通过分块计算和SRAM中的在线Softmax实现对标准注意力的IO优化。由于动态NTK的缩放因子依赖于实际序列长度，而FlashAttention的分块计算对每块内的局部Softmax进行增量更新，两者的结合需要保证每个块的缩放因子在全局计算中的正确性。vLLM的实现方案是在每个块的flash attention kernel启动时传入当前全局长度计算出的动态缩放参数，确保局部Softmax的归一化与全局一致。这一实现在Llama系列和Yi系列模型上经过了广泛验证，在128K推理场景下的精度损失控制在1%以内。

在一个128K推理基准的实测对比中：Llama 2 7B使用基础插值在64K长度下perplexity为7.2；使用NTK-aware插值降至6.1；使用YaRN方案降至5.4；而直接外推的产物perplexity超过12。这组数据充分说明了这三级改进每一步的边际贡献。

graph TD
    subgraph 原始RoPE
        direction LR
        R1[低频维度<br/>波长: 10000*2π] -->|编码长距离关系| R2[中频维度<br/>波长: 100*2π] -->|编码中距离关系| R3[高频维度<br/>波长: 2π] -->|编码短距离关系| R4[相邻位置区分]
        
        style R1 fill:#FFB6C1
        style R3 fill:#ADD8E6
    end
    
    subgraph 基础位置插值 PI
        direction LR
        P1[低频: 2500*2π] -->|过度| P2[中频: 25*2π] -->|过度| P3[高频: 0.5*2π] -->|严重退化| P4[相邻位置<br/>无法区分]
        
        style P3 fill:#90EE90
        style P4 fill:#FFB6C1
    end
    
    subgraph NTK-aware插值
        direction LR
        N1[低频: 2500*2π] -->|正常缩放| N2[中频: 50*2π] -->|较少缩放| N3[高频: 1.5*2π] -->|几乎保留| N4[相邻位置<br/>可区分]
        
        style N1 fill:#FFB6C1
        style N3 fill:#90EE90
        style N4 fill:#90EE90
    end
    
    subgraph YaRN<br/>+ 温度缩放
        direction LR
        Y1[低频: 2500*2π] -->|正常| Y2[中频: 50*2π] -->|良好| Y3[高频: 1.5*2π] -->|良好| Y4[注意力分布<br/>尖锐聚焦]
        
        style Y1 fill:#FFB6C1
        style Y4 fill:#90EE90
    end
    
    R1 --> P1
    R2 --> P2
    R3 --> P3
    R4 --> P4
    
    P1 --> N1
    P2 --> N2
    P3 -.->|高频保护| N3
    P4 -.->|高频恢复| N4
    
    N4 --> Y4

理解这些插值方案的关键在于意识到位置编码的不同维度编码了不同尺度的位置信息。低频维度（波长上万个token）负责建立"第5段与第200段之间的粗略关系"，而高频维度（波长几个token）负责建立"当前词与其紧邻修饰语的精确关联"。基础位置插值像一把不区分食材的钝刀，统一将所有维度的波长线性压缩，破坏了高频维度对短距离细粒度关系的编码能力。NTK-aware插值引入了对不同维度的区别对待：低频维度被充分压缩以将大范围位置映射到训练分布内，高频维度几乎保留原始波长以保持局部精度。这一区分在数学上通过维度相关的对数缩放函数实现，高频通道的缩放因子趋近于1，低频通道的缩放因子趋近于 $1/s$ 。YaRN在NTK基础上进一步发现，即使位置角度被正确映射，长序列中的注意力分数会自发趋于均匀分布（熵增），因此需要对注意力logits施加温度缩放以恢复原始的注意力锐度。YaRN通过温度缩放解决了NTK插值在高长度下注意力熵扩散的问题，使128K甚至1M长度的推理成为可能。这三层改进从位置角度修正走到注意力分布修正，共同构成了一条无需重新训练即可将模型上下文扩展32倍至256倍的技术路线。

第四章：稀疏注意力与KV缓存压缩

4.1 H2O：保留Heavy Hitters

将上下文从4K扩展到128K不仅需要解决位置编码的外推问题，还必须直面KV缓存的显存膨胀。2023年，Zhang等人在"H2O: Heavy Hitter Oracle for Accurate KV Cache Compression"中提出了一个关键观察：在自回归解码过程中，KV缓存中约90%的注意力分数集中在不到5%的token上，而其余token的累积影响可以忽略。

H2O的核心策略是：在解码过程中，为每个token维护一个累积重要性分数（eviction score），定义为该token作为key被后续所有位置查询的注意力分数之和：

A_j = \sum_{t=j}^{T} \text{Attention}(t, j)

当KV缓存达到预设的预算上限时，淘汰得分最低的token。由于保留的是"全局重要"的token，H2O可以在仅保留5%至10%原始KV条目的情况下，将大部分任务的精度损失控制在2%以内。

这一策略的理论基础是Transformer注意力分布的极端偏斜性。在大多数自然语言序列中，名词性短语、关键实体、核心谓词会反复被多个后续token引用，形成注意力图上的hub节点；而填充词、辅助性修饰语仅获得零星的关注。H2O的累积分数准确捕获了这种hub效应，使得被丢弃的token确实是对后续推理影响最小的那些。

H2O的工程实现需要在推理引擎中为每个序列维护一个动态的top-k数据结构，用于追踪每个token的累积注意力分数。当需要逐出新条目时，以 $O(\log k)$ 的复杂度完成淘汰决策。vLLM中的实现方案是为每个注意力头单独维护序列，跨头的同步可以通过统一的淘汰掩码来实现。

4.2 StreamingLLM：注意力汇点与滑动窗口

2023年末，Xiao等人在"Efficient Streaming Language Models with Attention Sinks"中提出了一个更具洞察力的发现：自回归模型对序列最前端的几个token——尤其是序列起始标记 <SOS> 或 <BOS>——表现出异常稳定的持续关注。这并非因为这些token本身语义上更重要，而是由于注意力机制的softmax归一化特性——所有位置的注意力分数必须加和为1，当当前token与远处大多数位置关联较弱时，注意力质量被"倾倒"到序列开头的固定锚点上。Xiao等人将这一现象命名为"注意力汇点"（attention sinks）。

基于发现，StreamingLLM采用极端简化的策略：始终保留序列前端的4个token（通常为BOS和开头的几个token）作为注意力汇点锚点，同时只保留最近 $w$ 个token（如1024或2048）的KV对，中间的所有token的KV被直接丢弃。无论总序列长度增长到多少，KV缓存大小始终维持在 $(4 + w) \times d_{model}$ 的固定值。

这一策略的惊人之处在于其精度表现：在400万token的超长序列测试上，StreamingLLM的perplexity退化相比全量KV缓存不到1%，同时KV缓存需求从数GB降至数十MB。在streaming式应用场景——如在线直播字幕生成、长文档流式摘要、实时对话等——StreamingLLM几乎成为了默认工程方案。

4.3 SnapKV与AdaKV：自适应压缩

H2O和StreamingLLM代表了两种截然不同的压缩哲学：H2O基于"全局重要性精选"，保留散布在序列各处的关键token；StreamingLLM基于"局部窗口 + 全局锚点"，丢弃全部中距离上下文而仅保留最近窗口。在实际应用中，两种策略各有适用域：法律文书审阅和跨段落推理需要H2O式的全局精选，而实时对话和流式日志则适合StreamingLLM的滑动窗口。

2024年的SnapKV尝试在两者之间取得平衡。其核心思想是：不同层的注意力模式不同，不应使用统一的固定预算。浅层（靠近输入的层）倾向于关注局部语法和词性，可以承受更激进的压缩；深层（靠近输出的层）倾向于进行全局语义推理，需要保留更多全局信息。SnapKV为不同层分配不同的KV保留预算，并通过注意力模式聚类来识别每一层真正需要保留的token集合。实测中，SnapKV在同等压缩比下比H2O的精度损失再降低约30%，实现复杂度略有增加但仍在主流推理框架的工程可达范围内。

4.4 量化与压缩的协同

在稀疏化策略之外，KV缓存的直接量化是另一条并行的压缩路径。沿用了全模型量化的思路，将KV缓存从FP16压缩至INT8或INT4，可将显存占用直接减半或再减至1/4。KV缓存量化的精度风险相对较低，因为KV向量本身的动态范围通常小于模型权重。SmoothKV等方案引入per-channel或per-token的缩放因子，进一步将INT4量化下perplexity退化控制在1%以内。

低秩压缩是另一条被证明有效的路线。DeepSeek-V2提出的多潜头注意力（MLA，已在本文系列的2026-06-03博文中详细讨论过）通过对KV表示施加低秩压缩，将每token的KV缓存从 $2 \times d_{model}$ 降至 $2 \times d_{latent}$ ，其中 $d_{latent} \ll d_{model}$ 。对于深度压缩场景，可以将稀疏化（H2O/StreamingLLM）、量化（INT8/INT4）和低秩压缩（MLA）三种策略层叠使用，实现KV缓存体积的数量级缩减，使128K甚至更长序列的在线推理在单卡显存内成为可能。

graph LR
    subgraph 全量KV缓存
        K1[Token1] --> K2[Token2] --> K3[Token3]
        K4[...] --> K5[Token T-1] --> K6[Token T]
        
        style K1 fill:#FFE4B5
        style K6 fill:#FFE4B5
    end
    
    subgraph H2O稀疏化
        H1[Token1<br/>Heavy Hitter] --> H3[Token3<br/>Heavy Hitter]
        H2[Token2<br/>丢弃] -.-> H4[Token4<br/>丢弃]
        H5[...] --> H6[Token T<br/>Heavy Hitter]
        
        style H1 fill:#90EE90
        style H2 fill:#FFB6C1
        style H3 fill:#90EE90
        style H6 fill:#90EE90
    end
    
    subgraph StreamingLLM
        S1[BOS<br/>锚点] --> S2[Token2<br/>锚点]
        S3[...<br/>全部丢弃] -.->|丢弃| S4[Token T-1023<br/>窗口保留]
        S5[Token T-1] --> S6[Token T]
        
        style S1 fill:#ADD8E6
        style S2 fill:#ADD8E6
        style S3 fill:#FFB6C1
        style S4 fill:#90EE90
        style S5 fill:#90EE90
        style S6 fill:#90EE90
    end
    
    K6 --> H6
    K4 --> S3

上面这张对比图从三个维度勾勒了当前KV缓存管理的最主流范式。最上方的全量缓存基线展示了一个朴素事实：标准Transformer为每一个历史token分配等额的KV缓存空间，每条箭头代表一个token的key-value对必须被完整保留。中间的H2O稀疏化示意图展示了Heavy Hitter策略的精选逻辑——只有被累积注意力分数认为"重要"的token（绿色方框）被保留，而参与度低的token（红色虚线框）被直接淘汰。底部的StreamingLLM方案则展示了截然不同的工程哲学：最前端的BOS和开头token作为注意力汇点锚点无条件保留，中间段的所有token全部丢弃，只有距离当前位置最近的滑动窗口内的token被保留。全量缓存与H2O之间通过箭头指向说明了两者的选择一致性——全量中的末端token在H2O中通常也是Heavy Hitter。

这些稀疏化策略的核心假设是长序列中的注意力分布极度偏斜，大部分token对后续推理的影响可以忽略。全量KV缓存假设每个历史token对未来同等重要，这在短序列（<4K）近似成立，但在长序列中造成了严重的资源浪费。H2O的Heavy Hitter策略在统计学上较好地近似了全量注意力的输出分布，其淘汰机制基于累积注意力分数这一代理指标，有效地将稀疏性与精度损失之间的权衡推向了帕累托前沿。StreamingLLM则发现了一个更深层的架构特性——注意力汇点——并利用它实现了一个极端简化的固定大小缓存方案。选择哪种方案取决于你的应用是否依赖远距离的细粒度依赖。法律文书需要H2O式的全局精选，因为关键定义和条款可能散布在数十页的各个角落；而连续对话更适合StreamingLLM，因为对话的语义焦点通常集中在最近的几轮轮次上，久远的历史除了身份和主题锚点外很少有直接引用价值。

第五章：线性复杂度的架构革新

5.1 线性注意力与核方法

前述方案——位置插值、KV缓存稀疏化——都是在标准Transformer架构内的优化。它们保留了 $O(T^2)$ 的注意力计算复杂度，成本降低主要来自减少实际需要处理的token数或压缩它们的表示。当序列长度迈向百万级甚至无界时，从根本上改变注意力的计算复杂度成为必要。

线性注意力的核心思想是将Softmax注意力中的指数核替换为一个特征映射 $\phi(\cdot)$ ，使得内积可以被重排序：

\text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d}}\right) V

\approx \phi(Q) \left(\phi(K)^T V\right)

当 $\phi(K)^T V$ 可以在序列维度上增量更新时，整个注意力的计算复杂度从 $O(T^2 \cdot d)$ 降至 $O(T \cdot d^2)$ 。然而，线性注意力的工程落地受到几个约束的限制。第一，精度退化：对指数Softmax的线性化近似在长序列上累积误差，实测中perplexity相比标准注意力通常上升3%至8%。第二，因果掩码的兼容性：标准自回归解码需要三角形mask来保证未来信息不泄漏，而线性注意力的增量KV聚合在实现因果性时需要额外的递归状态管理，增加了实现复杂度。第三，训练不稳定性：核函数的选择和特征维度对训练的收敛性较为敏感。Performer、RWKV、RetNet、Mamba等架构在理论上提供了线性或次平方的复杂度路径，但在大规模语言模型训练中的精度、稳定性和工程成熟度上，截至2026年初均未达到标准Transformer的可靠性阈值。这些方案更适合在特定应用领域（如DNA序列建模、时序预测）中作为专用架构使用，而非替代通用大语言模型。

5.2 Ring Attention与Blockwise Parallelism

当单设备的显存和算力成为硬边界时，分布式方案成为唯一可行的突围方向。2024年，Liu等人在"Ring Attention with Blockwise Transformers for Near-Infinite Context"中提出了Ring Attention，它将序列在多个设备间以环状分布，每个设备持有序列的一个连续分块（chunk）。在注意力计算中，每个设备的query向量需要与所有设备上的所有key/value分块进行交互，但通过精心设计的流水线调度，通信与计算被精确重叠，使得延迟不再由序列总长度决定，而仅由单个分块的计算时间主导。

具体而言，设序列被划分为 $P$ 个分块，每个分块大小为 $C = T/P$ ，分布在 $N$ 个设备上。标准注意力需要在每个设备上执行 $P$ 次 $Q_i K_j^T$ 的分块计算，并在设备间传输所有KV分块。传统All-Gather方案的通信时间为 $O(P \cdot N)$ 。在Ring Attention中，设备以环状拓扑连接，每个设备向邻居发送本地的KV分块，同时接收上一个邻居的KV分块。在接收新KV分块后，立即计算本地Q与接收到的K/V的局部注意力，同时异步发送下一批KV分块给下一个邻居。

Ring Attention的核心数学工具是对分块Softmax的在线归一化（online normalization）。设设备 $i$ 已经累积计算了前 $j$ 个分块的注意力。当接收到第 $j+1$ 个分块时，新的softmax最大值和归一化因子可以通过增量更新实现，而无需存储所有中间结果：

m_{j+1} = \max(m_j, \max(Q_i K_{j+1}^T))

\text{exp\_sum}_{j+1} = \text{exp\_sum}_j \cdot e^{m_j - m_{j+1}} + \sum e^{Q_i K_{j+1}^T - m_{j+1}}

\text{output}_{j+1} = \frac{\text{output}_j \cdot \text{exp\_sum}_j \cdot e^{m_j - m_{j+1}} + e^{Q_i K_{j+1}^T - m_{j+1}} V_{j+1}}{\text{exp\_sum}_{j+1}}

这组增量更新公式保证了每个设备在仅持有当前分块KV的流式数据时，就能计算出与全局全量注意力等价的结果。当KV分块的传输时间与本地计算时间相当时，KV环状传输可以被完全隐藏在计算时间之后，整个系统的延迟等于单设备处理 $2C$ 长度KV缓存的时间，与设备数 $N$ 和总序列长度 $T$ 无关。

5.3 序列并行的工程实践

在Ring Attention之前，序列并行（Sequence Parallelism）已在Megatron-LM和DeepSpeed Ulysses中被用于训练阶段的激活值分片。其核心思想是将序列维度（而非batch或模型维度）作为并行轴：每个设备持有序列的一个子段，并在前向传播中通过all-to-all通信交换激活值以完成跨段的注意力计算。DeepSpeed-Ulysses和Megatron-SP在训练中的通信开销约占前向时间的15%至25%，这一比例在推理阶段可以被接受。

Ring Attention的创新在于将序列并行从训练扩展到自回归推理，并且将全局all-to-all的通信模式降级为环状点对点通信，将通信复杂度从 $O(N^2)$ 降为 $O(N)$ ，同时通过流水线重叠使得有效通信时间趋近于零。在2024年Gemini 1.5 Pro的1M token推理实现中，序列被分片到256个TPU节点，每个节点负责约4K token。通过Ring Attention式的环状KV传递，整个预填充阶段的延迟被控制在30秒以内，而传统的集中式注意力计算在同等硬件上理论上需要超过10分钟。

5.4 可扩展注意力系统的融合路径

三条线性化路线——线性注意力（架构级）、Ring Attention（系统级）、序列并行（调度级）——并非互斥。2025年后的前沿探索显示，将序列分块与块内稀疏注意力结合可以进一步降低每个分块的计算量。例如，在百万级文档问答任务中，可以使用StreamingLLM的窗口策略限制每个分块内的KV缓存预算，同时在分块间使用Ring Attention实现全局注意力。这种"分块Ring + 块内稀疏"的混合架构是目前超大规模序列推理的工程前沿。

graph LR
    subgraph Ring Attention 流水线
        direction LR
        D1[Device 1<br/>持有Q1, K1, V1] -->|发送K2V2<br/>接收K4V4| D2[Device 2<br/>持有Q2, K2, V2]
        D2 -->|发送K3V3<br/>接收K1V1| D3[Device 3<br/>持有Q3, K3, V3]
        D3 -->|发送K4V4<br/>接收K2V2| D4[Device 4<br/>持有Q4, K4, V4]
        D4 -->|发送K1V1<br/>接收K3V3| D1
        
        style D1 fill:#ADD8E6
        style D2 fill:#90EE90
        style D3 fill:#FFE4B5
        style D4 fill:#FFB6C1
    end
    
    subgraph 计算-通信重叠
        T1[时间轴] --> T2[计算Q1K1^T V1] --> T3[接收K2V2] --> T4[计算Q1K2^T V2] --> T5[接收K3V3] --> T6[计算Q1K3^T V3]
        T2 -.->|同时发送K1V1| T3
        T4 -.->|同时发送K2V2| T5
        T3 -.->|异步流水线| T4
    end
    
    D1 -.-> T2
    D2 -.-> T4
    D3 -.-> T6

Ring Attention的核心洞察是将KV缓存的通信与计算时间重叠，实现理论上的无界序列长度。在传统分布式注意力中，每个设备需要等待从所有其他设备收集完整的KV缓存后才能开始计算，延迟随设备数线性增长。在Ring Attention的环状拓扑中，每个设备只需要与两个邻居进行点对点通信，通信被组织成一条流水线：设备1在计算本地Q1与K1/V1的注意力时，已在向设备2发送K1/V1并从设备4接收K4/V4；当本地计算完成时，下一批KV数据恰好到达，计算可以无缝继续。环状数据流意味着延迟不再由序列长度决定，而由单个分块的计算时间决定——这是从 $O(T)$ 到 $O(1)$ 的质变。只要增加更多的设备来容纳更长的序列（保持每个分块大小 $C$ 恒定），端到端的延迟可以保持大体不变。

第六章：长上下文评测的工程现实

6.1 评测基准的局限

衡量长上下文能力的基准测试在2024至2026年间迅速演进，但每个基准都存在结构性局限。"大海捞针"（Needle in a Haystack, NIAH）测试在超长文档中随机插入一个关键信息，然后要求模型在问答中指出该信息。这一测试验证了模型的浅层检索能力，但远不足以评估深层推理——模型可以在文档中定位某句话，但这不代表它能理解文档中各部分的论证关系。

LongBench和L-Eval等评测集提供了多语言、多任务的长文本评估，覆盖摘要、问答、代码理解和推理。但这些基准的平均序列长度集中在16K至32K区间，对于128K及以上长度的评测覆盖不足。更重要的是，现有benchmark多为静态任务，无法衡量长上下文在交互式场景（如多轮对话、流式推理）中的增量一致性。

一个在2025年逐渐获得认可的方向是"压力测试"：在单位时间内不断增加上下文长度和查询复杂度，观察模型推理延迟、精度和一致性的联合退化曲线。这种测试更贴近生产环境中的工程约束，因为它同时评估模型质量与系统性能。

6.2 延迟-长度权衡曲线

长上下文部署有一个不可回避的工程现实：预填充（Prefill）阶段的延迟与序列长度呈二次方关系，而解码阶段与序列长度呈线性关系。预填充阶段需要一次性处理整个输入序列，计算标准注意力的完整 $QK^T$ 矩阵。FlashAttention通过分块和IO优化将有效延迟降低了2至4倍，但无法突破二次方复杂度的理论下界。

在一个标准H100节点（8×80 GB）上，Llama 3 70B在FlashAttention-3优化下的预填充延迟实测如下：4K序列约0.8秒，16K序列约4.5秒，64K序列约28秒，128K序列约95秒。这是一台价值20万美元的服务器，从输入到第一次token输出需要等待一分半钟。对于大多数实时应用场景，这一延迟是不可接受的。

解码阶段的延迟增长相对温和——每生成一个token需要访问全部历史KV缓存，因此每步延迟与序列长度成正比。FlashAttention通过分页KV缓存使单步延迟从30毫秒（4K序列）增长到80毫秒（128K序列），仍在可交互范围内。因此，长上下文场景的核心延迟瓶颈集中在预填充阶段。

这催生了"渐进预填充"（progressive prefill）和"投机预填充"等工程策略：将长输入分段，先处理关键段以快速生成第一个token，再在后台异步处理剩余段落。这类策略在用户体验和数学精度之间做出了务实的工程折中。

6.3 混合策略的工程考量

在实际工程决策中，纯技术力量与架构妥协之间的选择比理论分析更为复杂。RAG+短上下文方案在大量场景中仍然是性价比最高的方案。一个典型的RAG流水线（嵌入模型、向量检索、Top-K重排、上下文注入）的总成本通常仅为原生128K推理的1/5到1/10，且在答案可被明确锁定在单一文档段落内的场景中，精度与原生长上下文相当。

关键的决策边界在于：如果你的任务需要跨文档、跨段落的深层语义关联——例如"对比2023年年报与2024年年报的现金流变化并找出异常项目"——那么原生长上下文具有结构性优势。但如果任务可以被分解为多个独立的短查询——例如"总结这篇论文的三个主要贡献"——那么RAG就足够了。

四条路线的选择矩阵：上下文长度需求、延迟容忍、精度要求、成本预算构成了工程师的四维权衡空间。在2026年初的工程实践中，128K原生长上下文推理的单次成本约为0.08美元/1K token（以70B模型在H100上的推理计算定价），而RAG+4K推理的成本约为0.015美元/1K token。对于批量处理型任务（如文档归档分析），这一差距可以被接受；对于高并发在线服务，成本差距乘以日请求量后会成为核心商业约束。

第七章：结论与决策框架

本文沿着三条相互独立又彼此关联的技术路线，系统梳理了长上下文大模型从4K走向1M的工程突围历程。

第一条路线是位置编码的外推优化。RoPE的旋转内积奠定了相对位置编码的理论基础，但纯RoPE的外推能力在2至4倍训练长度后迅速衰减。位置插值（PI）通过线性压缩角度将扩展比推向16到32倍，但高频信息损失导致局部精度退化。NTK-aware插值通过维度差异化的缩放函数保护了高频维度，将Llama 2 7B在64K下的perplexity从7.2降至6.1；YaRN则在NTK基础上叠加注意力温度缩放，上述两级改进（基础插值→NTK-aware、NTK-aware→YaRN）每一步都有清晰的边际贡献，最终将perplexity降至5.4，同时保持128K甚至1M长度下的注意力锐度。对于已经拥有预训练模型且需要快速扩展上下文的团队，YaRN+动态NTK是当前零训练成本方案中的最优解。

第二条路线是注意力机制的稀疏化与KV缓存压缩。H2O的Heavy Hitter策略将KV缓存压缩至10%的同时将精度损失控制在2%以内，适合需要保留全局远距离依赖的场景。StreamingLLM发现并利用注意力汇点机制，以固定大小缓存实现任意长度序列的流式推理，在perplexity退化不到1%的前提下将KV缓存降至常数大小，是实时流式应用的首选。SnapKV通过层自适应的预算分配将同等压缩比下的精度再提升约30%，适用于压缩比和精度要求极为严苛的场景。在工程实践中，这些策略可以与INT8/INT4 KV量化和MLA低秩压缩层叠使用，实现KV缓存数量级的缩减。

第三条路线是线性复杂度的架构与系统革新。线性注意力（Performer、RWKV、Mamba等）在理论上将 $O(T^2)$ 降为 $O(T \cdot d^2)$ ，但在2026年初仍未在大规模语言模型的通用能力上达到标准Transformer的可靠性阈值。Ring Attention通过环状通信-计算重叠将分布式序列并行的延迟从与序列长度成正比降至与分块大小成正比，是迈向百万级token推理的基础设施级方案。Gemini 1.5 Pro的1M token推理就是基于类似Ring Attention的序列并行架构实现的。

对于2026年的工程师，实际决策应遵循以下框架：

如果你已有成熟模型，需要快速扩展上下文长度且不追求极限精度：NTK-aware插值或YaRN（零训练成本，推理时修改RoPE基底和温度因子即可）。
如果你可以修改推理引擎且显存是核心瓶颈：H2O（保留全局依赖）或StreamingLLM（固定大小缓存），视应用依赖远距离精度的程度而定。
如果你需要处理>1M token且拥有多节点分布式基础设施：Ring Attention + 序列并行。这是唯一能让超大规模序列在合理延迟内跑通的系统级方案。
如果你需要平衡精度、延迟和成本，且任务可分解：优先评估RAG+短上下文方案。原生百万长度推理的成本和延迟仍然远高于RAG+batch推理，只有在跨段全局推理是硬性需求时才值得投入。

三条路线的交汇点在于，它们都在回答同一个问题：如何在有限的显存和算力预算下，让模型理解远超其工程设计时序的叙事。从RoPE的复数旋转到Ring Attention的流水线重叠，这是一段数学优雅性与工程务实性共同驱动的演进。上下文窗口不会止步于1M，而上述技术框架将为迈向更长序列的下一次跃迁提供可复用的基础。