Table of Contents
背景
4月24日，DeepSeek正式发布V4系列模型，包含两大检查点：DeepSeek-V4-Pro（1.6T总参数，49B激活）和DeepSeek-V4-Flash（284B总参数，13B激活）。两者均支持高达100万token的上下文窗口。虽然基准测试得分并非全面领先，但DeepSeek V4的真正创新在于其架构——为解决长上下文智能体（agent）任务中的性能瓶颈而生。
核心内容分析
长上下文智能体面临的核心难题
当使用大模型作为智能体执行长时间任务（如多步浏览、复杂终端操作）时，每个工具调用的结果都会追加到上下文中，后续的每次生成都需要对所有历史token计算注意力，导致推理FLOPs和KV缓存随序列长度线性增长。在100万token级别，传统注意力机制的成本几乎不可承受。
DeepSeek V4直接给出了量化对比：在100万token长度下，V4-Pro的单token推理FLOPs仅为V3.2的27%，KV缓存内存仅为10%；V4-Flash更极致，FLOPs仅10%，KV缓存仅7%。与标准8头分组查询注意力（bf16）相比，V4的KV缓存大小仅需约2%。这意味着可以在同样的GPU上处理更长的序列。
混合注意力：CSA与HCA
效率提升的核心来源于新颖的混合注意力机制。DeepSeek V4将注意力拆分为两种类型并交叉堆叠：
- 压缩稀疏注意力（CSA）：沿序列维度将KV条目标压缩4倍，使用softmax门控池化和学习的位置偏置。然后通过闪电索引器（FP4精度、ReLU评分多头点积）为每个查询选择top-k压缩块。它继承了V3.2中稀疏注意力的选择思想，但操作在块级别上。
- 混合注意力（HCA）：结合了全局和局部注意力，进一步降低计算复杂度。
这种设计使得模型在极长上下文下仍能保持合理的计算开销，同时不牺牲对关键信息的检索能力。
专为智能体优化
DeepSeek V4的另一个亮点是其针对智能体工作的专项优化团队。论文中详细记录了后训练阶段的特定决策，例如如何在长工具调用轨迹中保持响应质量，如何设计奖励函数以鼓励正确的工具使用。这些优化累积起来，使得V4在实际的多步推理任务中表现稳健，而非仅仅在标准化基准上好看。
行业影响/专业点评
DeepSeek V4的发布是向“可用百万token上下文”迈出的重要一步。此前，尽管有模型宣称支持128K或200K上下文，但高昂的推理成本使得实际应用受限。V4通过架构创新让长上下文部署变得经济可行，尤其适合SWE-bench、多轮对话、文档分析等需要大量历史信息的场景。
对开发者而言，V4-Flash的13B激活参数意味着可以在消费级GPU上运行，而V4-Pro则适合云端服务。开源MoE和高效率的长上下文处理将推动更多智能体应用落地，例如代码仓库理解、长时间运行的自动化测试、研究论文综述等。
DeepSeek团队并未止步于基准测试，而是直面智能体应用的痛点，这种务实态度值得行业学习。未来，随着更高效的注意力机制普及，大模型的“上下文墙”将被逐渐打破。
