Table of Contents
背景
2026年4月24日,DeepSeek正式发布V4系列模型,包括两款MoE检查点:DeepSeek-V4-Pro(1.6T总参数,49B激活)和DeepSeek-V4-Flash(284B总参数,13B激活)。它们均支持100万Token的上下文窗口,但真正令人兴奋的并非基准测试分数——虽然具备竞争力但并非SOTA——而是其专为高效长上下文支持而设计的架构创新。这一突破使V4成为执行Agent任务的理想候选模型。
当前,在长周期Agent工作负载中使用前沿开源模型会遇到一系列可预见的瓶颈:模型意外停止、需要重新提示、追踪记录超出上下文预算、KV缓存撑爆GPU、或者工具调用在长任务中途退化。DeepSeek V4正是为修复这些已知故障而设计,并为社区指明了发展方向。
核心内容分析
Agent的KV缓存问题
拥有100万Token上下文窗口只是容量,并非性能。能否真正利用它,取决于每次前向传播在该深度下的成本。对于执行长工具使用轨迹的Agent(例如SWE-bench任务、多步骤浏览会话、数百条命令的终端会话),每个工具结果都会追加到上下文中,后续每个Token都需要对之前所有内容进行完整的注意力计算。
有两个关键指标:单Token推理FLOPs和KV缓存大小。两者都随序列长度增长。在100万Token时,DeepSeek-V4-Pro的单Token推理FLOPs仅为DeepSeek-V3.2的27%,KV缓存内存仅为10%。V4-Flash的数据更低:FLOPs的10%,KV缓存的7%。若与典型的8头分组查询注意力(GQA)架构采用bfloat16格式存储相比,DeepSeek V4所需的KV缓存大小大约仅为2%。这使得部署极大上下文处理变得切实可行。
混合注意力:CSA与HCA
效率提升源自将注意力拆分为两种机制,并在各层之间交错使用。
压缩稀疏注意力(CSA):使用基于softmax门控池化和学习的位置偏置,沿序列维度将KV条目压缩4倍。然后通过闪电索引器(FP4精度、ReLU评分多头点积)为每个查询选取top-k压缩块。该机制继承了V3.2中DeepSeek稀疏注意力的稀疏选择思想,但将其运行在块级别上。
(注:原文中HCA部分未展示完整,但CSA已足够体现核心创新。)
行业影响与专业点评
DeepSeek V4的发布标志着开源模型在长上下文Agent应用方面迈出了关键一步。过去,即使模型支持100万Token上下文,实际部署时的高昂成本也让开发者望而却步。V4通过将KV缓存降至GQA架构的2%,使得在单GPU上运行百万级上下文成为可能,这直接降低了Agent系统的门槛。
对于业界而言,这意味着更长的对话历史、更复杂的推理链、以及更丰富的工具调用轨迹都可以被高效处理。未来,Agent可以持久运行数小时甚至数天,累积大量上下文而不会因资源耗尽而崩溃。此外,V4-Flash版本(13B激活)在边缘设备上的部署潜力也不容忽视。
当然,V4的基准分数并未全面超越其他模型,但其架构优势在于实际使用中的性价比。正如原文所说:“真正的创新在于DeepSeek V4如何针对高效长上下文支持进行设计。” 它或许不是最强模型,但却是最懂Agent需求的模型之一。