在马斯克和奥特曼比谁喊的响的时候，DeepSeek低调发论文，梁文锋躬行参与

当马斯克高调推出基于20万块GPU集群的Grok-3、Sam Altman在开源计策上反复量度之际，DeepSeek悄然发布了一项可能蜕变游戏划定的期间。

18日，DeepSeek CEO公布了一项由梁文锋躬行参与的测度论文后果——原生稀零注重力（Native Sparse Attention, NSA）机制。这是DeepSeek团队在稀零注重力领域的创新性职责，鸠集了算法创新和硬件优化，旨在处分长高下文建模中的计议瓶颈。

DeepSeek论文浮现，NSA不仅将谎言语模子处理64k长文本的速率最高普及11.6倍，更在通用基准测试中竣事性能反超传统全注重力模子。在公共AI竞赛转向"硬核创新"确当口，这家低调的中国公司展示了期间破局的新范式。

值得注重的是，NSA尚未期骗于DeepSeek V3的检会中。这意味着，要是后续DeepSeek将NSA整合到模子检会中，其基座模子的才能有望竣事权臣普及。论文中明确指出：“使用NSA预检会的模子跨越了全注重力模子”。

与DeepSeek酿成显着对比的是，xAI聘请了另一条说念路：对工程规模的极致追求。本日马斯克发布的Grok3使用了20万块GPU集群，而异日的Grok4更是策动使用百万块GPU、1.2GW的集群。这种“财大气粗”的作念法，体现了北好意思在AI领域一贯的“跋扈出遗址”作风。

稀零注重力：DeepSeek NSA的创新之说念

“AI立异”狂飙突进，长文本建模在AI领域的遑急性日益突显。OpenAI的o-series模子、DeepSeek-R1以及Google Gemini 1.5 Pro等，齐展示了处理超长文本的广大后劲。

关连词，传统Attention机制的计议复杂度随序列长度呈平方级增长，成为制约谎言语模子（LLM）发展的要津瓶颈。

稀零注重力机制被以为是处分这一费劲的但愿场所。DeepSeek本日提倡的NSA机制，正对客岁5月MLA（Multi-Layer Attention）职责的补充。NSA的中枢在于将算法创新与硬件优化相鸠集，竣事了高效的长文本建模。

科技媒体AI寒武纪显露，NSA的三大约津创新包括：

动态分层稀零计策：鸠集粗粒度Token压缩和细粒度Token聘请，兼顾全局高下文感知和局部信息精准性。算术强度均衡的想象：针对当代硬件进行优化，权臣普及计议速率。端到端可检会：撑执端到端检会，减少预检会计议量，同期保执模子性能。

NSA的中枢组件：三位一体，逐层优化

科技自媒体zartbot分析，NSA架构罗致了分层Token建模，通过三个并行的注重力分支处理输入序列：

压缩注重力（Compressed Attention）： 通过压缩Token块来拿获全局信息，处理粗粒度的形式。聘请注重力（Selected Attention）： 处理遑急的Token块，聘请性地保留细粒度的信息。滑动窗口注重力（Sliding Window Attention）： 处理局部高下文信息。

这三个分支的输出通过一个门控机制进行团聚。为了最大化遵循，NSA还特意想象了硬件优化的Kernel。

具体而言，NSA在Token Compression部分，基于block粒度进行压缩计议，并插入位置信息编码。在Token Selection部分，则玄机地借用Compression的注重力分数行为block的遑急性分数，进行top-N聘请，以保留要津的细粒度信息。Sliding Window部分则精雅处理局部高下文。临了，通过Gating函数概述三种注重力的输出。

执行适度：性能与遵循的双重飞跃

凭证DeepSeek发布的执行数据，NSA期间在多个方面展现出不凡发扬。

在通用基准测试、长文本任务和指示推理方面，使用NSA预检会的模子性能不仅莫得着落，反而突出了Full Attention模子。更遑急的是，在处理64k长度的序列时，NSA在解码、前向传播和反向传播等各个阶段齐竣事了权臣的速率普及，最高可达11.6倍，分解了NSA在模子生命周期各个阶段的遵循上风。

AI寒武纪显露：

“DeepSeek 的 NSA 期间为长文本建模带来了新的冲突。它不仅在性能上突出了传统的 Full Attention 模子，更在遵循方面竣事了权臣的普及，尤其是在长序列场景下。NSA 的 硬件友好想象 和 训推一体化特质，使其在本色期骗中更具上风，有望加快下一代 LLM 在长文本处理领域的期骗落地。”

科技媒体信息平权显露，NSA论文中笼罩了一个“彩蛋”：

“DeepSeek这次使用了Triton，而莫得说起英伟达专用库和框架。Triton底层不错调用CUDA，也不错调用其他计议平台的框架，如AMD的ROCM，致使国产计议卡。鸠集NSA镌汰了浮点算力和内存占用门槛的特质，这简略示意了DeepSeek在模子研发阶段，就也曾运行探求异日适配更多类型计议卡，为更泛泛、更广泛的开源作念准备。”

xAI的Grok3：算力堆砌的“极致”

与DeepSeek酿成显着对比的是，xAI聘请了另一条说念路：对工程规模的极致追求。Grok3使用了20万块GPU集群，而异日的Grok4更是策动使用百万块GPU、1.2GW的集群。这种“财大气粗”的作念法，体现了北好意思在AI领域一贯的“跋扈出遗址”作风。

关连词，信息平权的分析指出，尽管xAI通过超大集群在短时候内竣事了对之前SOTA（State-of-the-Art）模子的反超，但其插足产出比并不睬念念。比拟DeepSeek V3，xAI以50倍的资本竣事了30%的性能普及。这标明，单纯在预检会阶段插足大齐算力，其收益可能并不如预期，将资源插足到RL（强化学习）后检会阶段可能更为合算。

风险教导及免责条件 商场有风险，投资需严慎。本文不组成个东说念主投资建议，也未探求到个别用户终点的投资辩论、财务景况或需要。用户应试虑本文中的任何见地、不雅点或论断是否相宜其特定景况。据此投资，包袱自诩。