ADADADADAD
长上,下文,注意力
12-09
12-09
12-09
马斯克用20万张卡练出的Grok 3能超越DeepSeek吗
12-09
12-09
12-09
12-09
前OpenAI大佬单干仅8个月：这匹AI黑马估值有望飙至300亿美元
12-09
12-09
撼与科技推出Intel Arc B580 GUARDIAN显卡：双风扇设计 2.2槽厚度
12-09
原京东首席执行官徐雷预测《哪吒2》票房：灯塔准确度比猫眼更高
12-09
AIGC出海软件龙头万兴科技：2026届实习生招募全面启动 25届春招持续开放
12-09
字典百科网（zdbk.com）2月18日消息，据报道，DeepSeek团队在其新发表的论文中介绍了NSA（Native Sparse Attention），这是一种创新的稀疏注意力机制，该机制专为与现
以下为本文的正文内容，请查阅，本站为公益性网站，复制本文以及下载DOC文档全部免费。
字典百科网（zdbk.com）2月18日消息，据报道，DeepSeek团队在其新发表的论文中介绍了NSA（Native Sparse Attention），这是一种创新的稀疏注意力机制，该机制专为与现代硬件高度协同且支持本机训练而设计，旨在实现超高速的长上下文训练与推理过程。
NSA通过一系列针对现代硬件特性的优化设计，不仅显著提升了推理速度，还有效降低了预训练成本，同时确保了模型性能的丝毫不减。
据官方介绍，NSA在通用基准测试、长上下文任务以及基于指令的推理中表现优异，与完全注意力模型相比表现相当甚至更佳。
据悉，DeepSeek设计了一种分层的稀疏策略，将注意力分为三个分支：压缩（compression）、选择（selection）和滑动窗口（sliding window），以便同时捕捉全局上下文和局部精细信息。
NSA不仅在算法上实现了稀疏注意力的高效建模，还通过硬件对齐的设计，优化了内存访问和计算调度，使得模型在处理长文本时能够大幅减少计算延迟和资源消耗。
论文地址：https://arxiv.org/pdf/2502.11089v1
10-26
10-26
10-27
10-23
10-26
10-25
10-25
10-25
10-24
10-25
10-23
10-23
10-25
10-26
10-28
10-29
