NSA（硬件优化稀疏注意力机制）由Deepseek、北京大学和华盛顿大学联合提出，旨在解决传统注意力机制在长上下文、多轮对话等场景下的性能瓶颈。其创新性在于通过**三并行分支架构**（Token压缩、Token选择、滑动窗口）结合可学习门控机制，动态平衡全局与局部注意力：压缩分支粗粒度捕捉全局信息，选择分支筛选关键稀疏单元以减少计算量，滑动窗口则保留局部语法与语义连贯性；硬件层面基于Triton框 ...