人工智能行业：DeepSeek的稀疏注意力机制给AI产业释放更大的发展潜能－专题报告

#核心观点： 1、注意力机制模仿人类选择性关注信息的能力，提升了深度学习处理长文本的效率和准确性。 2、注意力机制面临显存开销和计算复杂度两大发展瓶颈，AI产业通过算法、系统、硬件三个层面进行优化以提升大模型长文本处理能力。 3、DeepSeek在注意力机制技术改进方面做了大量工作，是开源大模型领域和低成本模型方向的代表。 4、DeepSeek提出的原生稀疏注意力（NSA）通过算法和硬件协同优化，将长文本处理速度提升11倍，并实现与全注意力模型相当或更优的性能。 5、DeepSeek V3.2-Exp引入新的注意力机制DSA，在保持模型性能稳定的同时提升训练推理效率，带来模型较大幅度降价，且无需重新训练模型即可升级。 6、稀疏注意力将计算复杂度从O(L2)降至亚平方级，突破内存与算力瓶颈；DeepSeek的NSA和DSA在训练阶段引入稀疏注意力，为后训练释放更大发展潜能，推动模型能力突破。 #投资建议：无投资建议 #风险提示：国际形势的不确定性。