计算机｜从华为384超节点看下一代AI系统级算力250626

大模型架构创新以及推理需求的日益增长对底层基础设施建设提出了新的要求，面向未来的AI基础设施须具备前瞻性、通用性。当前，单芯片算力提升对算力集群能力提升的边际效应在递减，内存通信、片间互连、网络通信成为瓶颈。为解决这一问题，技术角度，产业迈向Scale up扩展，通过提升单节点计算资源密度及高效的网络架构提升算力利用率。行业趋势上，半导体芯片行业通常以收并购的方式获取技术能力及市场拓展，以海外为代表的龙头公司做出了成功示范。系统级算力有望成为AI基础设施的下一站，建议关注国内以华为CloudMatri x384超节点为代表的产业发展趋势。

系统级算力有望成为下一代AI算力基础设施。

我们认为，底层基础设施的通用性就是为了前瞻性地应对未来的模型发展。当前AI产业发展迅速，Scal ing law在后训练、在线推理等阶段快速发展。训练端，模型架构持续创新迭代，有望进一步强化训练侧s cal ing law的延续，如阿里巴巴Qwen团队与浙江大学团队提出的Paral lel Scal ing、腾讯混元团队采用Trans former、Mamba混合架构训练的TurboS都取得了优秀的性能表现。推理端，在MoE专家网络架构成为主流后，如何通过硬件部署实现更高的吞吐量和更低的延时成为焦点。我们认为，采用类似推理集群的形式未来有望成为主流，计算节点有望通过提升计算密度满足推理需求。系统级算力料将成为下一代AI算力基础设施。