最近在尝试把 DeepSeek 模型跑在昇腾 NPU 上,主要是想看看稀疏注意力(sparse attention)和长上下文推理在国产芯片上的表现。用的是 MindIE 和 vLLM-Ascend 环境,目前能跑起来,但显存和通信还是有些瓶颈,BF16 推理也还有待优化。感觉 DeepSeek 在 GPU 上的生态已经比较成熟,但在 Ascend 这边还缺少一些实际部署经验和性能对比数据。有没有其他人也在折腾这个?想交流下模型切分、并行(tensor/expert)、量化(FP8/INT8)或者长上下文推理的优化经验,看能不能一起摸索出在昇腾上比较稳的部署方案。
DeepSeek 模型在昇腾/NPU 上的部署



