新增特性

1

MindIE Service

• 支持P节点与D节点使用Atlas 800I A2 推理产品（32GB）与Atlas 800I A2 推理产品（64GB）组合进行PD分离部署，如：P节点使用Atlas 800I A2 推理产品（32GB），D节点使用Atlas 800I A2 推理产品（64GB）;
• 支持多图、多视频和多音频多模态服务化调度能力，具体模型请参见《MindIE LLM开发指南》；
• 支持4机Atlas 800I A2 推理产品服务部署场景；
• 服务化接口新增服务请求等监控指标统计（普罗米修斯），支持PD分离和PD混部场景；
• Benchmark支持OpenAI接口精度和性能测试；
• Benchmark新增支持MindSpore框架tokenizer。

2

MindIE LLM

• 新增trust_remote_code参数，默认值为false，具体参考config.json中model_config下参数说明进行配置；
• SplitFuse特性支持以下后处理功能：
  • 忽略结束符继续推理；
  • 遇到stop词时答案是否包含stop词；
  • id转文本时是否跳过特殊token；
  • 在特定字符串停止；
  • 在特定token_id停止；
• KV Cache管理支持MLA（Multi-head Latent Attention）特性；支持DeepSeek V2模型。

3

MindIE SD

• 支持用户Diffusion Pipeline进行Lora权重热切；
• 支持SD3-Medium模型推理，支持序列压缩和Cache方案，支持采样器下沉；
• 支持OpenSora1.2视频生成模型推理，支持Cache方案，支持DSP多卡并行；
• 支持stableAudio文生语音类模型；
• 软件栈完成基础能力构筑。