使用样例

限制与约束

表1 MTP补充参数：ModelDeployConfig中的ModelConfig参数

配置项

取值类型

取值范围

配置说明

plugin_params

std::string

plugin_type: mtp

num_speculative_tokens: [1]
  • plugin_type设置为“mtp”，表示选择mtp特性。
  • num_speculative_tokens表示MTP的层数，只能设置为“1”。

配置示例：

{\"plugin_type\":\"mtp\",\"num_speculative_tokens\": 1}

操作步骤

  1. 配置服务化参数。该特性需配合MindIE Service使用，按照表1在{MindIE安装目录}/latest/mindie-service/conf/config.json配置文件中添加对应参数，样例如下所示。

     1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
    "ModelDeployConfig" :
{
   "maxSeqLen" : 2560,
   "maxInputTokenLen" : 2048,
   "truncation" : false,
   "ModelConfig" : [
     {
         "plugin_params": "{\"plugin_type\":\"mtp\",\"num_speculative_tokens\": 1}",
         "modelInstanceType" : "Standard",
         "modelName" : "DeepSeek-R1_w8a8",
         "modelWeightPath" : "/data/weights/DeepSeek-R1_w8a8",
         "worldSize" : 8,
         "cpuMemSize" : 5,
         "npuMemSize" : -1,
         "backendType" : "atb",
         "trustRemoteCode" : false
      }
   ]
},

  2. 启动服务，具体请参考启动服务。
父主题： MTP