产品
是否支持
Atlas 800I A2 推理产品/A200I A2 Box 异构组件
√
Atlas A2 训练系列产品
x
Atlas 200I/500 A2 推理产品
Atlas 推理系列产品
Atlas 训练系列产品
设置请求Decode集群ID。
1
decoder_cluster_id(decoder_cluster_id)
参数名称
数据类型
取值说明
decoder_cluster_id
int
请求Decode集群ID。
1 2
llm_req = LLMReq() llm_req.decoder_cluster_id = 1
无