昇腾社区首页
中文
注册

rdma_service_level

产品支持情况

产品

是否支持

Atlas A3 训练系列产品/Atlas A3 推理系列产品

Atlas 800I A2 推理产品/A200I A2 Box 异构组件

Atlas A2 训练系列产品

x

Atlas 200I/500 A2 推理产品

x

Atlas 推理系列产品

x

Atlas 训练系列产品

x

函数功能

在开启CacheManager场景下,用于配置RDMA网卡的service level

函数原型

1
rdma_service_level(rdma_service_level)

参数说明

参数名称

数据类型

取值说明

rdma_service_level

int

用于配置RDMA网卡的service level

取值范围为[0, 7],默认值为4。

调用示例

1
2
3
from llm_datadist import LLMConfig
llm_config = LLMConfig()
llm_config.rdma_service_level = 2

返回值

正常情况下无返回值。

参数错误可能抛出TypeError或ValueError。

约束说明

无。