昇腾社区首页
中文
注册
开发者
下载

switch_role

产品支持情况

产品

是否支持

Atlas A3 训练系列产品/Atlas A3 推理系列产品

Atlas 800I A2 推理产品/A200I A2 Box 异构组件

Atlas A2 训练系列产品

x

Atlas 200I/500 A2 推理产品

x

Atlas 推理系列产品

x

Atlas 训练系列产品

x

函数功能

切换当前LLMDataDist的角色,同时可通过配置switch_options切换Client或者Server。

函数原型

1
switch_role(self, role: LLMRole, switch_options: Optional[Dict[str, str]] = None)

参数说明

参数名称

数据类型

取值说明

role

LLMRole

切换的目标角色。

switch_options

options: Dict[str, str]

切换角色配置项。

可选参数,默认值为None。

若作为Server,需通过listen_ip_info配置监听的Host IP和端口,如"192.168.1.1:26000";若未设置则作为Client。

Server切换为Client将会关闭之前监听的端口;如果仅切换Server的监听端口,可通过options设置监听另一个端口,将关闭之前的监听端口。

调用示例

请参考switch_role_sample

返回值

  • 正常情况下无返回值。
  • 传入数据类型错误情况下会抛出TypeError或ValueError异常。
  • 如果switch_role时存在残留链路资源,则会抛出LLMException,status_code为LLM_EXIST_LINK。

约束说明