昇腾社区首页
中文
注册
开发者
下载

SetRole

产品支持情况

产品

是否支持

Atlas A3 训练系列产品/Atlas A3 推理系列产品

Atlas 800I A2 推理产品/A200I A2 Box 异构组件

Atlas A2 训练系列产品

x

Atlas 200I/500 A2 推理产品

x

Atlas 推理系列产品

x

Atlas 训练系列产品

x

函数功能

设置LLM-DataDist的角色。

函数原型

1
Status SetRole(LlmRole role, const std::map<AscendString, AscendString> &options = {})

参数说明

参数名

输入/输出

描述

role

输入

角色类型,类型为LlmRole

options

输入

设置角色的参数,当前支持的参数请参见表1

表1 配置项

配置项

可选/必选

描述

OPTION_LISTEN_IP_INFO

可选

  • 当LLM-DataDist初始化是Client时,如果需要切换为Server,则配置该option为侦听的Host的IP地址和端口,配置示例:"192.168.1.1:26000"。否则不需要配置。
  • 当LLM-DataDist初始化是Server时,若不配置该option,则表示切换为Client。若配置了该opiton,则表示当前仍是Server,如果配置的端口号与初始化不一致,以当前配置为准。配置示例:"192.168.1.1:26001"。

调用示例

请参考prompt_sample4

返回值

  • LLM_SUCCESS:设置角色成功
  • LLM_PARAM_INVALID:参数错误
  • LLM_EXIST_LINK:存在残留链路资源
  • 其他:失败

异常处理

约束说明

使用前需与当前DataDist的链路进行断链。