tft_set_optimizer_replica
接口功能
设置rank对应的优化器状态数据副本关系。
接口格式
mindio_ttp.tft_set_optimizer_replica(rank: int, replica_info: list)
接口参数
参数 |
是否必选 |
说明 |
取值要求 |
|---|---|---|---|
rank |
必选 |
当前执行训练任务的NPU卡号。 |
大于或等于0。 |
replica_info |
必选 |
副本关系list。 |
[
{
type:enum,不同的优化器副本关系，Attention=0, Moe=1
rank_list:list,对应的一组副本关系rank列表，pytorch场景为DP组rank list,MindSpore场景为该卡对应的所有副本卡的list
replica_cnt:int，副本数，pytorch场景为副本数，mindspore场景为rank_list的长度
replica_shift:int，pytorch场景有效
},
]
|
返回值
无
父主题： API接口参考