- 算子功能:实现fusedSgd算子。将传统 SGD 更新过程中原本分散的多个细粒度操作(如梯度缩放、权重衰减、动量更新、参数赋值等)融合为单个NPU Kernel执行。
- 计算公式:
算子执行接口为,必须先调用“aclnnFusedSgdGetWorkspaceSize”接口获取入参并根据计算流程计算所需workspace大小,再调用“aclnnFusedSgd”接口执行计算。
[object Object]
[object Object]
- 参数说明:
- paramsRef、gradsRef、momentumBufferListOptionalRef、grad_scale的数据类型在支持的范围之内。
- paramsRef、gradsRef与momentumBufferListOptionalRef及其中各个tensor具有相同的数据类型。
- paramsRef、gradsRef与momentumBufferListOptionalRef中tensor的shape维度小于等于8。
- paramsRef、gradsRef与momentumBufferListOptionalRef(momentumBufferListOptionalRef不为空时)中相同索引tensor的shape相同。
- paramsRef、gradsRef与momentumBufferListOptionalRef(momentumBufferListOptionalRef不为空时)中不能有空指针。
- lr、momentum、weightDecay、dampening的值大于等于0。
- gradScale不等于0。
[object Object]