HCCL_BUFFSIZE

功能描述

此环境变量用于控制两个NPU之间共享数据的缓存区大小。单位为M,取值范围:[1,2048],默认值是200M。

集合通信网络中,每一个HCCL通信域都会占用HCCL_BUFFSIZE大小的缓存区。若集群网络中存在较多的HCCL通信域,此缓存区占用量就会增多,可能存在影响模型数据正常存放的风险,此种场景下,可通过此环境变量减少通信域占用的缓存区大小;若业务的模型数据量较小,但通信数据量较大,则可通过此环境变量增大HCCL通信域占用的缓存区大小,提升数据通信效率。

此环境变量一般用于以下场景:
  • 动态shape网络场景。
  • 开发人员调用集合通信库HCCL的C语言接口进行框架对接的场景,HCCL库的C语言接口可参见集合通信OpBase接口参考

配置示例

export HCCL_BUFFSIZE=200