PyTorch训练或在线推理场景,可通过此环境变量控制缓存分配器行为。
可选参数:
实验特性,默认为False。如果设置为True,此设置将指示缓存分配器创建特定的内存块分配,这些内存块后续可以扩展,以便能更好地处理内存使用中频繁变更使用内存大小的情况。
参数配置格式PYTORCH_NPU_ALLOC_CONF=<option1>:<value1>,<option2>:<value2>。
max_split_size_mb和garbage_collection_threshold中任意一个为非默认值时,expandable_segments必须设置为False。
expandable_segments设置为True,即开启虚拟内存特性时,不能使用单进程多卡特性。
示例一:
export PYTORCH_NPU_ALLOC_CONF=max_split_size_mb:32,garbage_collection_threshold:0.6
示例二:
export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True
否
expandable_segments特性需在Ascend HDK 23.0.0及以上版本上使用。
Atlas 训练系列产品
Atlas A2 训练系列产品