- 头文件:#include <ge/ge_api.h>
- 库文件:libge_runner.so
该接口已废弃,请勿使用。
大模型分布式编译切分场景下使用:Graph太大场景下,需要调用该接口,进行切分图,并将切分后的图保存为pb文件。
切分图接口,对Session内的图按照AddGraph的顺序进行切分,切分后的图保存为pb文件。
切分方式由中的ge.graphParallelOptionPath参数配置,若未开启并行切分功能,则接口不会进行切分。
切分后的图,命名规则:
- 若工作在SPMD模式,切分后的图的命名规则为:{原图名}_{ClusterId}_{ItemId}_{ChipId}_{VirtualStageId}_{原图GraphId},切分后的图的个数将为原图的个数*切分份数。
- 若工作在非SPMD模式,切分后的图命名规则为:{原图名}_{原图GraphId},切分后的图的个数将等于原图个数。
切分图以后,原图将不在Session内存在,生成的新的切分后图的GraphId将使用其他ID替代原图的GraphId。
-
ShardGraphsToFile适用于大模型分布式编译切分场景,而SaveGraphsToPb适用于任何图。
[object Object]
当前仅在并行切分模式开启时生效。
[object Object]