开发前准备
环境准备
支持的产品型号:Atlas A2训练系列产品/Atlas 800I A2推理产品。
- 当前仅支持python3.9。安装方法请参考python官网https://www.python.org/。
- DataFlow调用Python开发的UDF时,需要确保g++版本为7.x。
- 已经安装好开发套件包Ascend-cann-toolkit,详细操作请参见《CANN 软件安装指南》。
AI Server场景下,安装节点应采用容器/虚拟机隔离,容器/虚拟机的生命周期与业务进程/租户保持一致。容器/虚拟机生命周期结束时要清理持久化数据,避免对下一个业务进程/租户的影响。
- 安装CANN软件后,使用CANN运行用户编译、运行时,需要以CANN运行用户登录环境,执行如下命令设置环境变量。其中${install_path}为CANN软件的安装目录,例如:root用户默认是"/usr/local/Ascend"。
- 必选环境变量
source ${install_path}/ascend-toolkit/set_env.sh export RESOURCE_CONFIG_PATH=numa_config.json
- 可选环境变量
export ASCEND_GLOBAL_LOG_LEVEL=0 export ASCEND_SLOG_PRINT_TO_STDOUT=1
具体说明请参考《环境变量参考》。
- 必选环境变量
上述环境变量只在当前窗口生效,用户可以将上述命令写入~/.bashrc文件,使其永久生效,方法如下:
- 以安装用户在任意目录下执行vi ~/.bashrc,在该文件最后添加上述内容。
- 执行:wq!命令保存文件并退出。
- 执行source ~/.bashrc使环境变量生效。
网络分析
通过FlowData和FlowNode构建Graph,需要根据网络,明确如下信息:
- 网络包含几个输入,通过FlowData表示。
- 网络包含几个计算节点,通过FlowNode表示。
- FlowNode里的实际计算由pp表示,pp有两种,FuncProcessPoint和GraphProcessPoint,如果是GraphProcessPoint,需要将原始模型保存为IR文件即可。如果是FuncProcessPoint参考UDF开发自定义用户功能。