自定义算子部署到算子库后,可进行ST(System Test)测试,指在真实的硬件环境中,对算子的输入输出进行测试,以验证算子的功能是否正确。
测试用例通常包括各种不同类型的数据输入和预期输出,以及一些边界情况和异常情况的测试。通过ST测试,可以确保算子功能的正确性,并且能够在实际应用中正常运行。
功能描述
CANN开发套件包中提供了ST测试工具:msopst,支持生成算子的ST测试用例并在硬件环境中执行。
具有如下功能:
- 根据算子测试用例定义文件生成ST测试数据及测试用例执行代码,在硬件环境上执行算子测试用例。
- 自动生成运行报表(st_report.json)功能,报表记录了测试用例信息及各阶段运行情况。
- 根据用户定义并配置的算子期望数据生成函数,回显期望算子输出和实际算子输出的对比测试结果。
工具路径
通过可执行文件“msopst”进行ST测试,其功能和安装路径如下。
表1 msopst文件介绍
文件名 |
功能 |
路径 |
msopst |
ST测试工具。 |
CANN软件安装后文件存储路径中的“python/site-packages/bin”。 |
使用前提
- 使用此工具生成算子测试用例前,需要将要测试的算子部署到算子库中。
- 若在实现算子ST功能验证时使用到AI框架,请完成所需AI框架的安装。
TensorFlow框架的安装请参见。
PyTorch框架的安装请参见。
补充说明
msopst工具其他参数说明可参考表2。
表2 参数说明
参数名称 |
参数描述 |
说明 |
mi |
仅供MindStudio侧使用。 |
机机接口,用户无需关注。 |
get_shape |
获取shape。 |
change_shape |
修改shape。 |
gen |
生成acl_op.json。 |
gen_testcase |
生成测试文件及数据。 |
compare |
结果比对。 |
compare_by_path |
指定路径文件结果比对。 |