本案例展示了在矩阵乘算子场景中,使用Matmul高阶API进行计算,对内轴(内轴即矩阵的行方向)非256字节对齐的输入矩阵,在AIV核上进行ND2NZ格式转换对算子性能提升的效果。为提升Cube单元的计算效率,ND格式的输入矩阵在执行Cube计算前会先转换为NZ格式,ND格式和NZ格式的具体内容可参考数据格式。Matmul API内部使用随路ND2NZ指令同时进行格式转换以及数据搬运。但在数据非256字节对齐时,随路ND2NZ指令存在带宽利用率低的问题。因此输入矩阵的内轴非256字节对齐时,在进行Matmul计算前,利用AIV核上Vector计算单元完成ND格式到NZ格式的转换,可以避免随路非