SPM Buffer功能支持对Unified Buffer的暂存操作,当Unified Buffer内存有溢出风险时,可以将Unified Buffer的数据先拷贝到SPM(Spill Memory) Buffer暂存,具体使用时再取回。 使用方法如下: 调用InitSpmBuffer接口完成初始化操作。 调用WriteSpmBuffer接口完成数据的拷贝暂存操作。 需要使用暂存的数据时,调用ReadSpmBuffer接口完成数据的取回操作。 针对 Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件 ,仅支持暂存到
矩阵向量乘(General Matrix-Vector multiplication),即GEMV,是指Matmul计算中M=1,形状为(1, K)的左矩阵A与形状为(K, N)的右矩阵B进行矩阵乘运算的场景。Matmul支持在Tiling侧与Kernel侧通过配置A矩阵的数据格式为VECTOR来开启GEMV模式,从而高效处理M=1的计算场景。若在M=1时未开启GEMV模式,Matmul计算则将M方向作为非对齐场景进行处理。GEMV模式相较于非对齐处理方式,搬运数据量更少,性能更好。 以M=1,K=256,N=32,左右矩阵数据类型为half的Matmul为具体示例,说明GEMV模式的Matm