总体说明

在推理业务中,推荐模型中,部分算子(如where等)在NPU上亲和性差,会存在切分到CPU上进行运算的场景,所以针对tf的cpu算子,用sve指令集进行性能优化。sve相关资料可以查看Introduction to SVEARM C Language Extensions for SVE

本章节用SVE指令集优化了TF CPU侧的4个算子,分别是less、greater、floormod和where。

可在Rec SDK源码地址获取组件源码,具体安装使用方法可参考源码中的“cust_op/tf_cpu_op/README.md”文件。