FlatInt8AT
用法 |
python3 flat_at_int8_generate_model.py --cores <core_num> -d <dim> -c <code_num> -p <process_id> --soc-version <soc_version> -t <npu_type> |
---|---|
参数名称 |
<core_num>:昇腾AI处理器AI Core的个数,默认为“8”。 <dim>:输入特征向量维度。 <code_num>:与输入特征作对比的底库特征数。 <process_id>:批量生成算子多进程调度的进程ID,默认值为“0”,无需设置。 <soc_version>:昇腾AI处理器的型号,默认为“Ascend310P3”。 <npu_type>:硬件形态,当前支持Atlas 推理系列产品,取值范围分别为:310、310P,默认为“310P”。 |
说明 |
执行此命令,用户可以得到一组算子模型文件。 FlatInt8AT优化Atlas 推理系列产品使用场景下,IVFSQT中train、add与update的耗时。 |
约束说明 |
|
父主题: 算子生成说明