IVFSP

python3 ivfsp_generate_model.py --cores <core_num> -d <dim> -nonzero_num <nonzero num> -nlist <centroid num> -handle_batch <nprobe handle batch> -code_num <code search list size> -p <process_id>

<core_num>：AI Core的个数。

<dim>：特征向量维度。

<nonzero num>：特征向量压缩后非零维度个数。

<centroid num>：簇聚类中心个数。与IVFSP训练算子模型文件生成中的<centroid num>保持一致。

<nprobe handle batch>：检索时每次下发计算时的候选桶数量。

<code search list size>：检索时每次下发计算时的每个桶的最大样本数量，若桶太大，程序会自动根据searchListSize将桶拆成多次算子下发计算距离。与IVFSP训练算子模型文件生成中的<codebook batch size>保持一致。

<process_id>：批量生成算子多进程调度的进程ID，默认值为“0”，无需设置。

执行此命令，用户可以得到一组用于IVFSP检索时的AI Core算子模型文件，用户需要自行修改命令中参数。

• dim ∈ {64, 128, 256}。
• nonzero num是16的倍数且小于dim。
• centroid num∈ {256, 512, 1024, 2048, 4096, 8192, 16384}。
• nprobe handle batch需为16的倍数，且小于等于centroid num。

python3 ivfsp_aicpu_generate_model.py --cores <core_num> -p <process_id>

<core_num>：AI Core的个数。

<process_id>：批量生成算子多进程调度的进程ID，默认值为“0”，无需设置。

执行此命令，用户可以得到一组用于IVFSP检索时的AI CPU算子模型文件。

对于Atlas 推理系列产品，“--cores <core_num>”请设置为--cores 8。

python3 ivfsp_generate_pyacl_model.py --cores <core_num> -d <dim> -nonzero_num <nonzero num> -nlist <centroid num> -batch_size <batch size> -code_num <codebook batch size> -p <process_id>

<core_num>：AI Core的个数。

<dim>：特征向量维度。

<nonzero num>：特征向量压缩后非零维度个数。

<centroid num>：簇聚类中心个数。与IVFSP业务算子模型文件生成中的<centroid num>保持一致。

<batch size>：训练时以batch size大小执行训练。

<codebook batch size>：训练时每次最大按codebook batch size样本数量操作码本，必须为2的幂次。与IVFSP业务算子模型文件生成中的<search list size>保持一致。

<process_id>：批量生成算子多进程调度的进程ID，默认值为“0”，无需设置。

执行此命令，用户可以得到一组用于IVFSP检索时的算子模型文件，用户需要自行修改命令中参数。

• dim ∈ {64, 128, 256}。
• nonzero num需为16的倍数且小于dim。
• centroid num∈ {256, 512, 1024, 2048, 4096, 8192, 16384}。
• batch size需为16的倍数。
• codebook batch size需为16的倍数。