昇腾社区首页
中文
注册

功能介绍

AscendIndexIVFSQT类,包含降维算法的三级检索IVFSQ算法,需要传入两个参数指明降维前后的维度信息,要求降维后维度能整除降维前的维度。适用于1000万级底库的场景。

需要按照IVFSQT算子生成方式,生成三级检索所需算子。

该类型带有模糊聚类功能:入桶前,使用threshold参数控制模糊程度。请根据底库容量和可用内存大小设置threshold参数值,过大的threshold会引起内存不足,导致失败。Atlas 200/300/500 推理产品环境建议设置[1.0, 1.1],Atlas 推理系列产品环境建议设置[1.0, 1.5]。搜索时建议使用batch size = 65536

使用流程为:1.构建index对象;2.train数据;3.add数据;4.update数据;5.search检索数据;6.析构index对象。update后不支持继续add数据。有新数据需要进行检索时,请将原来的index对象析构后,重新按照流程使用。

支持多线程并发调用,需要设置“MX_INDEX_MULTITHREAD”环境变量为1,即export MX_INDEX_MULTITHREAD=1,设置为其他值或者不设置,则表示不开启多线程功能。当前的特征检索内部会使用OMP做性能加速,OMP不支持与其他多线程机制混用。反复创建新线程使用OMP会导致内存持续累加,因此建议使用固定的线程来运行检索任务。