AscendIndexInt8IVFConfig
API定义 |
inline AscendIndexInt8IVFConfig(std::vector<int> devices, int64_t resourceSize = INT8_IVF_DEFAULT_MEM) |
---|---|
功能描述 |
AscendIndexInt8IVFConfig的构造函数,指定NPU芯片资源和资源池大小。 |
输入 |
std::vector<int> devices:NPU芯片资源。 int64_t resourceSize:设备侧预置的内存池大小,单位为Byte,计算过程中存储中间结果的内存空间,用于避免过程中动态申请内存造成性能波动。默认参数为头文件中的“INT8_IVF_DEFAULT_MEM”。该参数通过底库大小和search的batch数共同确定,在底库大于或等于1000万且batch数大于或等于16时建议设置1024MB。 |
输出 |
无 |
返回值 |
无 |
约束说明 |
|