AscendIndexInt8Config
AscendIndexInt8需要使用对应的AscendIndexInt8Config执行对应资源的初始化。
成员介绍
成员 |
类型 |
说明 |
---|---|---|
deviceList |
std::vector<int> |
Device侧设备ID。 |
resourceSize |
int64_t |
设备侧预置的内存池大小,单位为字节。 |
接口说明
API定义 |
AscendIndexInt8Config() |
---|---|
功能描述 |
AscendIndexInt8Config的默认构造函数,默认指定的deviceList为0(即指定NPU的第0个昇腾AI处理器作为AscendFaiss执行检索的异构计算平台),采用默认的资源池大小。 |
输入 |
无 |
输出 |
无 |
返回值 |
无 |
约束说明 |
无 |
API定义 |
AscendIndexInt8Config(std::initializer_list<int> devices, int64_t resources = INDEX_INT8_DEFAULT_MEM) |
---|---|
功能描述 |
AscendIndexInt8Config的构造函数,生成AscendIndexInt8Config,此时根据“devices”中配置的值设置Device侧昇腾AI处理器资源,配置资源池大小。 |
输入 |
std::initializer_list<int> devices:Device侧设备ID。 int64_t resources:设备侧预置的内存池大小,单位为Byte,计算过程中存储中间结果的内存空间,用于避免计算过程中动态申请内存造成性能波动。默认参数为头文件中的“INDEX_INT8_DEFAULT_MEM”。该参数通过底库大小和search的batch数共同确定,在底库大于或等于1000万且batch数大于或等于16时建议设置1024MB。 |
输出 |
无 |
返回值 |
无 |
约束说明 |
|
API定义 |
AscendIndexInt8Config(std::vector<int> devices, int64_t resources = INDEX_INT8_DEFAULT_MEM) |
---|---|
功能描述 |
AscendIndexInt8Config的构造函数,生成AscendIndexInt8Config,此时根据“devices”中配置的值设置Device侧昇腾AI处理器资源,配置资源池大小。 |
输入 |
std::vector<int> devices:Device侧设备ID。 int64_t resources:设备侧预置的内存池大小,单位为Byte,计算过程中存储中间结果的内存空间,用于避免计算过程中动态申请内存造成性能波动。默认参数为头文件中的“INDEX_INT8_DEFAULT_MEM”。该参数通过底库大小和search的batch数共同确定,在底库大于或等于1000万且batch数大于或等于16时建议设置1024MB。 |
输出 |
无 |
返回值 |
无 |
约束说明 |
|