昇腾社区首页
中文
注册

add_dense_and_sparse

功能描述

向量数据库添加文本索引。先将文本块embedding得到稠密向量和稀疏向量,然后把向量存入向量数据库。

函数原型

def add_dense_and_sparse(ids, dense_embeddings, sparse_embeddings, document_id)

参数说明

参数名

数据类型

是否必选

说明

ids

List[int]

必选

待添加向量的索引ID

dense_embeddings

ndarray

必选

numpy的数组对象。

sparse_embeddings

List[Dict[int, float]]

必选

稀疏向量对象。

document_id

int

可选

待添加向量所属文档的id

  • dense_embeddings的shape必须等于2,dense_embeddings包含的向量数量需要等于ids的长度。
  • sparse_embeddings包含的向量数量需要等于ids的长度,单次添加向量的总数小于1000亿。