昇腾社区首页
中文
注册

add_dense_and_sparse

功能描述

向量数据库添加文本索引。先将文本块embed得到稠密向量和稀疏向量,然后把向量存入向量数据库。

函数原型

def add_dense_and_sparse(ids, dense_embeddings, sparse_embeddings, docs, metadatas, **kwargs)

参数说明

参数名

数据类型

是否必选

说明

ids

List[int]

必选

待添加向量的索引ID

dense_embeddings

ndarray

必选

numpy的数组对象。

sparse_embeddings

List[Dict[int, float]]

必选

稀疏向量对象。

docs

List[str]

可选

待添加向量的文本。

metadatas

List[dict]

可选

待添加向量的文本元数据信息。

kwargs

Dict

可选

关键字参数,当前仅支持document_id,为待添加向量所属文档的id,传入的其余关键字参数均无效

dense_embeddings的shape必须等于2,dense_embeddings包含的向量数量需要等于ids的长度,sparse_embeddings包含的向量数量需要等于ids的长度,docs包含的文档数需要等于ids的长度,单次添加向量的总数小于1000亿。