FastGPT+OneAPI+chatGLM+Embedding-2搭建私人知识库
收藏回复举报
FastGPT+OneAPI+chatGLM+Embedding-2搭建私人知识库
发表于2024-02-06 18:27:15
0 查看

使用FastGPT+OneAPI+chatGLM+Embedding-2搭建私人知识库

众所周知,市面上有很多的笔记记录软件,印象笔记,Typora,语雀等 

但是存在以下很明显的问题:

1.架构非常臃肿,如果存储达到一定量级,读取需要花费大量时间

2.内容更新的时候软件同步网络, 会出现卡顿延迟现象

3.搜索功能要么搜索不全,要么就是给出多个可能位置,再进行细查询

用上述架构,可以从PDF ,MD 等各种你想的格式中获取信息

通过Embedding-2的向量模型转换成向量数据,搜索问题与向量数据的相似性,提供

对应的笔记记录,或者是官方记录给大预言模型,从而让大预言模型总结出

自己QA所需要的答案

cke_122040.png

cke_123825.png

个人认为效果非常的不错,当然为了兼容智谱相应的模型,修改了OneAPI的源码

如果有需要的,可以私信我

cke_411798.png

相较Flowise 构建私人知识数据库的方式,fastGPT更加人性化,中国化

因为构建私人知识数据库的时候,最怕的就是大语言模型乱说一通,胡编乱造

企业应用更看重这一点,否则如果构建金融数据库,乱给一个数据

那么后果是非常严重的,flowise没法解决这一点

flowise 使用的是pincone 或者chroma 类似的向量数据中心

没法提供对应的快照,而fastGPT是提供了引用位置对照的,可以通过引用切片数据实时对照来解决安全性问题

cke_413207.png

这里使用的大语言模型是应用在服务器端

那么问题来了,这样的一套设备是否可能

迁移到DK A2上面来呢?

我认为可能!

有时间我会延续下面的一个工作

我要发帖子