CloseVector: 免费的 Vector Database / 向量数据库

[MegaPortal]

先说缺点 😅：

1. 慢：服务部署在美东，500ms+ 毫秒的检索；
2. 建立索引依然很慢，每条记录 500ms+ 的插入；
3. 插入索引不支持并发；
4. 索引大小被限制在 4MB ，大约 500 条记录；
5. 无法删除单条记录；

优点：

1. 目前免费：整个套解决方案最贵的应该是 OpenAI Embeddings 的费用；
2. 查询的可伸缩性能应该还可以；

适用场景：

1. ChatWithPDF/PPT 之类的应用，单篇文章检索；
2. 候选条目在 500 或者以下的推荐，具体 DEMO 可以查看项目首页： https://closevector.getmegaportal.com/

使用方法：

https://closevector-docs.getmegaportal.com/docs/tutorial

规划：

1. 建立索引本地化，加快索引速度；
2. 想办法讲索引大小的限制提升至 100MB 级别；

题外话：

最近经济形势确实不佳，外部机会有限，只能忍受 996 的工作环境。虽然想在 LLMs 这个浪潮中做些小项目，但是时间不允许。共勉。

[amoia50]

有 github 地址吗，学习下

[MegaPortal]

@amoia50 后面完善完善，再考虑开源哈。

[MegaPortal]

基于 Hnswlib ，重写了 CloseVector 的实现： https://closevector-docs.getmegaportal.com/blog/release

1. 通过 WASM, CloseVector 现在可以在浏览器上运行，这可能适合一些前端插件类的应用；
2. 我们添加了针对 node.js 和 web 的 npm 库，以便于快速集成，同时这些库与 langchain 是兼容的；
3. 创建数据库后，可以通过 API 上传到 CloseVector 后台，这样在 node.js 或 web 环境中方便下次加载和使用。

CloseVector 的文档站点的搜索功能是基于 CloseVector 本身实现的。您可以访问文档站点来体验： https://closevector-docs.getmegaportal.com/

查看文档站点的具体实现： https://github.com/MegaPortal/closevector-doc