Botastic：一个自用 LLMs AI 框架，支持类似 ChatGPT 的 Plugin 的模式引入外部数据
lyric · lyricat · 2023-03-24 19:36:03 +08:00 · 2355 次点击这是一个创建于 608 天前的主题，其中的信息可能已经有所发展或是发生改变。
动机是这样的：
- OpenAI 的 LLMs 在生成知识和推理方面非常出色，因为它们预先训练了大量公开可用的数据。
- 但是实际应用中，我们需要 LLMs 能够对我们自己的数据进行推理。
- 对模型搞 fine-tuning 需要很多数据，而且很贵，而且很多场景并不需要用到 fine-tuning 。
- 把外部数据嵌入 LLMs 是一个目前最常用的解决方案。包括 OpenAI ChatGPT Plugins, LlamaIndex 都是用的类似方案。Botastic 也通过 Middleware 支持。
- 我们做 Botastic 的目标是解决自己搞 AI 小程序的需求，而且我们的技术栈是 Go 。总之会长期支持。
- 旨在提供开箱即用的解决方案，包括对接 OpenAI （未来还会对接其他 LLMs 和支持内置模型，毕竟不能只依赖 OpenAI ），支持 Restful API 方便现有系统调用等等。
- 支持自己托管（开源的嘛）
详细的情况可以看看源码的 repo: https://github.com/pandodao/botastic （希望能给我多多🌟谢谢：）
另外我还写了个接入教程： https://developers.pando.im/guide/botastic.html
两个 showcases:
- Ask Vitalik: A digital avatar of Vitalik Buterin.
- Ask Scott Alexander: A digital avatar of Scott Alexander.
 |
1
shuxiaokai 2023-03-24 20:04:59 +08:00 via Android
已 Star ⭐ 加油！
|
 |
2
lovestudykid 2023-03-25 07:28:04 +08:00
相比于自己用 llama_index 有什么好处呢？
|
 |
3
lyric OP @lovestudykid 可以十几分钟部署一个完整的服务给第三方用
|
 |
4
takatost 2023-03-25 21:37:06 +08:00
这不是 plugin 吧，这是 chain 的概念，如果是 plugin ，middleware 就不会是这样顺序执行的了，前一个输出作为后一个输入，而是可以自动选择用什么工具
|
 |
6
l0wkey 2023-03-26 01:11:54 +08:00 via iPhone
看很多方案都是基于向量的，咨询个情况：针对中英混合材料，用中文提问，或者相反情况。向量化的搜索效果是不是会不太好..
比如材料里面写 -API 限制:10 QPS 提问时候问 -接口的每秒请求数是限多少 |
Select Language