公司想调用大模型，打造公司知识库问答工具。各位大哥有推荐么？

[hwangyi]

公司想用通过自己的知识库，调用大模型，为用户提供自动问答服务。希望目标是基于知识库回答问题（不是照搬，是理解整理后的，同时不要脱离知识库随意发散）。各位大哥是否有推荐的大模型或是类似经验分享一二。

[hwangyi]

试过国内的几家大模型，感觉都不是很合适，例如，文心一言，智谱，kimi （现阶段效果最好）

[yiligi]

说实话百度那个 Appbuidler 确实难用，SDK 是半成品，做不到完全自动化。也试了一下阿里的大模型构建 RAG 应用，感觉上会比百度的好一些

[shuson]

精调又贵又不容易更新
直接 RAG 行了

[gaobh]

dify 一把嗦

[Tinet]

蹲个答案

[5sheep]

RAG

[veotax]

@hwangyi Casibase （ https://github.com/casibase/casibase ）是一套开源的企业级基于 Web 的 AI 知识数据库，直接带有 RAG 聊天功能，可以配置不同的大模型 API ，包括你说的：文心一言，智谱，kimi 等，企业级是指支持单点登录、多租户、管理员管理等企业常用功能。GitHub 已达到 2000+ stars ，欢迎体验~

[zhangzEric]

Dify 或者 coze 看一下？

[ahaooahaz]

推荐 sensetime

[zsk425]

有道有个：QAnything ，傻瓜式操作，提供一个选择，没横向对比过

[ryanwong97]

跟 LZ 类似的需求，现在主力在用 Dify ，同时还在备选观望 Bisheng 和 RAGFlow ，这俩还没部署，实际功能和体验尚不明确。

目前的主力解决方案是：框架用 Dify ，主要选择理由是完成度高，开箱即用。LLM 本地部署了 Qwen1.5-14b （基本上目前国产开源 10b 级别里面中文对话场景最强），也有 API 接入方式的 LLM ，比如 moonshot 。对智谱、百川和 yi 在实际任务中的表现比较失望。为了 RAG 任务本地还部了 embedding 模型和 rerank 模型。

知识库功能那块，Dify 目前的能力勉强算“能用”，自动分块基本上都是切稀碎，想要召回命中效果好，重新编辑 chunk 是必须的。而且对复杂文档的解析非常一般，这也是目前在看 RAGFlow 的原因（文档解析功能很牛，但整体框架的完成度太低）。

我这边的需求不仅仅是企业私有知识库，还需要对接企业数据库（ MySQL ）以实现 Chat to DB 的功能，目前还在研究解决方案摸索中。如果大家有合适的解决方案，也请推荐一下。

[hwangyi]

@ryanwong97 是的，我们暂时也是采用跟你类似的方案。尝试的模式是 KImi

[ryanwong97]

@hwangyi 之前大致算了一下 kimi 的 API 接入方式的使用费用。moonshot-128k 现在的价格，是 6 分钱每千 token ，按照 50 人规模团队测算，假设每人每天对话 20 轮，一个月下来（就工作日 22 天）的话，费用接近一张 4090 的钱。

[xixihahaliu01]

QAnything 正在优化文档解析效果，最快的一版是 pdf 和表格，准备这周发布，另外外部数据库接入方面修改下源码应该就可以支持

[chilaoqi]

我说实话，我用自己，并且推荐朋友用了 MaxKB （ 1Panel 团队的），随便找台服务器，注意是随便：

1. 1Panel 装上，在里面应用市场分别安装 MaxKB ，一分钟。
2. 装完 MaxKB 一看缺大模型啊，在 1Panel 应用市场安装 Ollama ，完事 run llama3 ，十分钟。
2.1 本地没劲儿，想白嫖其他在线模型，1Panel 安装个 free-kimi-api ，白嫖 kimi API
2.2 想统一管理（白嫖）其他模型，1Panel 应用商店安装 one-api
3. MaxKB 里面配置好大模型基座，知识库里面导入 pdf ，导入公司在线文档 URL
4. 开始整活。

30 分钟内无痛交差。

[zhangyou1010]

MaxKB

[zhangyou1010]

@chilaoqi 这个确实可以

[yb2313]

@ryanwong97 #11 ragflow 感觉怎么样

[ryanwong97]

@yb2313 除了文档解析比较好，其他都比较一般。不过文档解析是 RAG 的重要一环，不少业务场景对这块要求挺高。