做 Deepseek 本地化部署，主要做知识库。现在主流是如何操作

[tinola]

deepseek 本地化部署,网上现在资料挺多，想了解一下主流的要做知训库是什么架构呢。

知识库主要是一些规章制度，docx,pdf,常用的这些文档。

另外如果要支持 10-20 人左右，硬件需要什么规格。32b 或者 70b 是否能满足要求？

[charlestang]

同问，我也想知道，另外我还想知道，当我们在谈论“知识库” 的时候，我们在说什么？

[tinola]

@charlestang 我们场景主要是有很多的历史资料(也是电子档，word ，pdf,excel ，图片等 常用文档)，那我的理解就是基于这些资料来对提问做精准回答或者推理。

[RRRSSS]

为什么要本地部署 DeepSeek ，感觉没什么必要，开个云服务就行了，我用的就是火山。

做知识库的话，要么在火山上建立知识库去调试，要么本地弄个 Dify 然后随便用个 LLM 去做就行了。

[MoeDisk]

..如果是一些规章制度和文档的话，并且 10 到 20 人，不考虑并发，
感觉一块 RK3588 板子上搭个 DeepSeek 就足够了。

[tinola]

@RRRSSS 嗯是的，客观原因不考虑云部署。本地部署的话就想系统了解一下。然后就是实际使用会有什么问题，不仅仅只是试验性使用一下下。
@MoeDisk 哈，真的么 RK3588 上跑的是什么。

[MoeDisk]

@tinola RK3588 芯的开发板，几百块一块，一般跑厂家给的 Ubuntu 就行，都会有 rknn 那套东西，再通过 llm 跑 DeepSeek 本地模型，网上有转换好的直接可以下。用作生产力注意数据容灾备份。

[tinola]

@MoeDisk #6 感谢回复，选择什么样的 ds 版本较合适？

[purr4279]

我也想知道有哪些合适的方案:
积累与工作相关的期刊、学位论文、专利、国标、行标、企标、报告等电子文档达 2K+，主要格式有 PDF 、CAJ 、doc 、txt 、xls 、ppt 、epub 等，支持聊天和定位文档。

[MoeDisk]

@tinola 看选的开发板配置，但在 3588 上就不建议选择太大版本的模型了，带不动，其实看你需求小模型也够了。实在不行攒一台 x86 ，显卡搞好点，注意做好数据容灾。

[xinmans]

dify 挺好，但是向量化的模型试过几个，效果不好啊。有成功经验可以分享下

[lifechan]

有成熟的方案吧，魚上看 AI 服務器 有做這个的，找找服務商，公司的最好別自己弄