求 DeepSeekR1 性价比硬件推荐

DeepSeekR1

性价比

小巧

49 条回复 • 2025-03-03 17:26:35 +08:00

1

cnscud

13 小时 50 分钟前

8

云服务。你用 1 一个月就没兴趣自建服务了，所以云服务最合适

2

xyfan

13 小时 41 分钟前

清华的 ktransformers 应该是最性价比的配置方案了，单个消费级 GPU+足够大（ 1T ）内存就能跑 INT8 量化版，内存再大一些应该也能跑 FP 版，除非上水冷否则噪音不会太小，成本大头在 3090/4090 显卡和大量内存

3

klo424

OP

13 小时 26 分钟前

@cnscud 是买服务器自己搭建么？云服务器带显卡？

4

klo424

OP

13 小时 24 分钟前

@xyfan 查了一下 ktransformers 是框架？我需要硬件推荐。

5

knva

13 小时 19 分钟前

买个 api 玩玩得了。

6

xytest

13 小时 17 分钟前

@xyfan 但是这方案内存也贵呀

7

zhangH258

13 小时 16 分钟前

@klo424 云服务器什么都带的，可以自己选择套餐和内容。我最近也想要搞，长期的话，确实还是自己搞服务器好一点，云服务器的成本不低来着

8

Chihaya0824

13 小时 12 分钟前

买 api 得了，老实说，同时实现 1+2+3 ，不太可能，特别是 1
预算再少也要花 10k-14k 吧，那种预算下根本不可能有水冷，而且你要买的还是二手服务器，那不能说是噪音小，只能说是天天起飞

9

Greenm

13 小时 5 分钟前

DeepSeek R1 就跟性价比没关系，更别提噪音小这种问题了，如果是原版纯用 GPU 版本跑，需求是 20 块 4090 或者 8 块 H800 ，多少公司也跑不起满血版 R1 ，如果是用 ktransformers 内存版本，速度比起 GPU 来说慢很多，况且内存价格也不便宜。

个人使用建议考虑下官方 API 接口更实际呢。

10

cnscud

13 小时 0 分钟前

@klo424 云上也有显卡选择就是组个云服务器玩玩。用 API 更省钱

11

joequan

12 小时 51 分钟前

满血 671Bdeepseek r1 至少要两台 8 卡 h100 的服务器吧，减少噪音的话可以单独家里弄个低温隔音机房。说实话，与其自己折腾，不如租个云服务器，比自己搭成本会低一些。但为什么不用官方 api 呢？

12

zzzyk

12 小时 48 分钟前

mac mini

13

easing

12 小时 43 分钟前

2

家里自己部署满血版么。。。你说的这些大厂那么多资源都做不到和 DeepSeek 公司一样的 cost ，自己就别想了。
还是说只搞一个小参数版本玩一玩

14

AoEiuV020JP

12 小时 39 分钟前

需要巨大显存所以 mac 应该算性价比高的了，几万块就够了，噪音相对小，

15

AoEiuV020JP

12 小时 38 分钟前

@AoEiuV020JP #13 这应该是十几万吧，原谅我对顶配 mac 价格不敏感，

16

234ygg

12 小时 8 分钟前

本地就算用 4090 5090 跑 32b 都亏麻了，api 要比自己折腾便宜太多太多了

17

xyfan

12 小时 7 分钟前

@klo424 我说的就是硬件，自己攒机，服务器级别主板+4090 显卡+12 根 128G 内存+SSD ，估计 5 万以内就能搭出来，应该是最低成本的方案了。

18

marquina

12 小时 1 分钟前

1

@klo424 #4 “查了一下 ktransformers 是框架？我需要硬件推荐。”
deepseek 和常规 llm 在架构上有较大差别（非常稀疏），而 llm 对硬件的要求相比常规应用又有较大区别。所以部署 deepseek 有多种推理方案：纯 CPU 、CPU/GPU 混合（ ktransformers ）、纯 GPU ，每种方案的硬件配置有很大差别。
但 OP 这种问法的话，我建议老老实实调 API 得了

19

NamelessRain

11 小时 58 分钟前

我自己看了各种 671 版本的搭建，国内博主全都是硬加内存让它启动起来最多 2-3token ，海外博主只有一两个有大量显卡搭建的，其中有一个人用 8 块 h800 搭的 671B 每秒 15/token ，并且以上说的这些都不是真正意义上的满血版本，目前满血的版本连个成功部署的案例我都没找到跟别说能不能用了，如果有找到的发我下

20

shuixf

11 小时 57 分钟前

官方 API 开放充值了，最为靠谱的选择。

其余云服务商就更多了选择了。

21

xiadengmaX1

11 小时 48 分钟前

要考虑家里电脑太费电的情况，基本上就放弃自建吧，买 API 是你最好的选择。

22

Greendays

11 小时 48 分钟前

买 API 是最划算的。现在的硬件并没有为个人 AI 准备好。

23

andyskaura

11 小时 40 分钟前

你要本地部署，主机都嫌费电，噪音大。
拿你家电视盒子刷个 linux 跑个 1.5b 得了。

24

tool2dx

11 小时 36 分钟前

@NamelessRain 我看那些用 deepseek 来测试高端 50 显卡的，只要是爆显存了，速度就是 2 ～ 3token ，巨慢。

如果不爆显存，cuda 速度还是很牛逼的。

25

uprit

11 小时 28 分钟前

你要跑的 R1 是满血 671B 吗？跑这个就不可能省电，再折腾不管哪个方案基本也是开机 500w 起步。
你要是只想用用，那 API 最合适了。100w token 能够你高强度玩好几天，也就几块钱。
你要是只想自己部署，折腾硬件，就享受满屏跑码不断报错的过程，那随便整个双路平台，E5 都行，再随便搞个 16G 显卡，跑 KT 方案，几千块就够了，当然，这个也不省电。
你要是非满血也可以，那就简单多了，7B 及以下，随便一台机器都能跑，没显卡也行。要是再小点的模型，比如 1.5B 甚至 0.5B 的，几百块的 arm 应该也可以跑起来

26

wsbqdyhm

10 小时 32 分钟前 via iPhone

@xyfan #17 你这个配置我搞了一台，内存只有两根 64g ，一共 4w 多

27

vpsvps

10 小时 21 分钟前

去 B 站搜了下
发现需要上百万的硬件设备才行的

28

wwhc

10 小时 12 分钟前

二代以上 Epyc 32 核心或以上，8 通道 DDR4 或 12 通道 DDR5 ，可确保首 1000tokens 输出在 4 tokens/s 或以上。Epyc 五代极度优化下应该能有 10 tokens/s 的能力。建议避免配置双 cpu ，尽可能使用 llama.cpp 而不是其它推理系统

29

klo424

OP

9 小时 57 分钟前

@andyskaura 电视盒子能跑得起来吗？
@uprit 没要满血呀，我没有提满血啊，不知道为啥都默认就是满血了？

30

lrigi

9 小时 53 分钟前 via iPhone

楼主买个 mac mini 就行了，比如 8b 的模型，16G 内存就够用了

31

jiejia

9 小时 52 分钟前

锐龙 AI max+ 395 96g 内存，然后分 80G 显存给集成显卡，可以试试跑个 70b 的。

32

HENQIGUAI

9 小时 47 分钟前

2

因为非满血版没任何意义.....所以各位才默认你要部署满血版，不信的话，7B, 32B 啥的跑起来试试就知道啦

33

datehoer

9 小时 43 分钟前

腾讯云可以免费用 16g 显存 10000 小时一个月，自己跑个试试就知道了。https://ide.cloud.tencent.com/

34

Clannad0708

9 小时 8 分钟前

非满血版没有任何意义，我自己在公司部署了 32b ，70b 很笨，连除法都算不对。根本打不到所谓的 AI 助手的级别，当个聊天工具可以，但是你要准备好他在胡说，错误，嘴硬的情况

35

peterli427

9 小时 7 分钟前

e5 洋垃圾可以用 ecc ddr3 内存，白菜价大内存，但是不知道性能够不够

36

klo424

OP

8 小时 38 分钟前

@HENQIGUAI @Clannad0708 不可以自己喂数据培养么？

37

elevioux

8 小时 29 分钟前

@klo424 #36 模型参数越低，配置要求越低，就越笨。非土豪，低到自己家里能搭起来的参数会很笨，就没意义。如果懂开发，专门开发自己领域内的小模型另说。

38

nagisaushio

8 小时 17 分钟前 via Android

可以跑 1.58bit 抠门量化版

https://i.hsfzxjy.site/deepseek-r1-158bit-on-3090/

39

Clannad0708

7 小时 52 分钟前

@klo424 #36 自己喂养数据你说的是训练，AI 大模型分为两部分一部分是训练。一部分是推理，训练过程中可以给他新数据，给他内容训练他，让他记住。训练完成后想要使用就是推理过程，再推理过程是不能进行新数据的喂养的。

而你所谓的训练需要的资源是推理的 2-4 倍。比如一个 32B 需要的显存大概是 30G 那么你只用推理大概 30G 显存就够了，如果你要训练就需要 100G+的显存。因为在训练过程中你需要并行多次的运行，并且你还有自己的数据需要加载到内存显存中，所以他所需要的资源是更多的。

40

Clannad0708

7 小时 51 分钟前

@klo424 #36 你想的几千块，几万块搞个低配 deepseek 然后用自己的数据训练一下让它变成某个领域的高级 AI 是吧哈哈。没那么简单的

41

Chihaya0824

7 小时 41 分钟前

如果要自己微调完全可以，但是首先你要准备数据集（这个部分是最花时间的）
非常可能的是你会发现调完之后很可能会出现变笨或者变没有思考的情况，因为你的数据集里没有 CoT 相关的，所以你还要把模型重新 align 回有 CoT 的状态
用 unsloth 的话要调比如说 14b 的话，怎么都要个 24g vram 吧，那买个 3090 就可以
当然也可以选择更小的，但是低于 14b 真的没什么实用价值
不过依我看步子最好不要一次性迈太大，部署玩明白了再去做训练也不迟，要玩训练那根本就和推理要求的不是一个级别的
可以参考的项目[这里]( https://huggingface.co/ValueFX9507/Tifa-Deepsex-14b-CoT-Q8)，大概是一个正经的项目（
上面的模型就算这样也要 8 张 H20(!!!!!110 万 CNY)，所以 op 可以再看看自己到底想要什么