这是一个创建于 169 天前的主题，其中的信息可能已经有所发展或是发生改变。
最近需要采购 AI 工作站供团队科研使用，主要是用于深度学习。
cpu 准备配置 i9 14900k ，192g 内存，这些 v 友有什么改动建议吗，想过 xeon 处理器，但是价格飙的太高了。
主要是显卡拿不准，是 4 块 3090 24g 还是 2 块 4090 24g ，这两个价格差不多。3090 的 nvlink 技术我是知道的，但是目前我确实还没遇到过能吃 24g 显存以上的训练。不过不齐以后要玩玩大模型，另一个方面看似乎 4090 的训练效率要高不少，大家有什么推荐吗？
亦或大家有什么成熟的方案，希望不吝赐教
15 条回复 • 2024-06-04 16:55:56 +08:00
 |
1
osilinka 169 天前  1
要看你想玩的模型大小，如果是 70b 的话，4 块 3090 24g 比两块 4090 要好很多吧
|
 |
2
EgbertW 168 天前
或者考虑下 A6000 ？
|
 |
3
GPLer 168 天前 via Android 1
1 块 4090 24G ，两块 3090 ti 24G ，四块 2080ti 22G
然后 CPU 如果不要求单核性能可以考虑下 epyc |
 |
4
cmlz 168 天前 via Android
14900K ？蓝屏警告⚠️
|
 |
7
egen 168 天前
大模型 4 x 24 都有点捉襟见肘，网友都不少组 2080Ti 22 x 8 的。4 卡跑 72b 模型大概只有 15k 左右上下文，连 32k 都跑不出来。
不玩大模型按你们自己的需求来吧。 |
 |
8
Bluecoda 168 天前
我站 3090 ，毕竟自己跑，推理占更多，显存足够大你就有更多的选择，显存大就是王道
|
 |
9
rming 168 天前
据说 2080Ti 最大的问题是太吵。。
|
 |
11
codersun123 168 天前 1
你这个工作站需要分配虚拟环境给不同的人使用的吗？如果是分配的话那就建议 3090 ，至少可以多几个人来使用
|
 |
12
wsbqdyhm 165 天前
楼主决定了吗？看看最新的配置如何？
|
 |
13
researchnoob OP @wsbqdyhm 还没决定，但是初步考虑因为我们这机子共享的人数有限，加上训练速度还是挺重要的，准备采购一个包含 2 张 4090 的新机子，然后外加一张 3090 升级一下以前的机子，CPU 等配置和我标题说的一样。
|
|
14
wsbqdyhm 164 天前
@researchnoob 很多版放不了两个显卡，
|
|
15
researchnoob OP @wsbqdyhm Z790 应该可以，准备选这个
|
Select Language