想配一台双 2080ti 电脑跑深度学习，这个配置有没有槽点呢各位老哥们

[cowarder]

CPU：英特尔（ Intel ） i9-10900X 酷睿十核 盒装 CPU 处理器 GPU：技嘉(GIGABYTE)GeForce RTX 2080Ti GAMING OC 1665-1650MHz 14000MHz 352bit GDDR6 11G 电竞游戏显卡 X2 内存条：金士顿(Kingston) DDR4 2666 16GB 台式机内存条 X4 水冷：九州风神（ DEEPCOOL ） 水元素 240RGB CPU 水冷散热器（泄压冷排 /RGB 风扇 /支持 I9 2066 、AM4/静音） 固态：三星（ SAMSUNG ） 1TB SSD 固态硬盘 M.2 接口(NVMe 协议) 970 PRO （ MZ-V7P1T0BW ） 电源：美商海盗船 (USCORSAIR) AX1600i 1600W 电脑电源(全模组数字 /80PLUS 钛金认证 /十年质保) 硬盘：希捷(Seagate)6TB 256MB 5400RPM 台式机机械硬盘 SATA 接口 希捷酷鱼 BarraCuda 系列(ST6000DM003) 主板：华硕（ ASUS ） PRIME X299-A 主板 （ Intel X299/LGA 2066 ） 机箱：美商海盗船 (USCORSAIR) 780T 黑色 全塔机箱（侧透 /支持 E-ATX 主板 /3 速风量调节 /4 组水冷位 /35CM 显卡）

[murmur]

看着真难受，水冷上个 360 的，这么牛逼的 u 散热器就不要吝啬了

[malusama]

老哥排一下格式啊, 要不然上图片

[kop1989]

这个硬盘是个叠瓦盘吧

[cowarder]

CPU：英特尔（ Intel ） i9-10900X 酷睿十核 盒装 CPU 处理器

GPU：技嘉(GIGABYTE)GeForce RTX 2080Ti GAMING OC 1665-1650MHz 14000MHz 352bit GDDR6 11G 电竞游戏显卡 X2

内存条：金士顿(Kingston) DDR4 2666 16GB 台式机内存条 X4

水冷：九州风神（ DEEPCOOL ）水元素 360RGB CPU 水冷散热器（一体式水冷 /静音 /3 个 RGB 风扇 /稳压 I9/标配硅脂）

固态：三星（ SAMSUNG ） 1TB SSD 固态硬盘 M.2 接口(NVMe 协议) 970 PRO （ MZ-V7P1T0BW ）

电源：美商海盗船 (USCORSAIR) AX1600i 1600W 电脑电源(全模组数字 /80PLUS 钛金认证 /十年质保)

硬盘：希捷(Seagate)6TB 256MB 5400RPM 台式机机械硬盘 SATA 接口 希捷酷鱼 BarraCuda 系列(ST6000DM003)

主板：华硕（ ASUS ） PRIME X299-A 主板 （ Intel X299/LGA 2066 ）

机箱：美商海盗船 (USCORSAIR) 780T 黑色 全塔机箱（侧透 /支持 E-ATX 主板 /3 速风量调节 /4 组水冷位 /35CM 显卡）

[cowarder]

@murmur 感谢老哥意见，已经换了新的，看看这个行不行

[cowarder]

@malusama 重新排了，没注意不好意思，在下面的评论里

[cowarder]

@kop1989 怎么了老哥，这个不行吗硬盘

[murmur]

@cowarder 叠瓦盘便宜，但是读写并发的时候性能会很差，如果做仓库盘无所谓，做工作盘就很难受

[cowarder]

懂得老哥们，这一套配起来能不能用，有没有明显的两个配件不匹配的问题呢，就怕买回来组装不起来哈哈

[Porphet]

自用的服务器？还是实验室里的？

CPU 可以不用上这么好的，GPU 还是换显存大一些的吧，我觉得至少 24g 以上

[niubee1]

会不会最终大部分时间还是拿来游戏了？

[cowarder]

@Porphet 实验室里面用的，大约三四个人用吧

[cowarder]

@niubee1 哈哈，不会的， 我不玩游戏的老哥，实验室除了我也都是妹子

[cowarder]

老哥们，给个意见，这个能用着不，没啥硬性问题我今天就要买了，正好搞活动经费够

[murmur]

@Porphet testla v100，这卡一张四万到六万块，主要优化在（据说稳定性）、并行性能、功耗

如果不爆显存的话

在 FP 32 单精度训练上，Titan RTX 平均：

比 RTX 2080Ti 快 8%；
比 GTX 1080Ti 快 46.8%；
比 Titan Xp 快 31.4%；
比 Titan V 快 4%；
比 Tesla V100 （ 32 GB ）慢 13.7%。

这是网上评测结果，所以说 2080ti 性价比是最高

[Merlini]

不建议在本地跑大模型。原因有几个：
1. 2080ti 本身也不是很强力，训练需要的时间很长。再比如说你要 fine tuning 一个 Bert，显存就要 12G，要求太高了。
2. 在训练的时候，gpu 负载很高，如果你要顺便干别的事情，不方便或者卡。
3. 现在 colab 的免费 gpu 都 k80 了，还是可以用一用的，弄个鼠标连点器，然后设置一下训练保存这些。
4. cloud computing 是未来。

[cowarder]

@murmur 老哥，你上眼看看我这一套能用吗，不存在型号不匹配的问题吧，能用我就先买了，后面升级再换，反正是经费

[Porphet]

@murmur 嗯，参数上看是最优选择。但是实际用起来，11g 的显存经常会爆的，尤其是用预训练模型（ NLP 任务）。

任务都跑不起来，何谈其他。

用 pytorch 可以将一个模型分布在两个 gpu 上，但是写起来限制也挺多的。比如，需要人为把模型分开，强行分成两个模型。这样码代码的工作量就会很大，时间都浪费在改代码上，我现在的情况就是这样，很难受

我现在用 TitanV*2，但是肯定不够用，下一步实验室要换 RTX8000，哈哈

[murmur]

@cowarder 我大概看了一下没问题，不过这么高端的平台我没装过。。

[Merlini]

当然也不是说不能用，不过如果是比较专业的，以发论文打比赛为主的，还是不建议。
楼主说是多人用的，那么就会遇到其他人在跑模型的时候，另外一些人就得等了。况且很多时候不是跑一次就行，得调参吧。
还有一个情况是，现在的模型都被大公司带跑偏了，都是大的不行。比如说 NLP 领域最近新出的 GPT3，参数就有 175B 。如果以后这种模型越来越多的话，硬件会跟不上。
你说可以有模型压缩加速这些方法呀。这个领域目前还在研究阶段，做的比较成熟的就是 mobilenet，distillbert 那些。没有到大规模应用的时候。

[madeye]

不如做个等等党，新卡九月份就来了哦，BF16 TF32 这些新特性对于训练爆显存问题有奇效。

https://devblogs.nvidia.com/nvidia-ampere-architecture-in-depth/

[czwstc]

@cowarder 看了下问题不大，rich 。我都是采购二手服务器的。
没啥坑，就是长得比较酷不够稳重。槽点就是消费级显卡不能装 windows server 。
买吧..记得开个箱。

[cowarder]

@czwstc 感谢老哥

[cowarder]

@murmur 感谢老哥意见

[cowarder]

老哥们的意见都很好哈，感谢感谢，但是情况是，实验室就给了这么点钱，当然都知道更好的卡性能更好呢，但是手头紧不是，现实情况它不允许哈哈

[hugedata]

如果配好之后用不了（性能不够跑不起来）或者用着不爽（没有办法并行多个模型训练任务），能不能五千包邮卖给我？/doge

[joyhub2140]

我想问一下，这一套下来要多少钱

[murmur]

@joyhub2140 三万块钱

[murmur]

2080ti 今天打特价 8500 一张 板 u 套装加起来 5500 这些就两万二了 其余的看着奢华也不是极品 三万怎么也下来了
如果是龙神 360 水冷 太阳神机箱 那档次就不一样了

[FaceBug]

买这么贵的机箱，还说实验室没有钱，哈哈哈

[coderluan]

二手 RTX6000/8000 楼主有兴趣吗 去年十月自己创业买的 因为疫情熬不住了 打算 6 折出了 可以开票.

[gadsavesme]

能不能跑深度学习我不清楚，但这个配置去打游戏是真的很爽（狗头）

[xuehaihang]

2080ti 支持半精度 fp16 训练，显存占用远小于 fp32，自用性价比挺高了，实验室用，这卡数，这内存都不太给力呀

[ShallowAi]

这么高预算就不要用金士顿内存了 换英睿达普条 16Gx4

硬盘 6TB 应该上企业级的希捷银河 酷鱼是叠瓦盘


如果 CPU 没有强制要求考虑一下 AMD

[niubee1]

@cowarder 哈哈，明了，有妹子可以玩

[cowarder]

@ShallowAi 金士顿比较熟悉就买了，我看看你说的这个。之前看了希捷，我们是在京东慧采里面采购的，没有 6t 以上的，看了一些资料，AMD 好像对 ubuntu 支持不好？佩的电脑是 ubuntu 系统的

[kokutou]

6t 希捷，你选的那个型号是 smr 叠瓦盘。。。换一个吧。
比如日立 hc320

[ETiV]

我想到个押韵的：

买前深度学习，买后每晚吃鸡

[cowarder]

@ETiV 真实，哈哈哈，但是不玩游戏的

[cowarder]

@kokutou 好的，谢谢

[littleghosty]

有钱，我也想双路学习下 steam 和 epic

[systemcall]

机箱缩一下，散热换 360 水冷或者阿萨辛那样的大的风冷，多装风扇，装满都可以
深度学习的电脑又不放在桌子上看，没必要那么讲究外观和静音，外观和静音舍弃掉，堆散热，这样好得多

[cowarder]

@systemcall 静音还是要的，放在桌子地下的，要不太响，反正预算那么多，不如买个好看点的哈哈

[systemcall]

@littleghosty 现在没多少游戏还做双路显卡的优化了，而且不是流行显卡侧装吗？那样就只能装一个显卡了

[abcdabcd987]

2 月份的时候装了一台 TITAN RTX *2 + EPYC Rome
现在完全闲置……

[futou]

自己出钱？
如果不是，先确定是否要走竞价或采购平台。
还有你组装出了问题就是你的原因。建议多花个 10%左右找个代理。

如果自己掏腰包就另当别论了。

[abcdabcd987]

当时装机完成之后先装了个 Windows 玩，然后发现访问大部分网站最多只有 10MB/s 的学校网络，Steam 下载速度能达到 80MB/s，看来学校网络还是更适合打游戏（误）

[futou]

@abcdabcd987 没用鞋盒当机箱，差评

[abcdabcd987]

@futou 赞同，我觉得公家采购还是找个有服务的中间商比较好，省得出了问题自己维护。我这台机子自己装的就出了好多问题，比如有一条内存条老是消失（后来发现是机箱上有一个多余的螺母顶到了主板），比如摸一下机箱就会重启（到现在愣是没有查出来哪里接地有问题）……让中间商赚个差价，出了问题就打电话叫人来解决就好了，也不用担心自己维修会不会弄坏。

[screen]

@cowarder 划重点

[nmecury]

看你做什么任务吧，有些任务还是很耗 CPU 的，建议上一个好一点的 CPU，内存槽多一点的主板……可以考虑一些非游戏系列的 GPU 和主板，或者直接上超微 4028 或者 7048 之类的准系统。
我以前做简单的 CV，6 核 8 线程的 CPU，32G 的内存就勉强够用了，现在做 graph，48 核 96 线程的 CPU 、近 400G 内存都不太够用。

[zpole]

cpu 换 ryzen 3700 就够了，深度学习又不吃 cpu，把省下来的钱再买块大的 ssd，抛弃机械硬盘吧

[piao5109]

我们公司买的 dell，18 核处理器，64G 内存，单显卡 2080i，2 Ｔ固态。风冷。

3.2 万。

[izzy27]

不都是在服务器上面跑的吗。。你在本机跑了还能干别的事? 不懂

[vandort]

建议看一下你这个 CPU 和主板最大支持多大的内存，消费电子产品，很多主板或者 CPU 只支持 64G 的内存，以免以后需要大内存无法扩容。


@nmecury graph 真的吃内存，我的服务器 512G 的内存都不太够用


@piao5109 dell 的东西很贵，同配置下比曙光等厂家贵 30%到 40%，你们这 3.2 万里估计有一半都是 dell 的品控成本和售后维护的钱

[longbye0]

没讲是 cv，nlp 还是推荐啥的。

cv 11g 显存 sota 模型几乎都能吃下，20 系还有 fp16 tensor core，amp 训练也够了。就是吃 batch 大小的任务跑不到 sota 罢了。

非 cv 任务基本都是显存老虎。

[ScjMitsui]

九州风神现在是不是漏液不赔了？？

[kokutou]

水冷确实建议换掉，时间长了无法保证永远不漏水。。。

[w1573007]

借楼问一下，双路显卡的显存是可以叠加的么？就是一张卡的 11g 满了能借另一张的？双路显卡有什么优势

[Porphet]

@w1573007 我印象中大部分显卡都不能自己叠加，写程序的时候可以用点技巧让一个模型用两个 gpu 的显存。

双路的目的是实验室里两个人可以各用个的，或者加速运算但是显存还是 11g

[superlc]

放实验室的机器用啥水冷啊，花里胡哨的没啥用，以后维护都你就承包了，万一哪天坏了还有人埋怨

你的 task 能跑到满载吗？我的 task 几乎没什么 cpu 压力，推荐志强多核，workers 拉满就完事儿

[superlc]

@w1573007 不能。两块显卡相当于算力提高一倍，速度会有提升。现在用上 syncBN 以后可以把 bn 层的数据跨卡同步，只能说效果接近单卡大显存，但是还是不一样