咨询 GPU 服务器方案

[Legman]

公司要搞一套环境，私有化部署各类模型，用来产品开发测试、demo 演示等场景，想和各位请教一下服务器的方案，一体机，还是工作站？参考 deepseek-r1 32b 或 70b 的配置。

[wyntalgeer]

ds 就一个 671 希望你明白

[FabricPath]

B200 、H100 、A100 ，8*GPU+4 或 8*400G 网卡机型，能买到哪个买哪个，其他歪路子浪费时间。

[mythabc]

8 卡 4090 48G 性价比之选

[dzdh]

大量现货。欢迎联系。 微信：cevinc

[dzdh]

32b 以下，就跟个傻子一样
32b ，回答的开始有那个样子
70b ，勉强够用
671b 。 嗯。好用。

[Legman]

@wyntalgeer 明白，但满血版本搞不起


@dzdh 公司用 32 以下没什么意义？

[Legman]

@mythabc 目前确实规划的 8 卡 4090

@FabricPath 预算估计包不住

[njmaojing]

@Legman #6 你用 32b 和 chatgpt 跑一个 10PB 开源分布式存储建设方案就知道差距了，不过 671b 我还没时间测，回头在 8*A100 上试试

[dzdh]

@Legman #6 32b 及以下（极端情况下甚至是 70b ）没有任何商用意义。

[wintersun]

同意，租了阿里云 GPU 服务器跑了一遍，32b 顶多高中生，70b 大专生，满血 671b 才是真博士

[tool2dx]

@dzdh 纯粹 671b 聊天也没啥商用价值，很多企业也不是仅仅是客服系统，要喂大量数据的。私有数据和工具才值钱。

官方 API 已经开放充值了，上下文大的离谱，而且还能上传文档引用。