8 卡 H100 部署 DeepSeekR1 求助

[zhyim]

公司要在本地部署 ds ，搞了一台服务器，让我部署一下，内存 DDR5 2T ，显存 640G ，我现在 llamacpp 部署的 q4 量化版，并发设置了 4 ，但是 4 个人同时用的时候输出就会很慢。求推荐个可以支持 10 个并发的推理框架。vllm 我试了说是不支持 deepseek2 ，我是下载的 gguf 文件

[dayeye2006199]

sglang

[raycool]

是 404G 大小的模型文件吗？
这个 8 卡可以部署成功？

[zhyim]

@raycool 是的，用 llamacpp 和 ollama 都能成功，就是并发不行

[zhyim]

@dayeye2006199 也是不支持 deepseek2 ，我下载的别人的量化模型，单 gguf

[JackyTsang]

SGLang 部署。