AI 画图多显卡方案有哪些？

[livin2]

指拆分模型多卡跑单图，不是多租户负载均衡/多实例并行那些。

最近刚好淘汰下来若干个 8G 显存的显卡，本来想塞一起整个 comfyui 玩玩，给显存来个合成大西瓜。
但整一半发现 comfyui 貌似干不了，只能多实例，单卡显存依然是个问题。

StableSwarmUI 看起来好像也是多实例？

多卡跑单图可行么？不可行的话原因出在哪？

[jZEdn7k4]

现在一般 DL model 都不考虑多卡串行了，基本都是 dataparallel 多卡同时跑大 batch size ，但前提是一张卡至少能跑一张图，你这个需求可能很难

[et5494]

你说的是推理还是训练?

[et5494]

@et5494 https://developer.nvidia.com/blog/mastering-llm-techniques-inference-optimization/