V2EX › oldfans 的所有回复 › 第 1 页 / 共 1 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

19 天前

回复了 fid 创建的主题 › Local LLM › 8x4090 离线部署 Qwen2.5 求助

Ollama 是 llama.cpp 的一个前端。

llama.cpp 支持多 GPU ，但不支持张量并行，单一并发同时只有一张卡在跑，多卡还有通信的开销，所以会比单卡还慢（前提是单卡的显存足够放模型）。

vLLM 支持在多卡上推理量化模型。

4-bit 的 Qwen2.5 72B 应该比未量化的 Qwen2.5 32B 要好。

Qwen2.5 可以试试用同系列的小参数量模型做推测解码（ Speculative decoding ），应该会快不少。

115 天前

回复了 Hozoy 创建的主题 › NAS › 最近比较火的国产免费 NAS 系统 fnOS，大家怎么看？

@niubilewodev