fid 最近的时间轴更新 fid 最近的时间轴更新 ONLINE |
fidV2EX 第 589430 号会员，加入于 2022-07-29 17:47:35 +08:00今日活跃度排名 786 |
| 8x4090 离线部署 Qwen2.5 求助 Local LLM • fid • 79 天前 • 最后回复来自 fid | 40 |
| 中上 211 计科本是否有必要保研本校电子信息专硕 职场话题 • fid • 2024-01-09 15:47:26 PM • 最后回复来自 chendl111 | 75 |
fid 最近回复了
79 天前 回复了 fid 创建的主题 › Local LLM › 8x4090 离线部署 Qwen2.5 求助 |
79 天前 回复了 fid 创建的主题 › Local LLM › 8x4090 离线部署 Qwen2.5 求助 |
@mythabc 4 卡应该不太够用，可以看看最新 append
79 天前 回复了 fid 创建的主题 › Local LLM › 8x4090 离线部署 Qwen2.5 求助 |
79 天前 回复了 fid 创建的主题 › Local LLM › 8x4090 离线部署 Qwen2.5 求助 |
79 天前 回复了 fid 创建的主题 › Local LLM › 8x4090 离线部署 Qwen2.5 求助 |
@kennylam777 #33 目前方案是 8x4090+Qwen2.5-72B-Instruct-AWQ+lmdeploy ，体验良好，占用低
79 天前 回复了 fid 创建的主题 › Local LLM › 8x4090 离线部署 Qwen2.5 求助 |
@lixile #32 8 卡同时跑大概每张卡占用 20-30%，占用率还是非常低的，使用的是 awq int4 ，使用体验很顺滑
80 天前 回复了 fid 创建的主题 › Local LLM › 8x4090 离线部署 Qwen2.5 求助 |
@liu731 显卡内存 8x24g ，正文写了的
80 天前 回复了 fid 创建的主题 › Local LLM › 8x4090 离线部署 Qwen2.5 求助 |
@wantstark #18 我是一台机器多卡，暂时没有分布式条件，可能没有表述清楚
80 天前 回复了 fid 创建的主题 › Local LLM › 8x4090 离线部署 Qwen2.5 求助 |
@Les1ie #20
1. q4km 量化多卡不太合适，目前尝试 72B awq 量化+LMdeploy ，参数级提升应该大于精度提升
2. 我协调一下显卡使用，应该能合理分配，毕竟多卡通信存在速度损失
3. qwen2.5 优于 deepseek 吧
4. 本地部署必要，100%无法联网，4o 还是太成熟了
1. q4km 量化多卡不太合适，目前尝试 72B awq 量化+LMdeploy ，参数级提升应该大于精度提升
2. 我协调一下显卡使用，应该能合理分配，毕竟多卡通信存在速度损失
3. qwen2.5 优于 deepseek 吧
4. 本地部署必要，100%无法联网，4o 还是太成熟了
80 天前 回复了 fid 创建的主题 › Local LLM › 8x4090 离线部署 Qwen2.5 求助 |
@woscaizi #19 好的，感谢推荐！
Select Language