weiming 最近的时间轴更新 weiming 最近的时间轴更新 |
weimingV2EX 第 13087 号会员，加入于 2011-10-29 11:08:37 +08:00今日活跃度排名 19133 |
weiming 最近回复了
3 天前 回复了 Dewchame 创建的主题 › 配件 › 夏天来了，兄弟们有没有推荐的 iPhone14pro 手机壳，很轻薄的，需要 magsafe 功能， 50 以内就好 |
买边框壳挺好的，只有边框和镜头覆盖，轻便不影响 magsafe 。
26 天前 回复了 vxthon 创建的主题 › 路由器 › iPhone 15 系列连接红米 AX6 和 AX3600 路由器重启问题 |
艹，我早晨也遇到了，折腾一上午才发现只要手机连 wifi 就 crash 。15 Pro+ ax3600,这都猴年马月了还不解决。
56 天前 回复了 zhyim 创建的主题 › Local LLM › 8 卡 H100 部署 DeepSeekR1 求助 |
4 并发 17t/s 。a800 没有原生 fp8 支持，算力大打折扣。而且最近 vllm 在 H 系列上的优化 patch 挺多的，拍脑袋至少还能再快个 30%。
56 天前 回复了 zhyim 创建的主题 › Local LLM › 8 卡 H100 部署 DeepSeekR1 求助 |
@zhyim vllm 0.7.2 awq
Parallel request Token per second （ Total ） Token per second(per request)
1 30 30
10 81 10
30 144 6.2
50 180 5
Parallel request Token per second （ Total ） Token per second(per request)
1 30 30
10 81 10
30 144 6.2
50 180 5
57 天前 回复了 zhyim 创建的主题 › Local LLM › 8 卡 H100 部署 DeepSeekR1 求助 |
@zhyim 不应该啊，我用 A800x8 都有 30t/s 。用这个配置, https://huggingface.co/cognitivecomputations/DeepSeek-R1-AWQ
57 天前 回复了 zhyim 创建的主题 › Local LLM › 8 卡 H100 部署 DeepSeekR1 求助 |
vllm + awq 量化
59 天前 回复了 levin56 创建的主题 › 生活 › 谈了快 10 年的女朋友要求 30 万彩礼 |
@dongyulin353 成都房子这么贵吗，北京均价也就 4 万
Select Language