V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  weiming  ›  全部回复第 1 页 / 共 8 页
回复总数  148
1  2  3  4  5  6  7  8  
5 天前
回复了 zhyim 创建的主题 Local LLM 8 卡 H100 部署 DeepSeekR1 求助
4 并发 17t/s 。a800 没有原生 fp8 支持,算力大打折扣。而且最近 vllm 在 H 系列上的优化 patch 挺多的,拍脑袋至少还能再快个 30%。
5 天前
回复了 zhyim 创建的主题 Local LLM 8 卡 H100 部署 DeepSeekR1 求助
@zhyim vllm 0.7.2 awq
Parallel request Token per second ( Total ) Token per second(per request)
1 30 30
10 81 10
30 144 6.2
50 180 5
5 天前
回复了 zhyim 创建的主题 Local LLM 8 卡 H100 部署 DeepSeekR1 求助
@zhyim 不应该啊,我用 A800x8 都有 30t/s 。用这个配置, https://huggingface.co/cognitivecomputations/DeepSeek-R1-AWQ
5 天前
回复了 zhyim 创建的主题 Local LLM 8 卡 H100 部署 DeepSeekR1 求助
vllm + awq 量化
8 天前
回复了 levin56 创建的主题 生活 谈了快 10 年的女朋友要求 30 万彩礼
@dongyulin353 成都房子这么贵吗,北京均价也就 4 万
4s 店都会推销大屏升级的,你这个销售就很奇怪
179 天前
回复了 shenjinpeng 创建的主题 咖啡 上班携带咖啡用什么容器 ?
@avenger 冷萃没脂肪,这个直接喝也就是麦当劳涮锅水,不过跟牛奶混一块当拿铁饮料还能喝。
221 天前
回复了 shenyiyouge 创建的主题 游戏 电子阳痿的底层逻辑是什么?
催产素,血清素, 多巴胺这些神经递质,年龄大了之后其受体会减少,造成通路效率大减。导致神经网络算完之后很难达到阈值,兴趣归零。
317 天前
回复了 awolfer 创建的主题 汽车 准备卖掉雅阁,换电车,有什么建议吗?
21 年的雅阁只能卖 9 万?去年我卖 16 年的凯美瑞也有 9 万啊。
另外楼上说的对,10-15 万的电车体验降级。
我换的快 30 万的电车某些方面还降级了。
336 天前
回复了 xyj998 创建的主题 装修 快速路旁边开窗 65 分贝应该怎么选窗户?
我家楼下有公交车站,柴油发动机非常吵。
我装了双夹胶四玻,隔音效果满意,晚上睡觉基本听不到声音,除了洒水车和摩托车炸街的。当然车流高峰期还是能听到声音,至少不会影响睡眠了。
缺点是隔音不隔热,冬天窗户水汽严重,窗台上都是水。另一个卧室装的三玻两腔窗户基本不会有水汽。
356 天前
回复了 JeffyChen 创建的主题 汽车 买增程或混动车当油车开怎么样?
从官方数据上看,理想车主没桩的大概只有两成,在考虑有些车主在单位有充电条件,拍脑袋实际上没桩的车主只有一成。如果不考虑自己的实际情况随大流买增程,相当于本来随大流,实际上却做了小众车主。
2024-03-04 10:16:54 +08:00
回复了 BNineCoding 创建的主题 汽车 24 年买车,极氪 001 和宝马 3 系怎么选?
@locoz 确实,不过北京有点特殊,油车每周会限号,所以对比来说回家路上多花半个小时充电就不算个事了。
2024-02-28 12:30:58 +08:00
回复了 coderyoung2017 创建的主题 汽车 北京,今年新能源排到了, 30w 价位怎么选择 SUV 款?
没桩要考虑下日常通勤电池能撑住一周工作日的距离,最冷的那两个月续航只有 4-5 折。
2024-02-28 12:26:58 +08:00
回复了 BNineCoding 创建的主题 汽车 24 年买车,极氪 001 和宝马 3 系怎么选?
@locoz 一线城市充电桩遍地,没桩也可以,油车换电车的路过
2024-01-12 15:48:49 +08:00
回复了 zisen 创建的主题 iPhone 分享一下换手机的感受 11 到 15pm
看你这么一说,我 12 不想换了,等 16 看会不会搞大模型加大内存
1  2  3  4  5  6  7  8  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   971 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 30ms · UTC 22:55 · PVG 06:55 · LAX 15:55 · JFK 18:55
Developed with CodeLauncher
♥ Do have faith in what you're doing.