fcten

V2EX 第 7940 号会员，加入于 2011-04-13 23:42:32 +08:00

今日活跃度排名 4094

fcten.com

fcten

fcten 提问技术话题好玩工作信息交易信息城市相关

根据 fcten 的设置，主题列表被隐藏

二手交易相关的信息，包括已关闭的交易，不会被隐藏

fcten 最近回复了

29 天前

回复了 fcten 创建的主题 › Local LLM › 本地 AI 工作站装机

@5sheep 没试过，不过应该能跑 4bit 量化版本（ ollama 默认）
我测试了 vllm 部署 Qwen2.5 72B 4bit 量化版本，限制 --max_model_len 8192 ，20 token/s
再大的模型 48G 就不够了，需要上双卡（或者用内存跑，会慢很多，不太可用的程度了）

29 天前

回复了 fcten 创建的主题 › Local LLM › 本地 AI 工作站装机

@tool2dx 发布的时候还挺心动的，但是对我来说不太合适。这个机器的使用场景是推理，我有训练的需求。

另外：
1. 128G 统一内存是 LPDDR5x ，带宽只有 273 GB/s 。按带宽来估计的话，它的单机推理性能应该不如 Mac Studio 。
2. 标称 1000 TOPS 算力是 FP4 ，FP8 、FP16 、FP32 算力有多少不太清楚，猜测相当于 4070 的水平吧
3. ARM 架构，软件生态兼容性肯定不如 x86 ，有折腾的成本
4. 价格和我的整机差不多了……

不过我买了一个 jetson orin nano super 玩

29 天前

回复了 fcten 创建的主题 › Local LLM › 本地 AI 工作站装机

@wyntalgeer 个人选 4090d 而没有选 4090 的原因：
1. 显存大小是刚需，算力不是。慢 11% 可以接受。
2. 4090 48g 比 4090d 48g 贵 4000~4500
3. 4090d 不能超频，都是二手核心可能会比 4090 风险小一些？当然也可能只是自我安慰 😂

29 天前

回复了 fcten 创建的主题 › Local LLM › 本地 AI 工作站装机

@wyntalgeer 4090d 只比 4090 低 11% 的算力

29 天前

回复了 fcten 创建的主题 › Local LLM › 本地 AI 工作站装机

@PbCopy111
1. 用不到 48G 显存肯定是不值得的。
2. 租用 GPU 花了多少是实打实的。自购硬件用完后并不会一文不值。个人建议利用率 > 15% 就可以考虑自购硬件了。

29 天前

回复了 fcten 创建的主题 › Local LLM › 本地 AI 工作站装机

@wyntalgeer 帖子中已经写了，对 48G 显存没有强需求不建议上 4090 48G

30 天前

回复了 Geekerstar 创建的主题 › Redis › Redis 运行一段时间后报错导致挂掉，有什么办法解决呢？

显示 aof 损坏是 redis 挂了的结果不是原因吧
你找找挂掉时的日志，是不是 OOM 了