fcten

fcten

V2EX 第 7940 号会员,加入于 2011-04-13 23:42:32 +08:00
今日活跃度排名 3073
根据 fcten 的设置,主题列表被隐藏
二手交易 相关的信息,包括已关闭的交易,不会被隐藏
fcten 最近回复了
7 天前
回复了 fcten 创建的主题 Local LLM 本地 AI 工作站装机
@5sheep 没试过,不过应该能跑 4bit 量化版本( ollama 默认)
我测试了 vllm 部署 Qwen2.5 72B 4bit 量化版本,限制 --max_model_len 8192 ,20 token/s
再大的模型 48G 就不够了,需要上双卡(或者用内存跑,会慢很多,不太可用的程度了)
7 天前
回复了 fcten 创建的主题 Local LLM 本地 AI 工作站装机
@tool2dx 发布的时候还挺心动的,但是对我来说不太合适。这个机器的使用场景是推理,我有训练的需求。

另外:
1. 128G 统一内存是 LPDDR5x ,带宽只有 273 GB/s 。按带宽来估计的话,它的单机推理性能应该不如 Mac Studio 。
2. 标称 1000 TOPS 算力是 FP4 ,FP8 、FP16 、FP32 算力有多少不太清楚,猜测相当于 4070 的水平吧
3. ARM 架构,软件生态兼容性肯定不如 x86 ,有折腾的成本
4. 价格和我的整机差不多了……

不过我买了一个 jetson orin nano super 玩
7 天前
回复了 fcten 创建的主题 Local LLM 本地 AI 工作站装机
@wyntalgeer 个人选 4090d 而没有选 4090 的原因:
1. 显存大小是刚需,算力不是。慢 11% 可以接受。
2. 4090 48g 比 4090d 48g 贵 4000~4500
3. 4090d 不能超频,都是二手核心可能会比 4090 风险小一些?当然也可能只是自我安慰 😂
7 天前
回复了 fcten 创建的主题 Local LLM 本地 AI 工作站装机
@wyntalgeer 4090d 只比 4090 低 11% 的算力
7 天前
回复了 fcten 创建的主题 Local LLM 本地 AI 工作站装机
@PbCopy111
1. 用不到 48G 显存肯定是不值得的。
2. 租用 GPU 花了多少是实打实的。自购硬件用完后并不会一文不值。个人建议利用率 > 15% 就可以考虑自购硬件了。
7 天前
回复了 fcten 创建的主题 Local LLM 本地 AI 工作站装机
@wyntalgeer 帖子中已经写了,对 48G 显存没有强需求不建议上 4090 48G
显示 aof 损坏是 redis 挂了的结果不是原因吧
你找找挂掉时的日志,是不是 OOM 了
拉闸的目的是啥?省电?还是防止火灾?
把需要拉闸的电路单独接一路出来不就好了。我家冰箱的电就是单独的,虽然我出门从来不拉闸。
33 天前
回复了 Leoking222 创建的主题 程序员 程序员装宽带有优惠?
我只知道电信安装费 100 ,老哥在哪办的这么贵。。
33 天前
回复了 slideclick 创建的主题 C++ 市面上大部分 c++程序员都在 c++98 水平吧?
c++ 的项目大都太老了,老项目要升级到 c++ 20 是很困难的。
更惨的是,为了支持那些老项目,系统环境和编译工具也没法升级,导致新项目也用不上 c++ 20……
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   971 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 12ms · UTC 19:30 · PVG 03:30 · LAX 12:30 · JFK 15:30
Developed with CodeLauncher
♥ Do have faith in what you're doing.