V2EX › fcten 的所有回复 › 第 1 页 / 共 25 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

1 2 3 4 5 6 7 8 9 10 ... 25

❮

❯

16 天前

回复了 fcten 创建的主题 › Local LLM › 本地 AI 工作站装机

@5sheep 没试过，不过应该能跑 4bit 量化版本（ ollama 默认）
我测试了 vllm 部署 Qwen2.5 72B 4bit 量化版本，限制 --max_model_len 8192 ，20 token/s
再大的模型 48G 就不够了，需要上双卡（或者用内存跑，会慢很多，不太可用的程度了）

16 天前

回复了 fcten 创建的主题 › Local LLM › 本地 AI 工作站装机

@tool2dx 发布的时候还挺心动的，但是对我来说不太合适。这个机器的使用场景是推理，我有训练的需求。

另外：
1. 128G 统一内存是 LPDDR5x ，带宽只有 273 GB/s 。按带宽来估计的话，它的单机推理性能应该不如 Mac Studio 。
2. 标称 1000 TOPS 算力是 FP4 ，FP8 、FP16 、FP32 算力有多少不太清楚，猜测相当于 4070 的水平吧
3. ARM 架构，软件生态兼容性肯定不如 x86 ，有折腾的成本
4. 价格和我的整机差不多了……

不过我买了一个 jetson orin nano super 玩

16 天前

回复了 fcten 创建的主题 › Local LLM › 本地 AI 工作站装机

@wyntalgeer 个人选 4090d 而没有选 4090 的原因：
1. 显存大小是刚需，算力不是。慢 11% 可以接受。
2. 4090 48g 比 4090d 48g 贵 4000~4500
3. 4090d 不能超频，都是二手核心可能会比 4090 风险小一些？当然也可能只是自我安慰 😂

16 天前

回复了 fcten 创建的主题 › Local LLM › 本地 AI 工作站装机

@wyntalgeer 4090d 只比 4090 低 11% 的算力

16 天前

回复了 fcten 创建的主题 › Local LLM › 本地 AI 工作站装机

@PbCopy111
1. 用不到 48G 显存肯定是不值得的。
2. 租用 GPU 花了多少是实打实的。自购硬件用完后并不会一文不值。个人建议利用率 > 15% 就可以考虑自购硬件了。

16 天前

回复了 fcten 创建的主题 › Local LLM › 本地 AI 工作站装机

@wyntalgeer 帖子中已经写了，对 48G 显存没有强需求不建议上 4090 48G

17 天前

回复了 Geekerstar 创建的主题 › Redis › Redis 运行一段时间后报错导致挂掉，有什么办法解决呢？

显示 aof 损坏是 redis 挂了的结果不是原因吧
你找找挂掉时的日志，是不是 OOM 了

36 天前

回复了 s4fea0a8321 创建的主题 › 硬件 › 有没有一种方法在家里获得一个较为稳定的电力和网络来运行自己的服务器呢？

拉闸的目的是啥？省电？还是防止火灾？
把需要拉闸的电路单独接一路出来不就好了。我家冰箱的电就是单独的，虽然我出门从来不拉闸。

42 天前

回复了 Leoking222 创建的主题 › 程序员 › 程序员装宽带有优惠？

我只知道电信安装费 100 ，老哥在哪办的这么贵。。

42 天前

回复了 slideclick 创建的主题 › C++ › 市面上大部分 c++程序员都在 c++98 水平吧？

c++ 的项目大都太老了，老项目要升级到 c++ 20 是很困难的。
更惨的是，为了支持那些老项目，系统环境和编译工具也没法升级，导致新项目也用不上 c++ 20……

42 天前

回复了 JoshTheLegend 创建的主题 › Apple › MacBook Air 已更新 M4， Mac Studio 已更新 M4 Max 或 M3 Ultra

等大佬评测一波 512G Mac Studio 跑大模型
不是很看好，内存带宽只有 819GB/s （ M3 Max 的两倍），很难到日常可用的程度（> 20 tok/s ）

43 天前

回复了 kylebing 创建的主题 › iPad › 你们 iPad 现在都在干什么用？又想买 iPad 了，罪过

按价格/使用时间论性价比的话，我个人的情况是 macbook >> ipad >> mac mini

53 天前

回复了 Joker123456789 创建的主题 › Java › 微服务是不是一种错误的方向？

@zjsxwc
serverless 资源隔离性差，核心场景为了稳定性往往不得不独立部署，这些优点就基本都没了
非核心场景倒是可以直接往上放，但是作为开发也不想整两套技术栈啊
另外 serverless 开发运维方便了，问题排查要麻烦的多

最后还是只有小团队会选择

54 天前

回复了 exploretheworld 创建的主题 › 程序员 › 大模型现在能解析整个项目吗

不能，上下文长度有限。即使按 1M 上下文长度算，估计也就 5w~10w 行代码的长度。稍微复杂一些的项目应该都不止这个代码量了。
但是其实解决绝大部分问题并不需要通读整个项目。

54 天前

回复了 Joker123456789 创建的主题 › Java › 微服务是不是一种错误的方向？

本来我维护一个没什么流量的小业务，重新部署 10 台机器就够了。现在你这么搞，我改一行代码就得重新部署一万台服务器。
本来这个服务 4c8g 的容器就够了，现在你这么搞，我直接上物理机也不够啊，天知道几千万行代码里哪些天杀的业务吃完了内存。
本来这个服务只有我们两三个人改，想什么时候发布就什么时候发布。现在你这么搞，每次发布前面排着几百个发布单，一个月才能发布成功一次。万一再出个故障要回滚代码，那真是画面太美我不敢看。。

啥，整个业务总用才用了不到 100 核？那你上什么微服务嘛……

54 天前

回复了 yaozhao 创建的主题 › NAS › 天塌了， NAS 被勒索了，如何数据恢复？

安全忠告：只开放 ssh 并且只允许通过证书登录

63 天前

回复了 SmartTom 创建的主题 › 问与答 › 5080FE 真难抢，地区瞬间没货

不把 40 系库存清完是买不到原价 50 系的

63 天前

回复了 CNN 创建的主题 › Apple › 有什么方便开机的 M4 mini 底座推荐？

16:17 up 95 days, 15:57, 2 users, load averages: 1.20 1.13 1.14

买来后还没关机过

64 天前

回复了 hhxsky 创建的主题 › 电影 › 哪吒 120 亿，饺子导演能分到 20 亿吗？

如果赚了点钱就躺平了那就不会有哪吒 2 了
哪吒 1 50 亿票房还不够躺平吗

64 天前

回复了 jakeze 创建的主题 › 电动汽车 › 小米 su7 标准版够用吗？

标准版砍了智驾。我肯定不买。
佛系开车选 PRO ，弹射起步选 MAX 。

1 2 3 4 5 6 7 8 9 10 ... 25

❮

❯