在犹豫买 m3 64 的还是 128 的,现在一直在用 m1 max 64g 的。之前主要做一些计算的开发,各种语言都在用,当年才出的时候比较快。后来感觉就不行了,编译速度也比不上服务器了。。。现在发现从去年开始,基本上都是远程连到自己的服务器做开发了。。。m1 本地太慢了。。。
平时的场景,都是开一堆 idea 本地,pycharm 远程,clion 远程。最近 1 年,在搞 ai ,基本上全是 pycharm 远程。。。用的依赖基本上 mac 下一堆问题的,java/node 开发连 clickhouse 的 arm 的 docker 也一堆问题,想着赶紧开发模型赚钱重要,不想花时间去搞依赖,搞了也没啥用,最后也都是要部署到 linux 。
看了下,内存,大多数工作场景都用不满。
不想引战
求买过的 v 友说说,新出的 m3 max 准备下手了,主要 m1 太慢了,在开发方面(我不开虚拟机,本地跑了几个 db 的 docker ),不知道 128g 内存会比 64 有用吗?
1
BenX 333 天前
M1 Max 64GB 刚升级 M3 Max 64GB 做开发够了,128GB 不本地跑模型感觉用处不大。
|
2
terrysnake 333 天前
其实用不用得上 128 ,我觉得取决于未来有没有爆发式的新领域出现。
比如我的 16g m1 Pro ,基本不用于工作, 但最近 ai 画图井喷式出现,16g 就不够用了。 |
3
jorneyr 333 天前
上预算能够买到的最高配,只要经济压力不大就好。
|
4
simpleisbest 333 天前
反正是远程,没必要换 m3 m1 区别不大的
|
5
noahhhh 333 天前 via Android
你这需求不是 MacBook Air 就够了,反正笔记本就是当个终端用。Linux 下部署训练成熟的多,干活没得选,除了一堆自媒体吹没听说谁用 Mac 搞 AI ,huggingface 上面 coreML 模型都没几个。
|
6
PureWhiteWu 333 天前
同 M1 Max 转 M3 Max ,64G 转 64G 。
本来也是纠结要不要上 128G 来着,后来发现 64G 内存做普通开发( Rust )完全是够用的,所以还是停留在了 64G ,事实证明确实是够用了。 可预见的未来我不会从事大模型开发,对跑这玩意儿也不太感兴趣,所以最终决定不上 128G 。 我的想法是,如果在 M3Max 使用过程中 64G 跑满了,那么下一次更换 M5/M6 Max 的时候,我就上 128G 。 |
7
PureWhiteWu 333 天前
另外,M1Max 转 M3Max 提升巨大,体验明显。
|
8
qweruiop OP @BenX 谢谢
@terrysnake 嗯。。。明白 @noahhhh 确实是想这么干,之前买过 m2 air ,退了,开多一堆 ide ,就卡的要死。。。主要是最近,同事买的外星人编译代码 (c/python/java) 和打开 jetbrains 系 ide 的速度明显比 m1 max 观感上的快。感觉 apple 是不是走偏了,好好的 cpu 不去搞好点,搞 gpu ,但是业界都还不支持呢。。。搞的再好,部署到服务器的时候只有 linux ,谁会花功夫去帮他推动呢。。。 @jorneyr 主要是被同事最近的外星人刺激到了。。。 @PureWhiteWu 我在 linux 下,idea 的打开速度和编译速度都比 m1 max 快很多,m3 会好点吗? |
9
merlinX 333 天前
M1 Max32G 换了 M3 Max 128G ,主要本地可以跑 LLama 70B
|
10
mbooyn 333 天前
在 V 站看到黄色、红色内存压力的帖子里面截图发当前绿色的内存压力
|
11
LevineChen 333 天前
现在全远程 m1 max 也慢? 我现在 m1pro 16g, golang webstrom 全程本地开发, 乱七八糟各种客户端, 软件基本只开不关都没觉得卡过
|
12
coderwink 333 天前
挺关心如何用 Ai 赚钱的
|
13
clemente 333 天前
本地跑大模型
|
14
ShadowPower 333 天前
给服务器再加一块显卡吧,比加在 Mac 上有用多了
|
15
qweruiop OP @LevineChen 这个卡,理性的说当然不全是 m1 的锅嘛,我开 7 ,8 个 idea 家的窗口。。。但是,最近和同事的顶配外星人装 linux 比,打开项目/编译项目/运行项目的体验就非常明显有观感上的差异了。。。
|
16
PureWhiteWu 333 天前
@qweruiop M3 Max goland 我的体验是秒开
|
17
iCruiser 333 天前
以现在的 swap 用量和内存压力为基准,出现 swap / 内存压力接近 50% 就要考虑内存升级
|
18
omgr 333 天前
关键是你觉的 M1 Pro 太慢了,那 M3 Max 怕也快不了多少吧,况且内存不是瓶颈。
不过呢,既然搞 AI 挣了不少,上满配管他呢,不然总会有念想。虽然光从依赖角度,该远程还是要远程( |
19
43n5Z6GyW39943pj 333 天前
哥们技术栈实力这么雄厚
|
20
wclebb 333 天前
我是买了 M3 Max 128G ,和你不一样的是,我是设计兼渲染的。所以基本上就是预算上选 内存最大。
恰好对最近的 AI 和模型也有兴趣,想本地跑跑图或文字看看。 LLaMa 70B 好像在 110G 左右,128G 恰好也在能跑的范围内。 最近听说清华大学 SDXL 模型,M1 跑图原本一分钟,缩短到几秒,跟 2080Ti 差不多的级别。 所以 AI 在 Mac 方面也是在追赶上去,但短期内可能没这么快。 我也是从 宣布 OCtane he Redshift 支持 macOS Metal 开始,一直等了跳票很久才终于用上 Redshift he OCtane 。 |
21
qweruiop OP 看了一下,现在开了 1 个 gateway 跑 clion ,3 个 gateway 跑 pycharm ,1 个本地 idea ,1 个本地 sublime ,若干个 terminal 窗口。。。感觉是 cpu 不行,我 xmx 都配的 10g ,但是最新版 idea 里面索引文件还是要卡一会儿,但是同事的顶配外星人就嗖嗖的。。。
|
22
Rorysky 333 天前
python 以来都有问题? 你用的什么包,自己编译安装不行么?
|
23
qweruiop OP @Rorysky 太多包了,计算的一堆,cuda 的一堆,之前都是 conda 直接装,但是还是有一半不成功的。关键是,之前没对比没觉得,直到:
1 ,去年同事教唆开始用远程开发。。。发现 m1 max 速度( pycharm 打开项目速度/里面双击 shift 搜索速度/debug 的启动速度),运行速度暂不讨论(这个涉及到代码优化问题,不够客观),都和远程到 linux 上有非常明显的观感差异。。。 2 ,最近,和另外同事的顶配外星人比,确实又差了很多。。。 |
24
chonger 333 天前
觉得慢有可能是 sip 的锅,关了试试。这里有人说的很清楚了 https://catcoding.me/p/apple-perf/
|
26
qweruiop OP @Rorysky cv 的一堆包,学习的一堆包,有些能运行,但是跑程序哇,远程 cuda ,都跑完 1000 frame 了,这边还在慢吞吞的,就是个玩具。。。看,老外也有调好的,但是感觉这条路短期没啥用。因为程序最后毕竟还要部署到 linux 那边去的嘛。。。
|
27
lonenol 333 天前
m1 max 64g 咋会卡,我还在 m1 pro 16G 流畅的使用。。
|
28
shimanooo 333 天前
看最小够用的那档,然后翻个倍就行。
|
29
chonger 333 天前
|
31
jZEdn7k4 333 天前
我感觉你个人体验下来外星人明显更优啊,不管是实际上还是心理感官上,那你为啥不直接买外星人,并不会比顶配 m3 max 贵吧。用 mac 想着大内存做 ai 就算了,你自己也发现了 mac 上 DL 绝大部分包是不适配的,你到时候用别人开源的代码基本都用不了,纯给自己加难度。
|
32
jsq2627 333 天前
我咬牙上了 128g 。唯一跑到超过 64g 内存的场景是开发一个跨桌面/移动平台 React Native app 项目,同时开着:
- VSCode - Android Studio - Xcode - iOS Simulator - Android Emulator - GoLand - Chrome 一大堆 tab - 若干 Electron-based app ( Slack 、Teams 、Figma 、Notion 等) - Windows 和 Linux VM ,调试 app 在 Windows/Linux 下的行为 - Docker ,跑着各种后端服务依赖 这还是为了实验 128g 内存够不够用专门都打开的,平时其实不会这样去用,大多数时候专注在 1-2 个目标平台上开发。 |
33
my3157 333 天前 via Android
本地跑个 codellama 34b ,没几个问题风扇呼呼呼的转😂
|
34
xieren58 333 天前
看钱, 不差钱, 满上...
|
35
PainAndLove 333 天前
重度前端开发,之前入过 macstudio m1ultra 128gb 版本,使用了一年。
chrome webstorm + 各种代理 + node ... 结论就是,64gb 就够了. cpu 的话从跑分来看 m3max 已经和 14900k 不相上下(甚至稍强),m1max 应该是 12600 的水平吧,提升肯定是比较明显的 |
36
hahaFck 333 天前
没必要买 128 的,我也是 m1mx64 换的 m3max ,我都想换 32G 的了,但是 m3max 是 48 起步,就加到了 64G ,64G 完全够用了,加 6000 到 128 ,感觉不值得。
|
37
nino 333 天前
用 m1 max 64G 的时候也几乎不会 swap ,看你的场景吧,预算如果足够当然拉满
|
38
TuringHero 333 天前
Llama-2-70b
|
39
qweruiop OP @jZEdn7k4 嗯,我是 m1 max 远程服务器开发,同事是外星人本地开发,主要我很多聊天工具,截图工具,office ,ps 啥的,觉得 linux 不能打。。。但是感觉除了这些辅助工具,开发方面的 mac 不难打。。。
@TuringHero 这个模型需要 64 还是 128 的才能跑? |
40
jZEdn7k4 333 天前
@qweruiop 你要不外星人装 Windows 然后 pycharm 里配置 WSL Linux 开发,此外你说的聊天/截图/office 啥的应该 windows 下都更猛。。。ps 这种可能 mac 更有优势。Llama-2-70b 你只是用用 4-bit 版本 48G 就够了,16fp 版的就得 130G 了( https://huggingface.co/TheBloke/Llama-2-70B-Chat-GPTQ/discussions/2 ),但问题还是那样,这类 huggingface 上的模型很少有考虑 mac 兼容性的,这个级别的模型你也是改不了的
|
41
TuringHero 333 天前
@qweruiop #39 70b 上面有人说在 110G 左右。我没 64 的试,看油管老哥用 128 测的,显著强于 4090 24G 。
|
42
ShadowPower 332 天前
@TuringHero 现阶段最有用的开源模型可能还是 Yi 34B ,我自己测试下来,写作方面真实表现真正超过 GPT4 。
如果只讲究实用的话,一块 3090 的性价比足够高,且足以满足需求了。 LLaMa 2 70B 其实大多数方面的真实表现和 Mistral 7B 差不多,它们的微调模型也类似。 我还测过一些其他模型,通义千问的 72B 比 Falcon 180B 好,而 Yi 34B 的 SFT 模型比通义千问的 72B 好。 |
43
qweruiop OP @ShadowPower 这些模型 64 能跑吗?还是一定要 128 ?
|
44
ShadowPower 332 天前
@qweruiop 用量化的版本,64GB 可以跑 34B 和 70B 。70B 的可能只能用 CPU ,因为 Mac 其实还限制了最大显存大小,比内存的一半多一点。
一定要跑 fp16 精度的话,34B 的模型跑起来实际上就用 67GB 显存了,而且效果差别也不明显…… 超过 70B 的模型都不推荐。开源社区没人能微调这些模型,表现都不如参数量更小的。 |
45
qweruiop OP @ShadowPower 确实,再大的模型也不指望了。。。 谢谢老铁
|
46
lancelvlu 190 天前
@ShadowPower “因为 Mac 其实还限制了最大显存大小,比内存的一半多一点。”你好,这个是苹果自己宣布的么?还是别人测的啊?有没有相关文档或者视频分享啊。感谢!
|
47
ShadowPower 190 天前
@lancelvlu 之前我在玩 llama.cpp ,然后每天逛 reddit ( localllm 板块),和 github 的 issue 。
llama.cpp 有个版本开始支持了 metal ,有些人碰到了模型加载失败的问题,于是有个工程师( llama.cpp 贡献者)用自己的 mac 做了测试,得出的这个结论。 现在找的话,不太好找,印象中他用的是 64GB 内存的型号,实际可直接分配的最大显存有 37GB 左右。我记不得精确数字,只记得是 3 开头,超过 32GB 一些。 |