V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
qweruiop
V2EX  ›  Apple

m3 max 128 的使用场景?

  •  
  •   qweruiop · 352 天前 · 5899 次点击
    这是一个创建于 352 天前的主题,其中的信息可能已经有所发展或是发生改变。

    在犹豫买 m3 64 的还是 128 的,现在一直在用 m1 max 64g 的。之前主要做一些计算的开发,各种语言都在用,当年才出的时候比较快。后来感觉就不行了,编译速度也比不上服务器了。。。现在发现从去年开始,基本上都是远程连到自己的服务器做开发了。。。m1 本地太慢了。。。

    平时的场景,都是开一堆 idea 本地,pycharm 远程,clion 远程。最近 1 年,在搞 ai ,基本上全是 pycharm 远程。。。用的依赖基本上 mac 下一堆问题的,java/node 开发连 clickhouse 的 arm 的 docker 也一堆问题,想着赶紧开发模型赚钱重要,不想花时间去搞依赖,搞了也没啥用,最后也都是要部署到 linux 。

    看了下,内存,大多数工作场景都用不满。

    不想引战

    求买过的 v 友说说,新出的 m3 max 准备下手了,主要 m1 太慢了,在开发方面(我不开虚拟机,本地跑了几个 db 的 docker ),不知道 128g 内存会比 64 有用吗?

    47 条回复    2024-04-26 09:44:23 +08:00
    BenX
        1
    BenX  
       352 天前
    M1 Max 64GB 刚升级 M3 Max 64GB 做开发够了,128GB 不本地跑模型感觉用处不大。
    terrysnake
        2
    terrysnake  
       352 天前
    其实用不用得上 128 ,我觉得取决于未来有没有爆发式的新领域出现。
    比如我的 16g m1 Pro ,基本不用于工作, 但最近 ai 画图井喷式出现,16g 就不够用了。
    jorneyr
        3
    jorneyr  
       352 天前
    上预算能够买到的最高配,只要经济压力不大就好。
    simpleisbest
        4
    simpleisbest  
       352 天前
    反正是远程,没必要换 m3 m1 区别不大的
    noahhhh
        5
    noahhhh  
       352 天前 via Android
    你这需求不是 MacBook Air 就够了,反正笔记本就是当个终端用。Linux 下部署训练成熟的多,干活没得选,除了一堆自媒体吹没听说谁用 Mac 搞 AI ,huggingface 上面 coreML 模型都没几个。
    PureWhiteWu
        6
    PureWhiteWu  
       352 天前
    同 M1 Max 转 M3 Max ,64G 转 64G 。
    本来也是纠结要不要上 128G 来着,后来发现 64G 内存做普通开发( Rust )完全是够用的,所以还是停留在了 64G ,事实证明确实是够用了。
    可预见的未来我不会从事大模型开发,对跑这玩意儿也不太感兴趣,所以最终决定不上 128G 。
    我的想法是,如果在 M3Max 使用过程中 64G 跑满了,那么下一次更换 M5/M6 Max 的时候,我就上 128G 。
    PureWhiteWu
        7
    PureWhiteWu  
       352 天前
    另外,M1Max 转 M3Max 提升巨大,体验明显。
    qweruiop
        8
    qweruiop  
    OP
       352 天前
    @BenX 谢谢
    @terrysnake 嗯。。。明白
    @noahhhh 确实是想这么干,之前买过 m2 air ,退了,开多一堆 ide ,就卡的要死。。。主要是最近,同事买的外星人编译代码 (c/python/java) 和打开 jetbrains 系 ide 的速度明显比 m1 max 观感上的快。感觉 apple 是不是走偏了,好好的 cpu 不去搞好点,搞 gpu ,但是业界都还不支持呢。。。搞的再好,部署到服务器的时候只有 linux ,谁会花功夫去帮他推动呢。。。
    @jorneyr 主要是被同事最近的外星人刺激到了。。。
    @PureWhiteWu 我在 linux 下,idea 的打开速度和编译速度都比 m1 max 快很多,m3 会好点吗?
    merlinX
        9
    merlinX  
       352 天前
    M1 Max32G 换了 M3 Max 128G ,主要本地可以跑 LLama 70B
    mbooyn
        10
    mbooyn  
       352 天前
    在 V 站看到黄色、红色内存压力的帖子里面截图发当前绿色的内存压力
    LevineChen
        11
    LevineChen  
       352 天前
    现在全远程 m1 max 也慢? 我现在 m1pro 16g, golang webstrom 全程本地开发, 乱七八糟各种客户端, 软件基本只开不关都没觉得卡过
    coderwink
        12
    coderwink  
       352 天前
    挺关心如何用 Ai 赚钱的
    clemente
        13
    clemente  
       352 天前
    本地跑大模型
    ShadowPower
        14
    ShadowPower  
       352 天前
    给服务器再加一块显卡吧,比加在 Mac 上有用多了
    qweruiop
        15
    qweruiop  
    OP
       352 天前
    @LevineChen 这个卡,理性的说当然不全是 m1 的锅嘛,我开 7 ,8 个 idea 家的窗口。。。但是,最近和同事的顶配外星人装 linux 比,打开项目/编译项目/运行项目的体验就非常明显有观感上的差异了。。。
    PureWhiteWu
        16
    PureWhiteWu  
       352 天前
    @qweruiop M3 Max goland 我的体验是秒开
    iCruiser
        17
    iCruiser  
       352 天前
    以现在的 swap 用量和内存压力为基准,出现 swap / 内存压力接近 50% 就要考虑内存升级
    omgr
        18
    omgr  
       352 天前
    关键是你觉的 M1 Pro 太慢了,那 M3 Max 怕也快不了多少吧,况且内存不是瓶颈。

    不过呢,既然搞 AI 挣了不少,上满配管他呢,不然总会有念想。虽然光从依赖角度,该远程还是要远程(
    43n5Z6GyW39943pj
        19
    43n5Z6GyW39943pj  
       352 天前
    哥们技术栈实力这么雄厚
    wclebb
        20
    wclebb  
       352 天前
    我是买了 M3 Max 128G ,和你不一样的是,我是设计兼渲染的。所以基本上就是预算上选 内存最大。
    恰好对最近的 AI 和模型也有兴趣,想本地跑跑图或文字看看。

    LLaMa 70B 好像在 110G 左右,128G 恰好也在能跑的范围内。
    最近听说清华大学 SDXL 模型,M1 跑图原本一分钟,缩短到几秒,跟 2080Ti 差不多的级别。

    所以 AI 在 Mac 方面也是在追赶上去,但短期内可能没这么快。
    我也是从 宣布 OCtane he Redshift 支持 macOS Metal 开始,一直等了跳票很久才终于用上 Redshift he OCtane 。
    qweruiop
        21
    qweruiop  
    OP
       352 天前
    看了一下,现在开了 1 个 gateway 跑 clion ,3 个 gateway 跑 pycharm ,1 个本地 idea ,1 个本地 sublime ,若干个 terminal 窗口。。。感觉是 cpu 不行,我 xmx 都配的 10g ,但是最新版 idea 里面索引文件还是要卡一会儿,但是同事的顶配外星人就嗖嗖的。。。
    Rorysky
        22
    Rorysky  
       352 天前
    python 以来都有问题? 你用的什么包,自己编译安装不行么?
    qweruiop
        23
    qweruiop  
    OP
       352 天前
    @Rorysky 太多包了,计算的一堆,cuda 的一堆,之前都是 conda 直接装,但是还是有一半不成功的。关键是,之前没对比没觉得,直到:
    1 ,去年同事教唆开始用远程开发。。。发现 m1 max 速度( pycharm 打开项目速度/里面双击 shift 搜索速度/debug 的启动速度),运行速度暂不讨论(这个涉及到代码优化问题,不够客观),都和远程到 linux 上有非常明显的观感差异。。。
    2 ,最近,和另外同事的顶配外星人比,确实又差了很多。。。
    chonger
        24
    chonger  
       352 天前
    觉得慢有可能是 sip 的锅,关了试试。这里有人说的很清楚了 https://catcoding.me/p/apple-perf/
    noahhhh
        25
    noahhhh  
       352 天前 via Android
    @qweruiop 那就上 m3 max 呗,CPU 性能确实有不小提升
    qweruiop
        26
    qweruiop  
    OP
       352 天前
    @Rorysky cv 的一堆包,学习的一堆包,有些能运行,但是跑程序哇,远程 cuda ,都跑完 1000 frame 了,这边还在慢吞吞的,就是个玩具。。。看,老外也有调好的,但是感觉这条路短期没啥用。因为程序最后毕竟还要部署到 linux 那边去的嘛。。。
    lonenol
        27
    lonenol  
       352 天前
    m1 max 64g 咋会卡,我还在 m1 pro 16G 流畅的使用。。
    shimanooo
        28
    shimanooo  
       352 天前
    看最小够用的那档,然后翻个倍就行。
    chonger
        29
    chonger  
       352 天前
    qweruiop
        30
    qweruiop  
    OP
       352 天前
    @wclebb mac 应该是对设计和渲染,收益最高的机型了吧?
    感觉,开发,m1 能打,m3 对比 3-5w 的 机型,不是很能打。。。
    jZEdn7k4
        31
    jZEdn7k4  
       352 天前
    我感觉你个人体验下来外星人明显更优啊,不管是实际上还是心理感官上,那你为啥不直接买外星人,并不会比顶配 m3 max 贵吧。用 mac 想着大内存做 ai 就算了,你自己也发现了 mac 上 DL 绝大部分包是不适配的,你到时候用别人开源的代码基本都用不了,纯给自己加难度。
    jsq2627
        32
    jsq2627  
       352 天前
    我咬牙上了 128g 。唯一跑到超过 64g 内存的场景是开发一个跨桌面/移动平台 React Native app 项目,同时开着:
    - VSCode
    - Android Studio
    - Xcode
    - iOS Simulator
    - Android Emulator
    - GoLand
    - Chrome 一大堆 tab
    - 若干 Electron-based app ( Slack 、Teams 、Figma 、Notion 等)
    - Windows 和 Linux VM ,调试 app 在 Windows/Linux 下的行为
    - Docker ,跑着各种后端服务依赖
    这还是为了实验 128g 内存够不够用专门都打开的,平时其实不会这样去用,大多数时候专注在 1-2 个目标平台上开发。
    my3157
        33
    my3157  
       352 天前 via Android
    本地跑个 codellama 34b ,没几个问题风扇呼呼呼的转😂
    xieren58
        34
    xieren58  
       352 天前
    看钱, 不差钱, 满上...
    PainAndLove
        35
    PainAndLove  
       352 天前
    重度前端开发,之前入过 macstudio m1ultra 128gb 版本,使用了一年。
    chrome webstorm + 各种代理 + node ...
    结论就是,64gb 就够了.
    cpu 的话从跑分来看 m3max 已经和 14900k 不相上下(甚至稍强),m1max 应该是 12600 的水平吧,提升肯定是比较明显的
    hahaFck
        36
    hahaFck  
       352 天前
    没必要买 128 的,我也是 m1mx64 换的 m3max ,我都想换 32G 的了,但是 m3max 是 48 起步,就加到了 64G ,64G 完全够用了,加 6000 到 128 ,感觉不值得。
    nino
        37
    nino  
       352 天前
    用 m1 max 64G 的时候也几乎不会 swap ,看你的场景吧,预算如果足够当然拉满
    TuringHero
        38
    TuringHero  
       352 天前
    Llama-2-70b
    qweruiop
        39
    qweruiop  
    OP
       352 天前
    @jZEdn7k4 嗯,我是 m1 max 远程服务器开发,同事是外星人本地开发,主要我很多聊天工具,截图工具,office ,ps 啥的,觉得 linux 不能打。。。但是感觉除了这些辅助工具,开发方面的 mac 不难打。。。

    @TuringHero 这个模型需要 64 还是 128 的才能跑?
    jZEdn7k4
        40
    jZEdn7k4  
       352 天前
    @qweruiop 你要不外星人装 Windows 然后 pycharm 里配置 WSL Linux 开发,此外你说的聊天/截图/office 啥的应该 windows 下都更猛。。。ps 这种可能 mac 更有优势。Llama-2-70b 你只是用用 4-bit 版本 48G 就够了,16fp 版的就得 130G 了( https://huggingface.co/TheBloke/Llama-2-70B-Chat-GPTQ/discussions/2 ),但问题还是那样,这类 huggingface 上的模型很少有考虑 mac 兼容性的,这个级别的模型你也是改不了的
    TuringHero
        41
    TuringHero  
       352 天前
    @qweruiop #39 70b 上面有人说在 110G 左右。我没 64 的试,看油管老哥用 128 测的,显著强于 4090 24G 。
    ShadowPower
        42
    ShadowPower  
       351 天前
    @TuringHero 现阶段最有用的开源模型可能还是 Yi 34B ,我自己测试下来,写作方面真实表现真正超过 GPT4 。
    如果只讲究实用的话,一块 3090 的性价比足够高,且足以满足需求了。

    LLaMa 2 70B 其实大多数方面的真实表现和 Mistral 7B 差不多,它们的微调模型也类似。

    我还测过一些其他模型,通义千问的 72B 比 Falcon 180B 好,而 Yi 34B 的 SFT 模型比通义千问的 72B 好。
    qweruiop
        43
    qweruiop  
    OP
       351 天前
    @ShadowPower 这些模型 64 能跑吗?还是一定要 128 ?
    ShadowPower
        44
    ShadowPower  
       351 天前
    @qweruiop 用量化的版本,64GB 可以跑 34B 和 70B 。70B 的可能只能用 CPU ,因为 Mac 其实还限制了最大显存大小,比内存的一半多一点。
    一定要跑 fp16 精度的话,34B 的模型跑起来实际上就用 67GB 显存了,而且效果差别也不明显……

    超过 70B 的模型都不推荐。开源社区没人能微调这些模型,表现都不如参数量更小的。
    qweruiop
        45
    qweruiop  
    OP
       350 天前
    @ShadowPower 确实,再大的模型也不指望了。。。 谢谢老铁
    lancelvlu
        46
    lancelvlu  
       209 天前
    @ShadowPower “因为 Mac 其实还限制了最大显存大小,比内存的一半多一点。”你好,这个是苹果自己宣布的么?还是别人测的啊?有没有相关文档或者视频分享啊。感谢!
    ShadowPower
        47
    ShadowPower  
       209 天前
    @lancelvlu 之前我在玩 llama.cpp ,然后每天逛 reddit ( localllm 板块),和 github 的 issue 。
    llama.cpp 有个版本开始支持了 metal ,有些人碰到了模型加载失败的问题,于是有个工程师( llama.cpp 贡献者)用自己的 mac 做了测试,得出的这个结论。

    现在找的话,不太好找,印象中他用的是 64GB 内存的型号,实际可直接分配的最大显存有 37GB 左右。我记不得精确数字,只记得是 3 开头,超过 32GB 一些。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1415 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 22ms · UTC 17:27 · PVG 01:27 · LAX 09:27 · JFK 12:27
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.