在 M1Max 的 MacBook Pro 上跑 Apple 的 Ai 是否够用？主要是端侧大模型硬件性能是否够用

[mikelirjc]

因为现在 M1Max64G8T 也才 2w 左右，确实香

[ETCartman]

有点慢:(

[StinkyTofus]

M1 过时了， 买新不买旧

[seanzxx]

要真的用来跑 AI ，m1 的 NPU 太老了，m1 max 的算力也只有 m4 的三分之一，应该等等 m4 max 的 MacBook Pro

[Theigrams]

> With this set of optimizations, on iPhone 15 Pro we are able to reach time-to-first-token latency of about 0.6 millisecond per prompt token, and a generation rate of 30 tokens per second.

苹果的端侧模型才 3B ，M1 随便跑无压力

[rainbowmolly]

iphone 上可以跑 m1max 跑不了这个听起来不太可能吧

[dilidilid]

你说的端侧大模型是指啥？如果是指苹果自家上的模型的话肯定够用，如果是 SOTA 的开源大模型，就算能跑也快不了，哪怕是最新的 M3 Max 也就那么回事，不要有太高期待

[a66243766]

@seanzxx 哈？你这个数据是咋来的？不能张口就来吧你要说 m1max 距离 m4max 差很远，但 m1max 打 m4 是无压力的，根本就不在一个纬度

[seanzxx]

@a66243766
看 Spec 呀，算了，刚好手上有设备，用 GeekBench ML 跑个分。
设备：
1. MacBook Pro 2021, M1 Max, 64GB
2. iPad16,5, M4, 16GB
3. iPad 14,8, M2, 8GB

软件版本：
1. Geekbench ML 0.6.0 for macOS AArch64
2. Geekbench ML 0.6.0 for iOS AArch64

分数 (Core ML Neural Engine Inference Score)：
1. M1 Max: 8572
2. M4: 10219
3. M2: 7971

链接:
1. https://browser.geekbench.com/ml/v0/inference/402657
2. https://browser.geekbench.com/ml/v0/inference/402661
3. https://browser.geekbench.com/ml/v0/inference/402663