想在本地跑大模型， macmini 怎么选？

[dropdatabase]

想在本地跑大模型，macminim4 选 24G 的还是 32G 的？求大佬指点。 怎么买优惠些？目前看好像国补挺便宜，但是抢不到。上半年 apple 有教育补贴不？

[uprit]

受限于带宽，丐版 16G 够用了，跑个 7B 嗖嗖的，11B 也能跑。
再大的模型，增大内存 M4 虽然也能跑，但那个速度，就开始难以忍受，远不如独显。

[fredweili]

同意楼上，m1 pro 16g 跑 8b 左右的 ollama 模型，测试玩玩够了，再大的模型简单试不出来区别

[Liftman]

取决于你跑什么模型。。。粗略的来说。模型体积多大。你一般要至少比他大的显存。越大的体积。误差越大。所以需要的越大。其他：无

我 128g 跑 90b 很稳定。但是你还是要鉴别需求先。

[flax5a98aa2]

在服务器上跑过 72B int8 awq 的 qwen2.5 ，感觉生成能力并不是很好（可能是被闭源 LLM 惯坏了）...在我自己 win 本上用 ollama 跑 8B 的量化模型，效果更差。感觉 32G 跑不出来什么有用的，只能玩玩，过一阵就退烧了，所以我不建议把跑大模型作为内存规格的考虑因素