看到有人评论，说 9G 内存就够跑 Qwen 14B 了，效果直逼 o1mini ，高配 32B 都可以跑。
求证一下，有没有大佬已经上手了，感觉怎么样。
 |
1
spike0100 10 天前 via iPhone
本地模型出错率还是挺高的。问了下中国历史上的首都都有哪些，啪啪啪 think 了一堆，但是最后回答的几个朝代没一个对的。但是官网的回答是没错的。
|
 |
2
vipviphaha 10 天前
9g 内存跑 14b ，速度不行
|
 |
3
0619 10 天前
M1 Max 64G 32b 速度可以用，70b 速度非常慢
|
 |
5
tanrenye 10 天前
试了一下 7b ，不太行的感觉，还有混着英文来回答，估计要 14b 以上会好一点，不如 qwen2.5 的 7b
|
 |
6
windirt 9 天前
16G M1 Pro ，关掉所有 app 能跑 14B
|
 |
7
jiuzhougege 9 天前
32G 内存跑 32B, 20G 的模型文件，无压力
|
 |
8
GabrielleBellamy 9 天前
128gb 内存跑 32b 中。
|
 |
9
hearlessnor 9 天前
@windirt 速度如何，回答质量如何？
|
 |
10
pricky777 9 天前
16G 的 M2 跑 7b ，错误挺多的，跑 14b 的话内存直接炸了，结果也没好到哪里去
|
 |
11
neilxu 9 天前
与楼上不同，我 16G 的 M1 ，ollama 跑 14b ，速度不慢，内存占用 12G ，回答质量和速度都可以，问的是苏联和蒙古的历史问题，跟 ds 官网的答案差不多，没有明显减少字数。
就是 air 没风扇，输出的时候温度 88-90 度，输出完就降温了。 |
 |
12
zeyangstudies 8 天前  1
跑了 32b 的 4bit 量化的 mlx 版本，感觉挺好用~
|
 |
13
skylha 8 天前
@zeyangstudies 老哥你是啥配置？有比直接跑 7b 效果好吗？
|
|
14
zeyangstudies 7 天前
@skylha 我的是 48g 的 M3 ，没试过 7b 的诶
|
 |
17
hiiragiharunatsu 7 天前
m4 的丐版 16+256 跑 14b 大概 9tok 蹦字很慢 效果也不好 thinking 时间巨长 感觉还不如 8b 那个舒服
|
 |
18
idlerlestat 7 天前 1
|
 |
19
sheller 7 天前
@zeyangstudies 求个链接，谢谢
|
 |
20
wsbqdyhm 6 天前 via iPhone
@0619 #3 配置一样，32b 和 70b 我都安装了，可以接受。ds 真的好很多，国内妥妥的第一，中文也比免费版的 chatgpt 强，付费版没有试过
|
 |
21
winson030 5 天前 via iPhone
话说。能跑是能跑，但是效果怎样？ 32gb m1pro 跑哪个规格的模型是能用好用的？
|
 |
22
kimizen 5 天前
看有人用 8 个 mac mini 跑成功了
|
 |
23
findex 4 天前
@hiiragiharunatsu 这个效果确实不如几百瓦功耗的 N 卡。m4 ultra 应该会好很多，目前 mac 的瓶颈卡在内存/显存带宽上。其他都是浮云
|
 |
24
SGL 4 天前
我想问下本地跑 deepseek 模型的意义是什么，回答质量也不高，纯为了玩儿吗
|
 |
26
Donaldo 4 天前
32b 起吧，14b 效果太差了，32b 也很慢，而且开了十几 G 内存没了，本身内存就捉急。。
|
 |
28
Themyth 4 天前
我是 36G 内存 一开始跑 70b 卡死……跑 32b 速度挺快的，但是挺弱智的。。。
|
|
29
zeyangstudies 1 天前
@sheller 就在 modelscope 上搜 mlx deepseek r1 就行，一堆，然后用 xinference 来推理，chatbox 对话就可以~
|
|
30
zeyangstudies 1 天前
@SGL 就是一般在断网环境下，例如某些加密网下搞工程，有个随时就问的大模型也挺好的
|
 |
31
bugprogrammer 1 天前 via iPad
Mac mini m4 pro+48g ，跑的 14b ，速度很 OK 。模型放 nas 上了，万兆，nfs 协议。用着挺舒服。另外我的 Debian arm 虚拟机也放 nas 上了(玩玩 arm Linux)。
|
 |
32
Vapriest 1 天前
16G14B ，比较卡，且效果对比网页版有明显差距
|
Select Language