🦙 对话效果最好的 7B/1.5B 模型大家用的哪个？

[annoygaga]

如题，有哪个还不错的 LLM ，希望可以部署在手机（最新 CPU 手机）或者本地 PC 上？

目前看到的都还是大模型为主的 ranking

[sworld233]

看下这个 GPU Poor LLM Arena: https://huggingface.co/spaces/k-mktr/gpu-poor-llm-arena

个人觉得前段时间的 Gemma2 9B 用来玩玩已经不错了，现在新的 Deepseek 蒸馏出来的 Qwen 模型应该也行（ 7B ）

[neteroster]

@sworld233 R1 蒸馏的 Qwen 7B 是拿 Math 版本的，所以一般任务有点一言难尽。14B 和 32B 才是普通的版本蒸馏出来的。

---

楼上说的 Gemma2 9B 就可以，然后还有 GLM4 9B ，Qwen 2.5 7B 也还可以。

[restkhz]

正好这两天在玩。

1-3b 小模型：
LLAMA 的中文不够好，这种尺寸甚至有时候中文语法会出问题，完全不推荐。
Gemma-2-2b 还算正常，智商不咋高，但是能用。
千问 3b 值得一试。Qwen 有一个 0.5b 模型，跑起来没问题，但是没啥用。
其实这种 3b 以下的模型都不算特别实用。我在手机上运行过 llama 那个，卡，非常卡。
简而言之，这个等级的模型我目前没找到什么特别好的用处。可能一些非常简单又机械的任务可以用吧。

PC 能跑的：
我用的 Gemma-2-9b 。有 GPT-3.5 的感觉，但是逊于 GPT-3.5 。我的机器配置不好，在 CPU 中跑的，9b 跑起来不快。大概 3 token/s 这样，但是能用！
DeepSeek R-1 蒸馏那些 7-8b 的模型就比较痛苦。因为经常一言不合开始推理，一推理就要推理一两分钟，给出的结果还是错的。完全不推荐弱 GPU 的 PC 跑。
Llama 3 中文依然不好。我做的测试中，只要用中文，智商就低一个档次。英文感觉还行。

云端：
R-1 在云端跑大一些的模型就量变引起质变了。30B 左右那个等级加上烧钱的配置才有用处。感觉接近 o1-mini 但成本真的高。
Gemma-2-9b 在云端能流畅跑，成本高，而且 token 限制问题，不如你一个好一些的 PC 本地跑一个量化模型了。
Gemma-2-27b 终于能流畅跑，但是质量基本就是 GPT-3.5-turbo ，没必要。


Msty 在我电脑上默认下载的是 Gemma-2b 。可以在网上搜索和总结，效果惊人的还行，速度快，质量算能用。

综上，PC 上 Gemma2 2b 或 9b ，推荐。看你配置了。
手机如果你性能够好，如果 Gemma2 2b 能跑就选择这个。

有条件的话，用 lmstudio 都跑跑。