自己对 AI 机器配置这块没有任何研究。。。纯小白。。。
刚好过段时间要休几天年假,打算玩一玩
楼主的电脑是 thinkpad T14 32G 内存款,无 GPU ,貌似跑不了那些开源的 AI 模型
搜索了一下,新人都是推荐苹果的机器,但自己没用过,心里没底
1
goxxoo 216 天前 2
4060 16g 以上的吧, 我这个 1050ti 一张图 30-50 分钟 sd
|
2
luchenwei9266 216 天前 1
有用 CPU 的推理的,可以下一个 LM Studio 试试。不过建议还是得搞个大显存 GPU ,有钱上 4090 ,没钱买 2080ti 22G
|
3
mmdsun 216 天前 2
看你跑什么模型,一般 github 安装说明上都会写的。
我的配置是 Windows 平台+Nvidia 4090 ,主要用 WSL 2 最近跑了 Qwen 和 stable diffusion webui 画图都没什么问题的。 |
4
jimrok 216 天前 1
主要是依赖 N 卡,显存是关键,一个 7B 的模型,大概能塞进 24G 的显存里,再大就装不进去了。
|
5
smalltong02 216 天前 1
如果你想自己研究的话,还是建议要搞一块 4090 。这样 34B-4bit(GPTQ),13B-8bit(GPTQ)和 7B-16bit ,都可以无压力的使用 GPU 加载并推理。如果想玩更大的模型,比如 70B 的模型,那么建议把内存也升到至少 64G 。这样可以使用 CPU 和内存加载 70B-4bit 量化的 GGUF 格式。
此外给你推荐一下我的开源项目,比较符合你的需求,这一个项目支持很多的本地和在线模型,少量图像模型和语音模型: 图像模型支持:OpenDalleV1.1 ,ProteusV0.2 ,SDXL-Lightning ,GhostXL 等 音乐模型支持:facebook musicgen 系列 语音输入输出支持:whisper ,OpenAI 和 Azure 在线语音 https://github.com/smalltong02/keras-llm-robot 如果你想使用知名的开源项目,那么我推荐 LM Studio - 安装简单,可以只使用 CPU+内存做推理。缺点是只支持 GGUF 格式。 Ollama - 同上,缺点在多一个没有漂亮的 GUI 。 text-generation-webui - 这是最知名的项目,几乎所有格式都支持。 |
6
YYSn5k19667xsfSA 216 天前 1
不怕矿渣子的话,3090 也不错的,显存跟 4090 一样是 24G
|
7
Giftina 216 天前 2
mac 的优点是对于绝大多数玩一玩图一乐的人来说不需要折腾(或很少折腾),而且预算要求很低。
闲鱼上花 4K 收一台 mac m2 ,切记要 ≥16GB 内存的,能高效跑 7B 的模型,玩完了还能原价出。 大语言模型的话装一个 Ollama 就可以玩了,需要 GUI 的话起一个 open-webui 就可以用了。用零一家的 7B yi 的实测速度和效果都很平衡。 文生图的话可以用 Mochi Diffusion ,10 秒钟左右出一张图。都是即点即用的。 |
9
squarefong17 216 天前 1
应该有挺多教程的,例如: https://www.freedidi.com/12310.html
又或者已经有一些跑本地模型的一键工具的。。。 比如随手搜到一个 LM Studio: https://lmstudio.ai/ |
10
squarefong17 216 天前
并且稍微新一点的核显应该都能加速,并且即使是 CPU 也能跑一些,只是慢一点,pytorch 这方面适配海挺好,之前尝试清华那个 chatglm ,用 CPU 还是 NV 独显就是改一行代码的事儿。。。
|
11
tpjaord 216 天前
没有 GPU 一般速度都会满很多的
如果不在乎 就没事 |
12
cgcs 216 天前
我也想弄个配置高点的苹果,毕竟,笔记本就可以折腾折腾了
|
13
cccccent 216 天前
可以 看一下 ollama 这个东西,一键部署,自动量化
``` Note: You should have at least 8 GB of RAM available to run the 7B models, 16 GB to run the 13B models, and 32 GB to run the 33B models. ``` |
14
AlexHsu 215 天前
玩一玩的话买大内存的 64g 内存 用 ollama lm studio 之类的跑跑玩玩
本地生产力买大内存的 mac m2ultra 192g 至于 4090 区区 24g 也跑不起来什么大模型 其实性价比的话买个 32g 同意内存的 mac 写代码 丢到 colab 跑就挺好 |