V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
fushall
V2EX  ›  Local LLM

请教各位,开源的 AI 模型需要什么样配置的机器?比如图像类啊大语言模型啊语音类啊都想玩玩

  •  1
     
  •   fushall · 216 天前 · 1992 次点击
    这是一个创建于 216 天前的主题,其中的信息可能已经有所发展或是发生改变。

    自己对 AI 机器配置这块没有任何研究。。。纯小白。。。

    刚好过段时间要休几天年假,打算玩一玩

    楼主的电脑是 thinkpad T14 32G 内存款,无 GPU ,貌似跑不了那些开源的 AI 模型

    搜索了一下,新人都是推荐苹果的机器,但自己没用过,心里没底

    14 条回复    2024-05-16 14:28:29 +08:00
    goxxoo
        1
    goxxoo  
       216 天前   ❤️ 2
    4060 16g 以上的吧, 我这个 1050ti 一张图 30-50 分钟 sd
    luchenwei9266
        2
    luchenwei9266  
       216 天前   ❤️ 1
    有用 CPU 的推理的,可以下一个 LM Studio 试试。不过建议还是得搞个大显存 GPU ,有钱上 4090 ,没钱买 2080ti 22G
    mmdsun
        3
    mmdsun  
       216 天前   ❤️ 2
    看你跑什么模型,一般 github 安装说明上都会写的。
    我的配置是 Windows 平台+Nvidia 4090 ,主要用 WSL 2
    最近跑了 Qwen 和 stable diffusion webui 画图都没什么问题的。
    jimrok
        4
    jimrok  
       216 天前   ❤️ 1
    主要是依赖 N 卡,显存是关键,一个 7B 的模型,大概能塞进 24G 的显存里,再大就装不进去了。
    smalltong02
        5
    smalltong02  
       216 天前   ❤️ 1
    如果你想自己研究的话,还是建议要搞一块 4090 。这样 34B-4bit(GPTQ),13B-8bit(GPTQ)和 7B-16bit ,都可以无压力的使用 GPU 加载并推理。如果想玩更大的模型,比如 70B 的模型,那么建议把内存也升到至少 64G 。这样可以使用 CPU 和内存加载 70B-4bit 量化的 GGUF 格式。

    此外给你推荐一下我的开源项目,比较符合你的需求,这一个项目支持很多的本地和在线模型,少量图像模型和语音模型:
    图像模型支持:OpenDalleV1.1 ,ProteusV0.2 ,SDXL-Lightning ,GhostXL 等
    音乐模型支持:facebook musicgen 系列
    语音输入输出支持:whisper ,OpenAI 和 Azure 在线语音
    https://github.com/smalltong02/keras-llm-robot

    如果你想使用知名的开源项目,那么我推荐
    LM Studio - 安装简单,可以只使用 CPU+内存做推理。缺点是只支持 GGUF 格式。
    Ollama - 同上,缺点在多一个没有漂亮的 GUI 。
    text-generation-webui - 这是最知名的项目,几乎所有格式都支持。
    YYSn5k19667xsfSA
        6
    YYSn5k19667xsfSA  
       216 天前   ❤️ 1
    不怕矿渣子的话,3090 也不错的,显存跟 4090 一样是 24G
    Giftina
        7
    Giftina  
       216 天前   ❤️ 2
    mac 的优点是对于绝大多数玩一玩图一乐的人来说不需要折腾(或很少折腾),而且预算要求很低。

    闲鱼上花 4K 收一台 mac m2 ,切记要 ≥16GB 内存的,能高效跑 7B 的模型,玩完了还能原价出。

    大语言模型的话装一个 Ollama 就可以玩了,需要 GUI 的话起一个 open-webui 就可以用了。用零一家的 7B yi 的实测速度和效果都很平衡。

    文生图的话可以用 Mochi Diffusion ,10 秒钟左右出一张图。都是即点即用的。
    Giftina
        8
    Giftina  
       216 天前
    @Giftina #7 以及 mac 很关键的一点是省电,峰值功率不到 20w ,好一些的屏幕都比它耗电🤣,拿显卡跑 ai 老心疼电费了
    squarefong17
        9
    squarefong17  
       216 天前   ❤️ 1
    应该有挺多教程的,例如: https://www.freedidi.com/12310.html

    又或者已经有一些跑本地模型的一键工具的。。。

    比如随手搜到一个 LM Studio: https://lmstudio.ai/
    squarefong17
        10
    squarefong17  
       216 天前
    并且稍微新一点的核显应该都能加速,并且即使是 CPU 也能跑一些,只是慢一点,pytorch 这方面适配海挺好,之前尝试清华那个 chatglm ,用 CPU 还是 NV 独显就是改一行代码的事儿。。。
    tpjaord
        11
    tpjaord  
       216 天前
    没有 GPU 一般速度都会满很多的
    如果不在乎 就没事
    cgcs
        12
    cgcs  
       216 天前
    我也想弄个配置高点的苹果,毕竟,笔记本就可以折腾折腾了
    cccccent
        13
    cccccent  
       216 天前
    可以 看一下 ollama 这个东西,一键部署,自动量化
    ```
    Note: You should have at least 8 GB of RAM available to run the 7B models, 16 GB to run the 13B models, and 32 GB to run the 33B models.
    ```
    AlexHsu
        14
    AlexHsu  
       215 天前
    玩一玩的话买大内存的 64g 内存 用 ollama lm studio 之类的跑跑玩玩
    本地生产力买大内存的 mac m2ultra 192g
    至于 4090 区区 24g 也跑不起来什么大模型

    其实性价比的话买个 32g 同意内存的 mac 写代码 丢到 colab 跑就挺好
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5793 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 22ms · UTC 01:54 · PVG 09:54 · LAX 17:54 · JFK 20:54
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.