V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
limatrix81
V2EX  ›  Local LLM

想自己上手跑跑 LLM 大模型,求推荐显卡和主机配置

  •  
  •   limatrix81 · 1 天前 · 1223 次点击

    马上临近找工作了,看 Java 岗的都是杀的腥风血雨,虽然组里不放实习,但是也是很有危机感。

    做移动计算方向,后面可能会试试手机厂和国央企。无奈 LLM 太火,感觉没个大模型项目都不够看的。

    想配带一台大显存 N 卡的主机学学大模型相关知识,给后续找工作拓宽一下项目经历

    自己设计了一套配置,求 V 友们给点修改建议(现在显卡是真贵啊)


    CPU+主板

    • R5 9600x + 华硕 B760 AYW Wifi D5
    • JD 板 U 套装 2079 (首选)

    内存

    • 光威 D5 龙武 三星颗粒 C38
    • 光威 D5 龙武 国产颗粒 C36
    • JD 499

    显卡

    • 盈通 RTX4060ti 16G
    • TB 3699 (咸鱼可操作)

    存储

    • 海力士 P41
    • TB 608

    电源

    • 微星 MAG A650BN 迫击炮
    • JD 299

    散热器

    • 利民 BA 120 SE
    • TB 99

    机箱

    • 平头哥 M2 Air 黑
    • TB 139.9 (+30 配三把风扇)
    第 1 条附言  ·  15 小时 10 分钟前
    老哥们求问有没有必要等 15 号 RTX 5060ti 发布再买,新卡发布旧的会降价吗,之前没怎么关注显卡市场,研究了一下显卡价格走势,也摸不准老黄的调性,下面哪个选项会好一点呢
    - 等 15 号 5060ti 发布直接猛冲 16G 的首发,反正以后肯定涨价(应该会涨吧
    - 等 5060ti 发布之后买 4060ti (不晓得 50 系发布 40 系会不会降价
    - 其他方案
    22 条回复    2025-04-07 12:22:26 +08:00
    Stevenv
        1
    Stevenv  
       1 天前 via iPhone
    你这是打游戏配置。。建议直接买云计算便宜的起飞。。。
    lneoi
        2
    lneoi  
       1 天前
    推荐个其他方案,
    去算力平台租一台先用,快而且不贵
    如果刚开始用不到多少算力的,上 Google Colaboratory
    liu731
        3
    liu731  
       1 天前
    Ollama 先跑个 3B 8B 的
    444571840
        4
    444571840  
       1 天前
    买 9600x 还不如买 7700 散片,便宜还量大。
    RTX4060ti 16G 可以考虑换 2080ti 22G 魔改版,但要找到靠谱的厂商,比如之前的撼影彩盒 3 年保,但好像现在没了。
    内存可以考虑往大里买。
    mumbler
        5
    mumbler  
       1 天前
    跑大模型,最重要的是显存,显存,显存,其他都可以低配
    2080ti 魔改 22G 是性价比最高选择
    renmu
        6
    renmu  
       1 天前 via Android
    你不会只是想新配一个电脑吧(笑
    joyhub2140
        7
    joyhub2140  
       1 天前
    相信我,最终都会沦为打游戏的专用机的,我就是用理由换了 2 次 PC 了。
    limatrix81
        8
    limatrix81  
    OP
       1 天前
    @renmu 可恶,居然被你识破了😭
    limatrix81
        9
    limatrix81  
    OP
       1 天前
    @Stevenv 主要是怕到时候秋招面试官项目拷打,没亲自本地跑过直接露馅了
    limatrix81
        10
    limatrix81  
    OP
       1 天前
    @lneoi 哦哦哦哦,Colab 之前用过,但是好像最长使用一天就把资源释放了?
    limatrix81
        11
    limatrix81  
    OP
       1 天前
    @444571840 牛逼,还有这种卡,我去瞅瞅去
    limatrix81
        12
    limatrix81  
    OP
       1 天前
    @mumbler 对对,我就是想着弄个大显存的,等毕业直接一卖换 AMD 游戏卡,然后其他配置就不用动了
    tool3d
        13
    tool3d  
       1 天前   ❤️ 1
    @limatrix81 别买 2080ti ,老卡功耗太大,非常不稳的。

    你 TB 3699 ,可以考虑用两张 intel 的 16G 显卡,加起来就是 32G 显存。价格一样,至少不容易翻车。
    ggBalloon
        14
    ggBalloon  
       1 天前
    macmini 32g 显存
    sunfly
        15
    sunfly  
       1 天前
    不如研究直接调 API
    queziaa
        16
    queziaa  
       1 天前
    没用,就算 16G 将将够跑一些东西,这算力也很慢,大量跑或者训练很难受。调用买额度,训练租卡
    queziaa
        17
    queziaa  
       1 天前
    学习蹭谷歌
    WasteNya
        18
    WasteNya  
       1 天前 via Android
    够用,但前提是微调或部署最好量化,不然跑不动
    follow
        19
    follow  
       1 天前
    intel 最新 cpu ,似乎也是统一内存, 跑大模型,是否也可以?
    limatrix81
        20
    limatrix81  
    OP
       15 小时 18 分钟前
    @tool3d 懂了老哥,专业的
    limatrix81
        21
    limatrix81  
    OP
       15 小时 16 分钟前
    @ggBalloon 已经有个 mac 了,主要吧,再配一台电脑得兼顾一下打游戏啊[旺柴]
    coefuqin
        22
    coefuqin  
       1 小时 17 分钟前
    @limatrix81 专业个屁,Intel 的显卡都推荐,这是坑你呢。搞学习当然用 N 卡,Intel 的显卡起起伏伏就是个幌子,现在 cpu 都搞不好了,还兼顾个毛的 gpu ,之前多少 gpu 都是孤版,买了之后当 2 手都出不去。N 卡目前最合适的就 2080ti 22g ,弄 2 张搞个 NVLink ,既可以做学习用,也可以打游戏。你把 板 U 降一点成本,把内存搞多点。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5007 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 27ms · UTC 05:40 · PVG 13:40 · LAX 22:40 · JFK 01:40
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.