V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
jpkrhan
V2EX  ›  程序员

请教大家台式机装机咨询

  •  
  •   jpkrhan · 2023-05-19 20:13:18 +08:00 via Android · 2415 次点击
    这是一个创建于 538 天前的主题,其中的信息可能已经有所发展或是发生改变。

    想装一台可以搞一搞大模型的机器,求教什么配置比较好呢? 需求是能跑得起来开源大模型, windows 下用 docker 跑 clickhouse 和 neo4j 这样的图数据库, 运行时候声音莫吵 预算 7000 吧,请教大家有什么好的配置单。

    14 条回复    2023-05-21 18:19:15 +08:00
    dankai
        1
    dankai  
       2023-05-19 23:40:38 +08:00 via Android
    预算 7000 别想了,都不够一个 4080 的
    czfy
        2
    czfy  
       2023-05-20 00:31:28 +08:00 via Android
    预算 7000 就想本地跑大模型?就算不训练只用都不行吧
    你是不是不清楚大模型为什么叫大模型
    jpkrhan
        3
    jpkrhan  
    OP
       2023-05-20 00:47:04 +08:00 via Android
    清华的模型好像消费级显卡就可以?
    chesha1
        4
    chesha1  
       2023-05-20 01:27:08 +08:00
    看你怎么定义大模型了,最入门的“大”模型,6B 7B 参数的那种,加上节约显存的技巧,大概也要 10G 显存了
    可以搜一下能用什么级别的显卡,7000 预算估计不太够
    但是传言,会有 4060ti 16gb 的版本,如果你预算没法加可以等等这个,这个应该是新卡里最便宜的大显存卡了
    documentzhangx66
        5
    documentzhangx66  
       2023-05-20 03:37:17 +08:00
    人工智障的能力,是依赖数据量,而不是模型。只有数据量足够大的时候,人工智障才会发生能力涌现。这就是为什么大厂训练一次人工智障的费用成本,高达百万甚至千万美元。

    中小公司,买几台插满 A100 显卡的服务器,进行训练,没啥用。这也是为什么文心智障与 ChatGPT 的质量有隔代差异的原因。全球也就美国的顶级大厂才能正式开发,其他厂家的数据量太少,只能听个响。

    至于楼主,7 千元人民币,还不如多买几个大厂人工智障的账号来的实际。
    SClP
        6
    SClP  
       2023-05-20 06:21:19 +08:00
    用 6400 块钱买个 4070ti 显卡,剩下的配件去闲鱼淘个 E3V5 套装
    OysterQAQ
        7
    OysterQAQ  
       2023-05-20 08:04:58 +08:00 via iPhone
    5500 买个二手 3090 ,1500 随便凑个配置
    Swimming
        8
    Swimming  
       2023-05-20 08:05:52 +08:00 via Android
    这时候就得看 e3 神教
    lilei2023
        9
    lilei2023  
       2023-05-20 14:09:06 +08:00
    这预算有点不够吧
    jpkrhan
        10
    jpkrhan  
    OP
       2023-05-20 14:17:39 +08:00 via Android
    原来这样啊,看起来还是很依赖硬件和数据量的。如果只是
    jpkrhan
        11
    jpkrhan  
    OP
       2023-05-20 14:18:06 +08:00 via Android
    只是随便玩玩,可能配置都不够
    ryan4yin
        12
    ryan4yin  
       2023-05-20 20:58:26 +08:00 via Android
    这个预算,建议租云 GPU
    Le95
        13
    Le95  
       2023-05-21 14:13:21 +08:00
    魔改 2080ti 22g 显卡 b 站 up 司波图有一期 4000 的 ai 主机 你的预算可以换换靠谱的配件 应该够。
    jpkrhan
        14
    jpkrhan  
    OP
       2023-05-21 18:19:15 +08:00 via Android
    @Le95
    @ryan4yin 感谢感谢
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5233 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 33ms · UTC 01:16 · PVG 09:16 · LAX 17:16 · JFK 20:16
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.