V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
ZimaBlueee
V2EX  ›  Local LLM

A30 显卡-24G 显存,推荐部署什么大模型呢

  •  1
     
  •   ZimaBlueee · 4 小时 50 分钟前 · 206 次点击

    想部署一个不带推理的大模型,推理耗时太长了。

    现在部署的是智谱清言的 chatglm4-9b-chat ,请问有更合适的模型推荐嘛?

    符合下面条件:

    1. 国产
    2. 上下文 2k 的情况下,并发数能有 5
    3. 当然,越聪明越好

    求哥哥们推荐!!

    顺便求一个相对权威的大模型排行榜

    5 条回复    2025-03-12 17:36:52 +08:00
    jackerbauer
        1
    jackerbauer  
       4 小时 48 分钟前
    deepseek-r1 14B
    ZimaBlueee
        2
    ZimaBlueee  
    OP
       4 小时 48 分钟前
    @jackerbauer 不需要推理哈,推理的时间太长了
    linauror
        3
    linauror  
       4 小时 34 分钟前
    你的意思应该是不需要思考过程吧,大模型都是要推理的 O(∩_∩)O
    liu731
        4
    liu731  
       4 小时 33 分钟前
    cat9life
        5
    cat9life  
       4 小时 32 分钟前
    那必须是 QwQ-32B ,当红炸子鸡
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3087 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 20ms · UTC 14:08 · PVG 22:08 · LAX 07:08 · JFK 10:08
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.