V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
songche
V2EX  ›  Local LLM

各位大佬, m4mini32g 跑大模型🐂🍺还是 4060ti16g🐂🍺呀?

  •  
  •   songche · 3 天前 · 3501 次点击
    22 条回复    2025-02-18 20:15:12 +08:00
    knva
        1
    knva  
       3 天前
    不是哥们,这两是一个价位的吗
    leonme
        2
    leonme  
       3 天前 via iPhone
    32g ,显存越大越好,能跑最重要
    songche
        3
    songche  
    OP
       3 天前
    @knva 4060ti16g 配个主机和 m4mini32g+256 5999 价格感觉差不多啊
    songche
        4
    songche  
    OP
       3 天前
    @leonme 速度上呢,有区别不
    luoyide2010
        5
    luoyide2010  
       3 天前
    显存能把模型装下的话,4060ti 速度更快些
    songche
        6
    songche  
    OP
       3 天前
    @luoyide2010 速度差异很大不
    jamesxu
        7
    jamesxu  
       3 天前
    songche
        8
    songche  
    OP
       3 天前
    @jamesxu 太牛了大佬
    clemente
        9
    clemente  
       3 天前
    前面能跑更大的模型 但是速度慢
    后面能跑小模型 但是比前面跑的快
    xzg1993
        10
    xzg1993  
       3 天前
    m4mini32g 不是 32g 内存吗,4060ti16g 是 16g 显存 这俩咋对比呢
    skydcnmana
        11
    skydcnmana  
       3 天前
    @xzg1993 mac 的统一内存速度比普通内存快不少,可以凑合当显存用。
    xzg1993
        12
    xzg1993  
       3 天前
    @skydcnmana 学习了~
    moyt
        13
    moyt  
       3 天前
    单机跑这些缩水版的大模型,意义是啥,纯粹折腾着玩还是有什么可以落地的东西吗?
    zqqian
        14
    zqqian  
       3 天前
    不爆显存的情况下,速度肯定还是显卡最快。
    要是爆显存,那就不一定了
    cubecube
        15
    cubecube  
       3 天前
    @skydcnmana 双通道 D5 高频也有 100G 的带宽了,4060ti 其实也可以扩展用内存的
    qping
        16
    qping  
       3 天前 via iPhone   ❤️ 1
    看了下 mac mini4 是 273/G 还是快不少的,我测试过 deepseek 32b 的版本,16G 显示和内存混合,只有 4t/s
    @cubecube
    hafuhafu
        17
    hafuhafu  
       3 天前
    M4 24g 大战 3070 应该可以约等于 4060TI
    https://www.reddit.com/r/LocalLLaMA/comments/1hrkend/m4_24gb_ollama_performance_with_llama32/

    不考虑显存的问题还是显卡速度快,不过显存确实是个大问题。
    mumbler
        18
    mumbler  
       3 天前
    都不要,2080ti 魔改 22G 最香,淘宝卖 2500 ,能流畅跑 32B deepseek
    iyaozhen
        19
    iyaozhen  
       3 天前
    个人经验 我 m3 pro 跑 phi-4 吐字比较慢,但 4070 ti super 飞快
    skydcnmana
        20
    skydcnmana  
       3 天前
    @mumbler 32b 模型文件 20G ,实际需要的显存是 24 到 30G ,不可能全用显存跑啊
    chor02
        22
    chor02  
       2 天前
    m4 24g 能跑 10 多 b 的,但是很慢
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5030 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 21ms · UTC 09:28 · PVG 17:28 · LAX 01:28 · JFK 04:28
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.