V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
wwwuser
V2EX  ›  问与答

Windows、 Linux 平台支持类似于 apple M 系列芯片的 Unified Memory Architecture(UMA)架构吗, AI 模型跑不起来...

  •  1
     
  •   wwwuser · 195 天前 · 879 次点击
    这是一个创建于 195 天前的主题,其中的信息可能已经有所发展或是发生改变。

    目前在试着跑了下开源的大模型,发现大模型数据比较占用显存,一般消费级别的显存都很小,不会超过 16G ,但是稍微参数大些的模型数据就超过 16G 了,当加载模型数据到显存时显然是不够的,然后发现程序就完全在硬盘上推理,速度奇慢无比,如果显卡能使用内存加显存岂不是很爽,再大的模型都可以加载,而且不用跑的那么慢 有大佬比较清楚吗,可以详细说说么

    5 条回复    2024-04-25 08:44:07 +08:00
    NoOneNoBody
        1
    NoOneNoBody  
       195 天前   ❤️ 1
    不要滥发分享创造这个节点,站长会处理的
    一般提问就问与答就可以了

    消费级就不要跑建模了,不如只用 CPU+内存
    handuo
        2
    handuo  
       195 天前 via Android
    nvidia jetson agx 64GB ,但是 CPU 和 GPU 很弱,一般用于边缘计算的,勉强可以跑小型 llm
    wwwuser
        4
    wwwuser  
    OP
       194 天前
    @minami 驱动解决,感谢
    @NoOneNoBody 好的,下次会注意的
    mortal
        5
    mortal  
       194 天前
    明明有混合模式
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3200 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 27ms · UTC 12:26 · PVG 20:26 · LAX 04:26 · JFK 07:26
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.