V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
tool2dx
V2EX  ›  硬件

运行 AI 有感, GPU 显存带宽大,访问速度飞快。PC DDR 内存慢,当初就不应该那么设计插槽的。那么多年下来,消费级还是双通道为主。

  •  
  •   tool2dx · 8 天前 · 675 次点击
    应该把金手指去掉,做成 CPU 那种一大堆触点,这样就可以搞搞 8/16/32 多通道技术了。

    你看隔壁 XBOX 这种 APU 游戏机设计,虽然延迟不怎么样,但至少做到了显存和内存的真融合技术。不像 PC ,只要爆显存,推理速度就巨慢。那么多年下来了,内存带宽就是上不去(对比 GPU 显存 GDDR 的超大带宽,直流口水)

    老是有人说,游戏机设计目的和通用 PC 不一样,我就不明白哪里不一样了,不都是运行 EXE/ELF 程序嘛。我估计未来 PS6 跑 deepseek ,那也是手到擒来。
    10 条回复
    Donaldo
        1
    Donaldo  
       8 天前
    尺寸不够吧,竖着能有那么多颗粒,你这样横着怎么搞,只能靠堆叠了,技术过关么。
    tool2dx
        2
    tool2dx  
    OP
       8 天前
    我查了一下 wiki ,早在十几年前,差不多 GTX660 的时代,就已经上 GDDR5 显存,带宽 bandwidth 干到了 186G/s

    然后十多年过去了,内存要到达同等速率,一直是可望不可即的存在。
    tool2dx
        3
    tool2dx  
    OP
       8 天前
    @Donaldo 所以说传统 PC 没有创新意识,幸亏苹果 Mac mini 4 自研了 SoC ,要不然大家还在用龟速 x86 CPU 。
    Donaldo
        4
    Donaldo  
       8 天前
    @tool2dx #3 片上内存这个概念和苹果有什么关系......................................................您还是多去了解一下再来评论吧
    tool2dx
        5
    tool2dx  
    OP
       8 天前
    @tool2dx 我是说苹果的 M1/2/3/4 系列芯片的创新意识,不破不立,技术革新不能太墨守成规。

    早年坚持 ARM 替代 x86 ,会造成很多软件不兼容,微软也不敢动,只有苹果做到了。
    tool2dx
        6
    tool2dx  
    OP
       8 天前
    至于为什么要把苹果扯进来,因为他内存带宽超级高啊,基本上和显存带宽不相上下了。(金子价格另说)

    普通 PC 能做到这点吗?完全不可能。
    june4
        7
    june4  
       8 天前
    amd 的 ai pc 和最近 intel 的 cpu 不都是统一内存
    tool2dx
        8
    tool2dx  
    OP
       7 天前 via Android
    @june4 台式机还是 ddr5 为主,双通道跑分顶天 90G/s ,比起十年前的 GTX660 ,还差了整整一半。
    ryd994
        9
    ryd994  
       7 天前 via Android   ❤️ 2
    因为不需要。GDDR 带宽大是靠位宽。延迟比 DDR 高。CPU 做计算需要的是延迟不是带宽,各种控制指令让 CPU 有大量随机读写。miss 多几次,有效带宽就下来了。

    苹果用的是 LPDDR ,LPDDR 功耗低但是价格贵。容量很有限。苹果的内存带宽高是不得已为之。因为是融合内存架构。GPU 没有显存,等于核显共享内存。所以内存必须做到带宽高同时延迟低。这就是金子内存的原因。X86 移动平台一直都有用 LPDDR 的选项,在苹果自研 soc 之前就有。

    PC 上内存和显存分离,分别优化延迟和带宽,成本更低。普通台式 PC 要么低成本,要么打游戏。都不是带宽敏感的应用,很少会跑满内存带宽。GPU 用显存,也不需要考虑内存带宽。

    像你这样非要在家用平台上跑 AI 的,根本就是小众异类。服务器平台十五年前就是 4 通道。最新的 xeon 支持 12 通道,就问你带宽够不够?你跑 AI 爆显存之后慢,瓶颈是 pcie 延迟和带宽,内存带宽再大也白搭。人家跑 AI 用的是专业计算卡,不需要拿内存当显存用。这种 GPU 计算服务器,CPU 和内存可以极致减配,只负责为显卡服务。
    crac
        10
    crac  
       1 天前
    我总结一下楼上各位的意思,东西是有的,你不了解就开喷时不对的。

    我建议你买个 HP Z8 G5 主机上双路 16 通道内存浅玩一下
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2827 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 22ms · UTC 12:49 · PVG 20:49 · LAX 05:49 · JFK 08:49
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.