V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
dayeye2006199
V2EX  ›  机器学习

分享给对 ml infra 有兴趣的老铁们的学习资源

  •  
  •   dayeye2006199 · 260 天前 · 657 次点击
    这是一个创建于 260 天前的主题,其中的信息可能已经有所发展或是发生改变。

    最近发现一个很好的学习群,主要一起学习机器学习里面的 cuda 和性能相关的知识。 更新频度比较佛系,大概两周一个 lecture 。视频在此: https://www.youtube.com/@CUDAMODE 讨论区在 discord 上面: https://discord.gg/cudamode

    涉及的知识例如:

    • 怎么做 profiling
    • 框架例如 pytorch 是怎么和 cuda 一起工作的
    • GPU 和 cuda 是怎么工作的
    • 模型的性能优化方法有哪些

    学的东西也挺实用的,如果想做和 LLM 相关的,哪怕不会 C++,学学怎么写 triton kernel 也是很好的,这样也可以看懂一些流行的推理框架比如 vllm 是怎么写自定义算子加速的。

    slayer
        1
    slayer  
       85 天前
    感谢分享,最近想转这个方向,问问老哥现在做什么呢?
    dayeye2006199
        2
    dayeye2006199  
    OP
       85 天前
    @slayer 做预训练
    slayer
        3
    slayer  
       85 天前
    @dayeye2006199 #2 6 啊,我准备看看推理方向的
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5610 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 01:33 · PVG 09:33 · LAX 17:33 · JFK 20:33
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.