V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Distributions
Ubuntu
Fedora
CentOS
中文资源站
网易开源镜像站
meattball
V2EX  ›  Linux

装了 Windows 的主机,要用 Linux 跑大模型,推荐 wsl 还是 Ubuntu 双系统来跑呢?

  •  
  •   meattball · 36 天前 via Android · 2621 次点击
    这是一个创建于 36 天前的主题,其中的信息可能已经有所发展或是发生改变。
    主要考虑 wsl 这种方式会不会有什么性能损失呢?
    22 条回复    2024-09-29 11:30:59 +08:00
    ferock
        1
    ferock  
       36 天前 via iPhone
    实际上,没有…但是,很多硬件不一定能调用,比如 wsl 不能调用声卡…
    xmumiffy
        2
    xmumiffy  
       36 天前 via Android
    跑大模型 wsl 没啥问题
    Oct31Dec25
        3
    Oct31Dec25  
       36 天前
    跑大模型用 WSL ,自带显卡驱动,没感觉到性能损耗。
    tap91624
        4
    tap91624  
       36 天前
    wsl 多卡有坑,其他还好
    lianyanjiajia
        5
    lianyanjiajia  
       36 天前
    wsl 有很多坑...
    jackmod
        6
    jackmod  
       36 天前

    个人用户直接走 docker desktop 就能用。
    商业用户……每月 5 刀的专业版好像就合法。
    jackmod
        7
    jackmod  
       36 天前
    直接上 wsl 是官方支持的 https://learn.microsoft.com/en-us/windows/ai/directml/gpu-cuda-in-wsl
    不过用纯 linux 版的 docker 好像连不上显卡,之前试过一次失败了,/dev 里也没找到像那么回事的玩意,大概是我的知识盲区。wsl 里 nvidia-smi 是一定能用的,有机会 strace 一下,希望能够发现些什么。
    huluhulu
        8
    huluhulu  
       36 天前
    windows+wsl 很舒服,和 windows 共用显卡,windows 玩游戏的同时后面跑模型,互不耽误。
    需要新环境的时候直接复制一个配置好的 wsl 镜像,很方便,每个环境真正做到互不影响。
    meattball
        9
    meattball  
    OP
       36 天前 via Android
    @tap91624 多卡有坑啊,能具体说说吗。我正好是两张 4080 。。。nvidia-smi 也能看见两张 4080 。
    meattball
        10
    meattball  
    OP
       36 天前 via Android
    主要是帮同学配的环境,还是希望能好用点
    meattball
        11
    meattball  
    OP
       36 天前 via Android
    @tap91624 @lianyanjiajia 刚刚查看了 nvidia 文档,说 Concurrent CPU/GPU access is not supported.,就是说不支持用多卡一起跑算力是吗
    hez2010
        12
    hez2010  
       35 天前 via Android
    用 WSL 没啥问题,我上个月刚刚用 wsl finetune 了 llama ,全程丝滑。
    among
        13
    among  
       35 天前
    wsl 的 nvidia-smi 可以看到。但是 docker 中使用的时候,发现无法占用显存。
    最后还是放弃了。
    beginor
        14
    beginor  
       35 天前
    测试/开发用 wsl 应该没什么问题,生产环境建议直接上 Linux 。
    qping
        15
    qping  
       35 天前
    纯 windows 就不能跑大模型吗,没折腾过,想了解下
    Nosub
        16
    Nosub  
       35 天前
    @qping 可以试试虚拟机,跑一个玩玩,几乎没有任何硬件要求,当然速度慢;

    使用 Ollama 和 AnythingLLM 搭建本地 LLM 和知识库
    https://nosub.net/posts/p/219
    qping
        17
    qping  
       35 天前 via Android
    @Nosub AnythingLLM 训练模式 属于 fine tuning 吗
    fox0001
        18
    fox0001  
       35 天前 via Android
    如果内存或硬盘占用比较大,建议用实体机装 Linux 来跑。试过 WSL 跑模型,超出 WSL 的硬盘容量限制,导致 WSL 里的系统崩了,只能重装。还好有备份……
    tubowen
        19
    tubowen  
       35 天前 via Android
    wsl 不好用,之前想在 wsl 上面用 docker 呢,还不如 VMware 虚拟机里面跑 docker ,坑很多
    ysc3839
        20
    ysc3839  
       35 天前 via Android
    我选择再装个 Arch Linux 。个人不太接受 WSL2 ,因为 Hyper-V 虚拟化感觉上会影响主系统性能。
    qping
        21
    qping  
       34 天前
    @Nosub 折腾了下,anythingLLM 还怪好用的
    看了下属于 RAG 方案
    meattball
        22
    meattball  
    OP
       34 天前 via Android
    谢谢家人们,已经在 windows 上直接跑模型了
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1922 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 22ms · UTC 16:23 · PVG 00:23 · LAX 09:23 · JFK 12:23
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.