V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
xinhaiw
V2EX  ›  Local LLM

公司一个台式机想作为服务器部署本地大模型,怎么在局域网使用呢

  •  
  •   xinhaiw · 22 小时 51 分钟前 · 822 次点击

    需要申请公网 IP 吗,只是公司内网使用?不太懂网络,需要大佬解答一下

    18 条回复    2025-02-22 12:51:15 +08:00
    liu731
        1
    liu731  
       22 小时 48 分钟前
    cheng6563
        2
    cheng6563  
       22 小时 42 分钟前
    直接 ollama 就能启动并暴露 OpenAI 兼容的 API ,然后再随便套个 GUI 就行了。
    xzg1993
        3
    xzg1993  
       22 小时 41 分钟前
    台式机的性能够吗。
    xinhaiw
        4
    xinhaiw  
    OP
       22 小时 39 分钟前
    @cheng6563 直接通过局域网 IP 例如 192.168.1.100 这种就可以吗?
    tool2dx
        5
    tool2dx  
       22 小时 36 分钟前
    @xzg1993 正常来讲是不够的,台式机显存太小了。

    看 github 上各种神仙后续优化了,会不会有技术突破。

    本地只能跑残血版,还不如让同事直接用满血版 API 。
    proxytoworld
        6
    proxytoworld  
       22 小时 24 分钟前
    内网使用有内网 IP 就行了,用 ollama 有 api ,本地装一个客户端就行了
    fishlium
        7
    fishlium  
       22 小时 22 分钟前
    我们搞了一台 8 卡 4090 不太够用
    winnie2012
        8
    winnie2012  
       22 小时 21 分钟前
    得 8 张 H100 才能跑 671b 全量版本,价值人民币 200 万元。
    wu00
        9
    wu00  
       22 小时 9 分钟前
    ”一个台式机“
    这种情况,本地部署不是用来学习的吗
    adguy0228
        10
    adguy0228  
       20 小时 12 分钟前 via Android
    把防火墙关了,然后套个 openwebui 就可以给别人用了
    julyclyde
        11
    julyclyde  
       18 小时 48 分钟前   ❤️ 1
    现在就连不会计算机基本操作的人都要搞 AI 了
    我看这 AI 很快就要凉了
    wangyuescr
        12
    wangyuescr  
       17 小时 0 分钟前
    @julyclyde 这才是互联网的魅力好吧
    julyclyde
        13
    julyclyde  
       5 小时 22 分钟前
    @wangyuescr 用户玩玩闹闹也就算了;从业人员不宜这样
    xinhaiw
        14
    xinhaiw  
    OP
       3 小时 8 分钟前
    @julyclyde 老哥,我只是不懂网络,我之前开发都是云上开发的,没本地局域网部署过
    julyclyde
        15
    julyclyde  
       2 小时 52 分钟前
    @xinhaiw 不止。你对服务器应该也没什么概念
    xinhaiw
        16
    xinhaiw  
    OP
       2 小时 51 分钟前
    @julyclyde 我开发好几个电报机器人,都盈利了,你说我不懂...
    Mingcr
        17
    Mingcr  
       1 小时 25 分钟前 via Android
    @xinhaiw 啊,TG 机器人🤖找台服务器吧
    julyclyde
        18
    julyclyde  
       1 小时 10 分钟前
    @xinhaiw 拿结果反推,缺乏基本逻辑啊
    逆命题和原命题就没什么关系

    再说 tg bot 才费多少资源
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2811 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 22ms · UTC 06:01 · PVG 14:01 · LAX 22:01 · JFK 01:01
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.