V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
git
Pro Git
Atlassian Git Tutorial
Pro Git 简体中文翻译
GitX
fdwjtz
V2EX  ›  git

请教一个 git-lfs 下载 huggingface 的问题

  •  
  •   fdwjtz · 2023-10-19 22:46:45 +08:00 · 1240 次点击
    这是一个创建于 400 天前的主题,其中的信息可能已经有所发展或是发生改变。

    几个月前从 huggingface 下过一次大模型,记得是通过 ssh 克隆下来后,进去直接 git lfs pull 就能把模型拉下来,没挂代理。今天再这样操作就 pull 不下来了。感到很迷惑,git lfs 下载大文件走的是 http 不是 ssh 吗?各位都是怎么从 huggingface 下模型的?

    6 条回复    2023-10-21 09:17:54 +08:00
    fdwjtz
        1
    fdwjtz  
    OP
       2023-10-19 23:05:30 +08:00
    挂上 xray 看了下,确实全程走的代理
    GGMM
        2
    GGMM  
       2023-10-20 08:58:30 +08:00   ❤️ 1
    测试了一下,`git lfs pull` 在 clash 中新建的连接是 HTTPConnect ,而不是 SOCKS 5 ,后者是 clone ssh repo 的显示状态。

    [git-lfs API]( https://github.com/git-lfs/git-lfs/blob/main/docs/api/server-discovery.md#ssh) 中介绍了通过 ssh 发现下载路径的方式。测试:`ssh [email protected] git-lfs-authenticate TheBloke/llemma_34b-GPTQ.git download`;返回: ***"href":"https://huggingface.co/TheBloke/llemma_34b-GPTQ.git/info/lfs"***。返回的超链接是一个 https 链接,所以 hugging face 的 lfs 是通过 https 下载的。

    无法下载的原因可能是 huggingface 最近被墙了,才会导致 https 不能下载。
    fdwjtz
        3
    fdwjtz  
    OP
       2023-10-20 12:50:05 +08:00
    @GGMM 那么就是说,几个月前 huggingface 是没被墙的?我之前能 pull 下来压根是因为本身就能 http 访问......?
    beginor
        4
    beginor  
       2023-10-20 12:59:59 +08:00
    从 hoggingface 下载模型才真是考验梯子的稳定性和速度
    ykk
        5
    ykk  
       2023-10-20 16:10:27 +08:00
    “几个月前 huggingface 是没被墙的?” 对
    GGMM
        6
    GGMM  
       2023-10-21 09:17:54 +08:00
    @fdwjtz 是的,https://www.zhihu.com/question/599683557 中显示截至 5 月 7 日
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2852 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 40ms · UTC 13:53 · PVG 21:53 · LAX 05:53 · JFK 08:53
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.