V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
mili100
V2EX  ›  Local LLM

我做了一个 Ollama 模型仓库镜像站,帮你更快的从 ModelScope 魔搭拉取模型

  •  
  •   mili100 · 6 天前 · 475 次点击

    你好啊,

    不知道你知道你那里官方 Ollama Registry 的 Cloudflare R2 速度怎么样,但是在我这里特别是晚高峰,那是相当的糟糕。特别是每当新的开源模型发布的一个又一个深夜,每次模型拉取的的等待都让我咬牙切齿(比如前两天的 Phi4 )。

    于是我把目光转向了 Ollama 和抱抱脸合作的 hf.co Registry,奈何在 HF 的可访问性也非常看运气,我刚好也属于运气不那么好的那部分。虽然还有 HF-Mirror 但是速度也不容乐观。 但是 hf.co Registry 也给了我一些启发,抱抱脸都可以,魔搭难道不行吗?

    于是就有了我们今天的主角 ModelScope2OllamaRegistry (比起镜像站它更类似 hf.co Registry ,所以可能也许有一丝标题党)。再加上一些可能的冷知识 Ollama Registry 是 OCI Registry (好吧,也可能大家早就知道了),我通过魔搭的 API 获取了一些元数据补上了 manifests 还有一些乱七八糟的 config ,再以及最让人讨厌的对话模板,现在它已经能够 almost 完美的工作了。


    使用方法就像是这样:

    拉取模型

    请选择带有 GGUF 模型的仓库:

    ollama run modelscope2ollama-registry.azurewebsites.net/qwen/Qwen2.5-7B-Instruct-gguf
    

    这将能够拉取 https://www.modelscope.cn/models/qwen/Qwen2.5-0.5B-Instruct-gguf 中的模型,对于不带有标签或 latest 将依次按顺序尝试选择Q4_K_MQ4_0Q8_0量化。

    指定量化

    可以通过 tag 指定选择的量化:

    ollama run modelscope2ollama-registry.azurewebsites.net/qwen/Qwen2.5-7B-Instruct-gguf:Q8_0
    

    这将能够拉取 https://www.modelscope.cn/models/qwen/Qwen2.5-7B-Instruct-gguf/resolve/master/qwen2.5-0.5b-instruct-q8_0.gguf ,量化类型标签不区分大小写,你可以在 这里 查看 Ollama 支持的量化。

    仓库中需要包含带有正确格式文件名的 GGUF 文件(模型名称以“-”分隔,最后一位需要为有效的量化类型,形如:model-quant.gguf ),暂不支持包含类似 0000x-of-0000x 的切分后的模型。

    指定模板

    若对话模板未能正确识别或识别有误导致对话输出异常,你可以尝试这样指定模型的对话模板:

    ollama run modelscope2ollama-registry.azurewebsites.net/qwen/Qwen2.5-7B-Instruct-gguf:Q8_0--qwen2
    

    你可以查看 Ollama 官方支持的模板,和 本项目支持的模板,以手动指定更加合适的模板。


    当然,它也开源: https://github.com/onllama/Onllama.ModelScope2Registry

    如果你也喜欢的话也可以为我点个 Star ,你的 Star 将是我继续维护的动力。

    目前尚无回复
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5462 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 29ms · UTC 07:18 · PVG 15:18 · LAX 23:18 · JFK 02:18
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.