Llama3.1 8B 本地部署抢先体验， win&mac 一键启动整合包，图形化界面+知识库

[mumbler]

一键启动整合包下载地址： https://flashai.com.cn

Llama 3.1 于 2024 年 7 月 24 日重磅推出，包括 405B ，70B ，8B 三个模型，将上下文长度扩展到 128K 、增加了对八种语言的支持。

8B 模型在 5 月初发布的 3.0 基础上能力有了大幅提升，超越 gemma2 9B 成为 10B 以下模型的 SOTA

这款 Llama3.1 8B 整合包，下载解压后开箱即用，无需任何安装配置，包括了 ollama ，Llama3.1 8B 大模型文件，图形化界面，知识库，向量模型，知识树，文档翻译，中文优化等，体积 5.7G

最低配置：8G 以上空闲内存，支持 avx2 的 CPU （近 10 年主流 CPU 都支持）

推荐配置：8G 显存的 N 卡 GPU

Mac版已经上传，强烈推荐M系同学下载使用，很流畅

[B4a1n]


[B4a1n]

[img]https://ice.frostsky.com/2024/07/25/472faf57407e307a5d4c2d685fe06060.png[/img]

[B4a1n]

https://ice.frostsky.com/2024/07/25/472faf57407e307a5d4c2d685fe06060.png

[mumbler]

@B4a1n 官方没有说正式支持中文，可能中文语料训练得少，国产模型大都基于 llama3 训练的，很快会出来一堆。10B 以下模型里中文能力目前最好的是 gemma2 9B ，英翻中特别厉害

[gzlock]

https://ollama.com/library/llama3.1
我会用知名度更高的 ollama 去体验 llama3.1
不是说不知名的软件啊整合包啊就该埋入土了，我本意是用更知名的出品代表有更多人盯着有没有作恶

[jeffwcx]

@mumbler qwen 也是基于 ollama ？

[yekern]

去 huggingface 找 llama3-8b-chinese-chat-ollama-q4 已经支持 ollama 了 可以直接用微调中文的

[walkingmoonwell]

@yekern 对这些不是很了解，我想问问比如这些模型做成知识库或者其他什么的，是已经很成熟可以当成产品了吗？还是只是本地部署自己玩玩？

[mumbler]

@gzlock ollama 只是一个命令行，要用图形界面需要安装 webui ，要用知识库需要安装 anything ，对普通人太麻烦，flashai 底层也是 ollama ，集成了图形界面，知识库，不用一个个去安装了，更方便不是吗

[mumbler]

@jeffwcx
llama2 有 7b 13b 33b 70b,qwen1.5 有 7b,14b,34b,72b
llama3 有 8b 70b,qwen2 有 7b ，72b
是不是一样的

[mumbler]

@walkingmoonwell 知识库已经很成熟了，可以用 flashai 免费体验一下，硬件有个 gpu 体验更好

[mumbler]

@yekern 赶紧再微调一个 3.1 的，基座比 3 强了不少

[andykuen959595]

试了一下 3.1 ，中文貌似还是不如 qwen2 ？其它方面还是弱点

[sunnysab]

@mumbler 多少参数是按显卡算力来定的，跟“基于”无关。

[mumbler]

@sunnysab 从零训练一个大模型，是很贵的，开源模型的大爆发就是从 llama 发布开始的，如果 qwen2 是从 0 训练的，也应该跟 1.5 一样有 14B ，32B 这些参数，为什么没有? 因为 llama3 没有

[wanghui22718]

竟然是直接从主站下载？
大哥服务器没问题吗？
正在下，感谢

[mumbler]

@wanghui22718 下载也是用户体验的一部分，我们初心就是极致的大模型本地部署体验，在任何电脑上开箱即用，不依赖环境，不用具备相关技术知识，all in one

[xoxo419]

Mac M1 16g 可以部署吗

[mumbler]

@xoxo419 当然可以，8B 模型只需要 6G 内存，有 M 芯片加持，速度飞快，mac 包刚刚通过苹果做审核，现在可以下载了

[jeffwcx]

@mumbler 。。。靠参数规模来判断哪个是不是基于哪个，您太牛了

[yekern]

@mumbler 已经有了 去搜下就好了, 下载下来 转换下就可以用了

[mumbler]

@jeffwcx 合理推论，国产模型训练都用 llama 不是什么秘密

[kangfenmao]

再推荐一个我开发的 Cherry Studio 支持 Ollama: https://github.com/kangfenmao/cherry-studio