流出的类 GPT 模型 LLaMA 的运行效果

[ByteCat]

相信大家都已经下载了 LLaMA 的模型来玩了，我今天也玩了一下，效果其实和想象的差很多。

运行环境： GPU: RTX 4090 Weight: LLaMA-7B 在默认 FP16 下运行，会占用 22GB 左右的显存

总结：英文补全勉强能看，但好像还是挺差的，中文补全直接胡言乱语，和 GPT-3 相距甚远，可能还要作为模型基础继续针对训练，对普通用户来说基本没什么可用性，毕竟有一张至少 24G VRAM 的 GPU 就挺难了

[Wenbobobo]

托管在抱脸上的 7B demo
https://huggingface.co/spaces/chansung/LLaMA-7B
可以都去试试，确实现在还不太行

[yzlnew]

你跑一个 7B 的怎么可能会行啊？

[ByteCat]

@yzlnew 7B 就占用 22G VRAM 了，我感觉很多人连 7B 都跑不起来吧，只能说不太适合个人用了

[yzlnew]

@ByteCat GPT-3 级别的大模型推理目前标配需要 8*A100 才有比较合理的延迟。不然只能借助各种 offloading 的优化方案。

[18601294989]

13b 啊