这是一个创建于 408 天前的主题，其中的信息可能已经有所发展或是发生改变。
有专门做这块落地的大佬吗？
 |
1
Attenton 2023-10-11 09:54:27 +08:00
感觉框架倒是其次的吧，主要还是算力和一些推理优化技术吧
|
 |
2
datoujiejie221 2023-10-11 10:06:50 +08:00
可以看下 lightllm 这个项目，部署还是比较简单，项目最后也列举了一些现有框架可以参考一下：
Faster Transformer Text Generation Inference vLLM Flash Attention 1&2 OpenAI Triton |
 |
3
uriel2333 2023-10-11 11:49:55 +08:00
在用 vllm 跑 qwen-7b ，当然只是跑起来了，也没有太多研究
|
 |
4
liprais 2023-10-11 12:10:25 +08:00
llama.cpp
|
Select Language