 |
Chihaya0824🏢 雑魚 V2EX 第 432561 号会员，加入于 2019-07-28 21:24:43 +08:00今日活跃度排名 5250 |
Chihaya0824 最近回复了
4 天前 回复了 crac 创建的主题 › Local LLM › ubuntu + 双 N 卡 本地部署 DS-R1，性能优化请教 |
R1-Llama-70B-Distill-Q5KM-GGUF
VLLM
单次（类似 ollama ）
Avg prompt throughput: 0.0 tokens/s, Avg generation throughput: 28.3 tokens/s, Running: 1 reqs, Swapped: 0 reqs, Pending: 0 reqs, GPU KV cache usage: 0.4%, CPU KV cache usage: 0.0%.
双卡并发 （并行 12 个请求）
Avg prompt throughput: 0.0 tokens/s, Avg generation throughput: 98.7 tokens/s, Running: 12 reqs, Swapped: 0 reqs, Pending: 0 reqs, GPU KV cache usage: 2.7%, CPU KV cache usage: 0.0%.
差不多 3 到 4 倍的样子
VLLM
单次（类似 ollama ）
Avg prompt throughput: 0.0 tokens/s, Avg generation throughput: 28.3 tokens/s, Running: 1 reqs, Swapped: 0 reqs, Pending: 0 reqs, GPU KV cache usage: 0.4%, CPU KV cache usage: 0.0%.
双卡并发 （并行 12 个请求）
Avg prompt throughput: 0.0 tokens/s, Avg generation throughput: 98.7 tokens/s, Running: 12 reqs, Swapped: 0 reqs, Pending: 0 reqs, GPU KV cache usage: 2.7%, CPU KV cache usage: 0.0%.
差不多 3 到 4 倍的样子
7 天前 回复了 LGA1150 创建的主题 › 宽带症候群 › [未测试] 绕过上海电信白名单限速 |
野生的 kmod 出现了，这个性能怎么样啊，可以无脑给所有流量 setmark 吗？
11 天前 回复了 zhangchaojie 创建的主题 › 奇思妙想 › [这个想法值得做吗？] 一个聚合问各种大模型的应用 |
我最后还是自己去所有主流平台冲了钱，然后 open-webui 一把梭
点上面的那个加号就能同时和很多模型聊天，有时候会对比本地和 api 模型的结果，还挺有用的
点上面的那个加号就能同时和很多模型聊天，有时候会对比本地和 api 模型的结果，还挺有用的
13 天前 回复了 mcsddjyd 创建的主题 › Local LLM › Deepseek R1 671B 本地部署方案 |
4*8*24=768G
这显存应该够，为啥只能部署低精度的...
神奇，ray+vllm 不能用，ray list nodes 正常吗？
那要不试一下 llama.cpp rpc mode?
https://github.com/ggml-org/llama.cpp/blob/master/examples/rpc/README.md
这显存应该够，为啥只能部署低精度的...
神奇，ray+vllm 不能用，ray list nodes 正常吗？
那要不试一下 llama.cpp rpc mode?
https://github.com/ggml-org/llama.cpp/blob/master/examples/rpc/README.md
15 天前 回复了 Saikix 创建的主题 › 宽带症候群 › 礼问，深圳现在宽带还有哪家新开户能搞到公网 IPv4 的 |
电信好像便宜的都没有了，现在只能加钱
而且原有的好像移机或者换套餐都会消失，所以买别人的也没有了
而且原有的好像移机或者换套餐都会消失，所以买别人的也没有了
20 天前 回复了 unii23i 创建的主题 › 问与答 › 视频生成 ai 有本地的替代品吗 |
有，hunyuan video ，wan2 ，hunyuan t2v 4090 跑 720p 10 秒 10 分钟以上（视频时间越长生成时间越长）还跑的是 4bit gguf ，质量也不如他们跑的好。
28 天前 回复了 scienhub 创建的主题 › NVIDIA › 5090 买哪个品牌合适？ |
事实是现在原价根本买不到，5000 一张大把
所以哪个黄牛加价低买哪个算了
所以哪个黄牛加价低买哪个算了
29 天前 回复了 klo424 创建的主题 › Local LLM › 求 DeepSeekR1 性价比硬件推荐 |
如果要自己微调完全可以，但是首先你要准备数据集（这个部分是最花时间的）
非常可能的是你会发现调完之后很可能会出现变笨或者变没有思考的情况，因为你的数据集里没有 CoT 相关的，所以你还要把模型重新 align 回有 CoT 的状态
用 unsloth 的话要调比如说 14b 的话，怎么都要个 24g vram 吧，那买个 3090 就可以
当然也可以选择更小的，但是低于 14b 真的没什么实用价值
不过依我看步子最好不要一次性迈太大，部署玩明白了再去做训练也不迟，要玩训练那根本就和推理要求的不是一个级别的
可以参考的项目[这里]( https://huggingface.co/ValueFX9507/Tifa-Deepsex-14b-CoT-Q8)，大概是一个正经的项目（
上面的模型就算这样也要 8 张 H20(!!!!!110 万 CNY)，所以 op 可以再看看自己到底想要什么
非常可能的是你会发现调完之后很可能会出现变笨或者变没有思考的情况，因为你的数据集里没有 CoT 相关的，所以你还要把模型重新 align 回有 CoT 的状态
用 unsloth 的话要调比如说 14b 的话，怎么都要个 24g vram 吧，那买个 3090 就可以
当然也可以选择更小的，但是低于 14b 真的没什么实用价值
不过依我看步子最好不要一次性迈太大，部署玩明白了再去做训练也不迟，要玩训练那根本就和推理要求的不是一个级别的
可以参考的项目[这里]( https://huggingface.co/ValueFX9507/Tifa-Deepsex-14b-CoT-Q8)，大概是一个正经的项目（
上面的模型就算这样也要 8 张 H20(!!!!!110 万 CNY)，所以 op 可以再看看自己到底想要什么
29 天前 回复了 klo424 创建的主题 › Local LLM › 求 DeepSeekR1 性价比硬件推荐 |
买 api 得了，老实说，同时实现 1+2+3 ，不太可能，特别是 1
预算再少也要花 10k-14k 吧，那种预算下根本不可能有水冷，而且你要买的还是二手服务器，那不能说是噪音小，只能说是天天起飞
预算再少也要花 10k-14k 吧，那种预算下根本不可能有水冷，而且你要买的还是二手服务器，那不能说是噪音小，只能说是天天起飞
32 天前 回复了 Ayaya233 创建的主题 › 职场话题 › 被 hr 疯狂催入职 |
@Ayaya233 好好好，听劝好
Select Language