Chihaya0824

Chihaya0824

🏢  雑魚
V2EX 第 432561 号会员,加入于 2019-07-28 21:24:43 +08:00
今日活跃度排名 3748
根据 Chihaya0824 的设置,主题列表只有在你登录之后才可查看
二手交易 相关的信息,包括已关闭的交易,不会被隐藏
Chihaya0824 最近回复了
15 小时 8 分钟前
回复了 pixcai 创建的主题 随想 感觉大部分人有点毛病,但又不知道是哪里的毛病
有没有可能,不知道=我不想花时间在你身上( doge
rtl8167 USB 5G 网卡
绝对和 NAS 沾边,谁不想让网速更快一点呢(
16 天前
回复了 seatifa 创建的主题 问与答 求一个使用网页远程控制 windows 的方法
pikvm 直接外部接入,最折腾友好也最贵
便宜可以看 https://sipeed.com/nanokvm
体验平衡可以看 jetkvm
27 天前
回复了 crac 创建的主题 Local LLM ubuntu + 双 N 卡 本地部署 DS-R1,性能优化请教
R1-Llama-70B-Distill-Q5KM-GGUF
VLLM
单次(类似 ollama )
Avg prompt throughput: 0.0 tokens/s, Avg generation throughput: 28.3 tokens/s, Running: 1 reqs, Swapped: 0 reqs, Pending: 0 reqs, GPU KV cache usage: 0.4%, CPU KV cache usage: 0.0%.
双卡并发 (并行 12 个请求)
Avg prompt throughput: 0.0 tokens/s, Avg generation throughput: 98.7 tokens/s, Running: 12 reqs, Swapped: 0 reqs, Pending: 0 reqs, GPU KV cache usage: 2.7%, CPU KV cache usage: 0.0%.
差不多 3 到 4 倍的样子
30 天前
回复了 LGA1150 创建的主题 宽带症候群 [未测试] 绕过上海电信白名单限速
野生的 kmod 出现了,这个性能怎么样啊,可以无脑给所有流量 setmark 吗?
我最后还是自己去所有主流平台冲了钱,然后 open-webui 一把梭
点上面的那个加号就能同时和很多模型聊天,有时候会对比本地和 api 模型的结果,还挺有用的
36 天前
回复了 mcsddjyd 创建的主题 Local LLM Deepseek R1 671B 本地部署方案
4*8*24=768G
这显存应该够,为啥只能部署低精度的...
神奇,ray+vllm 不能用,ray list nodes 正常吗?
那要不试一下 llama.cpp rpc mode?
https://github.com/ggml-org/llama.cpp/blob/master/examples/rpc/README.md
电信好像便宜的都没有了,现在只能加钱
而且原有的好像移机或者换套餐都会消失,所以买别人的也没有了
43 天前
回复了 unii23i 创建的主题 问与答 视频生成 ai 有本地的替代品吗
有,hunyuan video ,wan2 ,hunyuan t2v 4090 跑 720p 10 秒 10 分钟以上(视频时间越长生成时间越长)还跑的是 4bit gguf ,质量也不如他们跑的好。
51 天前
回复了 scienhub 创建的主题 NVIDIA 5090 买哪个品牌合适?
事实是现在原价根本买不到,5000 一张大把
所以哪个黄牛加价低买哪个算了
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2400 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 10ms · UTC 16:02 · PVG 00:02 · LAX 09:02 · JFK 12:02
Developed with CodeLauncher
♥ Do have faith in what you're doing.