V2EX › mili100 的所有回复 › 第 1 页 / 共 1 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

7 天前

回复了 abc634 创建的主题 › Local LLM › 请教，关于显卡内存

也许可以尝试下 Ollama/llama.cpp ，没有显卡但是有高性能 CPU 纯 CPU 推理只要有足够的许多模型都能够运行的，特别是对于激活参数较小的 MoE 模型（比如 Deepseek ）。
在我的环境下（ R9 7945HX + 96G RAM ） Deepseek-v2.5-1210 IQ2_XS 能有几到十几的 TPS ，奈何没有更大的内存，我觉得只要有 256G RAM Q4_0/Q4_K_M 也许也是没有问题的。
在 X 上也有人纯 CPU 成功运行起来了 Deepseek-v3 而且似乎还不错： https://x.com/nisten/status/1877276141905387565

2023-07-03 17:08:38 +08:00

回复了 TGhhpanda 创建的主题 › DNS › 突然想学习关于 DNS 劫持的玩意，有没有大神愿意指点一二

@TGhhpanda https://www.ettercap-project.org/

2020-11-15 00:20:07 +08:00

回复了 CloudRaft 创建的主题 › 推广 › 云筏科技 CloudRaft 长期免费赠送服务器 4 核 16G 内存 500G 硬盘

ID：1101499
搭建一个公共 DNS over HTTPS 服务器

2020-01-20 22:16:01 +08:00

回复了 Yien 创建的主题 › 推广 › 新晉 NAT VPS 推廣 5 位贈送： KVM 1C1G 一年使用權另有 V2EX 專屬首月 6 折優惠碼限量 50 位

分母+1