 |
uncatV2EX 第 222542 号会员，加入于 2017-03-23 11:13:16 +08:00今日活跃度排名 5323 |
jinmiaoluo
jinmiaoluo
jinmiaoluo
uncat 最近回复了
2 天前 回复了 lxnelly 创建的主题 › 宽带症候群 › 广东联通在一个楼盘内的两个独立宽带下的电脑可以 ipv4 直连吗？ |
实际测试见截图： https://blog.jinmiaoluo.com/upload/natmap-benchmark.png
PS：我是基于 NatMap + WireGuard 组网的方案（你的需求组网通过 RDP 内网互联即可解决）。
PS：我是基于 NatMap + WireGuard 组网的方案（你的需求组网通过 RDP 内网互联即可解决）。
2 天前 回复了 lxnelly 创建的主题 › 宽带症候群 › 广东联通在一个楼盘内的两个独立宽带下的电脑可以 ipv4 直连吗？ |
可以试试这个方案：买两个小米路由器刷 OpenWRT ，跟着 NatMap 的 Wiki 配置一下 NAT 打洞。
我的情况：广州移动宽带用户，没有公网 IP ，通过 NatMap 在运营商 NAT 设备上打洞，成功。
实际效果：延迟 10 ms ，瓶颈是家里移动宽带的上行速度（ 6.25 MBytes/Second)。
我的情况：广州移动宽带用户，没有公网 IP ，通过 NatMap 在运营商 NAT 设备上打洞，成功。
实际效果：延迟 10 ms ，瓶颈是家里移动宽带的上行速度（ 6.25 MBytes/Second)。
21 天前 回复了 snowkylin 创建的主题 › 分享发现 › 本地部署 DeepSeek-R1 671B 千亿大模型流程 |
21 天前 回复了 snowkylin 创建的主题 › 分享发现 › 本地部署 DeepSeek-R1 671B 千亿大模型流程 |
1. ollama pull deepseek-r1:671b
2. ollama show --modelfile deepseek-r1:671b | sed -e 's/^FROM.*/FROM deepseek-r1:671b/' > Modelfile
3. echo "PARAMETER num_gpu 0" >> Modelfile
4. ollama create deepseek-r1:671b-custom
第 3 步，将 0 替换为 2 （假设你是 24G 显存的显卡，实际显存除以 9 取整数商）
2. ollama show --modelfile deepseek-r1:671b | sed -e 's/^FROM.*/FROM deepseek-r1:671b/' > Modelfile
3. echo "PARAMETER num_gpu 0" >> Modelfile
4. ollama create deepseek-r1:671b-custom
第 3 步，将 0 替换为 2 （假设你是 24G 显存的显卡，实际显存除以 9 取整数商）
21 天前 回复了 snowkylin 创建的主题 › 分享发现 › 本地部署 DeepSeek-R1 671B 千亿大模型流程 |
> 是直接 ollama run deepseek-r1:671b 这个就行吗？
先 ollama pull deepseek-r1:671b 拉下来后，保存 modefile 到本地，添加 num_gpu 参数后再重新导入即可。
参考这个： https://github.com/ollama/ollama/issues/6950#issuecomment-2373663650
@vpsvps
先 ollama pull deepseek-r1:671b 拉下来后，保存 modefile 到本地，添加 num_gpu 参数后再重新导入即可。
参考这个： https://github.com/ollama/ollama/issues/6950#issuecomment-2373663650
@vpsvps
21 天前 回复了 snowkylin 创建的主题 › 分享发现 › 本地部署 DeepSeek-R1 671B 千亿大模型流程 |
21 天前 回复了 snowkylin 创建的主题 › 分享发现 › 本地部署 DeepSeek-R1 671B 千亿大模型流程 |
> 我的服务器有 8 块 4090 ，内存 640G ，能跑得动 671b 404GB 这个吗？
可以跑得动，跟你类似的配置，8 * 4090 + 512G 内存。Ollama 671B Q4 ，回答问题，短的 10s ，长的 20 - 30s 的样子。体验较差。
实际显存+内存总共：180 - 200G 。
ollama 现在会因为显存分配策略问题导致无法启动，需要 dump 出 Modefile 后手动添加 parameter num_gpu 为显卡数量 * 2
可以跑得动，跟你类似的配置，8 * 4090 + 512G 内存。Ollama 671B Q4 ，回答问题，短的 10s ，长的 20 - 30s 的样子。体验较差。
实际显存+内存总共：180 - 200G 。
ollama 现在会因为显存分配策略问题导致无法启动，需要 dump 出 Modefile 后手动添加 parameter num_gpu 为显卡数量 * 2
23 天前 回复了 Int100 创建的主题 › VMware › 2025 年 ESXi vs Proxmox VE (PVE)：虚拟化方案选哪个? |
libvirtd + virsh
26 天前 回复了 readman 创建的主题 › NAS › 突然想不通了，做备份的意义是什么？ |
这是给 Linux 用户的一些备份相关的建议：
备份是在万不得已时最后的办法，是构建自己一整套完善、持续可靠的 Linux 集群必要的一环（会让你安心）。
如何实践：
1. 备份应该是全系统的。
2. 除非该服务器上没有个人数据需保留，否则都应该加入备份系统。
3. 可以通过代码化（ ansible 、terraform 、saltstack ）方式（或者容器化）实现故障时服务快速重部署，区分运维操作和运维数据，只对数据进行备份。
4. 备份要有策略。比如 GFS ，避免因为策略的原因导致的空间浪费。
5. 基于成熟的开源方案。比如：borgbackup ，目的是让备份系统自身具备完善的策略、去重、加密存储支持。
6. 参考开源社区成熟的 Linux 集群备份实践。比如 Arch Linux DevOps Team 基于 BorgBackup 的实践。
备份是在万不得已时最后的办法，是构建自己一整套完善、持续可靠的 Linux 集群必要的一环（会让你安心）。
如何实践：
1. 备份应该是全系统的。
2. 除非该服务器上没有个人数据需保留，否则都应该加入备份系统。
3. 可以通过代码化（ ansible 、terraform 、saltstack ）方式（或者容器化）实现故障时服务快速重部署，区分运维操作和运维数据，只对数据进行备份。
4. 备份要有策略。比如 GFS ，避免因为策略的原因导致的空间浪费。
5. 基于成熟的开源方案。比如：borgbackup ，目的是让备份系统自身具备完善的策略、去重、加密存储支持。
6. 参考开源社区成熟的 Linux 集群备份实践。比如 Arch Linux DevOps Team 基于 BorgBackup 的实践。
Select Language