V2EX › fcten 的所有回复 › 第 1 页 / 共 24 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

1 2 3 4 5 6 7 8 9 10 ... 24

❮

❯

7 小时 33 分钟前

回复了 drymonfidelia 创建的主题 › 程序员 › 为什么 LLM 模型不能按语言拆分，英文问题就只用英文语料训练出来的模型、日文问题就只用日文语料训练出来的模型，这样不是可以大幅减少参数量？

楼主可知道语言模型最初的目的是为了翻译……
其次，这样做并不能大幅减少参数量，道理就和你掌握一门新语言并不需要从 1+1=2 开始学习一样。大量的知识是与语言无关的。
再其次，清洗训练数据会花费大量的时间。而且更小的训练集 = 更差的模型。

1 天前

回复了 CNM47589 创建的主题 › 问与答 › 什么时候出新 12 寸 MacBook

习惯了 16 寸的重量其实也还好……

1 天前

回复了 snowkylin 创建的主题 › 分享发现 › 本地部署 DeepSeek-R1 671B 千亿大模型流程

MoE 模型的主要瓶颈在于内存/显存带宽，对算力的要求比较小。你的这个配置的瓶颈全在内存带宽上，GPU 妥妥打酱油。

用 24 通道的双路服务器主板，纯 CPU 跑 Q8 量化的模型也能达到 6 ～ 8 token/s 的速度。可以参考： https://x.com/carrigmat/status/1884244369907278106

1 天前

回复了 chenqh 创建的主题 › 生活 › 你们过年的时候要上山祭祖吗?

去，一般都是大年初一。坐标浙江

2 天前

回复了 Themyth 创建的主题 › 奇思妙想 › 有没有出租 deepseek 本地模型的云服务器？

官方有 api ，不过官方 api 这两天基本处于不可用的状态。

3 天前

回复了 privater 创建的主题 › macOS › 买大内存 MacBook 的一个意外好处——私人 AI 服务器

这居然是意外好处吗，我以为买大内存 mac 设备的都是为了本地跑 LLM 的。毕竟 mac 的金子内存一般人没需求是不会拉满的...
除了跑 LLM 还有哪些需求会用到大内存？视频剪辑？

3 天前

回复了 Shiroka 创建的主题 › 问与答 › 阿里也会手滑吗

又不是不能用.jpg