1. 为什么单张可用 60%？ 把其他任务都集中到 4 张显卡上，剩余 4 张用于跑 72b-awq 。多卡不建议超过 4 张，因为通信成本。
2. vllm 支持量化模型的。生产上用的最多的就是 vllm ，然后是 sglang （但是个人体感 sglang 比 vllm 稳定一些，因为版本都在不断迭代，所以仅是时效性的使用感受）。ollama 基于 llama.cpp ，这个项目最初就是用于在资源有限环境把模型 offload 到内存里跑起来的，一般就是个人玩具使用。
3. 喜欢一键的话，可以试一下 xinference ，有 docker 镜像，挺好用。
4. web 方案其实是各种 web client + openai style api ，各个推理引擎以 openai style api 将接口提供出来，兼容各类应用。

懂业务的技术和懂技术的业务牛逼。

@yousikicn macbook 的传统是一个模具用三代，可以找到部分媒体的“风声”，m4 是最后一代刘海屏了。刘海屏是真的丑，也没塞什么传感器。

（不能下代换个灵动岛把...

再等等，下代换模具

产品自己写。写提示词这种需求非常模糊，常常连需求都描述不清楚，。

前者感觉会被开源干爆，兼并到后面只有几个大公司有相关的岗位，中小公司全用开源标准。
后者感觉是对目前模型能力的修修补补，模型能力一提升上来，就废掉很多方向，例如 RAG 原来可能要很复杂的检索召回方案，后来粗略检索一下往上下文里面使劲怼就行了。

deepseek 的 json output 。或者在 LLM 结束之后加一个 json_repair ，或者捕获异常进行重试。

你还年轻，还要打 40 几年的工才能退休呢。好好保养身体才是最重要的。

关于读研，建议不要去学校脱产待三年，非顶级实验室和导师能带来的提高太有限了。可以出国读一年硕，也可以读非全。今天有感于带的应届研究生太菜了，简直需要手把手教。

@putaosi 一堆诱导性设计，小白用户稍不留神整个手机、电脑的东西都传上去了

cursor + 各种 api 钱，大概 100

有些商业、营销类的书籍本身信息量就不大，一本书翻来覆去说了一大堆就是为了证明几个观点。

另外，当你熟悉一个领域后，那个领域内的书籍大部分的内容也是相近的，每本书只是增量的提出一小部分知识。比如你看了《 C primer 》，《 C 与指针》之后，往后看 C 语言的书籍可能两天就把一本看完了。

两个都用，cursor 吊打前者。目前 Copilot 主要在 Jetbrain 系的 IDE 上用，用来进行一些复杂的 debug 。
不过建议按月付费，毕竟迭代太快了，可能不到一年，AI 辅助编程领域又会有新的 SOTA

1. 版式识别
2. 多模态大模型

我不明白机械盘+200M 的宽带为什么要上万兆网卡，徒增成本。甚至不用纠结几个网口，因为旁路由的方式 BOOM 了的影响最小。

用群辉，不要自己组。
25 个人用，稳定性比性能、性价比重要。

看各个论坛众说纷纭，对故障原因还是没有形成共识，因此也没有一个规避的方式。

买了 137 不带 k 的，做 NAS ，24 小时开着，现在慌得一批。而且我还是散片没有保修，原来以为 CPU 没有假的不会坏的。

离开了互联网、运营商，北邮算个啥？