Ayahuasec

@godqueue 现在软件兼容性上，AMD 和 Intel 没有太大区别吧。我感觉支持 AVX 然后内存带宽不差、内存容量够的话，CPU 跑起来 int4 的 14b 左右的模型，虽说不算快但是起码可用了。

虚拟机的话主要考虑 GPU 能不能直通进去，或者虚拟机内部要能调用到主机的 CUDA ，不然 GPU 加速跑不起来。

用 7840HS+RTX4050Laptop 的笔记本跑过 llama.cpp ，卸载了 20 层到 GPU 上，把 context 限制在 2048 的话，跑 q4km 量化的 14b 模型，日志文件里记录的一次速度如下：
llama_print_timings: prompt eval time = 1300.29 ms / 385 tokens ( 3.38 ms per token, 296.09 tokens per second)
llama_print_timings: eval time = 52142.44 ms / 331 runs ( 157.53 ms per token, 6.35 tokens per second)

有 GPU 加速的话 Prompt Eval 的速度会非常快，基本上发出几百个字的文本给模型以后，马上就能开始回复了。纯 CPU 计算的话 Prompt Eval 的速度只有 10 Tokens/s 左右，体现在应用上就是发了一段比较长的文本给模型要等很久才开始回复（ 500 字可能要等半分钟的样子）。

但是 RTX4050 的显存比较小，如果要开启比较大的 context 的话，就只能往显存上放更少的层，模型的输出速度就会慢下来。不过我感觉可用性还是挺好的，至少出门在动车上的时候连不上网就可以直接问本地模型了。

“研究生+要解决实际问题” 看到这两个条件，我感觉可以了解下 MatLab ？学校没买授权也不想掏钱买学生版的话，可以用开源的 Octave 平替。

MatLab 的文档很全，学过 Python 的话上手也应该很快，而且有问题也可以问 AI 。比如如果需要数据支撑或者论证观点的时候，就可以问 AI 需要什么数学工具或方法，然后用 MatLab 实现，以及可以输出合理的图可以放进论文里之类的。感觉可能对 op 的主业会比较有帮助。

我在用 N100 的小主机跑 q4km 量化的 14b 的 qwen ，机器装了根 32G 的内存，效果还可以，就是速度大概只有 2-3 tokens/s ，而且跑的时候风扇狂转

以前听同学说厦门应该中秋去，中秋比较热闹，那边过节能过上一个月

我记得是命令 nvidia-smi -pl 10 就能设定限制功耗在 10W ，可以按自己的卡调一调，但是这只是软件限制，实际跑起来还是有可能超过设定值。以前测试是可以略微降低一点点待机功耗，但是台式机的话好像意义不大，笔记本可以在独显闲置的时候挤出来点电池续航时间。

4060ti 16G 已经能跑不少东西了

预算再往下还有条 Tesla P100 16G 的野路子

本来下单以后还觉得挺便宜的，然后发现阿里云的 IPv6 还要额外开通，1Mbps 是 0.96 元/天。国外 VPS 基本上 IPv6 都直接送的，到阿里云这要额外收费了…

@allmightbe #18 修一个上一个回复（#19 ）的 bug ，看到你这张图我想起来了，BL=8 的时候列地址的低 3 位也是不用的，保持为 0 。列地址一般是 10 bits ，上面这个例子其实应该是{row[15:0], column[9:3], bank_addr[2:0], 6'h0}，或者也可以说是{row[15:0], column[9:3], bank_addr[2:0], column[2:0], 3'h0}。