这是一个专门讨论 idea 的地方。
每个人的时间，资源是有限的，有的时候你或许能够想到很多 idea，但是由于现实的限制，却并不是所有的 idea 都能够成为现实。
那这个时候，不妨可以把那些 idea 分享出来，启发别人。
每个人的时间，资源是有限的，有的时候你或许能够想到很多 idea，但是由于现实的限制，却并不是所有的 idea 都能够成为现实。
那这个时候，不妨可以把那些 idea 分享出来，启发别人。
我很好奇，有没有人将 deepseek 搭建在服务器上，然后对外提供出租服务的？ 比如给个 mstsc ，或者弄个外网访问权限的。 可以让租用的人在本地调用这个云服务器上的模型的....
 |
1
siknet 1 天前
官方不是有 API ？
|
 |
2
fcten 1 天前
官方有 api ，不过官方 api 这两天基本处于不可用的状态。
|
 |
3
Jerry23333 1 天前
阿里云百炼里面有 deepseek
|
 |
4
hamsterbase 1 天前
|
 |
5
Themyth OP |
|
6
hamsterbase 1 天前
@Themyth deepseek 官方应该不是亏本的，他们服务器有特殊优化的。
|
 |
7
dream7758522 1 天前 via Android
昨天凌晨 2 点多，官网 web 版也崩了，等了半个多小时，好了。联网搜索也是彻底废了。
|
 |
8
parad 1 天前 via Android
有很多，我这里做了对比
https://prompt.16x.engineer/blog/deepseek-r1-cost-pricing-speed 持续更新中 |
|
9
parad 1 天前
域名太小众，渲染不出 link [https://prompt.16x.engineer/blog/deepseek-r1-cost-pricing-speed]( https://prompt.16x.engineer/blog/deepseek-r1-cost-pricing-speed)
|
 |
10
akira 1 天前
阿里云百炼 前天放了 deepseek 出来了。 一百万个 免费额度，足够测试了
|
 |
11
lovestudykid 1 天前
@parad #8 Deepseek 不是本来就是用 FP8 训练的吗，FP8 怎么还会有量化损失？
|
|
13
parad 1 天前 via Android
@lovestudykid 根据我的理解，DeepSeek 最终的 weight 是 mixed F8_E4M3 + FP32 。这个可以在 Hugging Face 的 原始 model layer details 里面看到： https://huggingface.co/deepseek-ai/DeepSeek-R1/tree/main?show_file_info=model-00027-of-000163.safetensors
而 Hyperbolic 的 FP8 是他们自己的 quantization ，是在 model 上面额外的 quantization ，这里有解释： https://docs.hyperbolic.xyz/docs/hyperbolic-ai-inference-pricing 所以我理解 Hyperbolic 应该是做了额外的 quantization 。当然有可能是我理解错了。欢迎指正。 |
|
14
parad 21 小时 12 分钟前
@lovestudykid 问了另一家 provider ，他们说因为 Deepseek R1 是 "trained in FP8"，所以本来就是 FP8 quantization 。所以没有影响。
但我也不确定这些 provider 有没有自己多做一层 quantization ，因为 Deepseek R1 的 FP8 是某些 layer 才有的，有会多其他 layer 还是 BF16： - https://huggingface.co/deepseek-ai/DeepSeek-R1/tree/main?show_file_info=model-00001-of-000163.safetensors - https://huggingface.co/deepseek-ai/DeepSeek-R1/tree/main?show_file_info=model-00160-of-000163.safetensors - https://huggingface.co/deepseek-ai/DeepSeek-R1/tree/main?show_file_info=model-00163-of-000163.safetensors 这些 BF16 不确定是不是被额外的做了 FP8 quantization 。按照 vLLM 的说法，如果是 Online Dynamic Quantization “all Linear modules (except for the final lm_head) have their weights quantized down to FP8_E4M3 precision with a per-tensor scale”： - https://docs.vllm.ai/en/v0.5.0.post1/quantization/fp8.html |
Select Language