字节跳动火山引擎的 token 。参加那个协作奖励计划，每天赠送 500 万 token 。我使用 python 并发请求。10 个并发。基本 2 个小时就用了 1000 万。也就是倒欠了 500 万的 token 。大概欠 9 块钱。
但是用阿里百炼平台。之前赠送了我 1000 万的 token 。同样的 python 项目请求。同样的并发数量。用了 4 到 5 个小时。也没欠费，可能用光就停止了。
是啥原因？有其他人遇到过吗？难道是火山引擎的应答速度更快？我也没感觉和阿里云差别有多少啊。
 |
1
infun 3 天前
好歹也列一下请求的什么模型，什么参数吧
|
 |
2
zqqian 3 天前
字节的机器性能高，速度快，所以 token 用的飞快
|
 |
3
ttkit 3 天前
接口里没响应用的 token 数？没有代码你说这有什么用。
|
 |
4
shebaoting OP deepseek v3 默认参数。没配置。并发是 10 个并发。
|
|
5
shebaoting OP @ttkit 关键是同样的代码啊。和代码有关系吗？
|
|
6
shebaoting OP @zqqian 我也在想是不是这个原因。
|
 |
7
keller 3 天前
记录一下每次请求的 输入输出 token ，自己统计一下。
|
 |
8
visper 2 天前
字节： 我速度快也有错？
|
 |
9
SakuraYuki 2 天前
现在 llm 最不透明的就是 token 的消耗量了，你也不知道到底是机器性能高消耗的多还是什么别的原因
|
 |
10
Morriaty 2 天前
你看下接口返回的 tokens 消耗啊，部分接口还有命中的 cache tokens 返回
|
 |
11
Rrrrrr 2 天前
我看了一下，10 来个问题，用了 5 万 token ，联网的。大概 4-5ktoken 一次?
|
 |
12
DIO 2 天前
阿里对高并发的控制理论上是更好的，双十一，支付宝的技术积累。
|
 |
13
thevita 2 天前
提供一点信息: https://www.volcengine.com/docs/82379/1346560
火山引擎好像是要手动管理 cache 的，大概看了下，好像没说 completions 会自动给 prefix cache ，未验证，仅提供方向，看看 你 api 的 usage 有没有命中咯 |
|
14
shebaoting OP 不过目前对火山，阿里云，腾讯云的体验下来。火山的对开发者的体验做的是比较好的。速度，功能设计，引导，都不错。其次是阿里云，阿里云目前头疼的是你不知道自己用了多少 token ，只能盲等账单结算。
|
Select Language