如何优化提升 3.5 模型 API 的响应速度？

[PoohBear]

我们在做一个面向海外用户的产品，现在在用 gpt-3.5-turbo ，服务器在新加坡，经常要 10 秒才响应，想问下可以怎么优化？

[chuck1in]

务器在放在日本也有这个问题，用的 gpt4 ，还是很慢。还以为是网络问题，原来大家都有这个问题吗？

[tool2d]

gtp4 无可替代，但是 3.5 改用国内的替代大模型，基本回复都能达到相同水准，并且响应速度飞快。

[PoohBear]

想问下大家 3.5 的响应速度一般是多久

[Tink]

10 秒？不可能吧...我的 1 秒左右（国内服务器挂梯子）

[PoohBear]

@tool2d 产品面向海外英语用户

[tool2d]

@PoohBear 国内大模型精通英语的。

[wujiang007]

你说的是非 stream 模式吧？ GPT4 只会更慢，用 stream 边出字边显示，看起来会快一点。

[brader]

@chuck1in 请问下你的日本服务器会不会有 504 time out 问题，我的日本节点偶尔会有这个问题，延迟倒是还好，都是 1s 以内响应

[brader]

大家知道哪个地方的服务器，访问情况会最好吗

[PoohBear]

@tool2d #6 有些聊天内容尺度比较大= =

[yinmin]

以前注册的后付费账户的 api 速度快，最近注册的预付费的 api 速度慢很多。