最近有个场景,需要使用 gpt-4o-2024-08-06 的 100% json 格式输出。我用了一些卖 openai 代理的,发现暂时还没适配这种模式。
想咨询一下大家,如何能安全的使用 openai 的 api 服务,因为之前我已经被封掉一个付费账户了
或者大家有别的方法,能保证模型输出 100% 是 json 也可以,注意:是 100% json 输出。
openai 结构化输出官方文档: https://platform.openai.com/docs/guides/structured-outputs/structured-outputs
1
Kite6 39 天前 via Android
之前的版本也支持指定 json 输出,只是可能达不到 100%,但这个也有解决办法,用 json 解析一下返回结果,如果不满足重新请求生成一次就行
|
2
tap91624 39 天前
解析重试
|
3
necomancer 39 天前
买个 vps 自己做转发,或者本地代理,买靠谱的机场
|
4
x86 39 天前
美国 VPS+new api 去中转
|
5
facebook47 39 天前 via Android
野卡
|
6
bobryjosin 39 天前
用 azure 的就可以,没有限制即用即付,还是很稳的
|
7
llcxx 39 天前
必须使用 gpt-4o-2024-08-06 的模型吗?
我这里有一个方法,必然可以生成 json ,但是需要忍受慢一些的速度。 使用 deepseek 的接口,规定 output 一定是 json 格式即可。 我的远程工作职位网站 w3offer.com 就是用的 deepseek + json output 格式方便处理。 JSON Output 在很多场景下,用户需要让模型严格按照 JSON 格式来输出,以实现输出的结构化,便于后续逻辑进行解析。 DeepSeek 提供了 JSON Output 功能,来确保模型输出合法的 JSON 字符串。 https://platform.deepseek.com/api-docs/zh-cn/guides/json_mode/ 需要稳定的 openai 服务,也可以联系我 share 。 |
8
Int100 39 天前
用 function call 可以做到 100% json ,业务就这么做的
|
9
HeyCaptainJack OP @Int100 请问,我要翻译一个 text 文案为如下结果,要如何写这块呢,原文: We write your reusable computer vision tools. , 翻译后的结果需要如下:
{ "zh-CN": "我们编写可重用的计算机视觉工具。", "zh-TW": "我們編寫可重複使用的電腦視覺工具。", "en": "We write your reusable computer vision tools. ", "ja": "あなたの再利用可能なコンピュータビジョンツールを作成します。", } |
10
HeyCaptainJack OP @Int100 试着写了一下,成功过,不过还是会出现报错:
ERROR [ExceptionsHandler] 400 {"error":{"message":"Failed to call a function. Please adjust your prompt. See 'failed_generation' for more details.","type":"invalid_request_error","code":"tool_use_failed","failed_generation":"{\"translations\": {\"vi\": \"Chúng tôi viết các công cụ tầm nhìn máy tính có thể tái sử dụng của bạn\", \"zh-CN\": \"我们编写你的可复用计算机视觉工具\", \"zh-TW\": \"我們撰寫你的可重複使用電腦視覺工具\"}}"}} |
11
HeyCaptainJack OP @Kite6 omg ,这思路,失败了重试多次,直到解析成功对吧
|
12
proxyai 39 天前
@HeyCaptainJack 留下你的邮箱, 给你最可靠的 AI API
|
13
mythabc 39 天前
deepseek 的 json output 。或者在 LLM 结束之后加一个 json_repair ,或者捕获异常进行重试。
|
14
zqqian 39 天前
用云服务的 serverless 反代还是比较稳的,也不用服务器,免费额度也够用
|
15
hanqian 39 天前
用 openrouter 不就完了
|
16
maymay5 39 天前
|
17
zhhmax 39 天前
https://luee.net 我自己对接的 API 中转,可以用官方 demo 请求成功返回 json 。
|
18
zhhmax 39 天前
@zhhmax 要百分百返回 json ,说白了就是请求的 body 里面,response_format.type=json_schema ,response_format.json_schema 有完整的 json 结构定义,然后用支持的模型请求即可。至于你说的买了一些 API 代理不支持是因为他们都用的某几个开源程序。我这边的中转是我自己对接的官方 API ,支持这种请求模式,而且都是纯官方 API 转发,没有混杂逆向 API 等其他不明来源,因此能保证 100% json 输出。
|
19
HeyCaptainJack OP @zhhmax 是的,找了几个,好多都是基于开源自己部署的,哈哈,确实不符合,兄弟你这个我今天试试,😊
|
20
HeyCaptainJack OP @necomancer 靠谱的机场,说实话,我找了好多,也没找到完全安全的🤪,正在准备 vps 转发
|
21
HeyCaptainJack OP @llcxx 常规的翻译任务,对模型要求并不是很高,我来试试你推荐的这个 DeepSeek ,谢谢😁
|
22
HeyCaptainJack OP @hanqian 之前没听过,看了一下,挺全乎的,我来试试看
|
23
HeyCaptainJack OP @maymay5 呃,找了一个其他家的用 new api 的,暂不支持
|
24
maymay5 39 天前
@HeyCaptainJack #23 这不是 newapi 的问题,newapi 在刚发布的时候就更新了的,很久就更新了,不支持的是中转混用了模型版本,jsonschema 在请求体里只有两个模型支持,这两个模型经常会被混用,如图所示
|
25
TimePPT 39 天前 via Android
简单的 json 结构,4o 用 json mode ,sys prompt 给出输出示例,其实准确率还可以了。不用强行 json schema
|
27
jwangbyus 38 天前
用 Azure 的,除了部署新模型比较慢之外还是比较稳定的。
|
28
Quetalocatl 36 天前
請將以下 json 翻譯:
```json { "zh-CN": "", "zh-TW": "", "en": "We write your reusable computer vision tools. ", "ja": "", } ``` DeepSeek V2.5 用這句就能翻譯了,結果差不多。如果有非 json 的輸出其實過濾一下就可以吧? |