V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
HeyCaptainJack
V2EX  ›  OpenAI

累了,咋样能安全的使用 openai 的 api 服务呢?🤡

  •  
  •   HeyCaptainJack · 55 天前 · 2229 次点击
    这是一个创建于 55 天前的主题,其中的信息可能已经有所发展或是发生改变。

    最近有个场景,需要使用 gpt-4o-2024-08-06 的 100% json 格式输出。我用了一些卖 openai 代理的,发现暂时还没适配这种模式。

    想咨询一下大家,如何能安全的使用 openai 的 api 服务,因为之前我已经被封掉一个付费账户了

    • 看有帖子讨论说,cloudflare workers 反代,也是会被封掉

    或者大家有别的方法,能保证模型输出 100% 是 json 也可以,注意:是 100% json 输出。

    openai 结构化输出官方文档: https://platform.openai.com/docs/guides/structured-outputs/structured-outputs

    29 条回复    2024-10-08 15:53:42 +08:00
    Kite6
        1
    Kite6  
       55 天前 via Android
    之前的版本也支持指定 json 输出,只是可能达不到 100%,但这个也有解决办法,用 json 解析一下返回结果,如果不满足重新请求生成一次就行
    tap91624
        2
    tap91624  
       55 天前
    解析重试
    necomancer
        3
    necomancer  
       55 天前
    买个 vps 自己做转发,或者本地代理,买靠谱的机场
    x86
        4
    x86  
       55 天前
    美国 VPS+new api 去中转
    facebook47
        5
    facebook47  
       55 天前 via Android
    野卡
    bobryjosin
        6
    bobryjosin  
       55 天前
    用 azure 的就可以,没有限制即用即付,还是很稳的
    llcxx
        7
    llcxx  
       55 天前
    必须使用 gpt-4o-2024-08-06 的模型吗?

    我这里有一个方法,必然可以生成 json ,但是需要忍受慢一些的速度。

    使用 deepseek 的接口,规定 output 一定是 json 格式即可。

    我的远程工作职位网站 w3offer.com 就是用的 deepseek + json output 格式方便处理。

    JSON Output
    在很多场景下,用户需要让模型严格按照 JSON 格式来输出,以实现输出的结构化,便于后续逻辑进行解析。

    DeepSeek 提供了 JSON Output 功能,来确保模型输出合法的 JSON 字符串。

    https://platform.deepseek.com/api-docs/zh-cn/guides/json_mode/

    需要稳定的 openai 服务,也可以联系我 share 。
    Int100
        8
    Int100  
       55 天前
    用 function call 可以做到 100% json ,业务就这么做的
    HeyCaptainJack
        9
    HeyCaptainJack  
    OP
       55 天前
    @Int100 请问,我要翻译一个 text 文案为如下结果,要如何写这块呢,原文: We write your reusable computer vision tools. , 翻译后的结果需要如下:
    {
    "zh-CN": "我们编写可重用的计算机视觉工具。",
    "zh-TW": "我們編寫可重複使用的電腦視覺工具。",
    "en": "We write your reusable computer vision tools. ",
    "ja": "あなたの再利用可能なコンピュータビジョンツールを作成します。",
    }
    HeyCaptainJack
        10
    HeyCaptainJack  
    OP
       55 天前
    @Int100 试着写了一下,成功过,不过还是会出现报错:

    ERROR [ExceptionsHandler] 400 {"error":{"message":"Failed to call a function. Please adjust your prompt. See 'failed_generation' for more details.","type":"invalid_request_error","code":"tool_use_failed","failed_generation":"{\"translations\": {\"vi\": \"Chúng tôi viết các công cụ tầm nhìn máy tính có thể tái sử dụng của bạn\", \"zh-CN\": \"我们编写你的可复用计算机视觉工具\", \"zh-TW\": \"我們撰寫你的可重複使用電腦視覺工具\"}}"}}
    HeyCaptainJack
        11
    HeyCaptainJack  
    OP
       55 天前
    @Kite6 omg ,这思路,失败了重试多次,直到解析成功对吧
    proxyai
        12
    proxyai  
       55 天前
    @HeyCaptainJack 留下你的邮箱, 给你最可靠的 AI API
    mythabc
        13
    mythabc  
       55 天前
    deepseek 的 json output 。或者在 LLM 结束之后加一个 json_repair ,或者捕获异常进行重试。
    zqqian
        14
    zqqian  
       55 天前
    用云服务的 serverless 反代还是比较稳的,也不用服务器,免费额度也够用
    hanqian
        15
    hanqian  
       55 天前
    用 openrouter 不就完了
    maymay5
        16
    maymay5  
       55 天前
    aibotpro 的开发者计划或许你可以试试

    https://api.jpny.top/
    zhhmax
        17
    zhhmax  
       55 天前
    https://luee.net 我自己对接的 API 中转,可以用官方 demo 请求成功返回 json 。
    zhhmax
        18
    zhhmax  
       55 天前
    @zhhmax 要百分百返回 json ,说白了就是请求的 body 里面,response_format.type=json_schema ,response_format.json_schema 有完整的 json 结构定义,然后用支持的模型请求即可。至于你说的买了一些 API 代理不支持是因为他们都用的某几个开源程序。我这边的中转是我自己对接的官方 API ,支持这种请求模式,而且都是纯官方 API 转发,没有混杂逆向 API 等其他不明来源,因此能保证 100% json 输出。
    HeyCaptainJack
        19
    HeyCaptainJack  
    OP
       55 天前
    @zhhmax 是的,找了几个,好多都是基于开源自己部署的,哈哈,确实不符合,兄弟你这个我今天试试,😊
    HeyCaptainJack
        20
    HeyCaptainJack  
    OP
       55 天前
    @necomancer 靠谱的机场,说实话,我找了好多,也没找到完全安全的🤪,正在准备 vps 转发
    HeyCaptainJack
        21
    HeyCaptainJack  
    OP
       55 天前
    @llcxx 常规的翻译任务,对模型要求并不是很高,我来试试你推荐的这个 DeepSeek ,谢谢😁
    HeyCaptainJack
        22
    HeyCaptainJack  
    OP
       55 天前
    @hanqian 之前没听过,看了一下,挺全乎的,我来试试看
    HeyCaptainJack
        23
    HeyCaptainJack  
    OP
       55 天前
    @maymay5 呃,找了一个其他家的用 new api 的,暂不支持
    maymay5
        24
    maymay5  
       55 天前
    @HeyCaptainJack #23 这不是 newapi 的问题,newapi 在刚发布的时候就更新了的,很久就更新了,不支持的是中转混用了模型版本,jsonschema 在请求体里只有两个模型支持,这两个模型经常会被混用,如图所示
    TimePPT
        25
    TimePPT  
       55 天前 via Android
    简单的 json 结构,4o 用 json mode ,sys prompt 给出输出示例,其实准确率还可以了。不用强行 json schema
    TimePPT
        26
    TimePPT  
       55 天前 via Android
    @TimePPT 另外,如果是翻译需求,甚至都不用 gpt ,国内模型很多效果也不错的
    jwangbyus
        27
    jwangbyus  
       55 天前
    用 Azure 的,除了部署新模型比较慢之外还是比较稳定的。
    Quetalocatl
        28
    Quetalocatl  
       52 天前
    請將以下 json 翻譯:

    ```json
    {
    "zh-CN": "",
    "zh-TW": "",
    "en": "We write your reusable computer vision tools. ",
    "ja": "",
    }
    ```

    DeepSeek V2.5 用這句就能翻譯了,結果差不多。如果有非 json 的輸出其實過濾一下就可以吧?
    popdo
        29
    popdo  
       44 天前
    直接中转 满足你的需求 api.v3.cm
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5171 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 24ms · UTC 09:25 · PVG 17:25 · LAX 01:25 · JFK 04:25
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.