👏🏻 [妙笔写作助手] 基于 ChatGPT 开发的一款垂直应用，顺便聊聊如何提速。
Austin2035 · 2023-03-05 09:17:28 +08:00 · 2085 次点击这是一个创建于 630 天前的主题，其中的信息可能已经有所发展或是发生改变。
简介
一个基于 ChatGPT 的小程序，目前可以帮你写周报，文章检查与润色以及写小红书文案等。 如果反响还行，后面会开发网站，并且新增功能。
优化了一下，能秒出结果了。 输入内容不能太少，要不然就是人工智障。
🚀 如何提速？
我的速度，经过我和我身边人的测试还是可以的，我是这么做的。
- 后端服务器在国内，通过反向代理解决 OpenAI 被墙问题。
- 使用 OpenAI 的流式传输，也即参数 Stream=True ，这种也是 EventStream 的方式。
- 后端接口全异步，使用 FastAPI + aiohttp 模块。
- 由于小程序不支持 EventStream 的方式，所以我使用 websocket 的方式替代。
- 上面那样做，是为了实时渲染 ChatGPT 的返回结果。
经过这些优化，基本可以做到秒出结果（非高并发情景，大佬勿喷）。
 |
1
ersic 2023-03-05 10:21:50 +08:00
有时确实挺智障的，经常驴唇不对马嘴😂
|
 |
2
Austin2035 OP @ersic 多输入点东西就好了
|
|
3
Austin2035 OP @ersic 要不然 需求还没 prompt 的字数多，哈哈😄
|
 |
4
cyio 2023-03-05 11:06:31 +08:00
挺好用的，加个自定义 prompt 就更好了
chatgpt 类应用，不知道有没有被封杀风险 |
|
5
Austin2035 OP @cyio 加了自定义的 prompt 估计被封杀风险更大。
|
 |
6
dabaibai 2023-03-05 20:01:40 +08:00
感觉很快会全线封杀。
|
 |
7
LiuJiang 2023-03-05 21:22:27 +08:00
反向代理怎么做的？
|
|
8
Austin2035 OP @LiuJiang 直接用 nginx
|
 |
9
LeeeSe 2023-03-06 05:09:52 +08:00
@Austin2035 国内服务器没被墙吗？能连到官方 api ？
|
|
10
Austin2035 OP @LeeeSe 帖子里面说了，用了反向代理呗
|
Select Language