大模型能输入一个 Prompt 以后，后面都只消耗输入输出的 token 吗(不包含对话历史或 Prompt 的再次消耗)

[hzdt]

RT ，目前我是拿大模型当工具用，我想让它记住一个提示语，后面我只管提出问题，它回答我就行，消耗的只是提出问题和回答问题的 token

目前如果想这么做

要么记住所有的对话历史，每轮对话都要消耗以前对话历史的 token

或者每次都带上 Prompt ，白白消耗 token

请问有什么方式能解决吗

[liu731]

叫它总结就好了，没必要每条历史消息传过去

[hzdt]

@liu731 这样是不是需要每次都要带上 Prompt ？目前我就是不想每次都带上

[liu731]

@hzdt 如果你说的 Prompt 是 ChatGPT 中的 role: system ，那确实必须要带。

[gitlight]

gemini,openai 和 claude 都支持 prompt caching 功能，缓存过的 token 价格更便宜 https://www.anthropic.com/news/prompt-caching

[hzdt]

@liu731
@gitlight 好的，谢谢各位

[landerwong99]

@gitlight 意思是：传还是避免不了的，但是价格可以便宜些？

[hzdt]

@landerwong99 是的,国内的话 deepseek 好像有类似的功能，大厂的搜了没找到

[taotaodaddy]

你这个需求用类似 next chat,chat box 都能实现：
提示词放入系统提示词
然后把"保留对话轮次"设置为 1 应该就可以了

[hzdt]

@taotaodaddy 这样提示词还是会每轮都会消耗 token 吧？只是业务逻辑调整了下

[taotaodaddy]

@hzdt 是的
目前各 AI 应该是没有“内存”，所有信息都来自于你发过来的 content ，所以总是要发的

[PositionZero]

@gitlight 国内的 DeepSeek 也支持这个功能
https://api-docs.deepseek.com/zh-cn/news/news0802

[gitlight]

@PositionZero 刚才还在用这个功能，对于蒸馏小模型来说简直不要太好用
[url=https://imgse.com/i/pAsrBi8][img]https://s21.ax1x.com/2024/11/05/pAsrBi8.png[/img][/url]