公网大模型 api 后台日志明文 token 和明文文字的问题

[imaxwell]

现在大语言模型，如果用公网的 api ，有很多很好的大模型可以用，但是相关的 token 和文字都是明文的，服务端的日志只要记录了之后相关人员就都可以看到，如果私有化部署，可以保证不泄漏信息，但只能搞简单的量化、蒸馏后的大模型，难道就没有人考虑搞一套在公网用大模型，但是在日志中不简单泄漏 token 和明文的技术方案吗？或者制订相关的认证标准，只有授权审计调阅的人员才能查看大模型问答的明文内容？这样有些有一定程度时效性保密需求的，但是又需要利用公网 api 的需求，可以满足。比如有些 idea ，一旦和大模型聊了就泄漏了，只要在发表之前不会被泄露就没问题。