反复问 AI 同一个问题， LLM 大模型会给出一样的答案吗？

[jacketma]

一个训练完成的大模型离线使用，且没有加入任何反馈或自修正功能，同一个问题，无论问多少次，LLM 都应该给出一模一样的答案吗？

我找了几个在线模型测试，同一个问题，一分钟内全部问 10 次，前面三五次大同小异，五次之后，很多几千字的答案几乎都是一样的。有没有大佬了解输出答案背后的“微扰”因素是什么?

[fatigue]

很多原因啊，比如一个对话中，每次提问有没有把之前的提问加到 context 中。你可以简单的考虑成一个概率问题，token 和 token 之前的组合起来是答案的概率可能比较高，而这样的类似概率组合又不是唯一的，可能有很多选项，那就随机选一个，所以会看到可能每次回答不一样，但可能意思都差不多。

[icyalala]

你可以设置 seed ，比如：
https://github.com/ggerganov/llama.cpp/tree/master/examples/main#rng-seed

[2473]

llm 输出会有一个词表，比如 3000 个词。输出过程是一个词一个词吐出来的。每次吐出一个词，是一个 3000 维度的概率，由推理框架及参数根据概率选择具体应该是哪个词。最简单的 greedy 方法就是选概率最大的，那不会有随机，每次都一样。常用的一些，比如 topk 里，或者所有概率值大于 p 的拿出来，再按概率分布随机选。

[Donaldo]

有 kv cache 这种东西

[GuuJiang]

如果你使用其 API ，就会发现有个 temperature 的参数，temperature 越低，答案就越稳定，temperature 越高，答案就越多样化

[conn4575]

调用 api 就会发现，传参不变时，输出是恒定的