转载:小红书 AI产品赵哥
前言🔖
你可能遇到过这种情况:同一个问题问 AI 两次,一次回答特别稳,几乎像标准答案;另一次换了个说法,甚至多冒出几个新点子。 这背后,常被拿来调的参数之一就是温度系数(Temperature)。
先记住一句话:
💡 Temperature 调节的是 AI 生成下一个词元时的概率分布。低温让选择更集中(冻住了),高温让选择更分散。
它不是把 AI 的大脑加热了,也不会让模型突然学到新知识。它更像一个生成时的选择倾向调节器。
今儿个咱主要讲大语言模型生成文本时的 Temperature。有些 AI 训练方法里也会用到温度这个词,比如知识蒸馏,但那是另一个场景,先别混在一起。
一、先弄清楚:AI 是怎么一句句生成答案的?🔖
大语言模型通常不是先想好一整段答案,再一次性把整段吐出来。它更像是在不断做这样的小预测:
- 读入你的问题和前面的对话;
- 预测接下来最可能出现哪些词元;
- 从候选词元中选一个;
- 把它接到已有内容后面,再继续预测。
这里说的词元,就是我们之前讲过的 Token,不完全等于我们平时说的一个汉字或一个单词。一个词元可能是一个字、一段词语、英文单词的一部分,也可能是标点符号。
比如模型正在生成 “今天的天气”,下一个词元可能有 “晴”、“多云”、“不错” 等。模型会给词表里大量可能的词元打分。这个分数叫 logit,可以先把它理解成模型对某个候选词元的相对偏好分数。
模型会把这些分数转换成概率,然后按一定方式选出下一个词元。选好后,前面的内容变了,下一轮预测也会跟着变。
Temperature 就在这条生成链路里发挥作用:它调整下一步的概率分布。它不是只在最后把整篇答案统一调活泼或调严肃,而是可能在生成的每一步都影响候选选择。

二、它在数学上到底做了什么?🔖
模型输出的 logit 是分数,不是概率。分数可能是正数,也可能是负数,不能直接说 “logit 是 0.8,所以概率就是 80%”。
常见做法是先用 Softmax 把这些分数变成总和为 1 的概率。加上 Temperature 后,公式可以写成:

不用被公式吓到,重点看一件事:Temperature 是除在 logit 分数上的。
- T=1 :在这个简化公式里,相当于不额外缩放分数;
- 0<T<1 :分数之间的差距被放大,概率更集中在高分候选上;
- T>1 :分数之间的差距被缩小,其他候选的概率相对增加。
看一个小例子。假设此时只有三个候选词元 A、B、C,它们的 logit 分别是 2、1、0。经过 Softmax 后,大致会得到:
| Temperature | A 的概率 | B 的概率 | C 的概率 |
|---|---|---|---|
| T=1 | 66.50% | 24.50% | 9.00% |
| T=0.5 | 86.70% | 11.70% | 1.60% |
| T=2 | 50.60% | 30.70% | 18.60% |
可以看到,低温让 A 的优势更明显,高温则让 B 和 C 更有机会被选中。
但要注意,高温不是把所有候选的概率都变成一样。T=2 时,A 仍然比 B 和 C 更可能,只是优势没有之前那么大。Temperature 一般是在 “调平” 或 “压尖” 概率分布,不是直接把概率洗牌。
还有一个很实用的小公式:

假设 A 比 B 的 logit 高 1 分:
- T=0.5 时,A 相对 B 的概率优势约为 7.4 : 1;
- T=2 时,A 相对 B 的概率优势约为 1.65 : 1。
💡 也就是说,温度越低,模型越偏向原本分数最高的选项;温度越高,次优选项越容易获得机会
三、低温和高温,生成出来有啥区别?🔖
🔹3.1 低温:更偏向高概率候选
温度较低时,模型更常选择当前最有把握的候选词元。因此在相同问题下,回答通常会比较稳定,常见表达更容易重复出现。
它常适合:
- 按固定字段提取信息;
- 输出结构化内容;
- 做有明确标准答案的题目;
- 希望表达少变化、结果更可控的场景。
但低温不等于答案一定更短,也不等于模型每次都只用同一套句式。 它只是让当前这一步的候选分布更集中。
🔹3.2 高温:更多低概率候选有机会被选中
温度升高后,模型会有更多机会选到原本排名靠后一些的词元。 结果可能是表达更多样、联想更多,也可能是内容更散、出现不连贯的转折。
因此,高温有时适合:
- 头脑风暴;
- 创意文案;
- 故事、诗歌等开放式写作;
- 希望一次生成多种不同角度的场景。
但高温不是创意开关。它只能让不那么常见的候选更可能出现,不能保证这些候选新颖、有用、符合主题。 偶尔想法变多了,偶尔也会绕远路,甚至有点跑偏。
🔹3.3 一个容易忽略的点:变化会沿着生成过程累积
Temperature 影响的是每一步。第一步选了不同的词元,后面的上下文就不完全一样了,模型接下来算出的分数也可能不同。
所以,最开始看起来只是 “换了一个词” 的区别,后面有时会发展成整段答案都不一样。这也是为什么同一个提示词,在非零温度下多次生成,可能出现内容结构、举例甚至结论上的差异。

四、Temperature 越低,模型就越聪明吗?🔖
当然不是!Temperature 不会直接提高模型的智力、知识储备或推理能力。
在标准的生成过程中,模型先根据当前上下文计算候选词元的分数;Temperature 再调整这些分数对应的概率。如果模型本身没有学会某个事实,单纯把温度调低,并不会把那个事实调出来。
从公式还能看出一个重要事实:在分数不变、温度大于 0 的情况下,Temperature 通常不改变候选词元的排名。原来 A 的 logit 最高,低温和高温下它通常仍然排第一,只是它领先第二名的概率优势变了。
不过,实际生成里会一步步采样。选到不同词元后,上下文随之变化,后续的预测路径也可能不同。所以Temperature 不直接提升推理能力,但它可能改变模型最后生成的内容和推理表达路径。
还要记住:模型的高概率,不等于现实中的高真实性。 模型可能很偏好某种常见说法,但常见说法不一定正确。低温会让模型更稳定地沿着高概率路径走,却不自动提供事实核查能力。
五、常见任务,温度大概怎么选?🔖
下面这些数字只能算作经验值,不是所有模型都适用的固定标准。不同模型的概率分布、默认设置和可用参数范围可能不一样,同一个温度值在不同模型上,效果也可能不同。
| 任务 | 可尝试的温度 | 为什么 |
|---|---|---|
| 信息抽取、字段填充 | 0~0.2 | 优先稳定,减少表达变化 |
| 数学题、代码生成 | 0~0.3 | 通常更看重答案和逻辑的一致性 |
| 摘要、翻译、常规问答 | 0.2~0.6 | 保持意思稳定,也允许表达自然变化 |
| 日常聊天 | 0.4~0.8 | 兼顾自然度和适度变化 |
| 头脑风暴、创意写作 | 0.7~1.0 | 让更多表达路径有机会出现 |
这不是一个万能区间。比如代码任务里,如果目标是严格修复一个明确报错,低一些通常更好;如果要探索多种架构方案,适当提高温度可能有帮助。
做结构化输出时,也别只靠调低 Temperature。比如你要求 AI 返回 JSON,但它还是多说了几句解释,单靠 T=0 不一定能完全解决。更稳妥的做法是配合明确格式要求、JSON Schema 或接口提供的结构化输出能力。
外,API 的可用范围不完全一致。有的接口支持比较宽的范围,有的范围更窄,还有些模型或模式不开放 Temperature 设置。别把某个教程里的数字当成跨模型通用答案。
六、Temperature 和 Top-p、Top-k 有什么区别?🔖
它们都会影响模型最后选什么词元,但不是同一种控制方式。
🔹6.1 Top-k:只保留排名靠前的 k 个候选
如果 Top-k 设为 10,模型就只在分数最高的 10 个候选词元里做选择。第 11 名及之后的候选会被排除。
可以把它想成:先规定允许参加抽签的人数。
🔹6.2 Top-p:保留累计概率达到指定比例的一组候选
假设某一步的候选概率是 0.50、0.25、0.15、0.10,Top-p 设为 0.8 时,通常会从最高概率候选开始累计,直到累计概率达到或超过 0.8,因此可能保留前三个候选。
可以把它想成:根据概率总量,动态决定让多少候选进入抽签范围。
🔹6.3 Temperature:改变概率分布的形状
Temperature 不是直接规定保留几个候选,而是先让概率分布变尖或变平。Top-p 会根据概率分布筛选候选,因此 Temperature 和 Top-p 可能互相影响。
具体处理顺序会因系统实现而有差异。常见做法中, Temperature 改变概率后,Top-p 再决定候选范围。
- 低温时,第一名的概率可能变得很高,Top-p 就可能只留下很少的候选;
- 高温时,概率更平,Top-p 可能纳入更多候选。
还有几种容易混淆的设置:
- 重复惩罚、频率惩罚:针对已经出现过的词元或词语调整偏好,主要用于减少重复;
- 随机种子 Seed:如果接口提供,可以帮助控制随机数生成过程,但不一定保证不同时间、不同服务环境下结果逐字一致;
- 系统提示词和用户提示词:会改变模型面对的任务和上下文,影响范围通常远不止重排已有候选。
新手调参时建议:先只改 Temperature,观察它的影响,再决定要不要动 Top-p 或 Top-k。如果同时改好几个参数,最后很难判断到底是谁让答案变了。
七、关于 Temperature,几个常见误解🔖
🔹误解一:T=0 就一定每次完全一样
很多系统会把 T=0 按接近贪心选择的方式处理,也就是优先选分数最高的候选。它通常能降低采样带来的随机变化。
但 T=0 不一定代表任何情况下都能逐字复现。接口实现、模型版本、服务端路由、硬件计算、工具调用和输入上下文变化,都可能影响结果。有些服务还会因为内部处理方式而让结果略有不同。
如果你特别在意复现,除了降低温度,还要尽量固定模型版本、提示词、输入内容和其他参数。接口支持 Seed 时,也可以按文档尝试,但同样别把它理解成绝对保证。
🔹误解二:低温就不会胡编
低温可以减少一些随机变化,但无法把模型不知道的事实变出来。它有可能让模型更稳定地重复一个错误答案,或者用很肯定的语气给出错误信息。
如果任务涉及事实核查,应该结合可靠资料、检索工具、引用来源或人工检查。降低 Temperature 不是事实验证。
🔹误解三:高温一定更有创意
高温只是让一些低概率候选更有机会出现。它可能带来新角度,也可能只带来不相关的联想,甚至让答案出现前后不一致。
如果想要有创意,提示词里仍然要说清楚创作对象、限制条件、风格和目标。比如要求给出不同角度,而不是只把温度一路调高。
🔹误解四:Temperature 越高,AI 就越自由、越敢说
这句话不准确。Temperature 改变的是模型选择词元的概率分布,并不是让模型获得了新的能力,也不是在关闭所有限制。模型能回答什么,还受模型训练、提示词、系统规则和其他生成设置影响。
🔹误解五:T=1 代表 100% 随机
不代表!Temperature 不是随机比例,也不是温度计读数。T=1 在常见公式里表示没有额外缩放 logit,但每个候选词元的概率依然不同,模型也不是在所有词元中均匀抽签。
所以,T=0.5 也不等于一半随机,T=2 也不等于两倍创意。这些数值的含义要结合模型和具体实现来理解。
🔹误解六: Temperature 只会让措辞变一变
不一定!它直接作用在每一步词元选择上,因此既可能改变措辞,也可能因为前面选出的内容不同,影响后续回答的结构、举例和表达路径。只是它并不直接替模型换一套知识或价值观。
八、新手怎么实际调?照这个顺序试🔖
🔹第一步:先说清楚自己要什么
你想要的是结果稳定,还是答案有变化?是格式正确最重要,还是需要多个创意方向?目标不同,温度的选择就不同。
🔹第二步:拿几条真实问题做小测试
不要只拿一个特别简单的问题试。可以选 10 条左右,包含常见输入和容易出错的边界情况。比如做信息提取,就准备格式正常、字段缺失、日期模糊等几种输入。
🔹第三步:先从模型默认值开始
先跑一遍,记录答案准确度、格式合规程度、重复情况和表达多样性。之后再把温度小幅调整,比如每次改动 0.1 或 0.2,看看变化是否符合目标。别只看其中一次输出,非零温度下最好多生成几次。
🔹第四步:用任务指标评价,别只凭感觉
结构化任务看字段有没有漏、格式有没有错;代码任务看能不能通过测试;创意任务看不同答案是否真的有新角度,而不是只换几个形容词。
🔹第五步:温度调好后,再考虑其他参数
如果低温下答案还是重复,可以再研究重复惩罚;如果想缩小候选范围,可以了解 Top-k 或 Top-p。一次只改一项,比较容易找出原因。
举个例子: 如果你要模型从一段文本里提取姓名、日期,并严格输出 JSON,可以先试低温,再配合格式约束。如果还是出现多余解释,优先检查输出要求和结构化输出设置,而不是把温度从 0.1 继续硬压到 0。若你要它生成十个差异明显的标题,可以尝试中高温,再明确要求每个标题采用不同角度。