AI

每天吃透一个 AI 知识点 —— 温度系数

转载:小红书 AI产品赵哥

前言🔖


你可能遇到过这种情况:同一个问题问 AI 两次,一次回答特别稳,几乎像标准答案;另一次换了个说法,甚至多冒出几个新点子。 这背后,常被拿来调的参数之一就是温度系数(Temperature)。

先记住一句话:

💡 Temperature 调节的是 AI 生成下一个词元时的概率分布。低温让选择更集中(冻住了),高温让选择更分散。

它不是把 AI 的大脑加热了,也不会让模型突然学到新知识。它更像一个生成时的选择倾向调节器。

今儿个咱主要讲大语言模型生成文本时的 Temperature。有些 AI 训练方法里也会用到温度这个词,比如知识蒸馏,但那是另一个场景,先别混在一起。

  

一、先弄清楚:AI 是怎么一句句生成答案的?🔖


大语言模型通常不是先想好一整段答案,再一次性把整段吐出来。它更像是在不断做这样的小预测:

  1. 读入你的问题和前面的对话;
  2. 预测接下来最可能出现哪些词元;
  3. 从候选词元中选一个;
  4. 把它接到已有内容后面,再继续预测。

这里说的词元,就是我们之前讲过的 Token,不完全等于我们平时说的一个汉字或一个单词。一个词元可能是一个字、一段词语、英文单词的一部分,也可能是标点符号。

比如模型正在生成 “今天的天气”,下一个词元可能有 “晴”、“多云”、“不错” 等。模型会给词表里大量可能的词元打分。这个分数叫 logit,可以先把它理解成模型对某个候选词元的相对偏好分数。

模型会把这些分数转换成概率,然后按一定方式选出下一个词元。选好后,前面的内容变了,下一轮预测也会跟着变。

Temperature 就在这条生成链路里发挥作用:它调整下一步的概率分布。它不是只在最后把整篇答案统一调活泼或调严肃,而是可能在生成的每一步都影响候选选择。

  

二、它在数学上到底做了什么?🔖


模型输出的 logit 是分数,不是概率。分数可能是正数,也可能是负数,不能直接说 “logit 是 0.8,所以概率就是 80%”。

常见做法是先用 Softmax 把这些分数变成总和为 1 的概率。加上 Temperature 后,公式可以写成:

不用被公式吓到,重点看一件事:Temperature 是除在 logit 分数上的。

  • T=1 :在这个简化公式里,相当于不额外缩放分数;
  • 0<T<1 :分数之间的差距被放大,概率更集中在高分候选上;
  • T>1 :分数之间的差距被缩小,其他候选的概率相对增加。

看一个小例子。假设此时只有三个候选词元 A、B、C,它们的 logit 分别是 2、1、0。经过 Softmax 后,大致会得到:

TemperatureA 的概率B 的概率C 的概率
T=166.50%24.50%9.00%
T=0.586.70%11.70%1.60%
T=250.60%30.70%18.60%

  

可以看到,低温让 A 的优势更明显,高温则让 B 和 C 更有机会被选中。

但要注意,高温不是把所有候选的概率都变成一样。T=2 时,A 仍然比 B 和 C 更可能,只是优势没有之前那么大。Temperature 一般是在 “调平” 或 “压尖” 概率分布,不是直接把概率洗牌。

还有一个很实用的小公式:

假设 A 比 B 的 logit 高 1 分:

  • T=0.5 时,A 相对 B 的概率优势约为 7.4 : 1;
  • T=2 时,A 相对 B 的概率优势约为 1.65 : 1。

💡 也就是说,温度越低,模型越偏向原本分数最高的选项;温度越高,次优选项越容易获得机会

  

三、低温和高温,生成出来有啥区别?🔖


🔹3.1 低温:更偏向高概率候选

温度较低时,模型更常选择当前最有把握的候选词元。因此在相同问题下,回答通常会比较稳定,常见表达更容易重复出现。

它常适合:

  • 按固定字段提取信息;
  • 输出结构化内容;
  • 做有明确标准答案的题目;
  • 希望表达少变化、结果更可控的场景。

但低温不等于答案一定更短,也不等于模型每次都只用同一套句式。 它只是让当前这一步的候选分布更集中。

  

🔹3.2 高温:更多低概率候选有机会被选中

温度升高后,模型会有更多机会选到原本排名靠后一些的词元。 结果可能是表达更多样、联想更多,也可能是内容更散、出现不连贯的转折。

因此,高温有时适合:

  • 头脑风暴;
  • 创意文案;
  • 故事、诗歌等开放式写作;
  • 希望一次生成多种不同角度的场景。

但高温不是创意开关。它只能让不那么常见的候选更可能出现,不能保证这些候选新颖、有用、符合主题。 偶尔想法变多了,偶尔也会绕远路,甚至有点跑偏。

  

🔹3.3 一个容易忽略的点:变化会沿着生成过程累积

Temperature 影响的是每一步。第一步选了不同的词元,后面的上下文就不完全一样了,模型接下来算出的分数也可能不同。

所以,最开始看起来只是 “换了一个词” 的区别,后面有时会发展成整段答案都不一样。这也是为什么同一个提示词,在非零温度下多次生成,可能出现内容结构、举例甚至结论上的差异。

  

四、Temperature 越低,模型就越聪明吗?🔖


当然不是!Temperature 不会直接提高模型的智力、知识储备或推理能力。

在标准的生成过程中,模型先根据当前上下文计算候选词元的分数;Temperature 再调整这些分数对应的概率。如果模型本身没有学会某个事实,单纯把温度调低,并不会把那个事实调出来。

从公式还能看出一个重要事实:在分数不变、温度大于 0 的情况下,Temperature 通常不改变候选词元的排名。原来 A 的 logit 最高,低温和高温下它通常仍然排第一,只是它领先第二名的概率优势变了。

不过,实际生成里会一步步采样。选到不同词元后,上下文随之变化,后续的预测路径也可能不同。所以Temperature 不直接提升推理能力,但它可能改变模型最后生成的内容和推理表达路径。

还要记住:模型的高概率,不等于现实中的高真实性。 模型可能很偏好某种常见说法,但常见说法不一定正确。低温会让模型更稳定地沿着高概率路径走,却不自动提供事实核查能力。

  

五、常见任务,温度大概怎么选?🔖


下面这些数字只能算作经验值,不是所有模型都适用的固定标准。不同模型的概率分布、默认设置和可用参数范围可能不一样,同一个温度值在不同模型上,效果也可能不同。

任务可尝试的温度为什么
信息抽取、字段填充0~0.2优先稳定,减少表达变化
数学题、代码生成0~0.3通常更看重答案和逻辑的一致性
摘要、翻译、常规问答0.2~0.6保持意思稳定,也允许表达自然变化
日常聊天0.4~0.8兼顾自然度和适度变化
头脑风暴、创意写作0.7~1.0让更多表达路径有机会出现

  

这不是一个万能区间。比如代码任务里,如果目标是严格修复一个明确报错,低一些通常更好;如果要探索多种架构方案,适当提高温度可能有帮助。

做结构化输出时,也别只靠调低 Temperature。比如你要求 AI 返回 JSON,但它还是多说了几句解释,单靠 T=0 不一定能完全解决。更稳妥的做法是配合明确格式要求、JSON Schema 或接口提供的结构化输出能力。

外,API 的可用范围不完全一致。有的接口支持比较宽的范围,有的范围更窄,还有些模型或模式不开放 Temperature 设置。别把某个教程里的数字当成跨模型通用答案。

  

六、Temperature 和 Top-p、Top-k 有什么区别?🔖


它们都会影响模型最后选什么词元,但不是同一种控制方式。

🔹6.1 Top-k:只保留排名靠前的 k 个候选

如果 Top-k 设为 10,模型就只在分数最高的 10 个候选词元里做选择。第 11 名及之后的候选会被排除。

可以把它想成:先规定允许参加抽签的人数。

  

🔹6.2 Top-p:保留累计概率达到指定比例的一组候选

假设某一步的候选概率是 0.50、0.25、0.15、0.10,Top-p 设为 0.8 时,通常会从最高概率候选开始累计,直到累计概率达到或超过 0.8,因此可能保留前三个候选。

可以把它想成:根据概率总量,动态决定让多少候选进入抽签范围。

  

🔹6.3 Temperature:改变概率分布的形状

Temperature 不是直接规定保留几个候选,而是先让概率分布变尖或变平。Top-p 会根据概率分布筛选候选,因此 Temperature 和 Top-p 可能互相影响。

具体处理顺序会因系统实现而有差异。常见做法中, Temperature 改变概率后,Top-p 再决定候选范围。

  • 低温时,第一名的概率可能变得很高,Top-p 就可能只留下很少的候选;
  • 高温时,概率更平,Top-p 可能纳入更多候选。

还有几种容易混淆的设置:

  • 重复惩罚、频率惩罚:针对已经出现过的词元或词语调整偏好,主要用于减少重复;
  • 随机种子 Seed:如果接口提供,可以帮助控制随机数生成过程,但不一定保证不同时间、不同服务环境下结果逐字一致;
  • 系统提示词和用户提示词:会改变模型面对的任务和上下文,影响范围通常远不止重排已有候选。

新手调参时建议:先只改 Temperature,观察它的影响,再决定要不要动 Top-p 或 Top-k。如果同时改好几个参数,最后很难判断到底是谁让答案变了。

  

七、关于 Temperature,几个常见误解🔖


🔹误解一:T=0 就一定每次完全一样

很多系统会把 T=0 按接近贪心选择的方式处理,也就是优先选分数最高的候选。它通常能降低采样带来的随机变化。

但 T=0 不一定代表任何情况下都能逐字复现。接口实现、模型版本、服务端路由、硬件计算、工具调用和输入上下文变化,都可能影响结果。有些服务还会因为内部处理方式而让结果略有不同。

如果你特别在意复现,除了降低温度,还要尽量固定模型版本、提示词、输入内容和其他参数。接口支持 Seed 时,也可以按文档尝试,但同样别把它理解成绝对保证。

  

🔹误解二:低温就不会胡编

低温可以减少一些随机变化,但无法把模型不知道的事实变出来。它有可能让模型更稳定地重复一个错误答案,或者用很肯定的语气给出错误信息。

如果任务涉及事实核查,应该结合可靠资料、检索工具、引用来源或人工检查。降低 Temperature 不是事实验证。

  

🔹误解三:高温一定更有创意

高温只是让一些低概率候选更有机会出现。它可能带来新角度,也可能只带来不相关的联想,甚至让答案出现前后不一致。

如果想要有创意,提示词里仍然要说清楚创作对象、限制条件、风格和目标。比如要求给出不同角度,而不是只把温度一路调高。

  

🔹误解四:Temperature 越高,AI 就越自由、越敢说

这句话不准确。Temperature 改变的是模型选择词元的概率分布,并不是让模型获得了新的能力,也不是在关闭所有限制。模型能回答什么,还受模型训练、提示词、系统规则和其他生成设置影响。

  

🔹误解五:T=1 代表 100% 随机

不代表!Temperature 不是随机比例,也不是温度计读数。T=1 在常见公式里表示没有额外缩放 logit,但每个候选词元的概率依然不同,模型也不是在所有词元中均匀抽签。

所以,T=0.5 也不等于一半随机,T=2 也不等于两倍创意。这些数值的含义要结合模型和具体实现来理解。

  

🔹误解六: Temperature 只会让措辞变一变

不一定!它直接作用在每一步词元选择上,因此既可能改变措辞,也可能因为前面选出的内容不同,影响后续回答的结构、举例和表达路径。只是它并不直接替模型换一套知识或价值观。

  

八、新手怎么实际调?照这个顺序试🔖


🔹第一步:先说清楚自己要什么

你想要的是结果稳定,还是答案有变化?是格式正确最重要,还是需要多个创意方向?目标不同,温度的选择就不同。

  

🔹第二步:拿几条真实问题做小测试

不要只拿一个特别简单的问题试。可以选 10 条左右,包含常见输入和容易出错的边界情况。比如做信息提取,就准备格式正常、字段缺失、日期模糊等几种输入。

  

🔹第三步:先从模型默认值开始

先跑一遍,记录答案准确度、格式合规程度、重复情况和表达多样性。之后再把温度小幅调整,比如每次改动 0.1 或 0.2,看看变化是否符合目标。别只看其中一次输出,非零温度下最好多生成几次。

  

🔹第四步:用任务指标评价,别只凭感觉

结构化任务看字段有没有漏、格式有没有错;代码任务看能不能通过测试;创意任务看不同答案是否真的有新角度,而不是只换几个形容词。

  

🔹第五步:温度调好后,再考虑其他参数

如果低温下答案还是重复,可以再研究重复惩罚;如果想缩小候选范围,可以了解 Top-k 或 Top-p。一次只改一项,比较容易找出原因。

举个例子: 如果你要模型从一段文本里提取姓名、日期,并严格输出 JSON,可以先试低温,再配合格式约束。如果还是出现多余解释,优先检查输出要求和结构化输出设置,而不是把温度从 0.1 继续硬压到 0。若你要它生成十个差异明显的标题,可以尝试中高温,再明确要求每个标题采用不同角度。