Temperature 和 Top-p 这两个参数看文档十分钟就能背下来真到自己场景里调却未必顺手。拿轩辕 70B 写一段中文长文temperature 从 0.7 提到 0.9前两段确实活了到第三段开始复读换成 Qwen2.5-0.5B Int4 量化版回答同一个金融问题temperature 压到 0.3 仍然给出前后打架的数字。这类差别任何一张参数建议表都写不出来只能把请求真发出去做对照。要真跑一遍先得有一条能稳定拿到 Key 的通道TaoTokenhttps://taotoken.net/?utm_sourcetaotoken_aicg_blog_end就是我做大模型核心参数对照时用的入口注册、创建一把 Key、Base URL 填 https://taotoken.net/api然后把几组数值一组组发出去差在哪里肉眼可见。这篇不重复讲「temperature 越高越随机」这种定义而是把原文那三组工程技巧拆成可以照着发请求的动作Temperature 的创作区间与金融区间各怎么取值、Top-p 跟温度反着配到底怎么落到参数上、重复惩罚 1.2-1.8 在量化小模型上为什么容易翻车。中间会给出可直接复制的调用片段Key 全部用占位符模型 ID 一律以模型广场当时列表为准。1. 参数表背完还是不会调轩辕 70B 与 Qwen2.5-0.5B Int4 的差别藏在请求里1.1 三个参数各自在改什么Temperature 改的是概率分布的陡峭程度。它把模型输出的原始分数除以一个系数系数越小头部 token 越吃独食输出越像背书系数越大长尾 token 分到的概率越多表达越花失控风险也一起上来。Top-p 是另一把刀它按概率从高到低累加累到阈值就砍掉后面的候选所以它管的是「候选池有多大」。重复惩罚则作用于已经出现过的 token给它们降权用来压复读。三个参数叠在一起就是同一句话在「选哪个词」和「池子里有多少词」两个维度上同时被拧。只调 temperature 不管 Top-p你会发现高温下偶尔蹦出完全跑偏的句子只压 Top-p 不管 temperature低温时感觉不到变化高温时才突然变得很死板。原文给的建议之所以都是成对出现的就是因为它们耦合。1.2 为什么参数区间会随模型漂移0.7-0.9、0.2-0.3、1.2-1.8 这些数字是经验区间不是物理常数。同一组数值放到 70B 稠密模型和放到 0.5B 的 Int4 量化模型上表现能差出一档。量化过程会给 logits 带进误差小模型的分布本来就比大模型更尖所以同样是 temperature 0.9小模型可能已经碎得读不通而 70B 还能撑住结构。这也是「看完建议还是不会调」的根源区间告诉你往哪个方向走但步长得自己在目标模型上量。量一次的成本其实很低前提是你有一条能随便发请求的通道不用为每次对照都去折腾账号和额度。2. Temperature 对照创作 0.7-0.9 与金融问答 0.2-0.3 各发一次2.1 创作场景从 0.7 起步0.9 要配观察指标做中文长文创作轩辕 70B 在 temperature 0.7 时通常四平八稳段落有推进用词偏安全提到 0.8比喻和句式开始有新意到 0.9首段往往最好看但第三段之后容易绕回已经说过的意思。这不是模型不行是高温下长尾候选被抬起来模型更愿意选「看着新鲜」的词而长文里新鲜词的语义锚点更弱。所以创作场景别只盯一段输出。同一个提示词分别用 0.7、0.8、0.9 各发一次重点看三件事第三段有没有复读前面的话、有没有突然换人称或换立场、句长是不是从第三段开始塌成一种节奏。三个指标里塌两个就该往回收 0.1。2.2 金融问答压到 0.2-0.3是为了不让模型「补数字」金融类问答的失败模式不是无趣而是自洽性断裂同一个回答里出现两个互相矛盾的数值或者把题干里的条件悄悄改掉。Temperature 越高模型越容易在没把握的地方顺着语感往下写数字就成了语感的牺牲品。压到 0.2-0.3是留一点表达自由度但把「凭感觉补一个数」的概率压下去。别直接设成 0。0 相当于每步都取最高概率 token输出会非常模板化长题干里还容易变成复述问题。0.2-0.3 的区间刚好能让它在解释性段落里正常说话在结论段落里不胡编。这个差异用同一个问题各发一次就看得出来比读十篇讲解都快。3. Top-p 与 Temperature 联动高温配低 p、低温配高 p 怎么落到参数3.1 联动规则的道理温度升高会把长尾抬起来候选池里的「边角词」概率变高如果此时 Top-p 还开在 0.95等于把这些边角词完整放进抽签池输出自然容易飘。所以高温要配低一点的 p比如 temperature 0.9 配 top_p 0.8让模型在变花的同时把明显不合理的候选砍掉。反过来温度低的时候分布已经很尖头部 token 占绝对优势Top-p 设高一点0.95几乎不影响结果却能在少数需要转折的位置保留一点余地不至于一刀切成背书腔。低温配低 p 是最容易踩的组合两头都在收紧输出会死板到像是把模板填了一遍。3.2 一张对照表照着填一次| 场景 | temperature | top_p | 观察重点 | | 中文长文创作轩辕 70B | 0.7 / 0.8 / 0.9 | 0.80 | 第三段是否复读、人称是否漂移 | | 技术解释类问答 | 0.4 / 0.5 | 0.90 | 术语是否前后一致 | | 金融问答Qwen2.5-0.5B Int4 | 0.2 / 0.3 | 0.95 | 数字是否自相矛盾 | | 结构化抽取 | 0.1 / 0.2 | 0.95 | 字段是否漏、格式是否稳定 |表里的数值只是起点真正的用法是「一行一行发出去」。同一行内只改一个参数对比才有意义一行里同时改 temperature 和 top_p你没法判断是哪个起了作用。这个纪律比区间本身重要得多。4. 重复惩罚 1.2-1.8 的边界量化模型上要更小心4.1 复读从哪来什么时候该加惩罚复读一般出现在两个位置长文的中后段以及小模型的开放问答里。大模型复读通常是采样太发散后自我收敛过头小模型复读更多是容量不够、上下文一长就抓不住重点。前者加一点重复惩罚就能缓解后者加了往往只是把复读换成另一种病。判断方法很直接先把 temperature 降 0.1 再发一次。如果复读明显减少说明是采样问题调惩罚有效如果照样复读那多半是模型容量或提示词结构的问题继续加惩罚只会让句子变得机械。原文给的 1.2-1.8 是可用区间但真正要动的是「哪一次请求需要动」。4.2 刻度不一样别把 1.5 直接塞错字段这里有个很容易翻车的细节。原文说的 1.2-1.8是 repetition_penalty 那一套刻度基准是 1.0等于不惩罚往上加才是惩罚。而很多 OpenAI 兼容格式的请求体里根本没有这个字段只有 frequency_penalty 和 presence_penalty它们的基准是 0常见范围是 -2 到 2。把 1.5 直接填进 frequency_penalty语义就从「轻微降权」变成「重罚」输出会出现用词畸变、专有名词被压掉、句子结构断裂。正确做法是先在请求里确认通道接受哪个字段名再按对应刻度取值走 repetition_penalty 就从 1.2 起试走 frequency_penalty 就从 0.3 到 0.6 这种量级起试。这一步在真实请求里比一次就看得出来靠读文档很难有体感。Qwen2.5-0.5B Int4 这种量化小模型惩罚给到 1.4 以上经常开始丢主语轩辕 70B 写长文1.2 到 1.3 已经够用。超过 1.8 基本不用考虑性价比是负的。5. 把 Key 和 Base URL 填进你惯用的调用方5.1 先创建 Key再确认模型 ID打开 TaoToken 注册账号进入控制台创建一把 API Key。Key 只在创建时完整显示记得当场复制到本地后面所有示例里的 YOUR_API_KEY 都替换成它。模型 ID 不要去猜也不要用网传的带日期后缀的名字。以 https://taotoken.net/?utm_sourcetaotoken_aicg_blog_endutm_content 模型广场当时列表为准把你要对照的模型名原样复制。做参数对照建议同一次只选一个模型先把这个模型的脾气摸清再换下一个。5.2 Python SDK、环境变量、curl 三种填法最常见的调用方是 OpenAI 兼容的 Python SDK。注意 base_url 是接口地址不是官网首页末尾也不要加 /v1import os from openai import OpenAI client OpenAI( api_keyYOUR_API_KEY, base_urlhttps://taotoken.net/api, ) prompt 用三百字说明可转债到期收益率的计算逻辑 resp client.chat.completions.create( modelos.environ[MODEL_ID], messages[{role: user, content: prompt}], temperature0.2, top_p0.95, ) print(resp.choices[0].message.content)如果你更习惯把配置放到环境变量里只改这三行即可模型 ID 换成模型广场上复制来的那个export OPENAI_API_KEYYOUR_API_KEY export OPENAI_BASE_URLhttps://taotoken.net/api export MODEL_IDYOUR_MODEL_ID想快速发两次请求做对照curl 最省事。把 temperature 依次改成 0.2 和 0.9其他不动输出差异会非常直观curl https://taotoken.net/api/chat/completions \ -H Authorization: Bearer YOUR_API_KEY \ -H Content-Type: application/json \ -d { model: YOUR_MODEL_ID, messages: [{role: user, content: 用三百字说明可转债到期收益率的计算逻辑}], temperature: 0.2, top_p: 0.95 }如果你常用的调用方是 Claude Code、Codex 这类命令行工具做法一样把它们各自的 Base URL 字段指向同一个 https://taotoken.net/apiKey 填同一把模型名以模型广场为准。工具只是外壳参数对照的结论是通用的。6. 请求跑通之后回控制台对一下这次调用6.1 用量、模型名、参数是不是一一对上第一轮对照发完回 https://taotoken.net/?utm_sourcetaotoken_aicg_blog_endutm_content 控制台看调用记录。重点核对三件事模型名是不是你从模型广场复制的那个、请求次数跟你实际发的条数是否一致、有没有因为重试产生额外调用。参数调优最怕的就是「以为改了其实没生效」对一次账能把这种乌龙直接排掉。6.2 401、404 和「输出不像预期」分别先查什么401 基本只有一个原因Key 没复制完整或者复制时混进了空格重新在控制台建一把最省时间。404 先看 base_url 是不是被写成了官网首页或者多加了 /v1正确值是 https://taotoken.net/api这一条踩的人最多。输出跟预期完全不符、参数像没生效先确认模型 ID 是不是写成了记忆里的名字再去模型广场核对一遍。还有一类不像报错的「假故障」改了 top_p 但输出几乎没变。低温下这很正常分布已经很尖砍候选砍不出差别把 temperature 提到 0.8 以上再对比联动效果才明显。参数对照的乐趣就在这同样的两组数字换个温度就换一种结论。参数跑顺之后可以把这套流程固定下来想复现某次输出去 模型对话 用同一把 Key 再发一次准备把调好的数值用到长期写代码或批量评测上先看 Coding Plan 的额度是否够用Key 需要分开管理时在 控制台 API Keys 再建一把要把这套参数搬进 Claude Code 之类的命令行工具环境变量对照见 接入文档。