解码策略到底是什么？

大模型不是一次写完整段话，而是每次预测“下一个 token”的概率。解码策略负责从这些候选中选出一个，再把它拼回上下文，继续下一轮。

一句话理解： 模型负责打分，解码策略负责做选择。选择规则不同，最终文本的稳定性、多样性和重复程度都会不同。

先分成两大类

确定性策略：相同输入通常得到相同结果，代表是贪心和 Beam Search。

随机性策略：按概率抽样，让回答更自然、更丰富，常用 Temperature、Top-K、Top-P。

贪心解码：每一步都选第一名

贪心解码直接选择当前概率最高的 token。它速度快、容易复现，适合信息抽取、分类、短答案和固定格式生成。

它的缺点也很直接：当前最优不一定等于整句话最优，而且一旦走错没有备选路线。长文本中还可能不断强化已经出现的短语，形成重复。

适合它的任务： 答案比较明确、输出结构严格、希望结果稳定可复现。

Beam Search：同时保留几条路线

Beam Search 是贪心的扩展。它每一步保留多条高分候选，再继续向后展开，最后从完整路径中选得分最高的一条。束宽越大，保留的候选越多，但计算和显存开销也越高。

它适合机器翻译、语音识别、受约束生成等目标比较集中的任务。开放式聊天和创意写作没有唯一答案，Beam Search 往往会偏向更常见、更保守的表达，因此通常不是默认选择。

不要只记“Beam Search 更慢”： 更重要的原因是，它寻找“最高概率完整序列”的目标，并不总适合开放式生成。

采样：用一点随机性换取多样性

普通采样会按照模型给出的概率随机抽取 token。高概率词更容易被选中，但极低概率的长尾词也可能被抽到，导致内容突然跑偏。

Temperature、Top-K 和 Top-P 的作用，就是先调整或缩小候选范围，再进行抽样，让输出既有变化，又不至于太离谱。

Temperature：控制概率分布有多“尖”

温度越低，模型越偏向最高概率候选，输出更稳定；温度越高，低概率候选更容易被选中，输出更发散。温度不会让模型“懂得更多”，只会改变选择倾向。

常见误区： 低温不等于更正确。如果模型原本把错误答案排在第一位，低温只会更稳定地选错。

Top-K 与 Top-P：先删掉不靠谱候选

Top-K 是固定数量：只保留概率最高的 K 个 token。Top-P 是动态范围：从高到低累加概率，保留累计概率达到 P 的最小候选集合。

最容易弄错的一点： Top-P=0.9 不是保留“概率大于 0.9”的 token，而是保留累计概率达到 0.9 的候选集合。

实际使用时，Temperature 负责调整概率差距，Top-K 或 Top-P 负责限制候选范围，最后再从剩余 token 中抽样。

几种策略怎么选？

选择策略时，不要先问哪个算法更高级，而要先问业务需要稳定还是需要多样。结构化输出追求可控，聊天与创作则需要保留合理变化。

简单选型口诀： 有明确答案先求稳；有多种合理表达再采样；越重视创意，越需要保留更大的候选空间。

不要只会调 Temperature

重复、超长输出和格式失控，不一定是温度问题。生产环境还要配合重复惩罚、禁用词、停止条件和最大生成长度。

重复严重：先检查提示词，再适度设置 repetition penalty 或 n-gram 限制。

输出停不下来：检查结束 token、最大生成长度和自定义停止条件。

格式容易坏：优先使用结构化约束或校验重试，而不是单纯降低温度。

参数效果不稳定：固定模型、提示词和测试集，一次只改一个参数。

上线前要看整体数据： 正确率、格式通过率、重复率、人工偏好、延迟和成本，而不是只挑一条看起来最好的结果。

两个常见的进阶方向

Self-Consistency：多走几条推理路径再投票

对于数学和逻辑题，可以对同一个问题采样多条推理路径，再选择出现最一致的最终答案。它常能提高鲁棒性，但会增加调用次数、延迟和 token 成本。

推测解码：小模型起草，大模型验证

推测解码主要解决速度问题。小模型先快速提出多个 token，大模型再批量验证；验证通过的部分可以一次接受，从而减少串行生成次数。它不会让答案更聪明，核心价值是降低延迟。

最后总结

贪心：快、稳定，适合答案明确和结构严格的任务。

Beam Search：保留多条路径，适合翻译、语音识别和受约束生成。

Temperature：控制概率分布的集中程度。

Top-K：固定保留前 K 个候选；Top-P：按累计概率动态保留候选。

开放式任务通常使用采样，结构化任务通常更重视确定性。

Self-Consistency 用更多计算换推理鲁棒性，推测解码用系统优化换更低延迟。

真正需要记住的主线： 解码策略不是让模型获得新知识，而是在已有概率分布上，决定这一次如何选择。