大模型为什么越训越强？为什么有些能力像“突然冒出来”？

开篇：别把 Scaling Law 理解成“越大越好”

很多人一听 Scaling Law，就会下意识理解成“模型参数越多越强”。这句话只说对了一小半。真正影响大模型效果的，不只有参数量，还有训练数据量和训练算力。一个 175B 的模型，如果只看过很少的数据，可能还不如一个更小但训练更充分的模型。

一、Scaling Law 到底是什么？

Scaling Law 可以理解成一张“训练投入产出表”。它研究的是：当模型参数 N、训练数据 D、训练算力 C 增大时，模型的 loss 会怎么变化。Kaplan 等人在 2020 年的研究中发现，语言模型的 loss 会随模型大小、数据量和训练计算量按幂律下降。

“幂律下降”听起来很数学，换成白话就是：规模变大通常会带来更好效果，而且这种提升不是完全靠玄学猜，而是可以用经验公式提前估算。它让大模型训练从“试试看”变成了更可预算的工程项目。

loss 按幂律下降，收益会变慢但仍可预测

常见写法可以简化成下面这个形式：

# 一个简化版理解：规模变大，loss 按幂律下降
loss ≈ A / (scale ** alpha) + irreducible_loss

# scale 可以代表参数量、数据量或训练计算量
# alpha 是经验拟合出来的指数，不同实验会有差异

二、为什么 Chinchilla 说“别只堆参数”？

早期大模型路线容易把注意力放在参数量上：模型越大，看起来越厉害。但 DeepMind 的 Chinchilla 论文指出，很多大模型其实是“欠训”的，也就是参数很多，但训练 token 不够。

Chinchilla 的核心结论是：在固定训练算力下，参数量和训练 token 数要一起增长。常见的经验理解是，每 1 个参数大约配 20 个训练 token。它不是说数据超过这个比例就没用，而是在固定训练预算下给出一个更合理的分配方向。

举个直观例子：GPT-3 是 175B 参数，训练数据约 300B tokens，比例大约是 1:1.7；Chinchilla 是 70B 参数，训练约 1.3T tokens，比例接近 1:20。结果 Chinchilla 虽然参数少很多，但在不少任务上超过了更大的模型。

后来的 Llama 3、Qwen3 又把“多喂高质量数据”推得更激进。Llama 3 使用超过 15T tokens 训练，Qwen3 系列也强调 36T tokens 的大规模高质量预训练语料。这说明：Chinchilla 的比例不是数据上限，而是提醒我们不要只盯参数。

三、算一下 token / 参数比例，为什么有用？

在看一个模型训练是否充分时，可以先粗略算一个指标：训练 token 数 / 参数量。它不能直接决定模型强弱，但能帮助判断模型是“参数大但没吃饱”，还是“小模型吃了很多数据”。

def tokens_per_parameter(params_billion, tokens_trillion):
"""返回每个参数大约配了多少 token"""
return tokens_trillion * 1000 / params_billion

print(tokens_per_parameter(175, 0.3)) # GPT-3: 约 1.7
print(tokens_per_parameter(70, 1.3)) # Chinchilla: 约 18.6
print(tokens_per_parameter(8, 15)) # Llama 3 8B: 约 1875
print(tokens_per_parameter(0.6, 36)) # Qwen3 0.6B: 约 60000

这个数字越大，不代表一定越好，因为数据质量、训练轮次、模型结构、后训练方式都会影响效果。但它能提醒我们：一个模型参数不大，也可能因为训练数据非常多而很能打。

四、什么是“涌现能力”？

涌现能力指的是：某项能力在小模型上几乎看不到，但模型规模超过某个范围后，突然表现出来。典型例子包括多步推理、上下文学习、复杂指令理解、代码能力、跨语言迁移等。

这也是为什么很多人觉得大模型“突然聪明了”。不是模型被显式教会了某个任务，而是当参数、数据和训练规模到达一定程度后，模型内部学到的模式足够丰富，开始能组合出更复杂的能力。

涌现能力与评估指标有关，不能只看单一曲线

五、涌现一定是真“突然出现”吗？

这里有一个很重要的争议。Wei 等人的论文把涌现定义为“小模型没有、大模型才有”的能力；但 2023 年的 Mirage 论文提出，很多涌现现象可能与评估指标有关。

比如一个多步算术题，如果只看最终答案是否完全正确，那模型错一步就是 0 分，对了就是 1 分，曲线就容易出现突然跃迁。但如果换成“每一步答对多少”的连续指标，曲线可能会平滑很多。

所以更稳妥的理解是：模型规模变大确实会带来能力提升，但“涌现”不一定是魔法式突变；很多时候是连续能力提升被离散评估指标放大了。

六、为什么 Llama 3、Qwen3 这类小模型也能很强？

从工程角度看，训练一个超大模型很贵，部署一个超大模型也很贵。参数越多，推理显存、延迟和成本通常越高。如果能用更小参数的模型，通过更多高质量训练数据获得接近甚至超过大模型的效果，部署成本就会低很多。

这就是近几年“小模型 + 海量高质量数据”路线越来越重要的原因。它不一定追求训练算力最优，而是追求部署时的成本收益更好：模型小、速度快、显存低、可私有化部署。

七、三组概念别混了

Scaling Law、Chinchilla、涌现能力经常一起出现，但它们回答的问题不同。Scaling Law 看“投入和 loss 的关系”；Chinchilla 看“固定训练预算下参数和数据怎么配”；涌现能力看“某些任务为什么在大模型上才明显出现”。

八、实际项目怎么用这套思路？

如果你在企业里选模型，不需要自己从零训练千亿模型，也可以用这套思路做判断。比如看开源模型时，不要只看参数量，还要看训练 token 数、数据质量、上下文长度、后训练质量、推理成本和业务评测结果。

同样预算下，不要盲目追求最大参数，要看模型是否训练充分。

业务任务强不强，要用自己的评测集验证，不能只看通用榜单。

小模型如果吃了足够多的高质量数据，在很多场景里可能更划算。

涌现能力不能只听宣传，要看任务、指标和失败样本。

训练和部署目标不同：训练算力最优，不一定等于推理成本最优。

九、面试怎么回答？

可以这样组织答案：Scaling Law 研究模型效果如何随参数、数据、算力扩大而变化，核心规律是 loss 按幂律下降。它告诉我们模型规模提升不是完全随机的，而是有可预测趋势。

但不能把它理解成“参数越多越好”。Chinchilla 论文指出，在固定训练算力下，参数和训练 token 要更均衡，很多早期大模型是欠训的。后来 Llama 3、Qwen3 这类模型进一步说明：为了降低推理成本，较小模型加上海量高质量数据也能取得很强效果。

涌现能力则是 Scaling Law 之外的现象：某些能力在小模型上不明显，规模上来后才出现。但也要知道 Mirage 论文的争议：部分涌现可能由离散评估指标造成，所以工程上要用多指标、多任务来验证，而不是迷信单个临界规模。