大语言模型不是“会聊天的机器人”，也不是“参数多一点的 NLP 模型”。它的本质，是一个用海量文本训练出来、能够根据上下文不断预测下一个 token 的生成式模型。

传统 NLP 更像一条流水线：先分词，再做词性标注、实体识别、意图分类，最后接规则或知识库。LLM 则把这些能力压进一个统一模型里，用户只需要把任务写成 Prompt，模型就能翻译、总结、问答、写代码、做分类，甚至参与复杂业务流程。

一、传统 NLP 为什么越做越复杂？

在 LLM 出现之前，自然语言处理通常要把一个问题拆成很多小问题。比如智能客服想识别“我想退货”，系统可能先分词，再识别商品、订单号、动作，再判断用户意图，最后去知识库匹配答案。每一步都需要自己的规则、模型、标注数据和线上监控。

问题在于，流水线越长，错误越容易传递。分词错了，后面的词性标注、实体识别、意图分类很可能跟着错。更麻烦的是换领域成本：电商客服、医疗问答、金融风控的术语和实体完全不同，往往又要重新标数据、重新训练、重新调规则。

这并不是传统 NLP 工程师不努力，而是当时的小模型能力有限，必须把复杂任务拆成简单任务来解决。

二、BERT 做对了一半，LLM 又补上另一半

BERT 时代最大的变化，是“预训练 + 微调”成为主流。模型先在大量无标注文本上学习语言表示，然后再拿少量标注数据做下游任务。这样比从零训练每个任务要高效很多。

但 BERT 的问题也很明显：它更擅长理解，不擅长连续生成。做分类要接分类头，做实体识别要接序列标注头，做问答要接抽取式 QA 头。模型底座复用了，但任务形式还没有真正统一。

GPT 类 LLM 的关键变化，是把任务统一成生成文本。翻译是生成目标语言，摘要是生成短文本，分类也可以生成“好评/差评”，代码生成就是生成代码。任务都变成了“给定上下文，继续生成合适的 token”。

三、LLM 到底在训练什么？

很多人第一次听到“预测下一个 token”，会觉得太简单：就这？但真正厉害的地方在于，模型要从海量文本中学会语法、语义、知识、推理模式、写作风格和上下文关联。

例如输入“北京是中国的”，模型可能给“首都”很高概率；输入“请把这段话总结成三点”，模型就会继续生成一段总结。它不是查字典，而是在参数里压缩了大量语言统计规律。

可以用一个极简伪代码理解这个过程：

prompt = "大语言模型可以"
tokens = tokenizer.encode(prompt)
for _ in range(5):
logits = model(tokens)
next_id = sample(logits[-1], temperature=0.8)
tokens.append(next_id)
print(tokenizer.decode(tokens))

这段代码不是实际生产代码，只是帮助理解：模型每一步都会根据当前上下文算出下一个 token 的概率分布，然后选出一个 token 接到后面，再继续下一轮。

四、Transformer 是 LLM 的核心发动机

今天大多数主流 LLM 的底层结构都和 Transformer 有关。Transformer 的优势在于，它可以让一句话里的每个 token 同时关注其他 token，从而理解上下文关系。

输入文字会先被切成 token，再变成向量。向量进入多层 Transformer Block 后，每一层都会通过 Attention 和 MLP 继续加工。最后模型会输出一个概率分布，表示“下一个 token 最可能是什么”。

Attention 可以怎么理解？

Self-Attention 的名字听起来很抽象，但可以用搜索来类比。Query 是“我想找什么”，Key 是“别人有什么线索”，Value 是“真正要传过来的信息”。当 Query 和某个 Key 很匹配时，对应 Value 的信息就会更多地影响当前 token。

五、为什么模型变大后能力会明显增强？

LLM 里的“大”，通常不是只看一个数字，而是同时看参数规模、训练数据规模和计算规模。参数可以理解成模型内部可调节的“旋钮”，数据提供语言和知识来源，算力则支撑模型把这些模式训练出来。

规模上来后，模型不只是记住更多句子，而是更容易学到跨任务的通用模式。比如同样是“根据上下文补全”，它在翻译、摘要、问答、代码生成里都能复用这种能力。

但规模大不等于一定聪明，也不等于不会犯错。没有高质量数据、训练策略、对齐优化和工程治理，大模型也可能输出看似流畅但不可靠的答案。

六、Prompt 为什么能让一个模型做多种任务？

LLM 的一个关键变化，是把任务描述也放进输入里。传统模型往往把任务写死在结构里，比如分类模型就是分类，翻译模型就是翻译。LLM 则通过 Prompt 告诉模型“现在要做什么”。

这就像同一个员工，不需要为每项工作换一套大脑，只要你把任务说明讲清楚，它就能根据已有能力去执行。翻译、总结、改写、分类、问答，本质都可以写成不同的提示词。

七、LLM 和传统 NLP 模型有什么本质区别？

传统 NLP 是“任务驱动的专用模型”，BERT 是“通用表示 + 任务微调”，LLM 是“通用生成模型 + Prompt 任务接口”。

这句话能把面试里最容易混淆的点区分开：BERT 也很大，也能预训练，但它通常不是直接拿 Prompt 生成任意任务结果；LLM 的强项在于把理解和生成合在一个统一输出形式里。

八、LLM 不是万能的，工程落地要补上这些东西

LLM 最大的优点是通用生成能力，最大的坑也是生成能力。它可能在没有依据时生成很像真的答案，这就是常说的幻觉。它也可能不知道最新信息，或者在长上下文里漏掉关键点。

所以生产系统里，LLM 往往不会单独裸奔，而是要配合 RAG、工具调用、权限控制、日志审计、内容安全、评测系统和模型网关。模型负责理解和生成，工程系统负责把答案拉回真实业务。

九、LLM 在业务里通常怎么落地？

最常见的是智能客服、知识库问答、办公助手、代码助手、数据分析助手和 Agent 自动化。它们看起来不一样，但核心模式类似：用户用自然语言提出需求，模型理解意图，再结合知识库、工具和业务系统生成结果。

如果只是写文章、总结、翻译，直接调用模型就够了；如果要回答企业私有知识，就要接 RAG；如果要查订单、发邮件、建工单，就要接工具调用；如果要完成跨系统流程，就要进入 Agent 和工作流编排。

十、面试里可以这样总结

大语言模型是基于 Transformer 架构、使用海量语料预训练、通过预测下一个 token 来生成文本的通用模型。它和传统 NLP 最大的区别，不只是参数更多，而是任务形态发生了变化：传统 NLP 通常是一任务一模型，BERT 解决了一部分通用表示问题，而 LLM 把大量任务统一成“输入 Prompt，生成答案”。

也正因为如此，LLM 才能在问答、摘要、翻译、写作、代码生成和对话里表现出很强的迁移能力。但它仍然不是全知全能，生产落地必须搭配检索、工具、评测、安全和成本治理。