《时代》杂志给 AI 爬虫喂"特供版"页面：Markdown 格式内嵌广告，人类看不到

《时代》杂志被发现针对人类读者和 AI 爬虫提供完全不同的访问版本，引发数字出版界广泛关注。开发者 Vincent Schmalbach 通过更改 User-Agent 测试发现，常规浏览器访问时网站返回约 303KB 的标准 HTML 页面，而当访问身份切换为 ClaudeBot 或 PerplexityBot 后，服务器返回的仅是约 13KB 的 Markdown 格式内容，响应头中的 content-type 被明确设为 text/markdown。这一设计意味着《时代》正在为 AI 系统量身定制易于解析的文本内容，而非让爬虫自行从复杂网页中提取信息。

更引人注目的是，这些面向 AI 爬虫的 Markdown 页面中还整合了定向广告，由 AI 广告技术公司 Mobian 提供。为了让生成式 AI 更容易读取广告主信息，页面内嵌了问答格式的赞助内容，这些广告明确标注为赞助性质，但在人类读者访问常规页面时完全不会出现。换言之，当用户通过 ChatGPT 或 Perplexity 等 AI 工具搜索《时代》杂志内容时，AI 可能会在回答中无意间"念出"品牌广告，而用户对此毫不知情。

出版商争夺 AI 时代话语权的新打法

这一策略揭示了出版商在 AI 时代 monetization 的全新思路。传统模式下，出版商通过展示广告和订阅获取收入，但 AI 爬虫抓取内容后直接返回摘要，用户不再访问原网页，流量和广告收入随之流失。通过为 AI 爬虫提供 特供 版页面并嵌入广告，《时代》试图在 AI 搜索结果中保留商业变现能力，将品牌信息直接植入 AI 生成的回答中。

这种做法也引发了关于透明度和伦理边界的讨论。AI 搜索引擎是否应在回答中标注内容来源包含赞助信息，用户是否有权知道 AI 回答中哪些部分受广告影响，目前尚无明确规范。随着越来越多出版商效仿这一模式，AI 搜索生态中的广告透明度问题将成为行业无法回避的议题。《时代》的这一尝试，可能只是出版商与 AI 平台之间博弈的序幕。