第 13 章 · AI 搜索生态与平台底层

🔧 网站 /llms.txt 与 AI 爬虫友好度 30 分钟部署 SOP

1. 检查并重构 robots.txt：打开 yourdomain.com/robots.txt，确认没有任何针对 OAI-SearchBot、ChatGPT-User、PerplexityBot、Claude-SearchBot、Googlebot、Bingbot、Applebot 的 Disallow: / 封锁指令（注意：GPTBot、Google-Extended 这类训练型爬虫要不要放行是另一个决策，见本章 Q2 的三分类，别和搜索型爬虫混成一条规则）；在底部明确写明 Sitemap: https://yourdomain.com/sitemap.xml。
2. 编写并上线 /llms.txt：先摆正预期——它是 2024 年由 Jeremy Howard 提出的社区提案，不是 W3C / IETF 标准，Google 搜索团队已公开表示不读它。做它的理由是成本近乎为零、并且能倒逼你把”这个站是什么”写成一句话；它不是”AI 收录开关”，别指望放上去就被引用。摆正预期后开工：新建一个纯文本文件命名为 llms.txt，上传至网站根目录（确保访问 https://yourdomain.com/llms.txt 直接返回 UTF-8 纯文本），采用以下社区通用模板编写：

# [你的品牌名称]

> [一句话清晰定义：品牌是谁、属于什么核心品类、为哪类目标客户解决什么核心问题、核心量化优势是什么。]

[2-3句话补充核心业务背景、成立时间、服务地区、核心合规认证（如 SOC2 / ISO / FDA）及旗舰产品线概览。]

## 核心入口（AI 优先读这几页）
- [产品总览](https://yourdomain.com/product)：一句话说明这页解决什么问题、面向谁。
- [定价与套餐](https://yourdomain.com/pricing)：一句话说明计价方式与关键档位。
- [核心功能文档](https://yourdomain.com/docs)：一句话说明文档覆盖范围。
- [行业解决方案](https://yourdomain.com/solutions)：一句话说明覆盖哪些行业场景。

## 参考资料
- [公司与团队](https://yourdomain.com/about)：一句话说明成立时间、团队背景。
- [客户案例](https://yourdomain.com/customers)：一句话说明案例数量与代表性客户类型。
- [引用与授权说明](https://yourdomain.com/citation)：一句话说明允许如何引用、需保留什么链接。

## Optional
- [博客](https://yourdomain.com/blog)：行业观察与方法论文章。
- [联系方式](https://yourdomain.com/contact)：商务与合作入口。

模板使用的三条纪律：① 只放已经存在且稳定的 URL，别看心情加一堆死链；② 每条链接后面必须有一句”这页讲什么”，这一句是给模型判断相关性用的，不是给人看的装饰；③ 不要把它写成第二张 sitemap——llms.txt 是精选目录，llms-full.txt 才是全文投喂。二者定位混了，等于把索引做成了垃圾场。

3. 验证返回的是”纯文本”，不是”页面”：跑 curl -sI https://yourdomain.com/llms.txt，确认状态码 200、content-type 是 text/plain、没有 301 跳转；再跑 curl -s https://yourdomain.com/llms.txt | head -5，确认第一行就是以 # 开头的一级标题。最常见的三个错误：被 CMS 当成普通文章页渲染成了 HTML、被 CDN 缓存了一条旧的 404、文件放进了 /llms.txt/ 目录变成需要索引页。
4. 按 AI 爬虫的 UA 逐个实测可访问性：写一个循环，把 OAI-SearchBot、ChatGPT-User、PerplexityBot、Claude-SearchBot、Googlebot、Bingbot、Applebot 的 UA 依次塞进 curl -A "<UA>" -o /dev/null -w "%{http_code} %{size_download}"，逐个核对状态码与内容长度。重点查 Cloudflare 的 Bot Fight Mode 和”已验证机器人”白名单——很多人一边在 robots.txt 里热情邀请，一边被 WAF 悄悄挡在门外，还不自知。
5. 内容层配合，让正文”可被切片”：RAG 抽取的单位是片段，不是整页。所以每个小节的第一段要写成 40–60 字、脱离上下文也成立的结论；段落开头把品牌名、产品全名写全（别用”它""这个工具”）；参数对比用原生 HTML <table>；关键数字带上年份与来源。这一步决定了 llms.txt 是”目录”还是”空目录”。
6. 每月只看三张表：① 服务器日志里按 UA 分组的请求数与状态码分布；② AI 引荐流量（referrer 含 chatgpt.com、perplexity.ai、copilot.microsoft.com、gemini.google.com）；③ 被 AI 引用频次最高的 Top 20 页面。三张表放在一起看，才能区分”压根没被抓”、“抓了没被引用”、“被引用了但没带点击”这三种完全不同的病。

顺便把 MCP 这件事说清楚

MCP（Model Context Protocol）是给 AI 装”手”的标准接口：以前模型只能读你的页面，现在它可以调用你的工具、查你的数据库、下单、查库存。它对做 SEO/GEO 的人有两个直接含义：

1. “被引用”不再是终点，“被调用”成为新的流量入口。当用户在对话框里问”帮我订下周三的会议室”，模型是通过 API 完成交易的，你的官网可能一次都没被访问。
2. 能提供 MCP 服务或高质量 API 文档的品牌，会获得一种新的可见性。所以文档站点要写清楚输入参数、返回结构、错误码——这些内容以前只有开发看，现在模型也在读。写文档已经从”技术写作”变成了”渠道建设”。

面试高频考题与满分回答框架

Q1: 用大白话解释一下 RAG，以及它到底改变了我们做内容的什么？

满分框架： RAG（检索增强生成）就两步：先去查，再动笔。用户提问后，系统先在索引里检索出最相关的几段材料（这里用到 Embeddings——把每段文字变成一串坐标，意思相近的排在一起，所以它按”语义”而不是”关键词”找），然后模型只基于这几段材料组织答案，并把出处标出来。 对比一下就懂了：传统搜索是”给你十个链接让你自己看”，RAG 是”我替你看了十篇，给你一段答案，附上我看的是哪几篇”。 对内容的三点改变：① 竞争目标从被排到变成被检索到，所以能否被切片、片段是否自足变得比整页结构更重要；② 从被访问变成被引用，你的观点必须足够具体、足够可复述，才值得被抄进答案；③ 指标要改，曝光和点击再也描述不了结果——答案可能在你一次访问都没有的情况下被消费完了。

Q2: 我们要不要在 robots.txt 里屏蔽 AI 爬虫？你怎么做这个决策？

满分框架（关键是分类，而不是给一个 yes/no）： 不能一刀切，因为这三类爬虫做的事完全不同：

1. 搜索型 / 用户触发的抓取（如 OAI-SearchBot、PerplexityBot、ChatGPT-User）：带来引用和引荐流量。屏蔽它们，等于把答案位让给竞争对手。
2. 训练型爬虫（如 GPTBot、Google-Extended、ClaudeBot）：只拿走内容不带来访问。屏蔽是合理的商业决策，而且越来越像授权谈判的筹码。
3. 批量归档型爬虫：喂给你无法审计的数据集，风险最高。 我的做法是：先分类写一份书面策略（谁可以抓、谁不可以、依据是什么），由业务方拍板，而不是谁最后编辑了 robots.txt 谁说了算；然后把 Google-Extended 这类”只控制训练、不影响搜索收录”的开关单独设，别和搜索抓取混在一起；最后每季度复核一次条款变化。最不可接受的是默认态——防火墙把所有云厂商 IP 段全拦了，还管这叫”安全”。

Q3: 查询扇出（Query Fan-out）是什么？它会怎么改变我们的内容结构？

满分框架： Query Fan-out 是 AI 搜索把一个复杂问题拆成多个子查询并行检索，再把结果汇总成一段答案。类比：老板说”比较三家供应商，给个建议”，你不会只打一个电话，而是分头问报价、查评价、比交期，最后给一页结论。AI 干的是同一件事。 对内容结构的直接影响有三个：

1. 长尾子问题必须被显式回答。用户问”适合小团队的 CRM 推荐”，AI 内部会拆成”小团队定义""价格区间""迁移成本""集成能力”等子查询。你的页面如果只写了一段笼统的介绍，一个子问题都命中不了。
2. 能用一张表说清的事，不要用三段话。子问题汇总阶段，结构化数据最容易被提取和比对。
3. 每个答案片段要能独立成立。它被抽走时，上下文已经丢了，所以”如上所述""这款产品”这类指代等于自杀。 我会在选题阶段就直接列”这个主题会被拆成哪 8–12 个子问题”，然后一个子问题一个小节，小节首段给结论。

Q4: 团队想用 AI 大批量生产内容，怎么在”规模化内容滥用”这类政策下不出事？

满分框架（先给定性，再给机制）： 政策打击的从来不是”用了 AI”，而是**“没有新增价值 + 规模化发布”**这两个条件同时成立。所以我的做法是把变量从”工具”换到”责任”和”素材”：

1. 谁来定方向、谁来签字：选题角度、目标查询、独家素材由人提供；模型只做结构、初稿、表格、FAQ；最后一个具名的人逐条核对事实并署名。
2. 必须有模型产不出来的东西：实测数据、客户原话、内部成本、真实案例。没有这些，产量再高也只是把公开信息换了个说法。
3. 规模要匹配审核能力：一周 10 篇，人工审核还能落地；一周 200 篇，审核必然变成橡皮章。所以我会给”月产量”设上限，而不是给”篇数”设 KPI。
4. 要有淘汰机制：上线后 90 天拿不到曝光的页面，合并或下线。薄内容最大的伤害不是单页没流量，而是拖着整站的评估往下走。 最后补一句管理视角：“绝大多数规模化翻车，起点都是一个把质量变成可选项的考核指标。”