第 1 章 · 搜索引擎基础
本章带你看懂 Google/Bing 这台印钞机如何工作。只有理解了爬虫怎么发现你、索引库怎么收纳你、算法怎么评估你,后面所有的优化动作才不会是玄学。
1.1 搜索引擎是什么
10 个词条- 1 搜索引擎 Search Engine 一个在毫秒间帮你在海量网页中匹配出最优答案的复杂软件系统
- 2 搜索结果页 SERP, Search Engine Results Page 用户提交查询后,搜索引擎返回的包含广告、自然结果、地图、AI 摘要等混合元素的页面
- 3 查询词 Query 用户为了寻找信息而在搜索框中输入的具体文字或语音片段
- 4 自然搜索结果 Organic Results 不支付任何费用,完全依靠内容质量、权威度和技术表现赢得的常规蓝色链接列表
- 5 付费搜索 Paid Search / PPC 广告主通过竞价排名购买的结果展示位,通常带有 "Sponsored" 或 "Ad" 标识
- 6 点击率 CTR, Click-Through Rate 看到你的搜索结果的用户中,实际点击你链接的比例
- 7 曝光量 Impressions 你的网页在搜索结果中被用户看到的总次数,无论是否点击
- 8 排名 Ranking / Position 你的页面在特定关键词的自然搜索结果中所处的具体位置
- 9 流量 Traffic 在一定时间周期内,通过各种渠道访问你网站的独立用户或会话总数
- 10 转化 Conversion 访客在网站上完成了你预设的对业务有价值的动作
1.2 搜索引擎工作原理三步走:抓取、索引、排名
10 个词条- 11 爬虫 Crawler / Spider / Bot 搜索引擎派出的自动化程序,7x24 小时不知疲倦地沿着网页链接抓取数据
- 12 Googlebot Google 官方爬虫的统称,主要分为模拟智能手机的 Smartphone Bot 和模拟电脑的 Desktop B…
- 13 抓取 Crawling 爬虫顺着链接发现 URL 并下载其 HTML 代码、CSS、JS 和图片等资源的过程
- 14 索引 Indexing 爬虫抓取后,搜索引擎对页面内容进行语义分析、去重,并决定是否将其存入核心数据库的过程
- 15 排名处理 Ranking / Serving 当用户输入查询词时,排名算法瞬间从索引库中筛选出最匹配的页面,并按相关性和权威度排序展示
- 16 索引库 Index 搜索引擎用来存储所有已收录网页信息的巨型分布式数据库
- 17 抓取预算 Crawl Budget 搜索引擎分配给一个网站在特定时间内抓取的页面数量上限
- 18 抓取频率 Crawl Frequency 爬虫访问你网站的频繁程度
- 19 渲染 Rendering 搜索引擎像真实浏览器一样,执行页面上的 JavaScript 代码,最终拼合成用户看到的完整页面的过程
- 20 可发现性 Discoverability 你的页面能够被爬虫轻松找到并理解的难易程度
1.3 搜索引擎如何理解页面与用户
15 个词条- 21 相关性 Relevance 页面内容与用户搜索意图在语义和主题上的匹配程度
- 22 权威性 Authority 搜索引擎认为你的网站或页面在特定主题领域内的专业程度和公信力
- 23 信任度 Trustworthiness 网站整体是否真实、安全、不欺诈用户,是 E-E-A-T 的核心
- 24 用户意图 Search Intent 用户敲下键盘搜索某个词时,内心深处真正想要完成的任务或解决的问题
- 25 查询意图四分类 Four Types of Search Intent 导航型(Navigational)、信息型(Informational)、商业调研型(Commercial Inve…
- 26 语义搜索 Semantic Search 搜索引擎不再死抠字面匹配,而是理解词语背后的含义、上下文和同义关系
- 27 实体 Entity 搜索引擎知识图谱中具有唯一标识的具体事物或抽象概念(人、地点、公司、品牌、电影等)
- 28 知识图谱 Knowledge Graph Google 维护的一个庞大的实体及其相互关系的网络数据库
- 29 知识面板 Knowledge Panel 搜索特定品牌或实体时,SERP 右侧展示的包含图片、简介、社媒链接、股价等信息的卡片
- 30 精选摘要 Featured Snippet / Position Zero 出现在自然搜索结果最顶部的直接答案框,通常是段落、列表或表格形式
- 31 相关问题 People Also Ask, PAA SERP 中部可折叠的动态问答列表,点击一个问题会无限加载出更多相关问题
- 32 丰富结果 Rich Results 带有星级评分、价格、库存、烹饪时间、FAQ 折叠菜单等视觉增强效果的自然搜索结果
- 33 站点链接 Sitelinks 搜索品牌词时,主结果下方自动展示的 2-6 个站内核心栏目的快捷链接
- 34 个性化 Personalization 搜索引擎根据用户的物理位置、历史搜索记录、语言和设备类型,动态调整搜索结果
- 35 零点击搜索 Zero-Click Search 用户在 SERP 上直接获得了所需答案(通过 AI Overview、精选摘要、知识面板等),无需点击任何网站链接
1.4 SEO 的核心流派与质量评估基石
10 个词条- 36 SEO Search Engine Optimization 搜索引擎优化,通过改进网站内外部因素,提升在自然搜索结果中排名与流量的系统性工作
- 37 白帽 SEO White Hat SEO 严格遵守搜索引擎官方指南,通过提升用户体验和内容价值来获取排名的长期策略
- 38 黑帽 SEO Black Hat SEO 利用搜索引擎算法漏洞,采用欺骗手段快速获取排名的违规操作
- 39 灰帽 SEO Gray Hat SEO 游走于规则边缘,利用未明确禁止但带有操纵性质的手段
- 40 站内 SEO On-Page SEO 在你自己网站内部进行的优化操作,你拥有 100% 的控制权
- 41 站外 SEO Off-Page SEO 在第三方网站平台上进行的,旨在提升你网站权威性和声誉的操作
- 42 技术 SEO Technical SEO 优化网站的底层架构、代码和服务器配置,确保搜索引擎能顺畅抓取、渲染和索引
- 43 SEO 友好 SEO-Friendly 网站从设计之初就充分考虑到搜索引擎的抓取和理解习惯
- 44 排名因素 Ranking Factors 搜索引擎算法用来评估和排序网页的各种信号,总数超过 200 个
- 45 E-E-A-T Experience, Expertise, Authoritativeness, Trustworthiness Google 搜索质量评估指南中,人工评估员用来判断内容质量的四大维度:经验、专业性、权威性、可信度
本章岗位实战 SOP 与面试考点
🔧 一个 URL 从”发上线”到”稳定拿流量”的七步体检 SOP
新页面发布后 48 小时内,按下面七步逐条过一遍。顺序不能乱——前面一环没通,后面所有优化都是白干,而且你会误以为自己遇到了”玄学降权”。
- 第 1 步 · 谁链到了它?(可发现性) 搜索引擎不会”自动知道”你发了一篇新文章。确认三件事:站内至少有一个已有权重的页面链到它(不是孤岛页)、它出现在
sitemap.xml里、URL 结构稳定不带多余参数。判断标准:在 GSC(Google Search Console)用网址检查工具刷新,状态不能长期停在”已发现 - 尚未抓取”。 - 第 2 步 · 它抓得到吗?(可抓取性) 先用
curl -I https://yourdomain.com/page看状态码是不是 200;再把 User-Agent 换成Googlebot抓一次,看服务器返回是否一致。很多”突然不收录”是 CDN 或 WAF 把 Googlebot 的 IP 段误判成了攻击流量,返回 403/429。robots.txt 不要自己读一遍就判断”没问题”,要用 GSC 的 robots.txt 报告实测某条 URL 是否被允许。 - 第 3 步 · 它渲染得出来吗?(渲染) 对比两样东西:
curl抓到的原始 HTML,和浏览器里看到的最终页面。如果正文、价格、评论只存在于 JS 执行之后,你就是在赌渲染队列——快则几小时,慢则几周,甚至被跳过。SPA / 客户端渲染站点的正确做法是 SSR 或预渲染,而不是靠”提交了 sitemap 应该会渲染吧”。 - 第 4 步 · 它进索引了吗?(可索引性) 在源码里搜三样东西:
noindex、指向别处的canonical、模板遗留的空内容区块。然后看 GSC「网页」报告给你的结论:是”已抓取 - 尚未编入索引”(内容质量或重复度问题),还是”重复网页,Google 选择的规范网页与用户指定的不同”(信号打架)。注意:Google 选的规范网页才算数,你自己写的那条不算。 - 第 5 步 · 它跟哪个查询绑定了?(相关性) 打开 GSC 的「查询」维度,看这个 URL 实际拿到了哪些搜索词。如果搜出来的词跟页面主题明显不是一回事,说明意图错位——不是技术问题,是内容和内链锚文本的问题。正确状态是:目标查询、页面主题、内链锚文本这三者对得上。
- 第 6 步 · 它够格竞争吗?(权威与竞争) 把这个查询的 SERP 亲自看一遍,记录前五名的内容形态:是教程、对比表、工具页、视频,还是论坛帖?形态错了,内容再好也进不去。然后再看域名权重、外链数量、品牌词搜索量这些”入场券”级别的指标。
- 第 7 步 · 它被点了吗、被读完了吗?(点击与承接) 位置和 CTR 要一起看:位置第 3 但 CTR 只有 1%,问题在标题和摘要被读者扫过就放弃了;CTR 正常但落地 30 秒跳出,是意图不匹配——你用一篇导购页接了一个想问”是什么”的人。
七步之外,还要盯住的四件事
- SERP 已经不是十个蓝链了:精选摘要、相关问题、知识面板、站点链接、视频、地图包会一起抢走版位。同一个排名,版本不同的 SERP 带来的点击能差好几倍。所以要按”这个 SERP 上还有什么”来设计内容,而不是只盯第 1 名。
- 零点击是常态,不是失败:品牌词、天气、汇率、“XX 是什么”这类查询,用户看完摘要就走了。这类页面的 KPI 应该是曝光和品牌搜索量的增长,而不是点击。
- 用户意图决定内容类型:导航型、信息型、商业调查型、交易型,四种意图对应四种页面结构。用错卡片,等于用产品页回答”怎么做”。
- E-E-A-T 不是打分项,是事后解释:Google 不会给你一个”权威分”。它是把作者、引用、外部提及、用户评价这些痕迹综合起来,去判断”这个页面值不值得信”。所以能做的只有一件事——把这些痕迹真实地留在页面上。
把这套体检变成月度节奏
每周挑 5 个 URL 走一遍七步,每季度汇总一张表:URL、状态码、索引状态、主查询、平均排名、点击、CTR。坚持一个季度,你手上就有了一张”流量到底在哪一环丢的”地图,而不是审计工具吐出来的两百条待办。
面试高频考题与满分回答框架
Q1: 一个页面从发布到出现在搜索结果里,中间到底发生了什么?请按顺序讲。
满分框架(这题考的是你有没有”流水线思维”,而不是背术语): 四个阶段,每个阶段我都能说出它特有的失败方式。
- 发现(Discovery):爬虫通过内链、外链、sitemap 或 URL 提交找到这个地址。失败态:孤岛页,永远不被发现。
- 抓取(Crawling):发出请求、拿到状态码、按 robots.txt 与抓取预算决定抓不抓、抓多深。失败态:404/5xx 反复、robots 拦住、WAF 拦 Googlebot、预算被参数页吃光。
- 渲染与索引(Rendering & Indexing):解析 HTML、必要时执行 JS、抽取正文与链接、裁定规范网页、写入索引库。失败态:正文只在 JS 里、
noindex、重复内容合并到了错的 URL、内容太薄不收录。- 排名与呈现(Ranking & Serving):查询进来后做召回、排序、拼装 SERP(广告、地图、AI 概览、精选摘要),并按地区与个性化做微调。失败态:收录了但绑错意图,或者排名在 30 名开外等于没有。 最后补一句加分项:“我排查线上问题也按这个顺序走,从上游往下游查,不会一上来就改标题。”
Q2: 一个页面已经被收录了,但几乎没有流量。可能的原因按概率从高到低排一下。
满分框架(排序能力比列清单更能体现经验):
- 意图错位——页面在回答另一个问题。先看 GSC 里它实际拿到什么查询,这一步能排除掉一半的怀疑。
- 排名太靠后——收录在 30 名开外,点击率接近于零。别急着改标题,先看平均排名。
- 标题与摘要没吸引力——位置 8 但 CTR 不足 1%,通常是查询在 SERP 上已经被直接回答了,或者标题被读后拒绝。
- 被自己人蚕食——同站另一个 URL 赢了这个查询,你的页面只是配角。用「网页」+「查询」交叉看。
- SERP 形态变了——AI 概览、精选摘要、视频模块把点击吃掉,页面在但版位被压缩。
- 季节性或市场变化——最后才考虑外部因素,因为它最不可控,也最容易被拿来当借口。 每一档我都会说清”用什么数据确认”,而不是停在猜测。
Q3: 你怎么向一个完全不懂 SEO 的同事解释”抓取、索引、排名”的区别?
满分框架: 用图书馆打比方。抓取是货车上门把新书拉回来——书在馆里了,但还没登记。索引是把每本书的内容拆开登记进目录卡片,之后不用去书架上翻就能查到。排名是你走到前台问一个具体问题时,馆员决定先递给你哪五本。 然后落到最有用的那句结论:一本书可以在馆里但没进目录(抓取了没索引),也可以进了目录却永远递不到你手上(索引了但排不上)。所以当老板问”为什么提交了 sitemap 还是不排名”,这三件事必须分开说,别混成一个”SEO 没做好”。
Q4: 为什么 Google 有时会无视你写的 canonical 标签?
满分框架: 因为 canonical 是提示(hint),不是指令。搜索引擎会把它和其他证据放在一起权衡:内链用的是哪个 URL、sitemap 里写的是哪个、有没有 301、两页内容相似度多高、历史上哪个 URL 更早被收录。 常见翻车场景:canonical 写 A,但全站内链都指向 B;或者被判为规范版的页面更慢、内容更薄。 正确做法不是”把标签写得更强硬”,而是让所有信号指向同一个 URL——canonical、内链、sitemap、hreflang、301 全部对齐。最后说一句实操:“我会去网址检查里看 Google 实际选的是哪个,那个才是要争论的对象,我自己写的那条不算数。”