robots.txt
一句话定义
位于网站根目录的文本文件，告诉搜索引擎爬虫哪些页面可以抓、哪些不能抓。
打个比方 Analogy
小区门口的访客登记本。"快递员可以进，推销员不能进"。但注意，这只是"君子协定"，不防小人（恶意爬虫）。
岗位实战怎么做 In Practice
常见用法：Disallow: /admin/ 禁止抓取后台；Disallow: /search? 禁止抓取搜索结果页；Disallow: /*.pdf$ 禁止抓取 PDF。语法错误会导致整个网站被屏蔽，务必在 GSC 的 robots.txt 测试工具中验证。
案例与避坑 Pitfalls
不要把敏感信息（如用户数据页）只靠 robots.txt 保护，因为 robots.txt 是公开可读的，恶意用户可以直接访问被禁止的 URL。敏感页面应使用密码保护或 noindex + 访问控制。