日志与爬虫行为审计 Log File & Crawl Behavior Audit
一句话定义
深度分析服务器原始访问日志中搜索引擎爬虫的真实抓取路径、频次分布、响应耗时与浪费情况，发现 GSC 报表中看不到的隐藏问题。
打个比方 Analogy
调取小区全部监控录像逐帧回看，看物业保安（Googlebot）每天到底在小区里巡检了哪些楼栋、在哪栋楼门口被锁卡住进不去、在一间空仓库里浪费了多少巡查时间。
岗位实战怎么做 In Practice
针对 10 万+ 页面的大型站点，用 Screaming Frog Log Analyzer 或 ELK 栈分析过去 30 天日志：
- Googlebot 每天实际抓了多少 URL？其中 200 正常响应占比多少？
- 被抓最多的前 50 个 URL 是什么？如果全是
/search?q=或?filter=参数页，立刻用 robots.txt 封锁！ - 刚发布 7 天的新产品页，有多少已经被 Googlebot 真正访问过了？（未被访问的 URL 哪怕加了 sitemap 也白搭）。
案例与避坑 Pitfalls
很多中大型电商站 40% 以上的爬虫预算被浪费在分页参数和旧 CMS 遗留的垃圾 URL 上，而核心新品页发布一周都没被爬虫碰过一次——日志审计一出来，所有问题无所遁形。