爬虫 Crawler / Spider / Bot
一句话定义
搜索引擎派出的自动化程序，7x24 小时不知疲倦地沿着网页链接抓取数据。
打个比方 Analogy
图书馆的采购员兼图书管理员。他们每天开着小车（带宽）去各个书店（网站）扫货，看看有没有新书（新页面）或者旧书改版（内容更新）。
岗位实战怎么做 In Practice
在服务器日志（Log File）中分析爬虫的 User-Agent，确认 Googlebot 是否顺利抓取了核心目录，还是把时间浪费在了无关紧要的图片或参数页面上。
案例与避坑 Pitfalls
如果网站服务器不稳定（经常 500 错误），爬虫会降低来访频率（Crawl Rate Limit），导致新内容迟迟不被收录。