抓取 Crawling

词条 #13 / 700 · 第 1 章 · 1.2 搜索引擎工作原理三步走：抓取、索引、排名（11–20）

一句话定义

爬虫顺着链接发现 URL 并下载其 HTML 代码、CSS、JS 和图片等资源的过程。

打个比方 Analogy

采购员把书买回图书馆库房的过程。书买回来了，但还没上架。

确保重要页面有内部链接指向它。如果一个页面没有任何其他页面链接到它（孤岛页面），爬虫基本无法发现它。

不要用 JS 点击事件（如 onclick="window.location..."）代替标准的 <a href=""> 标签。爬虫更擅长顺着标准的 <a> 标签抓取，JS 跳转经常被遗漏。