抓取预算 Crawl Budget

采购员每天只有 8 小时工作时间和有限的油费。如果你的书店像个迷宫（死胡同多、无效页面多），他逛完一半时间就到了，很多好书根本没看到就走了。

对于十万级以上的大型站点（如跨境电商），必须优化抓取预算。通过 robots.txt 屏蔽无意义的筛选组合页（如颜色+尺码+价格的多维筛选 URL），引导爬虫去抓核心产品页。

小站（<5000 页）基本不需要操心抓取预算，把精力放在内容质量上。