Anthropic 爬虫三剑客 ClaudeBot vs. Claude-SearchBot vs. Claude-User
一句话定义
Anthropic（Claude 母公司）同样采用的三层职能分离爬虫体系：ClaudeBot（负责模型训练语料抓取）、Claude-SearchBot（负责 Claude Web Search 实时搜索索引与引用）、Claude-User（负责响应用户即时访问请求）。
打个比方 Analogy
和 OpenAI 三兄弟一模一样的分工：一个编教材，一个管实时搜索放榜，一个替客人跑腿。
岗位实战怎么做 In Practice
早期 ClaudeBot 因为抓取频率比较猛，被很多主机商（如早期 Cloudflare 默认规则或部分虚拟主机）拉进了黑名单。登录你的 CDN 后台查一下过去 7 天的防火墙拦截日志（WAF Events），如果看到 Claude-SearchBot 或 ClaudeBot 被返回了 403 Forbidden，立刻加白名单放行！
案例与避坑 Pitfalls
同时注意 ClaudeBot 严格遵守 robots.txt 中的 Crawl-delay（抓取间隔延迟）指令，如果小服务器怕扛不住，可以配置合理的抓取速率，而不是一棍子打死封杀。