CCBot 是什么:Common Crawl 开放网页数据集的爬虫与 robots 写法
标注说明:【官方】出自官方文档;【实测】出自本站服务器日志;【推断】由前两者推出或来自第三方。
目录
一句话结论:CCBot 是非营利组织 Common Crawl 的爬虫,抓到的网页进入公开数据集,任何人都能下载,许多 AI 模型拿它训练。不想间接进训练数据就屏蔽它;它不对应任何搜索引擎,屏蔽没有搜索代价。
| CCBot | |
|---|---|
| 归属 | Common Crawl(非营利) |
| 服务的产品 | Common Crawl 开放网页数据集(被大量 AI 训练使用) |
| 用途类型 | 训练(抓取内容可能用于训练模型) |
| 是否遵守 robots | 官方说遵守 |
| 依据 | 官方文档 |
CCBot 是谁家的、拿去做什么?#
Common Crawl 官方说 CCBot 为开放网页数据仓库抓取,并给出 User-agent: CCBot + Disallow: / 的屏蔽方法【官方】。官方没有说「训练」二字;本表把用途记为训练,是因为它的数据集被大量模型用作训练来源【推断】。
屏蔽 CCBot 会改变什么?#
屏蔽 CCBot:以后的抓取不再收录你的页面【官方】;已经进入历史数据集的内容不会因此消失【推断】。它不服务任何搜索引擎,屏蔽不影响搜索收录【推断】。
CCBot 的 User-Agent 长什么样?#
官方给出的 UA 原文【官方】:
CCBot/2.0 (https://commoncrawl.org/faq/)
怎么确认来访的真是 CCBot?#
官方提醒有人冒充 CCBot,可以对照 https://index.commoncrawl.org/ccbot.json,或反查主机名是否在 crawl.commoncrawl.org 下【官方】。
robots.txt 怎么放行或屏蔽 CCBot?#
# 放行
User-agent: CCBot
Allow: /
# 屏蔽
User-agent: CCBot
Disallow: /
服务器层面直接拒绝(nginx,server {} 内):
if ($http_user_agent ~* "CCBot") {
return 403;
}
本站 15 天里 CCBot 来了几次?#
0 次。2026-10-25 01:00 至 11-08 21:22,北京时间 的日志里,没有任何 UA 含 CCBot【实测】。计数口径见总表。
关于 CCBot 的常见误解#
「屏蔽 CCBot 就能把内容从 AI 训练里拿掉。」只影响以后的抓取,已发布的数据集仍在【推断】。
常见问题#
CCBot 是哪家 AI 公司的?#
都不是。它属于非营利组织 Common Crawl,数据集公开发布,很多 AI 公司和研究者拿来训练模型。
屏蔽 CCBot 会影响搜索收录吗?#
不会。CCBot 不服务任何搜索引擎。
怎么确认来访的是真 CCBot?#
对照 Common Crawl 公布的 ccbot.json IP 列表,或反查 IP,主机名应在 crawl.commoncrawl.org 下。
和 CCBot 相关的爬虫#
同公司的其他爬虫#
- 本表里 Common Crawl 只收了这一个条目。
同用途的其他爬虫#
- HySpider:腾讯
- KimiBot:月之暗面
- GPTBot:OpenAI
- ClaudeBot:Anthropic
- Google-Extended:Google
- Applebot-Extended:Apple
- Amazonbot:Amazon
- Meta-ExternalAgent:Meta
- 全部训练类爬虫与 robots 模板