CCBot 是什么:Common Crawl 开放网页数据集的爬虫与 robots 写法

· 约 4 分钟 · 作者

标注说明:【官方】出自官方文档;【实测】出自本站服务器日志;【推断】由前两者推出或来自第三方。

目录
  1. CCBot 是谁家的、拿去做什么?
  2. 屏蔽 CCBot 会改变什么?
  3. CCBot 的 User-Agent 长什么样?
  4. 怎么确认来访的真是 CCBot?
  5. robots.txt 怎么放行或屏蔽 CCBot?
  6. 本站 15 天里 CCBot 来了几次?
  7. 关于 CCBot 的常见误解
  8. 常见问题
    1. CCBot 是哪家 AI 公司的?
    2. 屏蔽 CCBot 会影响搜索收录吗?
    3. 怎么确认来访的是真 CCBot?
  9. 和 CCBot 相关的爬虫
    1. 同公司的其他爬虫
    2. 同用途的其他爬虫
    3. 其他相关

一句话结论:CCBot 是非营利组织 Common Crawl 的爬虫,抓到的网页进入公开数据集,任何人都能下载,许多 AI 模型拿它训练。不想间接进训练数据就屏蔽它;它不对应任何搜索引擎,屏蔽没有搜索代价。

CCBot
归属Common Crawl(非营利)
服务的产品Common Crawl 开放网页数据集(被大量 AI 训练使用)
用途类型训练(抓取内容可能用于训练模型)
是否遵守 robots官方说遵守
依据官方文档

CCBot 是谁家的、拿去做什么?#

Common Crawl 官方说 CCBot 为开放网页数据仓库抓取,并给出 User-agent: CCBot + Disallow: / 的屏蔽方法【官方】。官方没有说「训练」二字;本表把用途记为训练,是因为它的数据集被大量模型用作训练来源【推断】。

屏蔽 CCBot 会改变什么?#

屏蔽 CCBot:以后的抓取不再收录你的页面【官方】;已经进入历史数据集的内容不会因此消失【推断】。它不服务任何搜索引擎,屏蔽不影响搜索收录【推断】。

CCBot 的 User-Agent 长什么样?#

官方给出的 UA 原文【官方】:

CCBot/2.0 (https://commoncrawl.org/faq/)

怎么确认来访的真是 CCBot?#

官方提醒有人冒充 CCBot,可以对照 https://index.commoncrawl.org/ccbot.json,或反查主机名是否在 crawl.commoncrawl.org 下【官方】。

robots.txt 怎么放行或屏蔽 CCBot?#

# 放行
User-agent: CCBot
Allow: /
# 屏蔽
User-agent: CCBot
Disallow: /

服务器层面直接拒绝(nginx,server {} 内):

if ($http_user_agent ~* "CCBot") {
    return 403;
}

本站 15 天里 CCBot 来了几次?#

0 次。2026-10-25 01:00 至 11-08 21:22,北京时间 的日志里,没有任何 UA 含 CCBot【实测】。计数口径见总表。

关于 CCBot 的常见误解#

「屏蔽 CCBot 就能把内容从 AI 训练里拿掉。」只影响以后的抓取,已发布的数据集仍在【推断】。

常见问题#

CCBot 是哪家 AI 公司的?#

都不是。它属于非营利组织 Common Crawl,数据集公开发布,很多 AI 公司和研究者拿来训练模型。

屏蔽 CCBot 会影响搜索收录吗?#

不会。CCBot 不服务任何搜索引擎。

怎么确认来访的是真 CCBot?#

对照 Common Crawl 公布的 ccbot.json IP 列表,或反查 IP,主机名应在 crawl.commoncrawl.org 下。

同公司的其他爬虫#

  • 本表里 Common Crawl 只收了这一个条目。

同用途的其他爬虫#

其他相关#