OpenGEO 工具与数据:给站长的 AI 搜索参考表与观测记录
标注说明:【官方】出自官方文档;【实测】出自本站服务器日志;【推断】由前两者推出或来自第三方。
一句话说明:这里是 OpenGEO 公开的数据。每张表和每篇记录都标注依据,文字以 CC BY 4.0 授权,转载注明来源即可(见转载与引用)。
参考表#
AI 爬虫按公司
OpenAI、Anthropic、月之暗面、Google、Apple、Perplexity、字节、百度、阿里、腾讯各一页:这家有哪些爬虫、官方公开了什么、本站日志里来了几次,附整家公司放行或屏蔽的 robots 写法。
浏览器端工具#
四个工具都只在你的浏览器里计算,不登录、不上传,打开页面就有一份算好的示例结果。
AI 爬虫真伪识别
粘贴访问日志,逐行判断自称 GPTBot、Googlebot、ClaudeBot 的请求是真是假:按 16 份官方 IP 列表比对,只给反查域名的给出命令。
robots.txt 检查器
粘贴 robots.txt,逐个看 29 个 AI 与搜索爬虫对某个路径是放行还是屏蔽、命中第几行;一键换成「只放行 AI 搜索、屏蔽训练」模板。
不知道从哪里开始?场景页按「谁、在什么情况下」整理了 6 个常见问题,每个都说明该用哪个工具、哪份数据。