OpenGEO 工具与数据:给站长的 AI 搜索参考表与观测记录

· 约 3 分钟 · 作者

标注说明:【官方】出自官方文档;【实测】出自本站服务器日志;【推断】由前两者推出或来自第三方。

目录
  1. 参考表
  2. 浏览器端工具
  3. 观测记录

一句话说明:这里是 OpenGEO 公开的数据。每张表和每篇记录都标注依据,文字以 CC BY 4.0 授权,转载注明来源即可(见转载与引用)。

参考表#

AI 爬虫收录表

30 个国内外 AI 与搜索爬虫的 UA、归属、用途、robots.txt 写法和怎么核验真假,附本站 15 天日志计数。数据文件可直接下载。

查看 AI 爬虫收录表 →

AI 爬虫按公司

OpenAI、Anthropic、月之暗面、Google、Apple、Perplexity、字节、百度、阿里、腾讯各一页:这家有哪些爬虫、官方公开了什么、本站日志里来了几次,附整家公司放行或屏蔽的 robots 写法。

按公司看 →

AI 爬虫按用途

训练、AI 搜索索引、用户触发、搜索引擎四类各一页:每类有哪些爬虫、本站 15 天合计来了几次、多少次核验不通过,附只管这一类的 robots.txt 模板。

按用途看 →

豆包 vs 元宝:引用来源对比

同样问苏州本地的问题,豆包引用抖音分享页,元宝引用公众号和排名类文章;第三方大样本里两家第一信源分别是抖音和公众号。每个数字注明出处。

看豆包 vs 元宝 →

浏览器端工具#

四个工具都只在你的浏览器里计算,不登录、不上传,打开页面就有一份算好的示例结果。

AI 爬虫真伪识别

粘贴访问日志,逐行判断自称 GPTBot、Googlebot、ClaudeBot 的请求是真是假:按 16 份官方 IP 列表比对,只给反查域名的给出命令。

打开 AI 爬虫真伪识别 →

robots.txt 检查器

粘贴 robots.txt,逐个看 29 个 AI 与搜索爬虫对某个路径是放行还是屏蔽、命中第几行;一键换成「只放行 AI 搜索、屏蔽训练」模板。

打开 robots.txt 检查器 →

AI 引用来源计数器

粘贴豆包、Kimi、元宝等 AI 回答的引用列表,按网站计数、按来源类型算占比,可下载 CSV。分类表来自观测 #001 的 307 个来源主机名。

打开 AI 引用来源计数器 →

信源归属查询

输入知乎、搜狐、网易、微博等网站的域名,查它归哪家集团、证据是官方文件(A 级)还是第三方数据(C 级),口径不一致的持股数字并列给出。

打开信源归属查询 →

不知道从哪里开始?场景页按「谁、在什么情况下」整理了 6 个常见问题,每个都说明该用哪个工具、哪份数据。

观测记录#

观测记录

在国内 AI 助手的网页端提问,同时抓包,记录它实际搜了哪些词、读到哪些网页、最后引用了谁。每条结论标注实测、推断或未知。

查看全部观测记录 →