给网站加 llms.txt 和结构化数据有用吗:本站 14 天谁来读过,怎么加才不出错
标注说明:【官方】出自官方文档;【实测】出自本站服务器日志或观测 #001 的公开数据;【推断】由前两者推出或来自第三方;【未知】现有数据回答不了。
目录
一句话结论:llms.txt 和结构化数据都值得加,因为便宜,但不要把它们当成让 AI 引用你的开关。本站 opengeo.page 14 天里,/llms.txt 被请求 85 次,其中只有 7 次来自自称知名爬虫的 UA,GPTBot、ClaudeBot 各 1 次【实测】;这些读取有没有改变 AI 的回答,现有数据回答不了【未知】。
谁会遇到这个问题?#
GEO 流行以后,「给网站加 llms.txt」「加 FAQ 结构化数据」几乎成了每份优化清单的前两条。站长会问:
- 这些东西真的有 AI 来读吗?
- 加了之后,被 AI 引用的机会会变大吗?
- 怎么加才不会写错,反而被搜索引擎当成作弊?
本站从一开始就加了 llms.txt、Markdown 版正文和完整的结构化数据,正好可以用自己的日志回答第一个问题,用自己的做法回答第三个问题。第二个问题,老实说目前没有答案。
先说清楚这几样东西是什么#
| 东西 | 是什么 | 谁定的 |
|---|---|---|
| robots.txt | 告诉爬虫哪些路径能抓 | RFC 9309 标准【官方】 |
| sitemap.xml | 列出网站全部页面和更新时间 | sitemaps.org 协议,搜索引擎普遍支持 |
| llms.txt | 放在网站根目录的 Markdown 文件,用几行文字介绍网站和最重要的页面,方便大模型阅读 | 社区提案,不是任何搜索引擎或 AI 公司的官方标准【推断】 |
| Markdown 版正文 | 每篇文章另出一份纯文本版本 | 各站自行提供 |
| 结构化数据(JSON-LD) | 写在网页里的机器可读说明:这页是文章还是工具、作者是谁、有哪些问答 | schema.org 词表,搜索引擎有各自的使用说明 |
前两样有明确标准,爬虫一定会看;后三样是否被 AI 使用、怎么使用,各家都没有完整公开【推断】。
本站 14 天:谁读过 llms.txt#
日志范围 2026-10-26 00:10 至 11-08 21:22(北京时间),只统计 opengeo.page,共 14,952 次请求【实测】:
| 文件 | 请求 | 其中 UA 自称知名爬虫 | 其他带 bot、spider、python 等字样的 UA | 其他 |
|---|---|---|---|---|
| /llms.txt | 85 | 7 | 38 | 40 |
| /observations/…/index.md(Markdown 版正文) | 21 | 3 | 5 | 13 |
| /robots.txt | 694 | 381 | 229 | 84 |
/llms.txt 的 85 次里 81 次返回 200、4 次是跳转【实测】。那 7 次「知名爬虫」分别是 Googlebot、Bingbot、GPTBot、ClaudeBot、Amazonbot、Applebot、Meta-ExternalAgent,每家各 1 次;Markdown 版正文的 3 次是 ClaudeBot 2 次、GPTBot 1 次【实测】。
作为对比,同期 sitemap.xml 被 ClaudeBot 读了 20 次、Bingbot 15 次、GPTBot 13 次、Googlebot 10 次【实测】。也就是说,对这些爬虫来说,sitemap 才是它们反复回来查看的文件,llms.txt 只是「看过一眼」【推断】。
剩下 78 次读 llms.txt 的请求,UA 不是公开的爬虫名字,可能是各种 SEO 工具、AI 应用的抓取程序或人工查看,本站无法分辨【未知】。计数按 UA 自称,含冒充,见伪装爬虫。
那还要不要加?#
要加,理由是成本:
- llms.txt 本站是由模板在每次构建时自动生成的(见本站的 llms.txt),写好之后不需要维护;
- Markdown 版正文同样是构建时自动输出的;
- 结构化数据和页面一起生成,写一次模板,所有页面都有。
不加的理由只有一个:如果它需要手工维护、而且会和网页内容不一致,那宁可不加。一份过时的 llms.txt 给 AI 的是错误信息【推断】。
怎么加才不出错?#
llms.txt:自动生成,只列真实页面#
本站的做法:一级标题是站名,下面一句话介绍,然后按「页面」「文章」「平台页」「场景」「工具」「AI 爬虫收录表」分节,每行是标题、说明和网址。全部从页面数据生成,所以新增或删除页面时自动同步【实测】。
Markdown 版正文:给长文章#
本站给每篇观测记录输出 index.md,并在网页 head 里用 <link rel="alternate" type="text/markdown"> 声明【实测】。短页面、工具页没必要做。
结构化数据:只写页面上真的有的东西#
本站用到的类型和规则【实测】:
| 页面 | 类型 | 规则 |
|---|---|---|
| 首页 | WebSite、Organization | 作者信息和关于页一致 |
| 观测记录、平台页、场景页 | Article、FAQPage | FAQ 与正文「常见问题」逐字一致,构建时脚本检查,不一致就构建失败 |
| 爬虫详情页 | TechArticle、FAQPage | 同上 |
| 浏览器端工具 | WebApplication、FAQPage | 免费、无需登录,所以价格写 0;不加评分 |
| 列表页(枢纽) | CollectionPage、ItemList | 列表里的每一项在正文里都有真实链接 |
| 所有页面 | BreadcrumbList | 和页面上看得到的面包屑出自同一份数据 |
最常见的错误是写了页面上看不到的东西:全站共用一份评分、FAQ 只写在结构化数据里、列表在页面上要等 JavaScript 加载才出现而结构化数据里却列满了。这些都会让标记和页面对不上【推断】。本站的构建检查专门拦这几类问题:评分标记、FAQ 不一致、href="#" 这类空链接、没有任何入口的孤立页面,出现任何一种都不能上线【实测】。
别忘了最基本的两样#
robots.txt 没挡错、sitemap.xml 列全了页面,比上面三样都重要:本站 robots.txt 14 天被请求 694 次,是 llms.txt 的 8 倍多【实测】。robots.txt 可以用 robots.txt 检查器验证。
常见问题#
加了 llms.txt,AI 就会引用我吗?#
没有证据。本站 14 天里 /llms.txt 只被自称知名 AI 爬虫的 UA 读过几次,GPTBot、ClaudeBot 各 1 次;读过之后有没有影响 AI 的回答,现有数据看不出来。它成本很低,可以加,但不要指望它单独起作用。
llms.txt 里应该写什么?#
网站是什么、谁在维护、最重要的页面有哪些,每页一行标题加一句说明和网址。本站的 llms.txt 由模板在每次构建时自动生成,列出全部观测记录、平台页、工具和场景页,内容和网站同步。
FAQ 结构化数据还值得加吗?#
值得加,但前提是页面上真的有这些问答,而且文字逐字一致。它的作用是让机器准确知道页面上的问答是什么,不是为了凑字数。页面上看不到的问答,不要写进结构化数据。
可以给自己的页面加评分(AggregateRating)吗?#
只有当页面上真实展示了针对这个对象的评分时才可以。全站共用一份评分、或者页面上根本看不到评分,都属于不实标记。OpenGEO 没有评分,所以不加。