给网站加 llms.txt 和结构化数据有用吗:本站 14 天谁来读过,怎么加才不出错

· 约 7 分钟 · 作者

标注说明:【官方】出自官方文档;【实测】出自本站服务器日志或观测 #001 的公开数据;【推断】由前两者推出或来自第三方;【未知】现有数据回答不了。

目录
  1. 谁会遇到这个问题?
  2. 先说清楚这几样东西是什么
  3. 本站 14 天:谁读过 llms.txt
  4. 那还要不要加?
  5. 怎么加才不出错?
    1. llms.txt:自动生成,只列真实页面
    2. Markdown 版正文:给长文章
    3. 结构化数据:只写页面上真的有的东西
    4. 别忘了最基本的两样
  6. 常见问题
    1. 加了 llms.txt,AI 就会引用我吗?
    2. llms.txt 里应该写什么?
    3. FAQ 结构化数据还值得加吗?
    4. 可以给自己的页面加评分(AggregateRating)吗?

一句话结论:llms.txt 和结构化数据都值得加,因为便宜,但不要把它们当成让 AI 引用你的开关。本站 opengeo.page 14 天里,/llms.txt 被请求 85 次,其中只有 7 次来自自称知名爬虫的 UA,GPTBot、ClaudeBot 各 1 次【实测】;这些读取有没有改变 AI 的回答,现有数据回答不了【未知】。

谁会遇到这个问题?#

GEO 流行以后,「给网站加 llms.txt」「加 FAQ 结构化数据」几乎成了每份优化清单的前两条。站长会问:

  • 这些东西真的有 AI 来读吗?
  • 加了之后,被 AI 引用的机会会变大吗?
  • 怎么加才不会写错,反而被搜索引擎当成作弊?

本站从一开始就加了 llms.txt、Markdown 版正文和完整的结构化数据,正好可以用自己的日志回答第一个问题,用自己的做法回答第三个问题。第二个问题,老实说目前没有答案。

先说清楚这几样东西是什么#

东西是什么谁定的
robots.txt告诉爬虫哪些路径能抓RFC 9309 标准【官方】
sitemap.xml列出网站全部页面和更新时间sitemaps.org 协议,搜索引擎普遍支持
llms.txt放在网站根目录的 Markdown 文件,用几行文字介绍网站和最重要的页面,方便大模型阅读社区提案,不是任何搜索引擎或 AI 公司的官方标准【推断】
Markdown 版正文每篇文章另出一份纯文本版本各站自行提供
结构化数据(JSON-LD)写在网页里的机器可读说明:这页是文章还是工具、作者是谁、有哪些问答schema.org 词表,搜索引擎有各自的使用说明

前两样有明确标准,爬虫一定会看;后三样是否被 AI 使用、怎么使用,各家都没有完整公开【推断】。

本站 14 天:谁读过 llms.txt#

日志范围 2026-10-26 00:10 至 11-08 21:22(北京时间),只统计 opengeo.page,共 14,952 次请求【实测】:

文件请求其中 UA 自称知名爬虫其他带 bot、spider、python 等字样的 UA其他
/llms.txt8573840
/observations/…/index.md(Markdown 版正文)213513
/robots.txt69438122984

/llms.txt 的 85 次里 81 次返回 200、4 次是跳转【实测】。那 7 次「知名爬虫」分别是 Googlebot、Bingbot、GPTBot、ClaudeBot、Amazonbot、Applebot、Meta-ExternalAgent,每家各 1 次;Markdown 版正文的 3 次是 ClaudeBot 2 次、GPTBot 1 次【实测】。

作为对比,同期 sitemap.xml 被 ClaudeBot 读了 20 次、Bingbot 15 次、GPTBot 13 次、Googlebot 10 次【实测】。也就是说,对这些爬虫来说,sitemap 才是它们反复回来查看的文件,llms.txt 只是「看过一眼」【推断】。

剩下 78 次读 llms.txt 的请求,UA 不是公开的爬虫名字,可能是各种 SEO 工具、AI 应用的抓取程序或人工查看,本站无法分辨【未知】。计数按 UA 自称,含冒充,见伪装爬虫。

那还要不要加?#

要加,理由是成本:

  • llms.txt 本站是由模板在每次构建时自动生成的(见本站的 llms.txt),写好之后不需要维护;
  • Markdown 版正文同样是构建时自动输出的;
  • 结构化数据和页面一起生成,写一次模板,所有页面都有。

不加的理由只有一个:如果它需要手工维护、而且会和网页内容不一致,那宁可不加。一份过时的 llms.txt 给 AI 的是错误信息【推断】。

怎么加才不出错?#

llms.txt:自动生成,只列真实页面#

本站的做法:一级标题是站名,下面一句话介绍,然后按「页面」「文章」「平台页」「场景」「工具」「AI 爬虫收录表」分节,每行是标题、说明和网址。全部从页面数据生成,所以新增或删除页面时自动同步【实测】。

Markdown 版正文:给长文章#

本站给每篇观测记录输出 index.md,并在网页 head 里用 <link rel="alternate" type="text/markdown"> 声明【实测】。短页面、工具页没必要做。

结构化数据:只写页面上真的有的东西#

本站用到的类型和规则【实测】:

页面类型规则
首页WebSite、Organization作者信息和关于页一致
观测记录、平台页、场景页Article、FAQPageFAQ 与正文「常见问题」逐字一致,构建时脚本检查,不一致就构建失败
爬虫详情页TechArticle、FAQPage同上
浏览器端工具WebApplication、FAQPage免费、无需登录,所以价格写 0;不加评分
列表页(枢纽)CollectionPage、ItemList列表里的每一项在正文里都有真实链接
所有页面BreadcrumbList和页面上看得到的面包屑出自同一份数据

最常见的错误是写了页面上看不到的东西:全站共用一份评分、FAQ 只写在结构化数据里、列表在页面上要等 JavaScript 加载才出现而结构化数据里却列满了。这些都会让标记和页面对不上【推断】。本站的构建检查专门拦这几类问题:评分标记、FAQ 不一致、href="#" 这类空链接、没有任何入口的孤立页面,出现任何一种都不能上线【实测】。

别忘了最基本的两样#

robots.txt 没挡错、sitemap.xml 列全了页面,比上面三样都重要:本站 robots.txt 14 天被请求 694 次,是 llms.txt 的 8 倍多【实测】。robots.txt 可以用 robots.txt 检查器验证。

常见问题#

加了 llms.txt,AI 就会引用我吗?#

没有证据。本站 14 天里 /llms.txt 只被自称知名 AI 爬虫的 UA 读过几次,GPTBot、ClaudeBot 各 1 次;读过之后有没有影响 AI 的回答,现有数据看不出来。它成本很低,可以加,但不要指望它单独起作用。

llms.txt 里应该写什么?#

网站是什么、谁在维护、最重要的页面有哪些,每页一行标题加一句说明和网址。本站的 llms.txt 由模板在每次构建时自动生成,列出全部观测记录、平台页、工具和场景页,内容和网站同步。

FAQ 结构化数据还值得加吗?#

值得加,但前提是页面上真的有这些问答,而且文字逐字一致。它的作用是让机器准确知道页面上的问答是什么,不是为了凑字数。页面上看不到的问答,不要写进结构化数据。

可以给自己的页面加评分(AggregateRating)吗?#

只有当页面上真实展示了针对这个对象的评分时才可以。全站共用一份评分、或者页面上根本看不到评分,都属于不实标记。OpenGEO 没有评分,所以不加。