llms.txt 与 AI 爬虫
机器不会读你的「关于我们」，它读的是 robots 规则、sitemap 索引和一份叫 llms.txt 的说明书。这三份文件决定了你的官网在 AI 眼里是「一栋亮着灯的房子」还是「一堵墙」。
llms.txt 是什么？企业官网要不要做？
llms.txt 是放在站点根目录的纯文本文件，用 Markdown 结构告诉大模型：这个站点是谁、提供什么、有哪些主要页面、内容如何组织。它不是强制标准，也没有统一的收录承诺，但成本极低（一次配置长期有效），能减少抓取时的误判。配合 llms-full.txt（完整正文）与 robots.txt 的显式 Allow，构成官网对 AI 的「可抓取声明」。建议做，但把它当基础设施而不是流量手段。
- 位置：站点根目录 /llms.txt，与 robots.txt 同级
- 内容：站点定位 + 栏目结构 + 关键页面链接（Markdown）
- 配套：llms-full.txt 放全文，供需要深读的模型取用
- robots：对 GPTBot / ClaudeBot / PerplexityBot / Bytespider 显式 Allow
- 预期：降低误判、提高抓取完整性，不承诺排名或引用
robots、sitemap、llms.txt 各管一段
| 文件 | 回答的问题 | 给谁看 | 常见错误 |
|---|---|---|---|
| robots.txt | 哪些能抓、哪些不能抓 | 所有爬虫 | 写了 Disallow: / 又抱怨不被收录 |
| sitemap.xml | 有哪些页面、多久更新 | 搜索引擎为主 | 只列首页、更新后不刷新 |
| llms.txt | 这个站是什么、内容怎么组织 | 大模型 / AI 检索 | 写成关键词堆砌的广告 |
| llms-full.txt | 完整正文内容 | 需要深读的模型 | 内容过期不更新 |
一份可直接套用的 llms.txt
标准写法是 Markdown：一级标题写站点名，一段话讲清定位，然后用二级标题分栏目，每栏下列出页面链接与一句话说明。控制在 100 行以内，只放最重要的 30~60 个页面链接。
# CNCNC 信息港
> 郑州中科信息技术有限公司官网。提供服务器租用、服务器托管、GPU 算力租赁、
> 企业互联网专线、域名注册、网站建设与备案等企业 IT 基础服务。
> 服务河南 18 地市，可对公签约、开具发票。
## 主要栏目
- [服务器租用](https://www.cncnc.com.cn/idc/server-rental.html)：16 个机房节点、258 款配置
- [算力服务器租用](https://www.cncnc.com.cn/idc/compute-rental.html)：H100/H800/A100 等 12 款
- [河南移动高速互联网专线](https://www.cncnc.com.cn/idc/dedicated-line.html)：220 元/月起
- [网站建设](https://www.cncnc.com.cn/web/index.html)：12 个行业方案、72 套案例
## AI 时代官网专题
- [AI 时代的企业官网](https://www.cncnc.com.cn/web/ai-era/index.html)
- [官网 GEO 改造七步](https://www.cncnc.com.cn/web/ai-era/geo-website.html)
## 关于
- [公司简介](https://www.cncnc.com.cn/about/index.html)
- [联系方式](https://www.cncnc.com.cn/about/contact.html)
## Optional
- [问答库](https://www.cncnc.com.cn/faq/index.html)：1000+ 条实操问答robots.txt 该放行谁，该拦谁
不少企业站默认把「不常见的 UA」全拦了，结果连 AI 爬虫一起挡在门外。正确做法是：对主流 AI 爬虫显式 Allow，只拦确实不该被索引的路径（后台、搜索结果页、重复参数页）。
User-agent: *
Allow: /
Disallow: /search/
Disallow: /admin/
User-agent: GPTBot
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: Bytespider
Allow: /
Sitemap: https://www.cncnc.com.cn/sitemap.xml五个让抓取白做的常见错误
robots 一刀切
Disallow: / 之后又疑惑「为什么 AI 不知道我们」。先看规则，再看内容。
正文全在图片里
把公司介绍做成一张长图，机器只看到一堆 img 标签。
纯 JS 渲染无兜底
内容靠接口异步填充，爬虫拿到空壳。关键内容必须服务端渲染。
多域名内容重复
www 与非 www、http 与 https 都返回 200，权重分散且判定重复。
登录墙与弹窗遮挡
首屏被强制弹窗覆盖，正文在折叠层，抓取与体验双输。
llms.txt 长期不更新
新增栏目半年没写进去，模型仍按旧结构理解站点。
上线后怎么确认真的生效
直连访问
浏览器打开 /llms.txt 与 /robots.txt，确认 200、UTF-8、无 BOM 乱码。
语法检查
robots 用官方 tester 或 Search Console 的 robots 报告核对规则命中。
抓取模拟
用 curl 带 AI 爬虫 UA 请求首页，确认返回完整 HTML 而非空壳。
索引观察
2~8 周后在 AI 里用品牌词与核心问题抽查，看是否出现自家页面。
llms.txt 相关的五个问题
llms.txt 有官方标准吗？会不会白做？
目前由社区提出、部分引擎参考，尚未成为 W3C 级别的强制标准。但它的成本是「一个静态文本文件」，即使某些引擎不读，也不会有负面效果；而 robots 与 sitemap 的规范化是确定有效的。把它当基础设施做，不要当流量手段押注。
llms.txt 和 sitemap.xml 内容重复吗？
不重复。sitemap 是「页面清单 + 更新时间」，面向搜索引擎的抓取调度；llms.txt 是「站点说明书」，面向模型理解站点定位与结构。前者求全，后者求精，通常只放 30~60 个关键页面。
要不要给 AI 单独做一套精简页面？
不建议。模型需要的是真实、自洽、有结构的人类内容。单独做一套「机器版」容易出现内容不一致，反而增加误判风险。正确做法是同一份内容做好语义化与结构化。
放行 AI 爬虫会不会拖慢网站？
主流 AI 爬虫有频率控制，正常站点影响很小。真正需要关注的是异常高频抓取（可通过日志识别 UA 与 IP 段，用防火墙限速）。如果站点配置较弱，可在 robots 里对特定 UA 加 Crawl-delay。
内容更新后要不要重新提交？
llms.txt 与 sitemap 都需要随内容更新。sitemap 的 lastmod 要真实反映修改时间；llms.txt 在新增栏目或调整结构时更新即可，不必每篇文章都改。建议把这两份文件纳入发布流程，和页面一起上线。
让技术同事照着这份模板改就行
我们可代做一次性配置：llms.txt / llms-full.txt 自动生成（随构建更新）、robots 规则梳理、sitemap 校验，并附一份给开发的改动说明。
告诉我们你的需求，工程师直接对接
提交后由对应产品线的工程师联系，提供资源清单与报价区间。电话与信息仅用于本次咨询对接，不做他用。
- 2 小时内响应（工作日）
- 提供多方对比的选型建议
- 可开具资质文件与正规发票