为您的建站平台添加 llms.txt
llms.txt 能明确告知 AI 模型哪些页面最值得读取。鉴于每个平台对根目录文件的处理方式不同,本指南提供了具体的安装路径、验证步骤以及避坑建议。
要添加 llms.txt,需在 yourdomain.com/llms.txt 发布一个纯文本 Markdown 文件,链接至您最具备可引用价值的页面,设置响应头为 text/plain 并排除 HTML 缓存规则。
WordPress 默认不直接暴露根目录文件。
英文完整指南Shopify 不允许直接托管静态根目录文件。
英文完整指南Webflow 不支持直接上传任意根目录文件。
英文完整指南Next.js 处理极简单:将文件放入 /public 目录或暴露一个输出纯文本的 route handler 即可。
英文完整指南在 src/routes/llms[.]txt.ts 添加一条服务端路由即可。
英文完整指南Ghost 通过主题服务 /public 文件,但在主题目录中添加路由文件更干净且不受主题更新影响。
英文完整指南Squarespace 不允许直接上传根目录文件。
英文完整指南Wix 不支持自定义根目录文件。
英文完整指南Framer 站点可以通过重定向到托管的文本节点来提供服务,但最规范的做法是在 Framer 域名上层挂载 Cloudflare。
英文完整指南HubSpot 支持通过设计工具(Design Tools)文件管理器上传自定义文件。
英文完整指南Astro 在构建时会原封不动地输出 /public 中的任何文件。
英文完整指南Gatsby 会在构建时自动将 /static 复制到网站根目录。
英文完整指南llms.txt核心价值与SEO协同
llms.txt作为专为AI模型设计的协议,其核心价值在于精细化管理内容被大型语言模型(LLMs)抓取和使用的权限。这与传统的robots.txt对搜索引擎爬虫的指令不同,llms.txt聚焦于知识提取和数据训练。通过部署llms.txt,网站管理者可以明确指定哪些内容允许用于LLM训练、哪些受限,甚至可以指定特定的AI模型。这种前瞻性控制,不仅保护了内容版权,也优化了网站在ChatGPT、Gemini、Claude、Perplexity等AI应用中的可见性,是未来AI-SEO的关键组成部分。
WordPress平台llms.txt部署指南
在WordPress中部署llms.txt相对直接。首先,通过FTP或cPanel文件管理器访问您的网站根目录。如果llms.txt文件不存在,请创建一个新文件并命名为`llms.txt`。将您的AI爬取规则(例如:`User-Agent: ChatGPT Allow: /public/ Disallow: /private/`)写入此文件。确保文件编码为UTF-8。对于希望通过插件管理的用户,虽无专用llms.txt插件,但可通过SEO插件(如Rank Math或Yoast SEO)的自定义`robots.txt`功能,在同一位置手动添加llms.txt规则,但需注意区分两者逻辑,并确保文件可被公开访问。
Shopify、Webflow及Next.js的llms.txt策略
Shopify商店默认不提供直接编辑根目录文件的权限。您可以通过“在线商店”->“主题”->“编辑代码”路径,查找或创建`llms.txt`文件,通常放置在`assets`目录,并通过Liquid模板引入到根路径,但此方法复杂。更直接的做法是利用其`robots.txt`编辑器间接声明AI规则,或使用APP扩展。Webflow允许通过“站点设置”->“SEO”->“robots.txt”添加规则,您可在此处插入llms.txt指令。Next.js应用则可在`public`目录下创建`llms.txt`文件,它将自动服务于网站根路径,这是最推荐且标准的方式。
| CMS平台 | 推荐部署方式 | 注意事项 | 复杂性 |
|---|---|---|---|
| WordPress | FTP/cPanel根目录直接上传或编辑 | 确保路径正确,无冲突 | 低 |
| Shopify | 通过第三方App或robots.txt编辑器间接实现 | 原生支持不足,可能需要代码修改 | 中高 |
| Webflow | 站点设置中SEO的robots.txt编辑器 | 与robots.txt规则明确区分,避免混淆 | 低 |
| Next.js | 在`public`目录创建`llms.txt`文件 | 构建系统会自动处理,确保文件存在 | 低 |
| 自定义开发 | web服务器配置直接服务 | 确保路径映射准确,可公开访问 | 中 |
llms.txt部署成功核对清单
- 确保llms.txt文件位于网站根目录,可通过`https://yourdomain.com/llms.txt`访问。
- 验证llms.txt文件编码为UTF-8,以避免字符解析错误。
- 检查llms.txt规则是否清晰明确,User-Agent与Allow/Disallow指令对应准确。
- 使用OptimAIze等工具或浏览器检查AI模型抓取模拟,确保规则按预期生效。
- 定期审查并更新llms.txt,以适应AI模型和内容策略的变化。
- 确保llms.txt不与robots.txt冲突,两者职责范围互补而非重叠。
llms.txt部署与测试流程
- 1创建llms.txt文件
根据AI模型抓取需求,编写llms.txt文件内容,明确指定Allow/Disallow路径和User-Agent。
- 2上传至网站根目录
通过FTP、CMS后台文件管理器或项目部署流程,将llms.txt文件放置在可公开访问的网站根目录。
- 3验证文件可访问性
在浏览器中访问`https://yourdomain.com/llms.txt`,确认文件内容正确显示且可被访问。
- 4AI模型行为模拟测试
使用OptimAIze的AI爬虫模拟器或相关开发者工具,测试不同AI模型对llms.txt规则的遵守情况。
常见问题解答
llms.txt 是官方标准吗?
它是一个社区提议的草案,但主流 AI 爬虫正在快速跟进抓取。配置它只需几分钟且毫无风险,能够明确引导 AI 模型优先读取您的核心优质内容。
我还同时需要 robots.txt 吗?
是的。robots.txt 用于控制爬虫的抓取权限(允许/拒绝);而 llms.txt 则是在获得抓取权限后,精选出核心内容。AI 搜索优化两者缺一不可。
llms.txt 应该多久更新一次?
每当您的核心内容集合发生变更时(例如新增文档、新产品线、新价格页)都应更新。对于大多数网站,每月复核一次是比较合理的节奏。
llms.txt与robots.txt的主要区别是什么?
llms.txt是针对大型语言模型(LLMs)的内容使用权限管理,影响AI模型的内容训练和生成。而robots.txt针对传统搜索引擎爬虫的索引行为,控制网站内容是否出现在搜索结果中。两者服务于不同的爬虫类型和目的。
我是否需要为每个不同的AI模型创建独立的llms.txt文件?
不需要。您可以在同一个llms.txt文件中使用不同的`User-Agent`指令来指定不同的AI模型(如`User-Agent: ChatGPT`,`User-Agent: Gemini`),并为其设置独立的允许或禁止规则。
如果我的网站没有llms.txt文件,会发生什么?
如果没有llms.txt文件,LLMs通常会假设网站内容可以被自由抓取和用于训练,除非有其他明确的许可或禁止协议。这可能导致内容在AI应用中的意外使用,因此建议主动部署。
llms.txt文件对网站性能有影响吗?
llms.txt文件本身是一个极小的文本文件,对网站性能几乎没有直接影响。然而,如果llms.txt成功地阻止了大量不必要的AI爬虫抓取,从长远来看可以减轻服务器负载,间接优化性能。
相关主题中心
针对不同行业的实战手册,助您在 ChatGPT、Gemini、Claude 和 Perplexity 中获得推荐:涵盖 SaaS、跨境电商、医疗健康、金融、法律、房地产等。
清晰横向对比 SEO、AEO、GEO、llms.txt 和 robots.txt,帮您精准识别哪种优化策略能解决您的流量与可见度痛点。
分引擎优化指南:应放行哪些爬虫、各模型偏好何种信号,以及阻碍您进入 AI 回答的常见误区。
面向纽约、伦敦、巴黎、柏林、东京、迪拜、新加坡等城市的本地 AI 搜索指南:本地 schema、评价信号与市场洞察。
通俗易懂地解释 llms.txt、AI Overviews、GPTBot、RAG、嵌入向量 (embeddings)、实体 SEO、schema 标记、E-E-A-T 等所有 AI 搜索核心术语。