llms.txt 是什么意思
llms.txt 是针对为大预言模型(Large Language Model,简称LLM)打造的协议标准,您可以把它通俗地理解为专门给生成式引擎(ChatGPT、Gemini)看的网站说明书(信息摘要文件),有点类似于网站的 robots.txt 或 sitemap.xml 文件,其主要作用是帮助生成式引擎(AI)更好地理解和抓取网页内容。关于该标准的详细信息请访问:https://llmstxt.org/。
llms.txt 文件位置
llms.txt 位于网站根目录(https://example.com/llms.txt),其文件位置与传统的“robots.txt”相同。
llms.txt 由谁发起
llms.txt 是由 Jeremy Howard 于 2024 年 9 月 3 日提出的一项开放性提案,旨在为网站提供一个机器可读的标准入口,用于帮助大语言模型在推理(inference)阶段更有效地理解网站内容。
llms.txt 如何创建
您可以采用“手工创建”或“插件”两种方式生成网站 llms.txt 文件,分别是:
手工创建流程
使用记事本或 VS Code 等创建一个名为 llms.txt 纯文本文档,并按照以下标准写入内容。
- 标题 (必需):以 # 开头,后跟网站名称。
- 摘要 (必需):以 > 开头,对网站用途和核心内容进行总结。
- 核心章节 (必需):用 ## 标记章节,如 ## 页面、## 文章。
- 链接与描述 (必需):每一行使用 - 页面标题:简短的页面描述。
- 可选补充:如果有一些次要页面,可以放在 ## 可选 章节。
插件自动生成
对于使用 WordPress 搭建的网站可以通过插件(Website llms.txt)实现,采用插件推荐的默认设置即可生成一个简单的 llms.txt 文件。
网站需要设置 llms.txt 吗
目前 llms.txt 处于初始推广阶段,尚未成为网络标准,只有少部分网站(Cloudflare、Microsoft (Azure, GitHub)、Adobe、Wordpress)部署了 llms.txt 文件。谷歌声明并不支持此协议,认为此协议不具备实际价值。
LLMs.txt 、robots.txt 、sitemap.xml 各自的作用
- llms.txt:辅助生成式引擎(AI)优化
- robots.txt:控制爬虫权限
- sitemap:辅助搜索引擎索引
添加 llms.txt 会提升 AI 引用率吗
添加 llms.txt 并不能提升网站被生成式引擎(AI)引用的概率,它只能辅助 AI 更好的抓取和理解网页内容。
刚刚发现ZAC博客部署了 llms.txt,给大家做个参考:https://www.seozac.com/llms.txt