工作原理

「你能不能爬我?」

声明各个抓取工具是否被允许访问。搜索类抓取与训练类抓取可以分别授权。

「我有哪些页面?」

列出全部可索引页面。已过销售或活动截止日期的内容自动移出。

「这一页里的实体和字段分别是什么?」

嵌在每个页面里,把产品、门店、活动描述成带类型与字段的实体,而不是一段自然语言。

「如果你是 Agent,应该怎样理解和使用我的网站?」

一份小体量的站点说明,先告诉 Agent 本站是什么、哪些是权威事实源、哪些是宣传内容,再让它按需取详细内容。

llms.txt 是开放提案,不是正式标准

它不像 robots.txt 与站点地图那样已经进入成熟的互联网标准体系。目前处在生态快速形成阶段,规范本身仍在演进,不同工具的支持程度不一致。

Google 明确表示其搜索不使用 llms.txt

Google 已在官方文档中说明,包括其生成式 AI 搜索功能在内,Google 搜索不使用 llms.txt,提供这个文件既不会提升也不会降低在 Google 搜索中的可见性与排名。

目前没有统一的提交入口

不存在类似搜索引擎站长平台那样的「提交 llms.txt」流程。当前机制是基于发现而不是基于登记 —— 靠抓取工具自己发现,不靠人工提交。

被 AI 检索到,靠的仍然是基本功

公开可访问的地址、不在 robots.txt 中屏蔽检索类抓取工具、页面可被正常抓取、内容表述清晰、站内链接完整、结构化数据规范 —— 这些才是决定性因素。llms.txt 与 Markdown 版本是增强层,不是收录开关。