robots.txt 生成器
前三个模板会替换现有分组。AI 按钮会追加一个包含常见公开 AI 爬虫名称的分组,其余保持不变;名单会随时间变化,请定期检查。
导入现有的 robots.txt
* 表示所有爬虫。用逗号分隔多个名称即可让它们共用同一组规则。
路径以 / 开头并区分大小写。* 匹配任意字符,$ 表示 URL 结尾,所以 /*.pdf$ 会屏蔽所有 PDF。 Crawl-delay(两次请求间隔的秒数)会被 Google 忽略,但部分其他搜索引擎会遵守。
未发现问题。
以 robots.txt 为文件名上传到主机根目录,例如 https://example.com/robots.txt。每个子域名都需要自己的文件。
测试网址
按 Google 的读取方式检查上面的 robots.txt。与爬虫名称完全一致的分组优先于 User-agent: *,同名分组会合并;没有专属分组的爬虫会退回到 *,而不是相近的名称(Googlebot-Image 不会使用 Googlebot 分组)。在分组内,匹配到的最长规则起决定作用,长度相同时 Allow 优先。输入完整网址时只取路径和查询部分。
robots.txt 是一份公开的请求,而不是一把锁。任何人都能读到,不守规矩的爬虫也会无视它,所以千万不要在里面列出机密路径。它也不能把页面从搜索结果中移除:被屏蔽的网址仍可能通过链接被收录。想让页面不出现在搜索中,请使用 noindex 标签并保持页面可抓取;想保护页面,请使用密码。
robots.txt 的工作原理
守规矩的爬虫在抓取网站之前会先读取 /robots.txt,查找与自己名称匹配的分组,找不到时则使用 User-agent: *。在分组中,Disallow 列出应跳过的路径,Allow 在其中开出例外。该文件控制的是抓取而不是收录,而且只对愿意遵守的爬虫有效。
使用方法
- 1 选择一个模板或直接修改示例:每个爬虫一个分组(所有爬虫用 *),在其中写 Disallow 和 Allow 行。
- 2 添加站点地图网址并查看检查结果:没有以斜杠开头的路径或缺少 https:// 的站点地图会被立即标出。
- 3 复制文本或下载 robots.txt,上传到网站根目录,然后打开 你的网站/robots.txt 确认能正常访问。
哪条规则生效
主流搜索引擎并不是从上到下读取规则。对每个网址,它们采用最具体的匹配,也就是最长的路径;Allow 和 Disallow 长度相同时,Allow 优先。所以 Disallow: /admin/ 加 Allow: /admin/help/ 无论顺序如何,帮助页都可被抓取。另外,爬虫只遵循一个分组:如果有 Googlebot 分组,Googlebot 会完全忽略 * 分组。
屏蔽不等于 noindex
在 robots.txt 中被屏蔽的网址仍可能出现在搜索结果中,通常只是一个没有描述的链接,因为其他页面链接了它。更糟的是,如果你给页面加了 noindex 又同时屏蔽它,爬虫根本不会抓取该页面,也就看不到这个标签。要把页面移出搜索,应允许抓取并使用 noindex;等页面从结果中消失后再屏蔽。
屏蔽范围超出预期的常见错误
规则按前缀匹配:Disallow: /blog 也会屏蔽 /blog-tips/ 和 /blogger.html;如果指的是目录,请写 /blog/。单独的 Disallow: / 会屏蔽整个网站,这是从测试服务器遗留下来的典型错误。屏蔽 CSS 和 JavaScript 目录会让搜索引擎无法正确渲染页面。另外路径区分大小写:/Admin/ 不包括 /admin/。想知道某个网址会被如何处理,把它填入输出下方的测试框,就能看到起决定作用的分组和规则。
AI 爬虫与控制标识
不少 AI 公司公开了用于收集训练数据的 User-agent 名称,并把 robots.txt 作为拒绝的方式。其中有些名称并不是独立的爬虫,而是控制标识:Google-Extended 和 Applebot-Extended 本身不抓取页面,只决定搜索爬虫已收集的内容能否用于训练 AI 模型(对 Google 而言还包括作为 Gemini 回答的信息来源)。屏蔽它们不影响排名,但也不会让你的页面退出搜索中的 AI 功能:Google 的 AI Overviews 和 AI Mode 使用 Googlebot,要用 nosnippet 或 noindex 控制,而不是 Google-Extended。名称会变化,也会出现新名称,因此请把模板当作起点,并查看各提供方的最新文档。