robots.txt 生成器 - 创建 Allow、Disallow 和 Sitemap 规则

工具 / SEO工具 / robots.txt 生成器

robots.txt 生成器

模板

前三个模板会替换现有分组。AI 按钮会追加一个包含常见公开 AI 爬虫名称的分组,其余保持不变;名单会随时间变化,请定期检查。

导入现有的 robots.txt

路径以 / 开头并区分大小写。* 匹配任意字符,$ 表示 URL 结尾,所以 /*.pdf$ 会屏蔽所有 PDF。 Crawl-delay(两次请求间隔的秒数)会被 Google 忽略,但部分其他搜索引擎会遵守。

检查

未发现问题。

robots.txt

            

以 robots.txt 为文件名上传到主机根目录,例如 https://example.com/robots.txt。每个子域名都需要自己的文件。

测试网址

    按 Google 的读取方式检查上面的 robots.txt。与爬虫名称完全一致的分组优先于 User-agent: *,同名分组会合并;没有专属分组的爬虫会退回到 *,而不是相近的名称(Googlebot-Image 不会使用 Googlebot 分组)。在分组内,匹配到的最长规则起决定作用,长度相同时 Allow 优先。输入完整网址时只取路径和查询部分。

    robots.txt 是一份公开的请求,而不是一把锁。任何人都能读到,不守规矩的爬虫也会无视它,所以千万不要在里面列出机密路径。它也不能把页面从搜索结果中移除:被屏蔽的网址仍可能通过链接被收录。想让页面不出现在搜索中,请使用 noindex 标签并保持页面可抓取;想保护页面,请使用密码。

    robots.txt 的工作原理

    守规矩的爬虫在抓取网站之前会先读取 /robots.txt,查找与自己名称匹配的分组,找不到时则使用 User-agent: *。在分组中,Disallow 列出应跳过的路径,Allow 在其中开出例外。该文件控制的是抓取而不是收录,而且只对愿意遵守的爬虫有效。

    使用方法

    1. 1 选择一个模板或直接修改示例:每个爬虫一个分组(所有爬虫用 *),在其中写 Disallow 和 Allow 行。
    2. 2 添加站点地图网址并查看检查结果:没有以斜杠开头的路径或缺少 https:// 的站点地图会被立即标出。
    3. 3 复制文本或下载 robots.txt,上传到网站根目录,然后打开 你的网站/robots.txt 确认能正常访问。

    哪条规则生效

    主流搜索引擎并不是从上到下读取规则。对每个网址,它们采用最具体的匹配,也就是最长的路径;Allow 和 Disallow 长度相同时,Allow 优先。所以 Disallow: /admin/ 加 Allow: /admin/help/ 无论顺序如何,帮助页都可被抓取。另外,爬虫只遵循一个分组:如果有 Googlebot 分组,Googlebot 会完全忽略 * 分组。

    屏蔽不等于 noindex

    在 robots.txt 中被屏蔽的网址仍可能出现在搜索结果中,通常只是一个没有描述的链接,因为其他页面链接了它。更糟的是,如果你给页面加了 noindex 又同时屏蔽它,爬虫根本不会抓取该页面,也就看不到这个标签。要把页面移出搜索,应允许抓取并使用 noindex;等页面从结果中消失后再屏蔽。

    Meta 标签生成器 →

    屏蔽范围超出预期的常见错误

    规则按前缀匹配:Disallow: /blog 也会屏蔽 /blog-tips/ 和 /blogger.html;如果指的是目录,请写 /blog/。单独的 Disallow: / 会屏蔽整个网站,这是从测试服务器遗留下来的典型错误。屏蔽 CSS 和 JavaScript 目录会让搜索引擎无法正确渲染页面。另外路径区分大小写:/Admin/ 不包括 /admin/。想知道某个网址会被如何处理,把它填入输出下方的测试框,就能看到起决定作用的分组和规则。

    AI 爬虫与控制标识

    不少 AI 公司公开了用于收集训练数据的 User-agent 名称,并把 robots.txt 作为拒绝的方式。其中有些名称并不是独立的爬虫,而是控制标识:Google-Extended 和 Applebot-Extended 本身不抓取页面,只决定搜索爬虫已收集的内容能否用于训练 AI 模型(对 Google 而言还包括作为 Gemini 回答的信息来源)。屏蔽它们不影响排名,但也不会让你的页面退出搜索中的 AI 功能:Google 的 AI Overviews 和 AI Mode 使用 Googlebot,要用 nosnippet 或 noindex 控制,而不是 Google-Extended。名称会变化,也会出现新名称,因此请把模板当作起点,并查看各提供方的最新文档。

    robots.txt 常见问题

    不能。它只会停止抓取。如果其他网站链接了这个网址,它仍可能留在索引中,只是没有描述。要删除它,请让页面带着 noindex meta 标签或 X-Robots-Tag 响应头被抓取,或者删除页面、放到登录之后。
    新
    UTM 链接生成器 几秒钟生成带 UTM 参数的推广链接。保留原有参数和 # 锚点,正确编码参数值,并提示大小写不一致和空格问题。
    今日热门
    关键词密度检查器 免费关键词密度分析:粘贴文本或网址,查看每个词与短语出现的次数及占比,辅助内容优化。

    其他 SEO 工具

    关键词密度检查器 免费关键词密度分析:粘贴文本或网址,查看每个词与短语出现的次数及占比,辅助内容优化。
    Slug 生成器 把任意标题变成干净的 URL slug。德语 ü 转成 ue,土耳其语 ü 转成 u,西里尔字母按规则转写,语言由你逐行选定。
    Meta 标签生成器 填写标题、描述、URL 和图片,生成 HTML meta 标签、Open Graph 和 Twitter Card 标记,并在发布前看到页面在 Google 结果、Facebook 和 X 上的呈现效果。
    SERP 摘要预览 查看标题和元描述在电脑端与手机端搜索结果中的样子。按像素宽度截断,实时显示字符数和像素数。
    UTM 链接生成器 几秒钟生成带 UTM 参数的推广链接。保留原有参数和 # 锚点,正确编码参数值,并提示大小写不一致和空格问题。

    您可能喜欢的其他工具

    Word转PDF 免费把 Word 转成 PDF:上传 DOC、DOCX、ODT 或 RTF 文件,几秒内下载排版完好的 PDF,无需注册。
    PDF转Word 免费把 PDF 转成 Word:上传 PDF,几秒内下载可编辑的 DOCX 文件,无需注册,也没有水印。
    MD5生成器 免费 MD5 生成器:在浏览器中把文本或文件转换为 MD5 校验值,适合完整性校验与快速比对。
    Base64编码器和解码器 免费 Base64 编码与解码:在浏览器中将文本或文件转为 Base64 并还原,数据不会上传到服务器。
    字数统计器 免费字数统计:粘贴文本即可统计字数、字符、句子与段落,并估算阅读时间,内容不会离开浏览器。