Robots.txt 生成器/ 爬虫配置
在线生成 robots.txt 文件，配置搜索引擎爬虫的访问规则，支持多规则和 Sitemap 声明。
robots.txt
这个工具有帮到你吗？
常见问题
什么是 Robots.txt？
Robots.txt 是放在网站根目录的文本文件，告诉搜索引擎爬虫哪些页面可以访问，哪些不应该访问。它是网站 SEO 的基础配置之一。
Disallow 和 Allow 有什么区别？
Disallow 告诉爬虫不要访问某个路径，Allow 告诉爬虫可以访问某个路径（通常用于在 Disallow 的大范围内开放特定路径）。
为什么要声明 Sitemap？
在 robots.txt 中声明 Sitemap URL 可以帮助搜索引擎更快地发现你的站点地图，从而更全面地索引网站内容。