Robots.txt 生成器
通过可视化配置 User-agent、Allow、Disallow 与 Sitemap 指向，生成符合规范的 robots.txt 文本，控制搜索引擎爬虫对站点的抓取范围。
永久免费本地计算 · 零上传
🔒 全程在浏览器内计算，输入内容不会离开您的设备。
怎么用
- 指定适用的爬虫 User-agent 范围
- 添加允许或禁止抓取的路径规则
- 填写站点地图地址
- 导出文本上传到网站根目录
典型场景
新站上线时初始化抓取规则
屏蔽后台与临时目录避免误收录
为多搜索引擎分别设置策略
常见问题
robots.txt 放在哪？
必须置于网站根目录，通过 域名/robots.txt 能直接访问才生效。
能完全防止抓取吗？
它只是建议性协议，礼貌爬虫会遵守，但不等同于访问控制。
Disallow 空值代表什么？
空 Disallow 表示允许抓取该 agent 的全部页面。