robots.txt 抓取规则编写
该工具围绕站点根目录的 robots.txt，说明按抓取主体设置允许或禁止的路径、指定站点地图地址等规则，用于引导爬虫合理抓取并屏蔽不希望收录的目录。
永久免费本地计算 · 零上传
💡 该能力为 WDLeap 桌面版功能：整目录批量 · 断网可用 · 文件永不离开您的电脑。
怎么用
- 确定面向的抓取主体
- 列出禁止或允许的路径
- 补充站点地图地址等指令
典型场景
新站上线时配置抓取许可
屏蔽后台或测试目录
配合 sitemap 提交搜索引擎
常见问题
能强制不收录吗？
robots 只是建议，敏感页宜配合 noindex 或访问控制。
多条规则怎么排？
通常按具体到宽泛书写，避免相互覆盖。
和 sitemap 有何关系？
可在 robots 中指向 sitemap 地址，辅助搜索引擎发现页面。