robots.txt 生成
设置爬虫、允许与禁止路径，生成可下载的规则文件。
内容只在本浏览器处理，不上传、不保存。
使用说明与常见问题
robots.txt 能保护私密内容吗？
不能。它是面向自愿遵守规则的爬虫的抓取指引，不替代登录或权限控制，也不能保证内容不被收录。
如何部署生成的文件？
下载后放在目标域名根路径 /robots.txt。先检查允许与禁止路径；公开内容通常允许抓取，后台和 API 可禁止。Sitemap 必须填写完整 HTTP 或 HTTPS 地址。
设置爬虫、允许与禁止路径，生成可下载的规则文件。
内容只在本浏览器处理，不上传、不保存。
不能。它是面向自愿遵守规则的爬虫的抓取指引，不替代登录或权限控制，也不能保证内容不被收录。
下载后放在目标域名根路径 /robots.txt。先检查允许与禁止路径；公开内容通常允许抓取，后台和 API 可禁止。Sitemap 必须填写完整 HTTP 或 HTTPS 地址。