Robots.txt Generator
Create a robots.txt file for your website to manage search engine crawling. Allow or disallow bots and specify your sitemap easily.
配置
* for all robots
秒（可选）
生成的robots.txt
Control Bot Access
robots.txt文件控制搜索引擎可以爬取的页面范围。
推荐工具
精心挑选的实用工具