robots.txt生成器 - 深客工具 | SEO爬虫协议生成工具

全局配置

User-agent

禁止爬取 (Disallow)

允许爬取 (Allow)

Sitemap

爬取延迟 (Crawl-delay)

秒建议：小网站0.5-1秒，大网站可设更高

robots.txt 预览

# robots.txt generated by 深客工具
# https://deepguest.com

User-agent: *
Disallow:

说明

robots.txt 生成工具