主流搜索引擎爬虫IP段大全，用于服务器配置和日志分析
| 搜索引擎 | User-Agent | IP地址段 | 类型 | 操作 |
|---|
# Nginx 搜索引擎蜘蛛白名单配置
# 允许Googlebot
if ($http_user_agent ~* "Googlebot") {
set $spider_allowed 1;
}
# 允许百度蜘蛛
if ($http_user_agent ~* "Baiduspider") {
set $spider_allowed 1;
}
# 允许Bingbot
if ($http_user_agent ~* "bingbot") {
set $spider_allowed 1;
}
# 拒绝其他爬虫
if ($spider_allowed != 1) {
return 403;
}