对网站访问权限做的一些处理记录

1、限制了部分搜索引擎爬虫的访问。 在robots.txt文件中加入 User-agent: Baiduspider Disallow: / User-agent: Slurp Disallow: / 注:Slurp 是yahoo的爬虫 2、限制了国内ip段的访问权限 在nginx配置文件里,添加blockips.conf文件 然后 include blocksip.conf;