流氓今日头条爬虫(Bytespider),不遵守robots协议,频繁采集,导致服务器不堪重负。如果是nginx可以通过以下屏蔽# Block search bot that apparently never heared the term rate limiting if ($http_user_agent ~ "Bytespider$" ) { return 403; }
不懂jexus该如何操作?
目前比较好的办法是禁止它的IP段。