流氓今日头条爬虫(Bytespider)，不遵守robots协议，频繁采集，导致服务器不堪重负。如果是nginx可以通过以下屏蔽
# Block search bot that apparently never heared the term rate limiting
    if ($http_user_agent ~ "Bytespider$" ) {
        return 403;
    }

不懂jexus该如何操作?

目前比较好的办法是禁止它的IP段。