nginx禁止垃圾蜘蛛爬取

    #nginx禁止垃圾蜘蛛爬取
    if ($http_user_agent ~* (AhrefsBot|BUbiNG|DotBot|ltx71|MJ12bot|SEMrushBot|Applebot|Daum|Exabot|SeznamBot|BLEXBot)) {
        return 403;
    }