Атака китайских ботов

[hd321kbps]

Сегодня заметил на нескольких форумах наплыв ботов из китая от 100-300 одновременно, которые создают нагрузку на хостинг.
Все заходят с телефона Android и iphone Os.
Адреса ботов:
54.222.*.*
54.223.*.*
52.80.*.*
52.81.*.*
52.82.*.*
52.83.*.*
220.243.*.*
139.217.*.*
139.219.*.*
У кого наблюдается такое-же отпишитесь)


---------------------------
Варианты блокировки ботов:
Re: Атака китайских ботов - от Nekstati
Re: Атака китайских ботов - от Kuskow, php
Re: Атака китайских ботов - от Kuskow, nginx

[Kuskow]

Мы тут вместе с Google-ИИ экспериментировали-экспериментировали, да и выэкспериментировали. Сделали два эшелона обороны. Сначала NGINX по некоторым критериям даёт отлуп 444, а затем fail2ban подхватывает из логов тех, кого дважды-трижды отлупили за последние 5 минут, и банит их по IP-адресу на двое суток. Изначально хотели на сутки, но потом подумали, что у них может быть суточная ротация, так что вот.

И вот нам результат за три часа, список забаненных с группировкой по сетям класса B:
awk '/ 444 0 / {print $1}' /var/log/nginx/domains/DOMAIN.log | cut -d. -f1,2 | sort | uniq -c | sort -nr | head -n 15
40382 47.82.x.x
13780 43.173.x.x
6136 95.173.x.x
5194 114.129.x.x
3714 149.88.x.x
754 2.56.x.x
571 43.163.x.x
558 18.225.x.x
558 18.175.x.x
558 13.39.x.x
499 185.162.x.x
479 45.148.x.x
351 57.129.x.x
301 84.37.x.x
298 94.154.x.x

47.82.x.x (Alibaba Cloud / США): Это огромная ферма ботов, арендованная в облаке Alibaba. Они генерируют основной мусор.
43.173.x.x (Tencent / Сингапур): Еще один азиатский гигант. Типичные облачные сканеры, которые ищут уязвимости или парсят контент.
18.225.x.x, 18.175.x.x, 13.39.x.x: Это всё Amazon (AWS). Они работают очень аккуратно, но методично.

По странам интересно, на первый взгляд, но практической пользы не вижу:
awk '/ 444 0 / {print $1}' /var/log/nginx/domains/navimba.com.log | sort -u | xargs -I% geoiplookup % | awk -F': ' '{print $2}' | sort | uniq -c | sort -nr
2976 US, United States
1769 SG, Singapore
668 VN, Vietnam
402 FR, France
372 BR, Brazil
342 CN, China
284 GB, United Kingdom
248 RU, Russian Federation
245 IN, India
174 CH, Switzerland
159 IQ, Iraq
143 BD, Bangladesh
131 DE, Germany
125 AR, Argentina
107 AT, Austria
106 NL, Netherlands

[dotez]

Товарищи, боты из сингапура просто ДДосят форум( еле работает который день. десятки тысяч посещений в сутки делают....
есть ли какое то расширение которое бы их отсекало сразу? ну например если айпи чела не РФ или СНГ то ему надо сразу ввести какую нибудь капчу иначе он на сайт вообще не попадет...?

[rxu]

dotez, никакие расширения не помогут от DDoS.
Блокируйте на серверном уровне.

[Kuskow]

dotez, если сервер под NGINX, то можно сделать как я написал сообщением выше. Тогда непрошенных гостей станет не более 50.
Если доступа к конфигурации NGINX нет, можно вбить костыли в начало файлов viewtopic.php, viewforum.php, search.php.

Основная мысль такая: пользователи не приходят на страницу поиска или просмотра профилей без cookies. Значит всех таких можно сразу выбрасывать.

Вторая идея - откидывать &sid= и делать редирект 301 на страницу без него. Это убавит гостей не тысячи, но в сотни раз точно. Сервер перестанет задыхаться, обычные пользователи смогут спокойно посещать форум.

[Siava]

а затем fail2ban подхватывает из логов тех, кого дважды-трижды отлупили за последние 5 минут, и банит их по IP-адресу на двое суток

Если не секрет, сколько в пике было забаненных адресов в fail2ban? А то я развлекался как-то подобным образом и примерно после 200тыс серверу было не очень комфортно)

[dotez]

сли доступа к конфигурации NGINX нет, можно вбить костыли в начало файлов viewtopic.php, viewforum.php, search.php.

подскажите пожалуйста что конкретно за костыли надо прописать?

[Kuskow]

Siava, про пик сказать не могу, только сегодня переехал на новый сервер, хоть и старый чувствовал себя комфортно. 200 тыс не грозит, наверное, потому что бан только на 2 дня, потом всё заново. В принципе, можно вообще не банить - NGINX справляется и без этого.

Отправлено спустя 5 минут 47 секунд:
dotez, предлагаю три первых костыля, которые потом можно усовершенствовать - надеюсь, опытные товарищи подскажут, а пока в начинающих.

В файле search.php в самом начале находим строку include($phpbb_root_path . 'common.' . $phpEx); и сразу после неё добавляем:

Код: Выделить всё

if (empty($_COOKIE)) {
    header("HTTP/1.1 403 Forbidden");
    header("Connection: close");
    exit;
}

В файле viewtopic.php сразу же после <?php добавляем:

Код: Выделить всё

if (isset($_GET['sid']) || isset($_GET['hilit'])) {
    $url_parts = parse_url($_SERVER['REQUEST_URI']);
    parse_str($url_parts['query'] ?? '', $params);
    unset($params['sid']);
    unset($params['hilit']);
    $new_query = http_build_query($params);
    $new_url = $url_parts['path'] . ($new_query ? '?' . $new_query : '');
    header('Location: ' . $new_url, true, 301);
    exit;
}

В файле viewforum.php сразу же после <?php добавляем:

Код: Выделить всё

if (isset($_GET['sid'])) {
    $url_parts = parse_url($_SERVER['REQUEST_URI']);
    parse_str($url_parts['query'] ?? '', $params);
    unset($params['sid']);
    $new_query = http_build_query($params);
    $new_url = $url_parts['path'] . ($new_query ? '?' . $new_query : '');
    header('Location: ' . $new_url, true, 301);
    exit;
}

[dotez]

dotez, предлагаю три первых костыля, которые потом можно усовершенствовать - надеюсь, опытные товарищи подскажут, а пока в начинающих.

cпасибо, прописал, жду результата))

количество юзеров Онлайн попрежнему бешеное НО уже сайт не выпадает в 503 ошибку сервера регулярно.

[Kuskow]

Если можете менять .htaccess, вот такое туда дописать, и будет вообще радость. Вместо звёздочек нужно указать то, что написано в админке phpBB во вкладке Общие->Настройки cookies. Если RewriteEngine On уже есть в .htaccess, то первую строчку этого кода исключить, остальное сразу за ней вставить. В этом коде могуть быть ошибки, упущения. Очень надеюсь, знающие люди его осмотрят критическим взглядом и выскажут, что тут не так.

Код: Выделить всё

RewriteEngine On
# Проверяем ложные URI
RewriteCond %{REQUEST_URI} (sid=|viewtopic\.php\?start=|search\.php|ucp\.php|posting\.php|memberlist) [NC]
# Проверяем отсутствие куки (если куки нет — подозрительно)
RewriteCond %{HTTP_COOKIE} !phpbb3_***** [NC]
# Исключаем полезных ботов, чтобы не выпасть из поиска
RewriteCond %{HTTP_USER_AGENT} !(YandexBot|Googlebot|bingbot|whatsapp|telegram|facebookexternalhit) [NC]
# Результат: отдаем 403 ошибку
RewriteRule ^ - [F,L]

[dotez]

Если можете менять .htaccess,

а можно ли через htaccess отдавать 403 код по ГЕО ??
например указать что если айпи Сингапура или Китая то 403 сразу.
??

[Kuskow]

Навряд ли. Да и неправильно это. Отсекаются те, кто ходит через VPN.

[dotez]

RewriteEngine On
# Проверяем ложные URI
RewriteCond %{REQUEST_URI} (sid=|viewtopic\.php\?start=|search\.php|ucp\.php|posting\.php|memberlist) [NC]
# Проверяем отсутствие куки (если куки нет — подозрительно)
RewriteCond %{HTTP_COOKIE} !phpbb3_***** [NC]
# Исключаем полезных ботов, чтобы не выпасть из поиска
RewriteCond %{HTTP_USER_AGENT} !(YandexBot|Googlebot|bingbot|whatsapp|telegram|facebookexternalhit) [NC]
# Результат: отдаем 403 ошибку
RewriteRule ^ - [F,L]

ну тогда ждем комментариев и доработок по этому коду от ГУРУ )))

Отправлено спустя 1 час 31 минуту 45 секунд:
предлагаю дополнить ботов
# Исключаем полезных ботов, чтобы не выпасть из поиска
RewriteCond %{HTTP_USER_AGENT} !(YandexBot|Googlebot|bingbot|whatsapp|telegram|facebookexternalhit|Baidu|Majestic-12|Feedfetcher-Google|Mediapartners-Google|msnbot|FAST-WebCrawler|W3C_Validator|YahooBot|AdsBot-Google|Exabot|AlexaBot) [NC]

Отправлено спустя 11 минут 26 секунд:

Навряд ли. Да и неправильно это. Отсекаются те, кто ходит через VPN.

вот так я добавил в htaccess который в папке самого phpbb3 + добавил тоже самое в htaccess корня самого сайта и не помогло... гугл аналитика пишет что 2500 сингапурцев онлайн)

image.png

[Kuskow]

предлагаю дополнить ботов

Этих ботов добавлять не нужно. Напротив, их надо отсечь, даже если они полезные. Там отсекается не вообще всё, что запрашивают боты, а только то, что им не надо. Да и не будут эти боты заходить я параметром sid=, а так же лезть в профили пользователей и поиск. В общем, точно это не добавлять, оно только внесёт сумятицу. на тех страницах даже и ГуглоЯндексу делать нечего, они всё равно у многих запрещены в robots.txt, но исключение для полезных ботов написано на всякий случай - чисто, как бы чего не вышло. Ну и ещё в отрезании раньше у меня было viewtopic.php?p=, но потом я это убрал, так как многие пересылают знакомым через мессенджеры ссылку на конкретное сообщение.

2500 сингапурцев онлайн

Они и не исчезнут полностью. Потому что они могут запрашивать что-то, не попавшее в обрезание. Например, главную страницу форума. Но подавляющее количество запрашиваемых страних не будут обработаны для них и нагрузка на сервер резко упадёт.

Если же нужно отсечь их совсем, то это отдельно запрашиваемая у провайдера хостинга услуга защиты DDOS L7, которая стоит так дорого, что проще уже взять свой сервер VDS и там настроить NGINX+fail2ban. У меня было по 15000 гостей, сейчас 25-40.

[Kuskow]

сколько в пике было забаненных адресов в fail2ban?

Сейчас у меня не пик, вот за два дня:

Код: Выделить всё

fail2ban-client status nginx-bot-444 | grep "Banned IP list" | sed 's/`- Banned IP list://' | tr ' ' '\n' | cut -d. -f1,2 | sort | uniq -c | sort -nr
    351 47.82.x.x
     31 20.215.x.x
     20 2.56.x.x
     17 185.162.x.x
     14 20.0.x.x
      6 64.140.x.x
      3 205.147.x.x
      3 146.70.x.x

И ещё штук 30 по одному.



Какие страницы чаще всего запрашивали боты до попадания в fail2ban (за два дня на новом/чистом сервере):

Код: Выделить всё

grep " 444 " /var/log/nginx/domains/navimba.com.log | awk '{print $7}' | cut -d'=' -f1 | sort | uniq -c | sort -nr | head -n 20
   5227 /viewtopic.php?p
   1999 /viewforum.php?f
   1990 /viewtopic.php?t
   1549 /viewtopic.php?start
   1459 /memberlist.php?mode
    718 /?sid
    558 /posting.php?mode
    708 /search.php    
     93 /help/faq?sid
     30 /app.php/thankslist/
     27 /ucp.php?mode

[Siava]

И ещё штук 30 по одному.

Так это вообще ни о чём.