Атака китайских ботов

[MasterX]

Можно. Только какую страну Вы бы забанили на форуме путешественников

Откуда больше ботвы лезет, ту бы и забанил. Тупо для снижения нагрузки.

[Kuskow]

Ну да, тут люди из кожи вон лезут, чтобы каждого пользователя привадить, а Вы целую страну решили забанить. Больше всего сейчас лезет из России - её забанить?

[Kuskow]

Вот только что атака прошла. Пока не страшно.

Load.png

MySQL.png

[Leo Angel]

...если у вас VPS, то ... там банить можно прямо через админку и по странам и по диапазонам.

А подскажите как это делается, плиз.

...очень хотелось бы помочь тем, у кого нет доступа к Nginx, или кто боится туда лазить сам.

У меня есть доступ к Nginx, но точно боюсь туда лазить. И как там можно банить плохишей?

[MasterX]

А подскажите как это делается, плиз.

в панели управления хостингом, (только если он не виртуальный) должна быть блокировка по IP

Ну да, тут люди из кожи вон лезут, чтобы каждого пользователя привадить, а Вы целую страну решили забанить. Больше всего сейчас лезет из России - её забанить?

странно как раз из России меньше всего скреперы атаковали..
Бразилия, Китай, Германия, Гонконг. Франция порой шалила.

[Kuskow]

У меня есть доступ к Nginx, но точно боюсь туда лазить. И как там можно банить плохишей?

Настройка проходит в 2 этапа. Обязательно себе где-то в текстовом файле записывайте, где какие изменения вносили, чтобы можно было откатить назад или сделать то же в следующий раз на другом сервере.

1. Настраиваем fail2ban. Я уже не помню, что делал для этого. Так что, заходите в Google-ИИ (доступен везде) или в ChatGPT (недоступен в России), или в какой-то другой чат с искусственным интеллектом и пишите ему приблизательно такой вопрос: "Как настроить jail на 444, чтобы за каждые 2 случая в течение 10 минут fail2ban их банил?"
Ах да, чтобы ответ был точным, сначала расскажите ему, какая конфигурация у Вашего сервера: операционная система, админ-панель, PHP, Nginx, Apache, phpBB - всё с указанием версий в произвольной форме. Если лень выдумывать, можно взять шаблон в моей подписи.
И после этого вопроса ИИ проведёт Вас пошагово, куда бечь, чего искать, какие кнопки нажимать. Будете копировтаь команды в свою консоль SSH, а ответы этих команд из консоли в диалог с ИИ. И ещё надо ему сказать, под каким пользователем в админ-панели работает сайт.
В конце он должен сказать, куда вставить что-то вроде этого (у меня не берите, потому что у Вас и админ-панель другая, скорей всего, и сайт другой, и вообще своё всё будет):

Код: Выделить всё

[nginx-bot-444]
enabled  = true
#port    = http,https
filter   = nginx-bot-444
action   = hestia[name=WEB]
logpath  = /var/log/nginx/domains/navimba.com.log
maxretry = 2
findtime = 600
bantime  = 86400

И в другом каком-то файле будет приблизительно такой код:

Код: Выделить всё

[Definition]
# Ищем IP, получивший код ответа 444 в любой строке лога
failregex = ^<HOST> -.*" (444) .*$
ignoreregex =

2. Потом спросите у него же, где правится шаблон Nginx для Вашего сайта. Или может быть сами знаете, куда вставлять эти правила для Nginx:

Код: Выделить всё

# 1. Статическая блокировка известных ботов
# 1a. Зловредные боты банятся через fail2ban по IP-адресам
if ($http_user_agent ~* "ChatGPT|keys-so|python|Firefox/72|curl/") { return 444; }
if ($request_uri ~* "wp-|/profile\.php|\.env|\.git|\.aws|\.terraform") { return 444; }
# 1b. Легальным, но нежелательным ботам запрещено только сейчас
if ($http_user_agent ~* "Mediapartners") { return 403; }

# 2. Поведенческая блокировка наглых ботов без cookies
# 2a. Помечаем точки входа
set $bot_check "";
if ($request_uri ~* "/adm/|ucp\.php|author=") { set $bot_check "A"; }
# 2b. Проверка наличия cookies
if ($http_cookie = "") { set $bot_check "${bot_check}C"; }
# 2c. Исключения (ПС и мессенджеры) — обнуляем всё для своих
if ($http_user_agent ~* "Yandex|Googlebot|Google-|Applebot|bingbot|Yahoo|Baiduspider|GPTBot|whatsapp|telegram|facebookext|meta-ext") { set $bot_check ""; }
# 2d. Исполнение приговоров
if ($bot_check = "AC") { return 444; }

# Системные заглушки
location ^~ /.well-known/acme-challenge/ { allow all; }
location /.well-known/ { log_not_found off; return 204; }

* Примечания:
1) ChatGPT - это не то, про что вы подумали
2) Mediapartners - даём отлут только этому запросу, но не баним по IP-адресу, потому что он принадлежит Google - вдруг Googlebot будет и основным своим сканером работать с этих адресов

[Kuskow]

Эврика!

А можно ли в phpBB сделать так, чтобы все неопознанные гости считались одним зарегистрированным ботом? Без создания для них отдельных сессий. То есть, опять же, в наш config.php возвращается второй блок для вошедших без cookies - под новым названием "Дебютант". Публикую пока только для рассмотрения. Я в сфой форум поставил (можете на нём тестировать), но пока не рекомендую делать это у себя.

Код: Выделить всё

# 2. Дебютант: неопознанный бот или первый визит гостя считается как один опознанный бот
empty($_SERVER['HTTP_COOKIE'])
and !preg_match('/Yandex|Googlebot|Google-|Applebot|bingbot|Yahoo|Baiduspider|GPTBot|whatsapp|telegram|facebookext|meta-ext/i', $_SERVER['HTTP_USER_AGENT'])
and setcookie('is_human', $_SERVER['HTTP_USER_AGENT'] = 'Debutante', time() + 3600, '/', '', false, true);

Помимо изменения в этом файле, нужно в админке phpBB в разделе ОБЩИЕ -> Поисковые боты добавить нового бота:
Название бота: Debutante
Соответстве агенту: Debutante
остальные параметры не меняем.

[Татьяна5]

чтобы все неопознанные гости считались одним зарегистрированным ботом?

Тогда не смогут зарегистрироваться

[Kuskow]

Смогут-смогут. Они же хоть один внутренний переход сделают после первого захода. А там форум работает как обычно уже. Никто же не регистрируется сразу с первой же посещённой страницы. Хоть чуть-чуть почитать-полистать надо же.

[Kuskow]

Сегодня с утра боты поумнели - наверное, читают эту тему. Стали запоминать куки и приходить с куками. И по IP-адресам не заблокируешь - все с мобильных сетей пачками. Прям даже и не знаю, что делать. Хоть Cloudflare включай.

[MasterX]

Сегодня с утра боты поумнели - наверное, читают эту тему. Стали запоминать куки и приходить с куками. И по IP-адресам не заблокируешь - все с мобильных сетей пачками. Прям даже и не знаю, что делать. Хоть Cloudflare включай.

Да щас на форуме их в районе сотни. По IP действительно их бить не удается, очень разные диапазоны. Незначительно выросла нагрузка на проц, ксенфора держит демонов. На базу-как либо нагрузка не выросла.
Может у них седня месячные?
Или у шизанутых скреперов просто весеннее обострение?

UPD!
В основном ботва летит через VPN
Если есть для PHPBB расширение, блокирующее доступ на форум через VPN - ставьте, однозначно поможет!

[Пчелкин]

Почему вы не хотите поверить что таките "залипоны" и сами хостеры умудряются организовывать? Цель? А подумайте сами о целях..

[Kuskow]

Да щас на форуме их в районе сотни.

За вчерашние сутки зашло ~600'000 таких ботов, но почти все они были отбиты последней версией скрипта в config.php. Прорвались только ~14'000. За ночь родилась новая идея, сейчас с ИИ кумекаем - может быть, к вечеру что-то выдадим.

Если есть для PHPBB расширение, блокирующее доступ на форум через VPN - ставьте, однозначно поможет!

Поможет что? Вырезать половину российских пользователей, у которых теперь КВН включен почти постоянно?

Почему вы не хотите поверить что таките "залипоны" и сами хостеры умудряются организовывать?

За мои 8 евро в месяц? Игра не стоит свеч.

А подумайте сами о целях

Ну раз Вы уже подумали, то и поведайте. Зачем всех-то нагружать, как те же боты?

[Пчелкин]

За мои 8 евро в месяц?

Им этого мало... Халявы хорошей не бывает..

[Kuskow]

Сегодня атаки пошли в три раза интенсивнее вчерашних. Но мы в соавторстве с AI on Google Search, кажется, придумали таки фильтр для эих "умных" ботов. Теперь отбиваются все боты и пропускаются все люди. Если интересно, можете зайти по ссылке из моего профиля, посмотреть, что получилось. Внизу главной страницы видно, сколько гостей осталось.