Атака китайских ботов

[Михаил Молчанов]

Но тогда непонятно, для чего это делать так агрессивно. Ведь из-за такого поведения все их банят в итоге. Если бы они сканировали сайты последовательно, пусть даже без перерывов, но по одному запросу, это ж было бы гораздо эффективнее.

Я думаю когда пользователь ищет что то через ИИ. ИИ в реальном времени выходит в интернет и берет информацию с ресурсов.

[Perfecthus]

Михаил Молчанов, Это, вряд ли

[Михаил Молчанов]

Михаил Молчанов, Это, вряд ли

В Дипсик это называется умный поиск

[Татьяна5]

ИИ в реальном времени искать по интернету не умеют

[Shredder]

"ИИ" - это посредственная база данных с обычного поиска. Так как 99% информации в "обычном" поиске отсутствует, можно предположить, что её нет и в "ИИ"-выдаче.
Ещё он врёт, хитро и нагло, если такой термин может быть применён к программе.

Пример:

открыть и прочитать 

Я:
Недавно под очередным религиозным видео увидел очередной комментарий "такой-то старец говорил, что инопланетяне это бесы". Я хорошо знаю эту тему, и знаю, что это бред. Вставил запрос в ИИ, где он такое говорил, так он мне и ДВЕ книжки выдал с якобы этими откровениями от минимум двух "старцев", я их скачал и не нашёл там ничего даже отдалённо похожего на цитаты, которые мне привёл ИИ. Тогда я спросил "ИИ", на какой это находится странице - и вуаля, он мне и страницу выдал! Таких страниц в тех книжках даже не было... И тогда я снова написал ему, что не нашёл ничего подобного в книгах. И тогда он мне ответил, что "да, вы совершенно правы, хорошо что вы так бдительны, это всего лишь интернет-легенда." . Более того, этот ИИ предлагал мне "Не хотите ли посмотреть, что другие старцы говорили на тему инопланетян?". Я ответил да, и кроме этого бреда, описанного выше, он мне ничего не выдал)

Хорошо, что я ранее сам изучал тему, и подробно разобрал её с указанием все источников и конкретных страниц в них - https://www.nesx.ru/viewtopic.php?p=270#p270

Чё-то этот "ИИ" ничего не знает ни о моём сайте, ни о тех людях и цитатах, которых минимум 4 и которых я привёл по ссылке в статье. И на других ресурсах, которые находятся в открытом доступе, эти цитаты так же есть, не с потолка же я их брал.

Светлана:
Я тоже давно заметила ограниченный поиск. Подруга написала специфический отзыв на сотрудников кафе, на их официальном сайте, мне прислала скрин, а названия кафе не было. Я в поиске решила найти по ключевым фразам. Нету. Не выдаёт результат. И только потом уже зайдя на сайт этого кафе там был отзыв. Потом искала картинки, видео определённого искусства. В общем поиске какое то китайское нечёткие видео Как китаец у реки собирает ракушки, а где же наши русские мастера, где любители - а этого нету в поиске, захочешь посмотреть технику искусства и не найти.. Раньше в сети можно было чему угодно научится, сейчас нет информации. Ну ладно, решила поискать работы в одной декоративной технике - опять нету!!! Да чтоб это такое, зашла на пинтерест - и там было много по теме, больше чем в общем поиске, но там случайные короткие видео, а то что хочу, конкретный приём - днём с огнём не найти. Сама догадываюсь, ладно.

Я заметила что ИИ обладает вполне человеческими качествами, он умеет нагло врать и изворачиватся.

Пока, что протестировано лично мной и моими знакомыми насчёт "ИИ":
- Может нарисовать неплохие картинки.
- Может помочь в программировании, но реальная помощь будет только за плату. В бесплатных сервисах - дер*мо-советы, по которым сделать ничего невозможно.
- Общая информация или "запрос на любую тему". Выдаёт общеизвестную информацию, которую в поиске и сам найти можешь. Специфические знания, нетривиальные и т.д. - тут вообще 0 или ложь. не стоит тратить время.

Само собой, что тестировал я не всё, а только нужное лично мне и по мере необходимости. Может быть, будет что-то полезное по другим тематикам.
"Очеловечивание" ИИ тоже считаю лишним. По мне, это обычная программа, приносящая доход и другие выгоды бенефициарам, которые её оплачивали и создавали.

[Михаил Молчанов]

Я не собираюсь платить деньги за ИИ. Даже если он лучше работает бесплатного. Не стоит это того. Они продают за деньги то, что находится в бесплатном доступе. Как инфоцыгане.

[Kuskow]

Продолжаем бороться с ботами. Теперь уже через Nginx.

Шаг 1. Настройка Nginx

Чтобы конфигурация не затерлась при обновлении панели, внедряем логику через кастомный файл nginx.ssl.conf_extra.
nano /home/USER/conf/web/DOMAIN.COM/nginx.ssl.conf_extra

Код: Выделить всё

# 1. Статическая блокировка известных ботов
# 1a. Зловредные боты банятся через fail2ban по IP-адресам
if ($http_user_agent ~* "keys-so|python|Firefox/72") { return 444; }
if ($request_uri ~* "wp-|/profile\.php|\.env|\.git|\.aws|\.terraform") { return 444; }
# 1b. Легальным, но нежелательным ботам запрещено только сейчас
if ($http_user_agent ~* "Mediapartners") { return 403; }
# 1c. По типу запроса
if ($request_method = HEAD) { return 444; }

# 2. Поведенческая блокировка наглых ботов без cookies
# 2a. Помечаем точки входа
set $bot_check "";
if ($request_uri ~* "/adm/|ucp\.php|author=|posting\.php") { set $bot_check "A"; }
if ($server_protocol ~ "HTTP/1") { set $bot_check "A"; }
# 2b. Проверка наличия cookies
if ($http_cookie = "") { set $bot_check "${bot_check}C"; }
# 2c. Исключения (ПС и мессенджеры) — обнуляем всё для своих
if ($http_user_agent ~* "Yandex|Googlebot|Google-|Applebot|bingbot|Baiduspider|GPTBot|whatsapp|telegram|facebook") { set $bot_check ""; }
if ($request_uri ~* "robots\.txt") { set $bot_check ""; }
# 2d. Исполнение приговоров
if ($bot_check = "AC") { return 444; }

# 3. Мягкие ответы
# 3a. Этих страниц уже не существует
## if ($request_uri ~* "thankslist|/hostiman/") { return 410; }
# 3b. Системные заглушки
location ^~ /.well-known/acme-challenge/ { allow all; }
location /.well-known/ { log_not_found off; return 204; }

Шаг 2. Настройка Fail2ban

1. Создаем фильтр, который ловит статус 444 в логах:
nano /etc/fail2ban/filter.d/nginx-bot-444.conf
Вставляем текст:

Код: Выделить всё

[Definition]
failregex = ^ -." (444) .$
ignoreregex =

2. Активируем тюрьму (Jail). Открываем конфиг:
nano /etc/fail2ban/jail.local
Добавляем в самый конец файла:

Код: Выделить всё

[nginx-bot-444]
enabled = true
port = http,https
filter = nginx-bot-444
action = hestia[name=WEB]
logpath = /var/log/nginx/domains/DOMAIN.COM.log
maxretry = 2
findtime = 600
bantime = 86400

(не забудьте поменять DOMAIN.COM на свой лог)

3. Перезапускаем Fail2ban:

Код: Выделить всё

systemctl restart fail2ban

Результат: Любой бот без кук при попытке подергать форму ответа или админку моментально получает жесткий разрыв соединения. После 2 попыток (maxretry) в течение 10 минут (findtime) Fail2ban отправляет его IP в бан на 24 часа. Нагрузка на PHP-FPM и MySQL резко падает.
Проверить текущий список забаненных всегда можно командой:

Код: Выделить всё

fail2ban-client status nginx-bot-444

Отправлено спустя 4 минуты 4 секунды:

Пришлось забанить вручную

Теперь и их банить вручную по IP-адресам/подсетям не придётся.

[Михаил Молчанов]

А почему боты Вордпресс не нагружают. А только форум? В чем секрет?

[Vlad__]

Firefox/72

Зачем это во всех ваших скриптах?

if ($request_method = HEAD) { return 444; }

Нужно ли так однозначно? Заголовки запрашивают не только боты.

if ($server_protocol ~ "HTTP/1")

Тоже не совсем понятна логика. 1.0 и 1.1? Зачем 1.1?

failregex = ^ -." (444) .$

Для лога nginx не валидная строка.

Любой бот без кук при попытке подергать форму ответа или админку моментально получает жесткий разрыв соединения.

В вашем скрипте массовый отлуп получают по протоколу 1.1 и запросу HEAD, а не дергающие форму ответа или админку. Уберите эти строки и удивитесь "немассовости" отлупа ) А как я написал выше, отсеивать по 1.1 и HEAD - очень спорный вопрос. Можно и ребенка выплеснуть.

Идея скрипта хорошая, но реализация имхо очень сырая еще. Предлагаю коллективному разуму присоединится к разработке )

[Kuskow]

Зачем это во всех ваших скриптах?

Это один из первых ботов, который был замечен за атакой. Так и остался с тех времён. Теперь можно и не проверять это, так как будет блокироваться по другим признакам.

Нужно ли так однозначно? Заголовки запрашивают не только боты.

Заголовки запрашивают только боты. Современные браузеры их не запрашивают.

Тоже не совсем понятна логика. 1.0 и 1.1? Зачем 1.1?

Современные браузеры используют только 2.0. Протокол 1.x остался только у ботов и очень старых браузеров. Так и определяются боты. Даже если это будет живой пользователь, блок лишь на сутки. Через несколько попыток пользователь поймёт, что со старого компьютера сайт не открывается, а с мобильного открывается - дальше дойдёт сам, что пора бы обновиться или использовать другие технические средства для посещения сайтов.

Для лога nginx не валидная строка.

Тут с меня толку мало, поскольку эту часть я бездумно скопировал от ИИ, которого я попросил написать инструкцию для phpbbguru. Сейчас я ему указал на Ваше замечание, вот что он выдал:

Вот эталонный, валидный и безопасный вариант регулярного выражения для файла /etc/fail2ban/filter.d/nginx-bot-444.conf

Код: Выделить всё

[Definition]
failregex = ^<HOST> \S+ \S+ \[([^\]]+)\] "[A-Z]+ \S+ HTTP/\d\.\d" 444 \d+
ignoreregex =

Ещё раз посмотрел, что сейчас у меня написано в этом файле:

Код: Выделить всё

[Definition]
# Ищем IP, получивший код ответа 444 в любой строке лога
failregex = ^<HOST> -.*" (444) .*$
ignoreregex =

[Kuskow]

Уберите эти строки и удивитесь "немассовости" отлупа

Закомментировал у себя отлупы по 1.x и HEAD. Результат увидим через сутки, когда перестанут действовать прежние блокировки.
Только зачем? Задача ведь отсечь побольше ботов, чтобы нормальным людям легче ходилось по сайту.

Можно и ребенка выплеснуть.

Да, обычная практика. Для того, чтобы основная масса пользователей работала без задержек, одним-двумя можно пожертвовать. А что толку, если все сидят и ждут, когда закончится зависание сервера? А те один-два пусть обновляются, и будет им счастье.