Атака китайских ботов

[Kuskow]

Это классика: глаз замыливается, и мозг подсознательно «дорисовывает» правильный синтаксис, игнорируя лишние детали. Мы так увлеклись логикой редиректов и поведением ботов, что просмотрели банальную синтаксическую ошибку.
В PHP лишняя скобка — это гарантированный Parse error. А поскольку это было в config.php, сайт просто «умирал» в самом начале, выдавая 500 Internal Server Error (если вывод ошибок в браузер выключен).
Забавно, что:

• Мы искали проблему в методах запроса (GET/POST).
• Грешили на заголовки AJAX.
• Анализировали логи Nginx.

...а всё это время сервер просто не мог прочитать код.

[Leo Angel]

Как обстоят дела с ботами посмотрю-понаблюдаю-напишу.

...а всё это время сервер просто не мог прочитать код.

Ну вот, сервер прочитал код.
Но на ботов он, похоже, впечатление не произвёл.
Боты от Alibaba как были в больших количествах, так и остались.
И все опять сидят в одной теме, правда, теперь в другой, не в той, что вчера.
Пока что, по факту самый-самый первый код помог реально против ботов, все остальные варианты лично моему форуму не очень.

Если нет пользы и от этого варианта, то, наверное, буду его сносить. Пока что, что с ним, что без него.
В принципе, нагрузка на сервер небольшая совсем, наверное, пока можно и не париться...

[Kuskow]

И все опять сидят в одной теме

Они не могут "все они". Потому что теперь они должны стать, как минимум, одним ботом. Значит, что-то Вы не сделали из первых двух пунктов Re: Атака китайских ботов

[Leo Angel]

Kuskow, вот ОНИ (не все, только часть)

1.jpg

В config.php в конец вставил это:

Код: Выделить всё

### Барьер для защиты от ботов, атакующих phpBB-сайты
### Авторы: Kuskow & AI on Google Search & ChatGPT
if (($_SERVER['REQUEST_METHOD'] ?? '') !== 'GET') return; // когда этот скрипт бесполезен
 
# 1. Шлагбаум: извесных ботов не пускаем даже к дому
preg_match('/ChatGPT|keys-so|python|Firefox\/72/i', $ua = $_SERVER['HTTP_USER_AGENT']) +
preg_match('/wp-|profile\.php/i', $uri = $_SERVER['REQUEST_URI'])
and die(header('HTTP/1.1 403'));
 
# 2. Дебютант: неопознанный бот или первый визит гостя считается как один опознанный бот
empty($_SERVER['HTTP_COOKIE'])
and !preg_match('/Yandex|Googlebot|Google-|Applebot|bingbot|Baiduspider|GPTBot|whatsapp|telegram|facebook/i', $_SERVER['HTTP_USER_AGENT'])
and ($_SERVER['HTTP_USER_AGENT'] = 'Debutante');
 
# 3. Гардероб: разуваем гостей, но не персонал
$noise = 'sid|hilit|gclid|yclid|ysclid|fbclid|utm_\w+';
preg_match('/^(?!.*(adm\/|cp\.php|hash=|mark_)).*?(' . $noise . ')=/i', $uri)
and exit(header('Location: ' . rtrim(preg_replace(["/([?&])($noise)=[^&]*(&|$)/i", '/\?&/'], ['$3', '?'], $uri), '?&'), true, 308));

В /assets/javascript/core.js вставил это:

Код: Выделить всё

document.cookie = "checked=1; path=/; max-age=86400; SameSite=Lax";

Начало этого файла выглядит так (весь не привожу ибо длинный):

Код: Выделить всё

/* global bbfontstyle */

document.cookie = "checked=1; path=/; max-age=86400; SameSite=Lax";

var phpbb = {};
phpbb.alertTime = 100;

(function($) {  // Avoid conflicts with other libraries

'use strict';

// define a couple constants for keydown functions.
var keymap = {
	TAB: 9,
	ENTER: 13,
	ESC: 27,
	ARROW_UP: 38,
	ARROW_DOWN: 40
};

var $dark = $('#darkenwrapper');
var $loadingIndicator;
var phpbbAlertTimer = null;
..............................

Бота Debutante [Bot] создал. И вижу его среди гостей.

Что я ещё не сделал? Или что я сделал не так?

[Kuskow]

Бота Debutante [Bot] создал. И вижу его среди гостей

Ааа, тогда всё.

[Leo Angel]

И какой приговор?
Почему эти Алибабайцы пасутся у меня как у себя дома?

[Kuskow]

Потому что они используют староподхваченные куки. ну или не знаю - надо смотреть по логам. У меня исчезли мгновенно. Завтра пройдёт, надеюсь. А пока переходим ко второй части Марлезонского балета - углубляемся в Nginx. После изменений не забываем перезапустить Nginx.

Код: Выделить всё

# 1. Статическая блокировка известных ботов
# 1a. Зловредные боты банятся через fail2ban по IP-адресам
if ($http_user_agent ~* "keys-so|python|Firefox/72") { return 444; }
if ($request_uri ~* "wp-|/profile\.php|\.env|\.git|\.aws|\.terraform") { return 444; }
# 1b. Легальным, но нежелательным ботам запрещено только сейчас
#if ($http_user_agent ~* "Mediapartners") { return 403; }

# 2. Поведенческая блокировка наглых ботов без cookies
set $bot_check "";
# 2a. Помечаем точки входа
if ($request_uri ~* "/adm/|ucp\.php|author=") { set $bot_check "A"; }
if ($server_protocol ~ "HTTP/1") { set $bot_check "A"; }
# 2b. Проверка наличия cookies
if ($http_cookie = "") { set $bot_check "${bot_check}C"; }
# 2c. Исключения (ПС и мессенджеры) — обнуляем всё для своих
if ($http_user_agent ~* "Yandex|Googlebot|Google-|Applebot|bingbot|Baiduspider|GPTBot|whatsapp|telegram|facebook") { set $bot_check ""; }
# 2d. Исполнение приговоров
if ($bot_check = "AC") { return 444; }

# 3. Мягкие ответы
# 3b. Системные заглушки
location ^~ /.well-known/acme-challenge/ { allow all; }
location /.well-known/ { log_not_found off; return 204; }

[Leo Angel]

И куда это пишем?

[Kuskow]

Это пишем в Nginx. В зависимости от панели управления сайтом места разные могут быть. У меня файл шаблона к сайту, например:
/home/ПОЛЬЗОВАТЕЛЬ/conf/web/ДОМЕН/nginx.ssl.conf_extra
А как у Вас не знаю - может быть, подскажут опытные тут товарищи. Кажется, в других местах это надо писать в какой-то раздел SERVER, но я не уверен.