Атака китайских ботов

[hd321kbps]

Сегодня заметил на нескольких форумах наплыв ботов из китая от 100-300 одновременно, которые создают нагрузку на хостинг.
Все заходят с телефона Android и iphone Os.
Адреса ботов:
54.222.*.*
54.223.*.*
52.80.*.*
52.81.*.*
52.82.*.*
52.83.*.*
220.243.*.*
139.217.*.*
139.219.*.*
У кого наблюдается такое-же отпишитесь)


---------------------------
Варианты блокировки ботов:
Re: Атака китайских ботов - от Nekstati
Re: Атака китайских ботов - от Kuskow, php
Re: Атака китайских ботов - от Kuskow, nginx

[Leo Angel]

Вечером попробую. Сегодня утром было спокойно, а сейчас набежали демоны!

Отправлено спустя 8 минут 51 секунду:
max-age=31536000 - срок жизни cookie: 31 536 000 секунд, то есть примерно 1 год с момента установки. Верно?
А что будет через год?

[Kuskow]

Это одноразовая кука, она нужна только для того, чтобы определить, человек ли зашёл на форум, потом в силу вступают обычные куки форума. Можно спокойно поставить 1 час. Но если в течение часа человек не ткнёт ни одну ссылку на странице, то так и останется никем. В общем-то, можно поставить сутки, чтобы не думать об этом. В общем, это время должно быть не меньше, чем реальный человек ткнёт хоть одну ссылку на странице форума. Естественно, он сделает это меньше, чем за год.

[Leo Angel]

Kuskow, сделал всё, что Вы написали.
Форум упал по причине:
Сайт выполнил переадресацию слишком много раз.
Что я сделал не так?

[Kuskow]

В общем, там заменой одной строчки не обошлось. Нужно заменить весь третий блок. Так что, если нужно оставить и /, и /index.php, тогда весь код скрипта будет таким:

Код: Выделить всё

### Барьер для защиты от ботов, атакующих phpBB-сайты
### Авторы: Kuskow & AI on Google Search
if (PHP_SAPI === 'cli') { return; } // В cli не надо ничего делать
 
# 1. Шлагбаум: извесных ботов не пускаем даже к дому
preg_match('/ChatGPT|keys-so|python|Firefox\/72|Mediapartners/i', $ua = $_SERVER['HTTP_USER_AGENT']) +
preg_match('/wp-|profile\.php/i', $uri = $_SERVER['REQUEST_URI'])
and die(header('HTTP/1.1 403'));
 
# 2. Дебютант: неопознанный бот или первый визит гостя считается как один опознанный бот
empty($_SERVER['HTTP_COOKIE'])
and !preg_match('/Yandex|Googlebot|Applebot|bingbot|Baiduspider|GPTBot/i', $_SERVER['HTTP_USER_AGENT'])
and ($_SERVER['HTTP_USER_AGENT'] = 'Debutante');
 
# 3. Гардероб: разуваем гостей, но не персонал
$noise = 'sid|hilit|gclid|yclid|ysclid|fbclid|utm_\w+';
preg_match('/^(?!.*(adm\/|cp\.php|hash=|mark_)).*?(' . $noise . ')=/i', $uri))
and exit(header('Location: ' . rtrim(preg_replace(["/([?&])($noise)=[^&]*(&|$)/i", '/\?&/'], ['$3', '?'], $uri), '?&'), true, 308));

На своём форуме проверил - работает.

[Leo Angel]

Теперь вот:

Код: Выделить всё

Ошибка AJAX
Internal Server Error

Отправлено спустя 35 минут 43 секунды:
И форум падает с 500 ошибкой.

[Kuskow]

Leo Angel, у меня AJAX не используется, поэтому не уловил бы эту ошибку. Хорошо, что Вы участвуете в разработке универсального решения. Для совместимости уже всем нужно поменять, себе тоже добавил, чтобы в будущем не думать, почему это AJAX не работает. Вот общая обновлённая версия:

Вариант А: для тех, кому index.php не важен

Код: Выделить всё

### Барьер для защиты от ботов, атакующих phpBB-сайты
### Авторы: Kuskow & AI on Google Search
if (isset($_SERVER['HTTP_X_REQUESTED_WITH']) || PHP_SAPI === 'cli') return; // когда этот скрипт бесполезен

# 1. Шлагбаум: извесных ботов не пускаем даже к дому
preg_match('/ChatGPT|keys-so|python|Firefox\/72/i', $ua = $_SERVER['HTTP_USER_AGENT']) +
preg_match('/wp-|profile\.php/i', $uri = $_SERVER['REQUEST_URI'])
and die(header('HTTP/1.1 403'));

# 2. Дебютант: неопознанный бот или первый визит гостя считается как один опознанный бот
empty($_SERVER['HTTP_COOKIE'])
and !preg_match('/Yandex|Googlebot|Google-|Applebot|bingbot|Baiduspider|GPTBot|whatsapp|telegram|facebook/i', $_SERVER['HTTP_USER_AGENT'])
and ($_SERVER['HTTP_USER_AGENT'] = 'Debutante');

# 3. Гардероб: разуваем гостей, но не персонал
$noise = 'sid|hilit|gclid|yclid|ysclid|fbclid|utm_\w+';
preg_match('/^(?!.*(adm\/|cp\.php|hash=|mark_)).*?(\/index\.php(?:\?|&|$)|(' . $noise . ')=)/i', $uri)
and exit(header('Location: ' . rtrim(preg_replace(["/([?&])($noise)=[^&]*(&|$)/i", '/\?&/', '/\/index\.php(?:\?|&|$)/i'], ['$3', '?', '/'], $uri), '?&'), true, 308));

Вариант Б: для тех, у кого корень / и /index.php - это разные страницы (отличие в 3 блоке)

Код: Выделить всё

### Барьер для защиты от ботов, атакующих phpBB-сайты
### Авторы: Kuskow & AI on Google Search
if (isset($_SERVER['HTTP_X_REQUESTED_WITH']) || PHP_SAPI === 'cli') return; // когда этот скрипт бесполезен

# 1. Шлагбаум: извесных ботов не пускаем даже к дому
preg_match('/ChatGPT|keys-so|python|Firefox\/72/i', $ua = $_SERVER['HTTP_USER_AGENT']) +
preg_match('/wp-|profile\.php/i', $uri = $_SERVER['REQUEST_URI'])
and die(header('HTTP/1.1 403'));

# 2. Дебютант: неопознанный бот или первый визит гостя считается как один опознанный бот
empty($_SERVER['HTTP_COOKIE'])
and !preg_match('/Yandex|Googlebot|Google-|Applebot|bingbot|Baiduspider|GPTBot|whatsapp|telegram|facebook/i', $_SERVER['HTTP_USER_AGENT'])
and ($_SERVER['HTTP_USER_AGENT'] = 'Debutante');

# 3. Гардероб: разуваем гостей, но не персонал
$noise = 'sid|hilit|gclid|yclid|ysclid|fbclid|utm_\w+';
preg_match('/^(?!.*(adm\/|cp\.php|hash=|mark_)).*?(' . $noise . ')=/i', $uri))
and exit(header('Location: ' . rtrim(preg_replace(["/([?&])($noise)=[^&]*(&|$)/i", '/\?&/'], ['$3', '?'], $uri), '?&'), true, 308));

[dotez]

А для тех у кого форум лежит в-
https://site.ru/phpBB3/

[Kuskow]

Я думаю, можно брать вариант А (без index). Надо пробовать, всего заранее не преусмотреть. Работает - пользуем дальше. Не работает - отключаем (удаляем) только то, что добавили в config.php. Остальное точно никак не мешает.
При установке не забудьтие сделать первые два изменения.
После полной отладки заново соберу все изменения в одну кучу.

[Leo Angel]

Вариант Б: для тех, у кого корень / и /index.php - это разные страницы (отличие в 3 блоке)

Опять Ошибка 500, форум упал.

[Kuskow]

Leo Angel, тогда пока специально для Вас, а про универсальность подумаем после успешного запуска. Но каждая такая правка снижает эффективность антибота, пропуская некоторых из них.

Код: Выделить всё

### Барьер для защиты от ботов, атакующих phpBB-сайты
### Авторы: Kuskow & AI on Google Search & ChatGPT
if (($_SERVER['REQUEST_METHOD'] ?? '') !== 'GET') return; // когда этот скрипт бесполезен

# 1. Шлагбаум: извесных ботов не пускаем даже к дому
preg_match('/ChatGPT|keys-so|python|Firefox\/72/i', $ua = $_SERVER['HTTP_USER_AGENT']) +
preg_match('/wp-|profile\.php/i', $uri = $_SERVER['REQUEST_URI'])
and die(header('HTTP/1.1 403'));

# 2. Дебютант: неопознанный бот или первый визит гостя считается как один опознанный бот
empty($_SERVER['HTTP_COOKIE'])
and !preg_match('/Yandex|Googlebot|Google-|Applebot|bingbot|Baiduspider|GPTBot|whatsapp|telegram|facebook/i', $_SERVER['HTTP_USER_AGENT'])
and ($_SERVER['HTTP_USER_AGENT'] = 'Debutante');

# 3. Гардероб: разуваем гостей, но не персонал
$noise = 'sid|hilit|gclid|yclid|ysclid|fbclid|utm_\w+';
preg_match('/^(?!.*(adm\/|cp\.php|hash=|mark_)).*?(' . $noise . ')=/i', $uri))
and exit(header('Location: ' . rtrim(preg_replace(["/([?&])($noise)=[^&]*(&|$)/i", '/\?&/'], ['$3', '?'], $uri), '?&'), true, 308));

[Siava]

Кратко о нескольких последних страницах темы

Скрытый текст

1430989171_1871837159.jpg

[Leo Angel]

Отправлено спустя 1 час 18 минут 27 секунд:

Leo Angel, тогда пока специально для Вас

Нет. Опять ошибка 500

[Kuskow]

Ну тут уже моих знаний недостаточно. Мне или включать AJAX на своём сайте, чего очень бы не хотелось, или лезть в чужой сайт, что тоже неправильно.
Можем попробовать ещё наоборот - Вы отключите AJAX в быстром ответе, посмотрим, заработает ли. И будем думать дальше.

[Leo Angel]

Давайте пока сделаем паузу. Я постараюсь понять что именно вызывает 500-ю ошибку у меня. Найду, если пойму и найду, тогда продолжим.

[Leo Angel]

Нашлась ошибка, которая вызывала 500-ю ошибку.
В этой строке

Код: Выделить всё

preg_match('/^(?!.*(adm\/|cp\.php|hash=|mark_)).*?(' . $noise . ')=/i', $uri))

лишняя закрывающая скобка!
Убрал её и форум перестал падать.
Всё работает.
Как обстоят дела с ботами посмотрю-понаблюдаю-напишу.