Атака китайских ботов

[Kuskow]

в статистике не будет всяких Google-ботов, прописанных в админке, а будет один Debutante?

Да, именно так. Если есть возражения, могу посмпорить и обосновать. Но не настаиваю на этом варианте.

Так ли важен этот код в блокировщике от ботов?

Да, очень важен. Он даёт половину всех отлупов. SEO тут ни при чём.

Причем этот код генерирует двойной запрос к серверу при срабатывании.

Да, но тут столько важно, сколько запросов, сколько кто эти запросы обрабатывает. Если все запросы будут обработаны в этом скрипте, не доходя до phpBB, это вообще идеальный вариант, поскольку сервер не тратит на это ресурсов - база данных даже не открывается. Даже если второй запрос проникнет к phpBB, он будет голый, phpBB не будет обрабатывать сессии, а может даже и какое-никакое кэширование сработает. Так что, два запроса будут легче и быстрее обработаны, чем один. Ну и там ещё где-нибудь может подключатся какие-то файрволы от провайдера, которые узреют кучу одинаковых запросов от разных IP-адресов. А некоторые боты вообще не выполняют эти редиректы. То есть, для них что 308, 403 - всё одно.

У себя оставил код примерно в таком виде

Тоже хорошо, ибо уже это не мало. Кстати, я тут пораскинул мозгами, придумал вообще не заводить Debutante. В следующем релизе исключу второй пункт, вместо Debutante просто прописать Googlebot/. Ну типа, меньше телодвижений, меньше шансов где-то допустить ошибку. Как вам идея?

[Vlad__]

Да, очень важен. Он даёт половину всех отлупов. SEO тут ни при чём.

Не совсем понял. Раскажите алгоритм, почему он дает отлупы? Я вижу очистку запроса и 308 редирект, и все.

[Kuskow]

Боты придумывают несуществующие сессии и обращаются с ними к phpBB, передавая идентификатор сессии в sid=. Движок на каждый такой идентификатор вынужден думать, что это отдельный пользователь. Итого один IP-адрес (виртуальный сервер бота) имитирует сидение на форуме нескольких тысяч пользователей. Отсюда и лишняя нагрузка. Если очистить URL от лишних параметров, phpBB их не будет обрабатывать.

308 редирект не обязывает клиента переходить, а лишь указывает, куда переходить. А половина ботов и не собираются переходить - они ищут уязвимости и нагружают сервер. Поэтому для таких 308 работает как 403 (они сами себе так решили).

Кстати, вот сейчас опять подумал - неправильно я сделал, всё же. Потому что это перенаправление 308 нужно не только для ботов, но и для людей. Так что, новая версия не за горами.

[Vlad__]

вместо Debutante просто прописать Googlebot... Как вам идея?

Без разницы. Суть не меняется. Цель скрипта - для противодействия создания новых сессий для ботов-гостей привести их к одному знаменателю. А как этот единый "бот" будет называться не важно.

Движок на каждый такой идентификатор вынужден думать, что это отдельный пользователь.

Правильно. И создавать новую сессию, со всеми последующими зависонами.
Но вы же уже "назвали" бота, то есть движку уже по барабану sid-ы опознанных ботов. Он для них не создает новые сессии. Пусть меня поправят, если я не прав, но имхо этот код масло масляное.

[Leo Angel]

Kuskow, что всё же лучше, Ваше решение или решение, предложенное Nekstati ?

[Kuskow]

Он для них не создает новые сессии.

Да, этот блок в неправильном месте теперь очутился. Буду передумывать.

Отправлено спустя 39 секунд:
Leo Angel, тут нет лучше/хуже. Совсем разные подходы. Можно даже оба варианта делать. Они мешать друг другу не будут.

[Vlad__]

Буду передумывать.

Не усложняйте. Кода из трех строчек, что я выше привел, вполне достаточно для целей скрипта.

Да, этот блок в неправильном месте теперь очутился.

Он в правильном месте, но он не нужен.
У вас заходит бот с sid-ом в запросе, скрипт его отрезает и снова дергает config.php уже со ссылкой без "мусора", эта часть пропускается, так как ссылка уже чистая, после чего бота именуют. Согласитесь, много лишнего )

[southklad]

При использовании кода от @Nekstati столкнулся с такими проблемами:

открываю сразу несколько вкладок форума подряд, выдает ограничение по частым запросам, это плюс, но тут же нашел, что я не могу загрузить на форум подряд более 3 вложений, ошибку выдает Ошибка HTTP.

[Vlad__]

снова дергает config.php уже со ссылкой без "мусора"

Поэтому для таких 308 работает как 403 (они сами себе так решили).

Хорошо. Допустим бот не переходит, а получает почти отлуп по типу 403. Тем более зачем этот код? Бот получает 308 редирект с такой же ссылкой только без "мусора". Так можно всем ботам, иеющим в адресной строке "мусор" выдать 403 и все. Но явно же пострадают и полезные боты. Вот я и поднял вопрос, в чем суть этого кода?

Цель скрипта, повторюсь, приведение всех неопознанных ботов к единому имени. Остальное это уже фаервол )

[Kuskow]

Не усложняйте.

Буду усложнять. Вам очистка URL не нужна, наверное. А у меня ж теперь есть третья линия обороны - кэш! Так что, мне эта очистка очень даже нужна.

Кода из трех строчек, что я выше привел, вполне достаточно для целей скрипта.

Тут посмпорю один раз. Первый блок "шлагбаум" весьма эффективен.

Так можно всем ботам, иеющим в адресной строке "мусор" выдать 403 и все.

Нельзя, потому что тупые пользователи вставляют ссылки на форум вместе с sid= и hilit=. Затем тупые Google и Яндекс эти ссылки подхватывают и пытаются индексировать.

[Vlad__]

А у меня ж теперь есть третья линия обороны - кэш!

Это как?

[Kuskow]

Вот тут я писал об этом Третий эшелон защиты от ботов - кэш.

Вот что получается со всеми моими эшелонами:
200 130283
444 11007
302 3497
308 1720
403 1575
304 1155
301 841
410 525
204 240
404 110
425 103
206 26
499 3
307 3

[southklad]

ошибку выдает Ошибка HTTP.

В итоге все же сделав вот так эта проблема ушла

Код: Выделить всё

// 5. Исключение: легитимное скачивание файлов с корректным реферером пропускаем без проверки, т.к. на странице м.б. десятки картинок
	 $isDownloadFile = (strpos($_SERVER['REQUEST_URI'], '/pic/') !== false || 
                        strpos($_SERVER['REQUEST_URI'], '/image_preview') !== false || 
                        strpos($_SERVER['REQUEST_URI'], '/thumb/') !== false || 
                        strpos($_SERVER['REQUEST_URI'], '/small/') !== false || 
						strpos($_SERVER['REQUEST_URI'], 'download/file.php') !== false || 
                        strpos($_SERVER['REQUEST_URI'], '/img/') !== false);
 
    if ($isDownloadFile && !empty($_SERVER['HTTP_REFERER']) && !empty($_SERVER['SERVER_NAME']) && 
        stripos($_SERVER['HTTP_REFERER'], $_SERVER['SERVER_NAME']) !== false) {
        return; 
    }

[Kuskow]

И вот, казалось бы, можно легко отключить 403 отлупы - они малый процент дают. Но нет, это не так работает.

Во-первых, боты сами, получая много 403, перестают лезть на кактус.
Во-вторых, нанешние файерволы типа fail2ban видят множественные отлупы 403 и блокируют эти IP-адреса, не подпуская из даже к Nginx.
В-третьих, есть системы распределённых атак, которые сначала посылают разведчиков, и если они получили 200, не споткнувшись, то посылаются уже армии.

[Vlad__]

Вот тут я писал об этом

Понятно. Только кэш у вас отдает nginx, а очищает php в config.php форума. Как это связано?