Атака китайских ботов

[hd321kbps]

Сегодня заметил на нескольких форумах наплыв ботов из китая от 100-300 одновременно, которые создают нагрузку на хостинг.
Все заходят с телефона Android и iphone Os.
Адреса ботов:
54.222.*.*
54.223.*.*
52.80.*.*
52.81.*.*
52.82.*.*
52.83.*.*
220.243.*.*
139.217.*.*
139.219.*.*
У кого наблюдается такое-же отпишитесь)


---------------------------
Варианты блокировки ботов:
Re: Атака китайских ботов - от Nekstati
Re: Атака китайских ботов - от Kuskow, php
Re: Атака китайских ботов - от Kuskow, nginx

[Kuskow]

Зачем это видит Google-Lens

Это всё запросы не от Google-Lens. Исходим из этого. Официальный Google-Lens не станет представляться в UA так коротко.

[волчара]

Алиса ответила: Типичный официальный клиент Google Lens не делает такие «чистые» HTTP‑запросы без дополнительных заголовков — скорее всего, это либо упрощённое обозначение в логе, либо бот, маскирующийся под него.

Отправлено спустя 9 минут 54 секунды:

а вот ответ гугл ии: 

Это логи официального поискового робота Google, который индексирует ваш сайт (вероятно, форум на движке phpBB). Судя по User-Agent "Google-Lens", это специализированный краулер Google, собирающий данные для визуального поиска или связанных сервисов.IP-адреса в логах (74.125.*.*, 64.233.*.*, 66.249.*.*) действительно принадлежат компании Google.
Что происходит на вашем сайте?
Сканирование контента: Робот успешно обходит страницы тем (viewtopic.php) и файл карты сайта (sitemap.xml). Они возвращают код 200 OK (страница успешно загружена) или 301 (перенаправление).
Защита от сканирования «мусорных» страниц: Запросы к профилям пользователей (memberlist.php) и личным кабинетам (ucp.php) возвращают код 410 Gone (ресурс удален/недоступен).
Это отличный знак — значит, у вас правильно настроена блокировка индексации технических и закрытых страниц форума.Кэширование (HIT / MISS): Метки в конце строк показывают работу вашего сервера или CDN (например, Cloudflare):HIT — страница отдана из быстрого кэша, нагрузка на сервер минимальна.MISS — страница генерировалась сервером «на лету».Данные логи абсолютно безопасны и показывают здоровую активность поисковой системы. Поводов для беспокойства нет.Если вы хотите оптимизировать нагрузку от этого бота или изменить правила доступа к страницам, я могу подсказать, как правильно настроить файл robots.txt для вашего форума.

Я задал вопрос: Типичный официальный клиент Google Lens не делает такие «чистые» HTTP‑запросы без дополнительных заголовков.
Ответ:
Вы правы, ваша бдительность абсолютно оправдана. Официальные мобильные приложения и стандартные браузерные функции Google Lens действительно используют куда более сложные User-Agent (обычно включающие Chrome, Android/iOS и стандартные заголовки вроде Accept-Language, Sec-Ch-Ua и т.д.).Однако в данном конкретном случае перед нами настоящий поисковый робот (краулер) Google, а не пользовательское приложение.Почему запросы выглядят «голыми»?Это бэкенд-бот, а не клиент: Строка "Google-Lens" в данном контексте — это кастомный идентификатор (User-Agent) одного из внутренних роботов индексации Google. Когда Google парсит изображения или анализирует текстовый контекст для базы Google Объектива (Lens), его серверные скрипты шлют легковесные автоматические HTTP-запросы без лишних заголовков, чтобы экономить трафик и ресурсы.Верификация по IP: Все IP-адреса из вашего лога (74.125.211.5, 66.249.93.162 и др.) жестко закреплены за Google LLC. Подделать IP-адрес в TCP-соединении так, чтобы получить ответ от вашего сервера (двустороннее рукопожатие), злоумышленник не может.Как убедиться на 100%, что это не фейк?Вы можете в любой момент проверить эти IP-адреса через консоль вашего сервера (Linux). Google официально рекомендует два способа проверки:Утилита host (Обратный DNS-запрос):Выполните команду в терминале:bashhost 74.125.211.5
Используйте код с осторожностью.Ожидаемый ответ: имя хоста должно заканчиваться на *.googlebot.com или *.google.com.Проверка по диапазонам IP:Google публикует официальные JSON-списки своих роботов. Вы можете сверить IP с их актуальным перечнем.Резюме: Это не хакерский спуфинг (IP подделать нельзя) и не реальный пользователь с телефоном. Это служебный краулер Google, который собирает текстовое окружение вашего форума для улучшения работы своих алгоритмов распознавания.Если эти запросы создают слишком высокую нагрузку на ваш phpBB-форум, мы можем прописать для них ограничения.

[Siava]

Kuskow, у вас сайт выпал от веб-архива после того, как начали бороться с ботами)

[Kuskow]

Siava, что за веб-архив? А он нужен? Может, мне туда и не надо? Мне кажется, я буду даже рад, если он оттуда выпал.

[Siava]

что за веб-архив?

https://web.archive.org/ - довольно полезный сервис, если какой-либо сайт исчез, то можно найти информацию по нему за предыдущие годы.
Лучше его как-то учитывать всё же в блокировках. Мой тоже выпал. Anubis я пока никак не могу приспособить, как не прописываю исключения он всё равно блокирует бота.

[Kuskow]

У меня понятно, почему выбыл - я закрыл HTTP/1.x.
Но я даже рад. Не из-за нагрузки, которую он явно не прибавил бы, а потому что пользователи иногда пишут всяку бяку, и вообще не хочется, чтобы она где-то сохранилась и потом проявилась. Особенно, за самизнаетекакой год.

[Michel]

https://web.archive.org/

Полезная штука. В 2014 году закрыл свой первый форум. Сейчас при создании нового, через вебархив зашёл на свой старый форум для копирования структуры форума, разделы - подразделы.
За одно глянул свой нынешний домен. Был в шоке: в 2014 году на нём располагалась носочно-чулочная фабрика