Атака китайских ботов

[hd321kbps]

Сегодня заметил на нескольких форумах наплыв ботов из китая от 100-300 одновременно, которые создают нагрузку на хостинг.
Все заходят с телефона Android и iphone Os.
Адреса ботов:
54.222.*.*
54.223.*.*
52.80.*.*
52.81.*.*
52.82.*.*
52.83.*.*
220.243.*.*
139.217.*.*
139.219.*.*
У кого наблюдается такое-же отпишитесь)


---------------------------
Варианты блокировки ботов:
Re: Атака китайских ботов - от Nekstati
Re: Атака китайских ботов - от Kuskow, php
Re: Атака китайских ботов - от Kuskow, nginx

[волчара]

смысла бана подсетей больше нет

Тут я с вами категорически не соглашусь, и вот почему, блокировать каждый по отдельности айпи адрес так их накопится не сметное количество, а что следует за этим думаю и вы сами догадаетесь, лучше забанить 2 тысячи подсети чем ~200 тыс. айпи адресов, а то и больше, как в моем случае.
Сегодня доработал расширение: внедрил определение страны IP адреса и подсети.

Скрины таблицы 

1.png

2026-06-03_060626.png

22.png

2.png

Как вы видите, все IP адреса(подсети) из США и южной америки, единицы из европы, так что ну их к лешему.
И опять же, все зависит от метода блокировки, меня в полне устраивает мое расширение, не надо ни где редактировать файлы, ни на сервере, ни в самом форуме.

[MasterX]

по моему это так и остается сражением с ветряными мельницами...
Сам инет изменился.

[Perfecthus]

Захожу на сайт с Мегафона, проверяю свой IP ради интереса, хуис определяет, что я зашел из Америки. Так что все эти баны подсетей из разных стран, хрен его знает к чему могут привести...

[волчара]

Захожу на сайт с Мегафона, проверяю свой IP ради интереса, хуис определяет, что я зашел из Америки.

Я так понимаю на 2ip.ru или на myip.ru зашли??, у меня к стати тоже мегафон и определился ip российским, ради интереса проверил у жены и у дочки, хоть у них и мтс, но суть дела не меняет, ip определился российским, могу подозревать что у вас на телефоне во время проверки был включен впн или какое либо другое приложение которое подменяет ip(имхо) . А вот тут или тут список ip адресов которые использует мегафон.

[Perfecthus]

Нет никаких приложений на телефоне подменяющих IP-адрес. Проверял на whois.ru Да я и не писал о том, что IP каждый раз забугорный, но как оказалось, бывает и такое.

[Michel]

Блокировки по IP адресам это ОЧЕНЬ плохая идея. Раньше лет 10-20 назад это было актуально. Сейчас провайдеры используют NAT. Где на одном IP адресе находиться большое количество абонентов. А забанив одну подсеть вы отключаете доступ ОГРОМНЕЙШЕМУ количеству людей. Следующий нюанс заключается в том, что раньше нельзя было просто так поднять КВН сервер и радоваться жизни, сейчас большинство провайдеров не гнушаются этим (лишь бы денюшка капала). Руководствуясь по принадлежности IP адресов к определённому государству, то соответственно под блокировку попадают и РФ граждане которые забыли вырубить или не знают как вырубить КВН (А таких несколько десятков лимонов). Отсюда вывод, это не решение проблемы, а добавление новых. В итоге остаётся только один вариант, это предоставление Гостям (соответственно и ботам) контента который минимально будет грузить сервер. Предоставление статичной странички (используя расширение). Или вообще ограничить доступ к содержимому форума - оставив только форму для входа (для зарегистрированных ботов оставить доступ для индексации), проблема этого варианта - это привлечение новых пользователей и по этому этот вариант менее пригоден в отличии от первого (Предоставление статичной странички (используя расширение)).

[MasterX]

Тут я с вами категорически не соглашусь,

это ваше право, я не настаиваю ни на чем, каждый делает для себя как ему лучше

Для справки, сети класса С перекупают/арендуют пачками. Так что повторюсь - их банить - фигня все это..

Вспомнил свой весенний спор с rxu
Re: Сравнение форумных движков (какие плюсы у phpBB?)

Там как раз мне ИИ про самописные скрипты для PHPBB дал ответ:

Скрытый текст

image.png

[Kuskow]

Так уже ж обходимся без банов сетей и без банов IP-адресов. И то, и другое можно не делать - сайты живут, форумы летают. На отлупы уходит мизерная доля вычислительной мощности.

[MasterX]

главное, что бы с поискового индекса не вылетали проекты.

[Kuskow]

Это уже пройденный этап. Обсудили тут, учли нюансы. Никаких предпосылок для вылета нет.

[Perfecthus]

просто установить [Расширение] (phpBB 3.2-3.3) Cache guests & bots pages: Кэширование страниц для гостей и ботов

Я об этом расширении писал несколько страниц назад. У меня установлено еще при первой волне нашествия ботов ИИ – помогло. Боты конечно и сейчас ходят, но по крайней мере, сервер не падает, все летает.

[Kuskow]

Новый вид зловредных ботов, написанных на коленке, судя по Use-Agent. Официальные IP-адреса Google, которые явно у всех в белых списках - не удивлюсь, если и Cloudflare их запросто пропускает. Запрашивают URL, которые не может запрашивать сам Google, а именно:
- Disallow в robots.txt;
- http (не https);
- адреса, криво запарсенные из сообщений пользователей с форума (с квадратной скобкой на конце);
- страницы, которых уже нет на сайте лет 200.
- без преобразования & в &.

Код: Выделить всё

74.125.211.5 - - [31/Aug/2026:16:32:04 +0500] "GET /viewtopic.php?t=9008 HTTP/1.1" 200 19434 "-" "Google-Lens" "HIT"
74.125.211.5 - - [31/Aug/2026:16:32:04 +0500] "GET /memberlist.php?mode=viewprofile&u=643 HTTP/1.1" 410 5 "-" "Google-Lens" "MISS"
74.125.211.5 - - [31/Aug/2026:16:32:04 +0500] "GET /memberlist.php?mode=viewprofile&u=27068 HTTP/1.1" 410 5 "-" "Google-Lens" "MISS"
74.125.211.6 - - [31/Aug/2026:16:32:04 +0500] "GET /memberlist.php?mode=viewprofile&u=97 HTTP/1.1" 410 5 "-" "Google-Lens" "MISS"
74.125.211.5 - - [31/Aug/2026:16:32:04 +0500] "GET /viewtopic.php?t=10351&start=140 HTTP/1.1" 200 12721 "-" "Google-Lens" "HIT"
74.125.211.6 - - [01/Sep/2026:00:04:21 +0500] "GET /sitemap.xml HTTP/1.1" 200 308 "-" "Google-Lens" "-"
64.233.173.39 - - [01/Sep/2026:00:05:25 +0500] "GET /viewtopic.php?t=8 HTTP/1.1" 200 25475 "-" "Google-Lens" "HIT"
74.125.208.99 - - [02/Sep/2026:09:52:00 +0500] "GET /ucp.php?i=178] HTTP/1.1" 410 5 "-" "Google-Lens" "MISS"
74.125.208.98 - - [02/Sep/2026:09:52:00 +0500] "GET /ucp.php] HTTP/1.1" 410 5 "-" "Google-Lens" "MISS"
74.125.208.98 - - [02/Sep/2026:09:52:00 +0500] "GET /ucp.php?i=ucp_profile&mode=avatar] HTTP/1.1" 410 5 "-" "Google-Lens" "MISS"
74.125.208.99 - - [02/Sep/2026:12:43:22 +0500] "GET /sitemap.xml HTTP/1.1" 200 308 "-" "Google-Lens" "-"
66.249.82.67 - - [02/Sep/2026:12:52:32 +0500] "GET /app.php/thankslist/givens/467/false HTTP/1.1" 301 162 "-" "Google-Lens"
66.249.82.69 - - [02/Sep/2026:12:52:34 +0500] "GET /app.php/thankslist/givens/467/false HTTP/1.1" 410 136 "-" "Google-Lens" "-"
66.249.93.162 - - [03/Sep/2026:08:26:22 +0500] "GET /viewtopic.php?t=163&start=40 HTTP/1.1" 200 6956 "-" "Google-Lens" "MISS"
66.249.93.163 - - [03/Sep/2026:08:26:32 +0500] "GET /viewtopic.php?t=163&start=40 HTTP/1.1" 200 6956 "-" "Google-Lens" "HIT"
66.249.93.162 - - [03/Sep/2026:08:27:53 +0500] "GET /viewtopic.php?t=163&start=20 HTTP/1.1" 301 5 "-" "Google-Lens" "MISS"
66.249.93.163 - - [03/Sep/2026:08:27:53 +0500] "GET /viewtopic.php?t=163 HTTP/1.1" 200 13334 "-" "Google-Lens" "MISS"
74.125.208.97 - - [03/Sep/2026:14:15:25 +0500] "GET /memberlist.php?mode=viewprofile&u=23568 HTTP/1.1" 410 5 "-" "Google-Lens" "MISS"

[волчара]

Показал ваши данные ИИ Cursor, вот что выдал:

Это не атака в классическом смысле. По логам это краулер Google Lens с IP Google.

Это не взлом и не DDoS. Это Google Lens (сервис Google: «поиск по картинке / распознавание») — ходит с IP Google (74.125.*, 66.249.*, 64.233.*) и UA Google-Lens.

Что видно по строкам
====================================================================================================
Что в логе==============================Что значит
Нормальные viewtopic.php?t=... → 200>>>Обычный обход страниц
memberlist.php?... → 410>>>Профиль удалён/закрыт — нормально
sitemap.xml → 200>>>Смотрит карту сайта
ucp.php], ucp.php?i=178]>>>Кривые URL (лишняя ]), бот тащит мусор из HTML/OCR — не эксплойт
t=163&start=20>>>HTML-сущность & вместо & — тоже мусор из разметки
HIT / MISS>>>Ответ отдаёт кэш/CDN, не обязательно ваш PHP(это он про мой)
====================================================================================================
Темп запросов редкий (раз в часы/сутки), пачками по несколько URL — типичный краулер, не атака.
Нужно ли блокировать
Обычно нет: это инфраструктура Google, часть трафика связана с тем, что кто-то открыл ваш контент через Lens / Google подтягивает превью.

Имеет смысл смотреть только если:

1. тысячи запросов в минуту с одного IP,
2. POST/логин/админка,
3. явные сканеры уязвимостей.

Здесь этого нет.

Итог: чужой access-лог показывает Google Lens, не атаку и не ваш файл блокировок. Странные URL с ] и & — битые ссылки, которые бот подхватил; ответы 410/301 как раз показывают, что сервер их корректно отсекает.

От себя: Все IP адреса папиндосовкие!

[Kuskow]

Я тоже показывал это двум ИИ, и потом спорил с ними.

Это Google Lens (сервис Google: «поиск по картинке / распознавание»)

Ну нет же. Не может быть такой короткий UA у официального Google.

sitemap.xml → 200>>>Смотрит карту сайта

Для чего она нужна Гугл-Объективу? Опять ерунда.

[волчара]

Для чего она нужна Гугл-Объективу? Опять ерунда.

Google Lens сама по себе «карту сайта не индексирует» так, как это делает Googlebot для поиска. Запрос sitemap.xml у Lens — побочный эффект того, как Google тянет страницу, а не отдельная SEO-задача «проиндексировать сайт через Объектив».

Зачем вообще sitemap.xml
Для обычного Googlebot: список важных URL, приоритеты, обновления — чтобы лучше обходить сайт в поиске.

Зачем это видит Google-Lens
В ваших логах Lens ходит не только на топики, но и на sitemap.xml. Обычно это значит одно из:

Пользователь / AI Mode «открыл» сайт через Lens
Google с серверов фетчит страницу (и иногда связанные URL). В HTML или в robots.txt у вас указано:

Sitemap: https://site.ru/sitemap.xml
Фетчер подхватывает ссылку и просто запрашивает карту — как любой робот, который «смотрит, что ещё есть».

Добор контекста
Lens/фетчер Google иногда тянет соседние ресурсы (sitemap, картинки, профили), чтобы понять структуру страницы или найти связанные URL. Это не «атака» и не обязательная индексация форума.

Не то же самое, что индексация поиска
Раз Lens открыл sitemap.xml, это не значит, что Объектив строит индекс форума. Для поиска по-прежнему отвечает Googlebot. Lens чаще связан с: «человек навёл камеру / открыл превью / AI Mode подтянул URL».

По вашим логам
GET /sitemap.xml ... "Google-Lens" 200
Нормально: маленький ответ (у вас ~308 байт), раз в сутки/реже. Похоже на «заглянул по ссылке из robots/страницы», а не на целевой краул всего форума.

Итог: карта сайта для поиска — для Googlebot. Для Google Lens sitemap.xml нужен скорее как случайный/вспомогательный URL, на который фетчер натыкается при разборе сайта, а не как обязательный инструмент «Объектива». Блокировать из‑за этого не обязательно; если не хотите отдавать карту этому UA — можно закрыть в robots.txt только для него, но на поиск Googlebot это не улучшит и почти ничего не даст.

Ну нет же. Не может быть такой короткий UA у официального Google.

Официальные UA Google — из документации Google.
Главное: в строке обычно есть маркер бота + часто ссылка на google.com/bot.html.

Основные (индексация поиска)
Бот=================================Как выглядит в логах (типично)
Googlebot (desktop)>>>Mozilla/5.0 ... (compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/... Safari/...
Googlebot (smartphone)>>>Mozilla/5.0 (Linux; Android ... Nexus 5X ...) ... (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Googlebot-Image>>>Googlebot-Image/1.0
Googlebot-Video>>>Googlebot-Video/1.0
GoogleOther>>>содержит GoogleOther
Google-InspectionTool>>>содержит Google-InspectionTool (проверка URL в Search Console)
Google-Extended>>>для Gemini / обучающих продуктов (если включено)
Старый короткий вариант тоже бывает:
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Другие известные Google

• AdsBot-Google, AdsBot-Google-Mobile
• Mediapartners-Google (AdSense)
• APIs-Google
• FeedFetcher-Google
• Storebot-Google
• GoogleProducer
• Google-Read-Aloud
• Google-Site-Verification
• Google Favicon (в конце UA)

Про ваш Google-Lens
В логах у вас просто:

Google-Lens
Это не классический Googlebot. В публичном списке common crawlers его обычно нет (или это user-triggered fetcher / недокументированный фетчер для Lens / AI Mode).
Признак «это Google» у таких запросов — IP из сетей Google (74.125.*, 66.249.* и т.п.), а не полный UA как у Googlebot.

Как отличить «официальный» от подделки
UA легко подделать. Надёжная проверка:

reverse DNS → *.googlebot.com / *.google.com
forward DNS того же имени → тот же IP
(или сверка IP со списками Google)
Кратко: официальный поисковый краулер почти всегда содержит Googlebot (или другой явный токен из docs) и часто +http://www.google.com/bot.html. Строка только Google-Lens — отдельный фетчер Google, не «главный» Googlebot для индекса.