Атака китайских ботов

[hd321kbps]

Сегодня заметил на нескольких форумах наплыв ботов из китая от 100-300 одновременно, которые создают нагрузку на хостинг.
Все заходят с телефона Android и iphone Os.
Адреса ботов:
54.222.*.*
54.223.*.*
52.80.*.*
52.81.*.*
52.82.*.*
52.83.*.*
220.243.*.*
139.217.*.*
139.219.*.*
У кого наблюдается такое-же отпишитесь)


---------------------------
Варианты блокировки ботов:
Re: Атака китайских ботов - от Nekstati
Re: Атака китайских ботов - от Kuskow, php
Re: Атака китайских ботов - от Kuskow, nginx

[Siava]

Leo Angel, не помогает, потому что у них вероятно другой user-agent. Смотрите access-логи.
При нескольких условиях в nginx лучше использовать не if, а map.

[Leo Angel]

romaamor, у меня nginx.
Siava, спасибо. Нужно почитать-разобраться.
Пока сделал так.
Занёс в чёрный список

Код: Выделить всё

114.119.*.*

Нагрузка сразу упала.
Сначала до практически нуля, сейчас немного увеличились - до процентов 20 примерно в среднем.
Но всё равно, некоторые пролазят почему-то.
Может такую конструкцию (со звёздочками) форум не понимает?

И заметил, что боты долбят в основном сейчас по Личным разделам.

ip.jpg

Буду разбираться как им совсем вход закрыть.

Отправлено спустя 8 минут 30 секунд:

Leo Angel, не помогает, потому что у них вероятно другой user-agent...

Вот про их user-agent

ip1.jpg

Вроде как, во фронте уже закрыт.
А как пролазят?
Или я чего-то пропустил?

[Джим]

Я в nginx Добавил

Код: Выделить всё

	if ($http_user_agent ~*  AspiegelBot) {
		 return 403;
	 }

Сразу нагрузка упала.

[Пчелкин]

Вроде как, во фронте уже закрыт.

А ты слышал о скриптах выдающих рандомные юзерагенты (обманушки) если надо? Входит под одним, смотрит под другим, пишет под третьим.

[Leo Angel]

После добавления записи, как написал Джим, загрзка CPU снизилась до 1-2% и все боты покинули форум.

[Nekstati]

Джим, Leo Angel и все, кто блокирует ботов AspiegelBot, учитывайте, что ваши сайты теперь не попадут в индекс поисковика Хуавей. Блокировать следует лишь если сайт реально ложится.

[Джим]

ваши сайты теперь не попадут в индекс поисковика Хуавей

Потому они и не догонят Гугл, который не насилует так сайты. Как я понимаю, Хуавей лишь в начале пути создания своей ОС и поисковика, пока они вряд ли имеют для нас значение.

[romaamor]

Nekstati, и как с ним, этим ботом бороться ? У меня ложит форум конкретно. Пока спасаюсь блокировкой через .htaccess ( посещаемость упала ), или включаю в cloudflare режим - сайт под атакой.

[Татьяна5]

Как и со всеми остальными полезными ботами. Добавить в админке, при необходимости прописать ограничения в robots.txt

[romaamor]

Добавить в админке, при необходимости прописать ограничения в robots.txt

Татьяна5, а что даст добавление в админку ? И как правильно прописать ограничения в robots.txt для AspiegelBot ?

[Татьяна5]

Без добавления в админке создаётся куча разных гостевых сессий на одного бота

[romaamor]

Татьяна5, а теперь наверное будите смеяться, не когда эти функции не крутил. Что прописывать в полях -
Соответствие агенту:
Строка, полностью или частично совпадающая с агентом (User-Agent) бота.
IP-адрес бота:
Разрешены частичные соответствия. Отделяйте адреса запятыми.

IP-адрес бота там их до хрена и много.

[Nekstati]

romaamor, Соответствие агенту - AspiegelBot, IP - не заполнять

[Perfecthus]

У меня частенько лазят от 100 до 300, форум не ложат и даже тормозов нет.

[Vlad__]

А вот это кто? www.trendiction.de/bot
Тоже много последнее время. Еще один поисковик?