Атака китайских ботов

[Perfecthus]

Лучше скажите вот это кто такие - BITERIKA?
Лазят стадами, где только можно.

Код: Выделить всё

Biterika Group LLC
address: 124489, Russia, Moscow, Zelenograd, korp. 1822, 1-III-3

[Пчелкин]

Лучше скажите вот это кто такие - BITERIKA?

бот прокси

[romaamor]

У меня частенько лазят от 100 до 300, форум не ложат и даже тормозов нет.

Наверно хороший хостинг. Выдерживает нагрузку. У меня Процессор 3 ядра Intel Xeon ОЗУ 6144 Mb ,SSD-диск 300 000 Mb. Но думаю вообще перейти на самый дешёвый за 7 долларов. Не окупаются сайты даже с адсенса.
Нечем оплачивать.

[Perfecthus]

бот прокси

Я не об этом спрашивал.
Я к тому, что пусть лазят или закрыть им доступ. Мне от их хождений по-форуму, никакой пользы нет...

Отправлено спустя 1 минуту 19 секунд:

Наверно хороший хостинг.

Выделенный сервак на reg.ru

[max2012]

Пару дней, тоже заметил по 30-50 китайских ботов. Почитал все последние ваши сообщения, что делать не понятно...
Откуда и почему пришли они?
За 10лет форума, не было их, поэтому тоже не в теме, что делать.

[Vlad__]

Откуда и почему пришли они?

Вы тему читали? Китайцы запускают новый поисковик, отсюда и боты.

что делать.

Если сервак не вешают, то забить! Я их вообще как ботов прописал, чтобы статистику гостей не нарушали.

[max2012]

новый поисковик

и что они теперь вечно на форуме будут? Или пока все страницы не просканируют?
А если это поисковик, значит его можно запретить? У меня нет друзей там(

[Perfecthus]

Я добавил, как бота и теперь они не лазят толпой, а каждый со своей сессией, всё спокойно. Хотя и так не грузили сервер.

[Leo Angel]

Вопрос.
Если прописать бота AspiegelBot, то нужно ли делать ещё какие-то телодвижения? Например, переименовывать кукисы или что ещё?
Или просто добавить бота и всё?

Отправлено спустя 2 минуты 21 секунду:
И так ли нужно индексирование у китайского поисковика, если у меня форум русскоязычный и не планируется даже англ. версия, не говоря уже про китайскую. Не уверен, что кто-то из Поднебесной будет что-то искать на моём форуме.

[max2012]

И так ли нужно индексирование у китайского поисковика

я тоже об этом и спрашивал, не проще ли отключить этот китайский поисковик?
но я не знаю как...

[Татьяна5]

Или просто добавить бота и всё?

Да

[Leo Angel]

ОК.
Убрал из фронта return 403 для AspiegelBot.
Внёс AspiegelBot в список поисковых ботов.
Нагрузка не изменилась, но и в списке пишется, что этот бот никогда не обходил форум.
Мне думалось, что как только отменю return 403, так бот тут же накинется на форум, как это было ранее - сидели "пачками" и "вешали" форум. Но нет.
Нужно просто подождать или я что-то не так сделал?
-------------------------
И ещё вопросы.
1. У меня в списке ботов есть порядка двух десятков ботов, которые (как написано) никогда форум не обходили.
Есть ли смысл их держать в списке? Может, их удалить?
2. Заметил, что у некоторых ботов (именно у тех, которые никогда меня не посещали) user-agent написан со слэшем в конце.
Например, Scooter/ или Yahoo-MMCrawler/
Правильно ли это? Или они потому и не посещали, что записаны неправильно?
3. Что даёт форуму наличие большого количества поисковых ботов в списке?
4. Где на форуме можно почитать про поисковых ботов? Поиском не нашёл ничего нужного.

Заранее спасибо за "разжёвывание"!

[Пчелкин]

https://ru.wikipedia.org/wiki/%D0%9F%D0 ... 0%BE%D1%82
https://zen.yandex.ru/media/id/5c18cca8 ... ource=serp

[Nekstati]

Leo Angel,
0. Они бывают набегами.
1. Удалите, сэкономите целый килобайт на диске.
2. Если так написано, значит, у них такой юзерагент.
3. Боты скопились за много лет, многие уже мертвы. При желании можно удалить всех, оставить Гугл и Яндекс. Впрочем, и их можно удалить.
4. Форуму список ботов нужен затем, чтобы идентифицировать бота. Идентифицировать нужно, чтобы боты не ломились индексировать лишние страницы, например страницу регистрации или поиска, не забивая тем самым свои индексы всякой дрянью и не создавая лишней нагрузки на форум. Делается это путём выдачи боту страниц, очищенных от лишних ссылок, и создания единой сессии на группу ботов, когда они заходят группой. Всё это опционально, на некоторых других форумных движках нет идентификации ботов, боты там видят форум так же, как обычные гости.

[Leo Angel]

Nekstati, спасибо!