Поисковые спам-боты и сверх-облегченный стиль

[forfreedom]

Здравствуйте!
У меня есть несколько вопросов, надеюсь специалисты найдут время, что бы ответить на них:
1. Сегодня зайдя на свой Форум обнаружил 18 гостей, когда решил проверить кто это такие, обнаружил такую подпись: bingbot. По факту все 18 гостей были с этой подписью, причем их количество постепенно увеличивалось. Я сразу подумал - спам атака поисковыми ботами? Честно-говоря я о таком ни разу не слышал, но как бы там ни было, результат на лицо, 18 ботов и их количество пусть и не быстро, но растет. Я зашел в админ. раздел, попытался найти что-нибудь, куда можно было бы вписать слово bingbot, с целью фильтрации, или на крайний случай - бана. Но к сожалению не нашел. Тогда я пошел в раздел ботов, и просто добавил туда еще одного, назвал Bing [Bot], а в параметрах указал ключ - bingbot. После этого их количество постепенно стало уменьшаться, пока не остался всего один.

Так вот, вопрос, атака спам-ботами которые косят под поисковые - возможна? Если да, как это работает? Может ли тот, кто устраивает атаки такого характера, просматривать Форум с правами бота? В теории раз я назначил его ботом, то теперь он сможет просматривать Форум с правами бота, это так?

И еще один вопрос, с учетом того что я создал бота, количество гостей стало уменьшаться на глазах, получается что сам Форум стал избавляться от клонов, или как? Если там 18 ботов с абсолютно разными IP, но одинаковыми параметрами (bingbot), то получается все они не могут сидеть под одним? И связано ли уменьшение их количества с тем, что я создал бота с конкретными параметрами?

2. Вопросы по стилям.
2. 1. Когда создавал бота, я обратил внимание на параметр выбора стиля для бота, получается что все эти 18 гостей которые сидели, одновременно нагружали Форум как 18 чистых пользователей? Получается что те же боты, находясь на Форуме, они также подгружают Форум как и любой обычный пользователь? Если оно так, то существует ли какой-нибудь стиль предназначенный специально для ботов?
2. 2. Я решил сделать конкретно страницу для тех, кто будет заходить с телефона. Имеется ли какой-нибудь стиль, что-то вроде - супер облегченной версии Форума?

[Пчелкин]

Да не было там 18 одинаковых ботов..это один бот долбался в какую-то страницу от него закрытую...
А инфа о посещениях настривается вроде на 30 минут удержания..вот он к вам 18 раз и долбанулся.
И даже может с разных типа ИПИ...я написал типа..так как хрен их знает как вообще они устроены - боты..
А

указал ключ - bingbot.

на всяк случай оставьте поле чистым

возможна?

нет

с правами бота?

А все нормально настроено у них в правах?

стиль предназначенный специально для ботов?

поставьте какой нибудь легонький и назначьте его группе боты, если интересны нагрузки на форум от 18 посещений...

супер облегченной версии Форума

вот мобильную свою им и назначьте
Хотя ботам это до фонаря...
Лучше нормальный и правильный роботикс..

[rxu]

forfreedom
Bing Bot - это бот MSN. Бот может заходить под абсолютно разными адресами.
Когда вы его зарегистрировали, конференция стала распознавать его вне зависимости от адреса, и выдавать ему одну и ту же сессию.

[Пчелкин]

это бот MSN

Не знал даже что это такое..естественно полез почитать и поразился...
Интересно, на каком железе поисковка держит свою группу ботов в количестве 2600 штук. Представляю это сервак..эх...везет же народу...такие станции на подхвате.

[rxu]

везет же народу

Это про Майкрософт сказано?

[Пчелкин]

Ну а про кого ж..
Подарили б пару блоков на своем серваке..яб...яб...ой, даже не знаю чтоб яб...
А...знаю...файлообменник бы бесплатный для народа бы открыл...А они..ботов расположили своих...эх. Не в Майкрософе я ..не в их команде...жаль...

[MIT]

Так вот, вопрос, атака спам-ботами которые косят под поисковые - возможна?

Да. Но это глупо.

Может ли тот, кто устраивает атаки такого характера, просматривать Форум с правами бота?

Это может кто угодно.

В теории раз я назначил его ботом, то теперь он сможет просматривать Форум с правами бота, это так?

Именно.

Получается что те же боты, находясь на Форуме, они также подгружают Форум как и любой обычный пользователь?

Угу.

Имеется ли какой-нибудь стиль, что-то вроде - супер облегченной версии Форума?

По-о-о-оиск. Он у нас справа, в верху страницы.

И еще один вопрос, с учетом того что я создал бота, количество гостей стало уменьшаться на глазах, получается что сам Форум стал избавляться от клонов, или как?

Домашнее задание: попробуй под одним пользователем одновременно (с минимальным интервалом) зайти на свой форум с нескольких компьютеров и/или браузеров. А затем открой страницу «Кто сейчас на конференции» и посчитай количество "себя".

[forfreedom]

> По-о-о-оиск. Он у нас справа, в верху страницы.
Очевидно что с помощью поиска я не нашел ответа.

> Домашнее задание: ...
Ответ не относится к вопросу.

> Это может кто угодно.
В таком случае прошу пояснения, если даже я могу, то хотел бы знать как, да бы как минимум проверять права ботов.

> Да. Но это глупо.
Ни сколько не глупо. Поясню почему:
1. Можно читать Форум с правами бота (если исходить из вашего мнения о реальной возможности имитировать бота)
2. Можно нагружать Форум дополнительными гостями, а значит нагружать сервер с базами MySQL.
С учетом того, что большинство сайтов в сети располагаются за счет ресурсов хостинг-провайдеров, а там ой как ограничивают пользование сайтом по нагрузке сервера, то в теории таких ботов заслать какое-то конкретное количество и хостер автоматически обрубит сайт. Такое уже было и не раз. А значит это становится эффективным средством вывода из строя практически любого Форума расположенного на хостинге.

Пчелкин, спасибо за помощь.
rxu, как всегда спасибо за помощь

P.S.: Странно то, как только я создал бота, он вообще не выходил с Форума, ни разу с того момента.

[MIT]

Очевидно что с помощью поиска я не нашел ответа.

Очевидно, что ты им не сильно-то и пользовался. Что бы найти стиль, предназначенный для мобильников, можно, например, поискать словосочетание «мобильный стиль». Ты будешь поражён тем, что необходимая тебе тема найдётся на первой странице результатов поиска.

Ответ не относится к вопросу.

Относится на все двести процентов. Бот (которого ты создал в админке) — точно такой же пользователь, как и любой другой зарегистрированный на форуме. Под одной учёткой на форум может зайти несколько миллионов человек, но в списке «Кто сейчас на конференции» пользователь отображен будет только один раз.

В таком случае прошу пояснения, если даже я могу, то хотел бы знать как, да бы как минимум проверять права ботов.

Измени User-agent своего браузера. Для Фаерфокса есть даже такой плагин (User Agent Switcher называется), в нём уже есть настройки ботов Гугла.

Ни сколько не глупо.

Это глупо ввиду того, что бессмысленно, т.к. ДДоС от имени бота ничем не отличается от ДДоСа от имени гостя. Ну, разве что, если ты поисковым ботам разрешишь пользоваться поиском (в отличии от гостей) на форуме или иными высоко нагружающими сервер скриптами... Но тут уж сам виноват.

Странно то, как только я создал бота, он вообще не выходил с Форума, ни разу с того момента.

Обиделся, что ты его подозреваешь в деструктивно направленных действиях. Боты пасуться на сайтах не каждый день, а с некоторой периодичностью.

Добавлено спустя 2 минуты 41 секунду:

роботикс

Он «роботс», вообще-то.