Непонятки с ботами

[Лейтенант]

Подскажите, пожалуйста, что это за зверь?

На форум заглянул этот бот Ahrefsbot
Сразу прибавилось несколько десятков гостей онлайн. Почти все отсюда -
http://ahrefs.com/robot/

По сыылке же описано, что это за штука.
Но не понятно насколько она вредна или нет?

И там же советуют, как закрыть доступ этому боту.
В /robots.txt поместить:

Код: Выделить всё

 :
 user-agent: AhrefsBot
 disallow: / 

Стоит ли с ним бороться? И именно тем способом, который указан на сайте бота?

[Пчелкин]

Не стоит...боты форуму не страшны...после обнаружения вашего форума он скосит потом свои посещения...а может и плюнуть на форум, если станет не интересен...и если индексировать на нем нечего для него..

[romaamor]

А кто объяснит почему на мой сайт боты заходят тупо после 24.00 ? Днем кроме гугл адсенс не кто не появляется.В настройках поисковиков вроде все нормально.Файл Sitemap FX вроде тоже нормальный.....

[Пчелкин]

после 24.00

Каких 24-х? Ваших, форумских? серверских?

[evrus01]

А кто объяснит почему на мой сайт боты заходят тупо после 24.00

Они не успевают — очень много сайтов в интернете...

[romaamor]

после 24.00

Каких 24-х? Ваших, форумских? серверских?

Форумских.

[Пчелкин]

Спросите хостера - что он там ограничил в гостевых настройках по поводу нагрузок...раз тока после 24 наблюдаете ботов...Где-то подобное уже встречалось...

[папа]

Скажите,возможно ли сделать запрет всем ботам кроме яндекса и гугла?

[Пчелкин]

Запросто...

[папа]

а как?

[Пчелкин]

robots.txt