Неизвестные роботы

[skazal]

Добрый день!

Как идентифицировать поисковых роботов.
Стоит версия 3.0.11, все роботы настроены по-умолчанию

Статистика на сентябрь.
Unknown robot (identified by 'robot') - 15,962
Googlebot - 2,784
Yandex bot - 2,563
Unknown robot (identified by 'bot*') - 539
Unknown robot (identified by empty user agent string) - 405
Mail.ru bot 340 13.23 МБ 30 Сентябрь 2013 - 23:24
Unknown robot (identified by '*bot') 208 2.01 МБ 30 Сентябрь 2013 - 23:19
MSNBot-media - 160
BaiDuSpider - 68
Sogou Spider - 65

[Pazh]

skazal ты читать умеешь? написано же Unknown robot ([b]identified by 'robot'[/b]) определено по наличию в user-agent слова "robot"
Аналогично Unknown robot ([b]identified by 'bot*'[/b]) определено по наличию в user-agent подстроки "bot"

[skazal]

Дык, понятно!

Вопрос об их идентификации.... и в догонку, почему их очень много?

[Pazh]

skazal статистика из awstats? В нем просто не прописаны все возможные роботы - не обращай на это внимание. Для статистики ботов в админке есть скрипт от Пчелкина Bots Install Script + 387 поисковых ботов от Пчелкина
Для awstats есть патч http://sourceforge.net/p/awstats/discus ... /f84489ea/

[skazal]

Спасибо!