Bot Indexing Mod 1.3.0

[boriss]

Добрый день! У меня установлен такой вот мод:

## MOD Title: Bot Indexing Mod 1.3.0
## MOD Author: chris3471 <webmaster@searchmebaby.com> (Chris Russell) http://www.searchmebaby.com
## MOD Author: addit <N/A> (N/A)N/A
## MOD Description: Show search engine spiders by name instead of as guest in the admin cp in who's online.
## Show bots in who's online on forum index and on viewforum pages.
## Bots can index your forums as SIDs are removed.
## To clarify, this mod allows your site to be indexed by removing SIDs,
## however it does not by default optimise your site to be indexed.
## It does however log bot visits and allow you to create custom made styles for certain bots.
##
## MOD Version: 1.3.0

Он фиксирует нахождения поисковика на сайте. В нём заданы факторы, по которым он может опеделить бота, но также можно добавить боты собственноручно. Но бывает, что мод находит роботов, которые неполностью соответствуют заданным в моде критериям бота. Мод создает список и даёт возможность самостоятельно что-то добавить. Но как распознать, где бот поисковика, а где простой юзер? Последнее время у меня этот список стал резко расти, так что хотелось бы внести ясность. Вот сам список, для наглядности:


Имя Bot-а IP Bot-a Bot агент Настройки
Googlebot 65.160.238.180 Mozilla/4.0 (compatible;) Игнорировать Добавить
Googlebot 62.65.225.78 Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322) Игнорировать Добавить
Googlebot 62.65.233.121 Opera/7.54 (Windows NT 5.1; U) [ru] Игнорировать Добавить
Googlebot 62.65.219.168 Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; SIMBAR Enabled) Игнорировать Добавить
Googlebot 62.65.209.117 Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; Hotbar 4.6.1; .NET CLR 1.1.4322) Игнорировать Добавить
Googlebot 62.65.216.246 Mozilla/5.0 (Windows; U; Windows NT 5.1; ru-RU; rv:1.7.6) Gecko/20050226 Firefox/1.0.1 Игнорировать Добавить
Googlebot 69.64.78.247 Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.2; .NET CLR 1.1.4322; .NET CLR 2.0.50727) Игнорировать Добавить
Googlebot 64.208.172.174 ia_archiver Игнорировать Добавить
Googlebot 62.65.216.67 Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; MRA 4.6 (build 01425); .NET CLR 1.1.4322) Игнорировать Добавить
Googlebot 62.236.216.130 Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322; .NET CLR 2.0.50727) Игнорировать Добавить
Googlebot 69.31.86.134 Mozilla/4.0 (compatible; MSIE 6.0; MSIE 5.5; Windows NT 5.0) Opera 7.02 Bork-edition [en] Игнорировать Добавить
Googlebot 66.36.240.135 Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1) Игнорировать Добавить
Googlebot 69.31.86.134 Mozilla/5.0 (Windows; U; Windows NT 5.2; en-US; rv:1.7.5) Gecko/20041107 Firefox/1.0 Игнорировать Добавить
Googlebot 64.28.179.130 Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.5) Gecko/20031007 Sylera/1.2.7 Игнорировать Добавить
Googlebot 66.139.76.245 Игнорировать Добавить
Googlebot 62.65.225.42 Mozilla/4.0 (compatible; MSIE 5.0; Windows 98) Игнорировать Добавить
Googlebot 69.31.86.134 Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.0.3705; .NET CLR 1.1.4322; .NET CLR 2.0.40607) Игнорировать Добавить
Googlebot 64.28.179.130 Mozilla/4.0 (compatible; MSIE 5.5; Windows 98) Игнорировать Добавить
Googlebot 62.33.241.133 Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; Maxthon; .NET CLR 2.0.50727) Игнорировать Добавить
Googlebot 62.109.161.19 Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; ru) Opera 8.50 Игнорировать Добавить
Googlebot 62.51.154.109 Java/1.4.1_04 Игнорировать Добавить
Googlebot 66.36.243.202 User-Agent: Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1) Игнорировать Добавить
Googlebot 69.138.78.159 Mozilla/4.0 (compatible; MSIE 5.5; Windows 95; BCD2000) Игнорировать Добавить
Googlebot 62.65.232.8 Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.0.3705) Игнорировать Добавить
Googlebot 62.65.240.56 Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; InfoPath.1) Игнорировать Добавить
Googlebot 62.20.17.108 Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1) Gecko/20061010 Firefox/2.0 Игнорировать Добавить
Googlebot 62.65.232.232 Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1) Игнорировать Добавить
Googlebot 62.65.217.119 Opera/9.02 (Windows NT 5.1; U; ru) Игнорировать Добавить
Googlebot 62.20.17.108 Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1) Игнорировать Добавить
Googlebot 217.169.46.98 Mozilla/4.0 (compatible; MSIE 6.0; Bluecoat DRTR) Игнорировать Добавить
Alta Vista 212.7.5.250 Mozilla/5.0 (Windows; U; Windows NT 5.2; en-US; rv:1.8.1) Gecko/20061010 Firefox/2.0 Игнорировать Добавить
Alta Vista 212.47.223.5 Dolphin/1.3 (+http://search.delfi.lt/?c=crawler) Игнорировать Добавить
Alta Vista 213.219.64.130 Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322) Игнорировать Добавить
Alta Vista 213.35.209.54 Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.0.6) Gecko/20060728 Firefox/1.5.0.6 Игнорировать Добавить
Alta Vista 213.180.20.1 Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SIMBAR Enabled; SIMBAR={45D8CCA6-0186-407f-8427-D802FE7D0B7D}; .NET CLR 1.1.4322) Игнорировать Добавить
Alta Vista 217.159.225.20 Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; FunWebProducts; SIMBAR Enabled; SV1) Игнорировать Добавить
Alta Vista 212.7.19.110 Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; SIMBAR Enabled) Игнорировать Добавить
Alta Vista 217.159.130.26 Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; MRA 4.6 (build 01425); .NET CLR 1.1.4322; .NET CLR 2.0.50727) Игнорировать Добавить
Alta Vista 213.219.73.205 Mozilla/5.0 (Windows; U; Windows NT 5.1; ru; rv:1.8.0.8) Gecko/20061025 Firefox/1.5.0.8 Игнорировать Добавить
Alta Vista 213.35.134.114 Mozilla/4.0 (compatible; MSIE 6.0; Windows 98; MRA 4.2 (build 01102)) Игнорировать Добавить
Alta Vista 213.35.162.236 Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; FunWebProducts) Игнорировать Добавить
Alta Vista 212.7.23.16 Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; SIMBAR Enabled; SIMBAR=0; .NET CLR 1.1.4322) Игнорировать Добавить
Alta Vista 213.219.64.130 Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1) Игнорировать Добавить
Alta Vista 217.159.153.98 Mozilla/4.0 (compatible; MSIE 7.0b; Windows NT 5.1) Игнорировать Добавить
Alta Vista 213.248.13.5 Mozilla/5.0 (Windows; U; Windows NT 5.1; ru; rv:1.8.0.1) Gecko/20060111 Firefox/1.5.0.1 Игнорировать Добавить
Alta Vista 213.180.207.25 Yandex/1.01.001 (compatible; Win16; I) Игнорировать Добавить
Alta Vista 213.168.11.134 Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322; .NET CLR 2.0.50727; InfoPath.1) Игнорировать Добавить
Alta Vista 212.192.237.21 Opera/9.00 (Windows NT 5.2; U; ru) Игнорировать Добавить
Alta Vista 212.7.10.189 Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8) Gecko/20051111 Firefox/1.5 Игнорировать Добавить
Alta Vista 213.180.20.62 Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; SIMBAR Enabled) Игнорировать Добавить
Alta Vista 213.190.51.206 Download Master Игнорировать Добавить
Alta Vista 217.159.171.196 Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; MRA 4.7 (build 01670); InfoPath.1; .NET CLR 2.0.50727; .NET CLR 1.1.4322) Игнорировать Добавить
Alta Vista 212.26.247.199 Opera/9.02 (Windows NT 5.1; U; ru) Игнорировать Добавить
Alta Vista 217.169.46.98 Mozilla/4.0 (compatible; MSIE 6.0; Bluecoat DRTR) Игнорировать Добавить
Alta Vista 217.169.46.98 Mozilla/4.0 (compatible;) Игнорировать Добавить
Alta Vista 217.159.225.20 Mozilla/4.0 (compatible; MSIE 6.0; Windows 98) Игнорировать Добавить
Alta Vista 213.59.91.178 Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0; Q312461; Maxthon; MRA 4.4 (build 01348)) Игнорировать Добавить
Alta Vista 212.98.161.38 Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; Avant Browser; Avant Browser) Игнорировать Добавить
Alta Vista 212.220.223.229 Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; MRA 4.6 (build 01425)) Игнорировать Добавить
Alta Vista 213.35.183.34 Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; SIMBAR Enabled; SIMBAR={E311F422-6FA3-42ab-9E00-16E9D07D236A}) Игнорировать Добавить
Alta Vista 217.159.171.6 Opera/9.10 (Windows NT 5.1; U; ru) Игнорировать Добавить
Alta Vista 213.42.21.78 Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1) Игнорировать Добавить
Alta Vista 217.159.158.132 Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0; .NET CLR 1.1.4322) Игнорировать Добавить
Alta Vista 217.197.113.41 Opera/9.00 (Windows NT 5.1; U; ru) Игнорировать Добавить
Alta Vista 212.227.83.83 Игнорировать Добавить
Alta Vista 213.28.9.2 Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; .NET CLR 1.1.4322; .NET CLR 2.0.50727) Игнорировать Добавить
Alta Vista 213.219.72.82 Mozilla/5.0 (Windows; U; Windows NT 5.1; ru; rv:1.8.1) Gecko/20061010 Firefox/2.0 Игнорировать Добавить
Alta Vista 213.219.103.209 Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; Avant Browser; Avant Browser; .NET CLR 1.1.4322; Alexa Toolbar; .NET CLR 2.0.50727; MEGAUPLOAD 1.0) Игнорировать Добавить
Alta Vista 217.159.158.132 Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0; .NET CLR 1.1.4322; .NET CLR 2.0.50727) Игнорировать Добавить
Alta Vista 212.42.58.55 Opera/8.50 (Windows NT 5.1; U; ru) Игнорировать Добавить
Alta Vista 213.219.64.148 Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; MRA 4.3 (build 01218); .NET CLR 2.0.50727) Игнорировать Добавить
Alta Vista 216.109.121.44 Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; InfoPath.1) Игнорировать Добавить
Alta Vista 212.15.107.138 Opera/9.01 (Windows NT 5.1; U; ru) Игнорировать Добавить
Alta Vista 213.186.210.22 Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.7.10) Gecko/20050716 Firefox/1.0.6 Игнорировать Добавить
Alta Vista 212.40.42.138 Mozilla/4.0 (compatible; MSIE 5.01; Windows NT 5.0) Игнорировать Добавить
Alta Vista 213.42.21.77 Mozilla/5.0 (BeOS; U; BeOS BePC; en-US; rv:1.9a1) Gecko/20051002 Firefox/1.6a1 Игнорировать Добавить
Alta Vista 217.20.178.109 Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; {2E78D33E-1704-8F3F-65B3-CF524D4D6EED}; .NET CLR 1.1.4322) Игнорировать Добавить
Alta Vista 217.159.185.10 Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 2.0.50727) Игнорировать Добавить
Alta Vista 212.7.30.100 Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1) Gecko/20061010 Firefox/2.0 Игнорировать Добавить
Alta Vista 87.119.161.84 Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; .NET CLR 1.1.4322) Игнорировать Добавить

[boriss]

Что? Неужели ни одного ботавода нет???

[rxu]

boriss
Вопрос неясен.

[boriss]

Как распознать, где бот, а где простой юзер в вышеприведённом списке...

[rxu]

Хм. А у Вас на форуме зарегистрированы юзеры с именами Googlebot и Alta Vista?

[boriss]

Данный список составляет мод. Если гость на сайте похож на spider-robot, но не соответствует ему на 100%(тем данным о робатах, которые заранее заложены в мод), то он попадает в этот список. И администратор должен решить, рассматривать этого гостя как spider или это просто совпадение...

Googlebot и Alta Vista - это просто самое большое совпадение...

[SMM]

а ссылку на этот мод можно в топик?
заранее благодарен?

[boriss]

На данный момент находится тут - http://www.phpbb.com/phpBB/viewtopic.ph ... highlight=

[SMM]

а где информацию выводит. в списке пользователей онлайн? как в IPB ?

Добавлено спустя 35 секунд:

и есть ли наши Яшка и Рамблер?

[boriss]

Да в списке пользователей; Русских нет, но можно добавить вручную, если знаешь что....

[SMM]

может общими усилиями, добавить наших поисковиков. убрать не актуальные заморские?

[boriss]

Сделал перевод, но т.к. по-русски пишу очень редко, могут быть ошибки. Но для некоторых лучше их подправить, чем переводить самостоятельно.

[Xpert]

Не нравится мне принцип работы мода, куча ресуксов впустую... Посмотрите аналогичные моды, что-то вроде Show Bots Online, немецкого автора - я его когда-то смотрел, лучше он.

А... вот
http://www.source-code.de/forum/viewtop ... t=919&sid=

[SMM]

Xpert
действительно твой вариант лучше.

[boriss]

А чем лучше? Если дело ограничивается только загрузкой сервера, то мне как-то всё равно, т.к. хостинг покупной...