Непонятки с ботами

[Shredder]

В download/file.php добавлено такое условие:

Код: Выделить всё

if ($display_cat == ATTACHMENT_CATEGORY_NONE && !$user->data['is_registered'])
{
	login_box('', $user->lang['SORRY_AUTH_VIEW_ATTACH']);
}

То есть, незарегистрированный пользователь не может скачать файл (это не касается изображений). И тут я обнаружил, что с какого-то бодуна его не могут скачать также и боты - вместо файлов им суёт страницы авторизации, которые они и индексируют. Разве бот не является зарегистрированным пользователем? Настройки ботов в порядке, юзерагенты соответственно Googlebot и Yandex

[rxu]

Shredder
Не нахожу в оригинальном коде 3.0.9 такого.

[Shredder]

rxu
Это я сам добавлял.

[rxu]

Shredder
Боты - это специальная группа. См. includes/session.php:

Код: Выделить всё

$this->data['is_registered'] = ($this->data['user_id'] != ANONYMOUS && ($this->data['user_type'] == USER_NORMAL || $this->data['user_type'] == USER_FOUNDER)) ? true : false;
$this->data['is_bot'] = (!$this->data['is_registered'] && $this->data['user_id'] != ANONYMOUS) ? true : false; 

[Shredder]

Спасибо, rxu, всё получилось.

Сделал так:

Код: Выделить всё

if ($display_cat == ATTACHMENT_CATEGORY_NONE && !$user->data['is_registered'] && !$user->data['is_bot'])
{
	login_box('', $user->lang['SORRY_AUTH_VIEW_ATTACH']);
}

Затем зашёл в Google Webmaster, выбрал функцию "Посмотреть как Googlebot" и убедился, что теперь бот скачивает нормально.

[Alecto]

Скажи пожалуйста, какой смысл в ботах типа MSN, BING и некоторых других?
Актуальны лишь два поисковика: гугл и яндекс, ну можно оставить еще мету, рамблер и мылору... ну максимум еще несколько. Остальные же кроме нагрузки ничего полезного не создают. Теперь сам вопрос - имеет ли смысл отключить профили бесполезных на мой взгляд поисковых ботов? Возможно у кого-то есть аргументы, чтобы этого не делать?

[МайскийЖук]

Вы не поверите, но достаточно большое количество пользователей, особенно тех русскоговорящих, которые живут за границей, пользуются этими дурацкими поисковыми системами типа Bing! и Yahoo. Так что смысл в соответствующих поисковых ботах на вашем форуме, вероятно, все же есть.

[Alecto]

МайскийЖук
во-первых я отслеживаю переходы с поисковых систем, и легко могу вычислить "бесполезных" роботов. В рамках десятков тысяч уникальных пользователей за месяц одним-двумя-десятью переходами с "экзотических" поисковиков можно пренебречь.
вопрос скорее в другом - в нагрузке, которую способны создавать эти самые "бесполезные" роботы.
ведь мы прекрасно понимаем, что повышенная нагрузка требует и более мощный и дорогой хостинг и несколько "залетных" иностранных посетителей в этом случае являются неоправданной на мой взгляд "платой".

[HAMMER663]

FomenkoAndrey если ты считаешь, что боты дают большую нагрузку, пропиши в robots.txt что-то типа Crawl-delay: 3

[Alecto]

HAMMER663
спасибо за совет.
нашел вот такой пример:

Код: Выделить всё

Пример:
User-Agent:*
Disallow:/admin.php
Host: xxxxxxxx.ru
Sitemap: http://xxxxxxxx.ru/sitemap.xml

User-agent: Yandex
Crawl-delay: 10
User-agent: MSNbot
Crawl-Delay: 20
User-agent: Slurp
Crawl-Delay: 20
User-agent: googlebot
crawl-delay: 10 

действительно ли надо crawl-delay прописывать для каждого юзер-агента?

Добавлено спустя 1 минуту 27 секунд:

В целях совместимости с роботами, которые не полностью следуют стандарту при обработке robots.txt, директиву "Crawl-delay" необходимо добавлять в группе, начинающейся с записи "User-Agent", непосредственно после директив "Disallow" ("Allow").

[Пчелкин]

FomenkoAndrey А мож это себе морока? Оно надо?

[Alecto]

Пчелкин
да как бы не особо нужно было.
не большой офтоп:
на прошлой неделе увеличил ресурсы своего тарифного плана, прикупив услугу х2 (в два раза больше памяти для работы скриптов - теперь 128 мб и в два раза больше ресурсов проца), а сегодня хостер прислал уведомление (правда я на них наезжал долго и жестоко), что мои сайты перерасходует ресурсы. больше всего катят бочку на форум.
вот и подумал, а может это боты после переезда одолевают?
ведь запросто могли обнаружить смену айпи и приступить к переиндексации сайта.
покрайней мере больше идей, откуда могла возрасти нагрузка - нет.
разве что ПО на новом сервер у хостера паршиво оптимизировано, но ониж чертасдва признаются.

ну вот... а как бы ботов поотключать, которые лазают по сайту, при этом с их поисковиков нет заходов - мысль напрашивается уже давно. такая себе оптимизация.
вот озвучил, но прежде чем что-то делать, хотел проконсультироваться с коллегами.

[Пчелкин]

теперь 128 мб

Что? Это тока для выполнения нажатия спасибки через Js хватит...ну и пару юзеров в поиске ...
Панель управления хостом есть?
Если VPS. (хотя врят ли)...то в ней есть логи перенаправлений...в ней есть адреса с которых к вам заходят...можно проанализировать..

[Alecto]

Пчелкин
нет, не VPS, потому и хватает с головой. эта память, выделяемая только для работы скриптов сайта, а сайт - я не видел, чтобы согласно дебагу "кушал" когда-либо больше 20 мб (даже страница портала).
но, это совсем другая история, не хочу получить предупреждение от модераторов, а потому прошу вернуться к обсуждению баранов... т.е. ботов.
полез я в списов ботов и не особо увидел, что там можно что-то отключить, поэтому думаю ограничиться советами HAMMER663 и установить Crawl-delay для лазающих по сайту ботов :)

Добавлено спустя 55 минут 22 секунды:
пока набил такую инструкцию, может кому пригодится.

Код: Выделить всё

User-agent: Yandex
Crawl-delay: 10
User-agent: MSNbot
Crawl-Delay: 20
User-agent: MSNBot-media
Crawl-Delay: 20
User-agent: Slurp
Crawl-Delay: 20
User-agent: Googlebot
crawl-delay: 10
User-agent: Feedfetcher-Google
crawl-delay: 10
User-agent: MJ12bot
crawl-delay: 30
User-agent: Bingbot
crawl-delay: 30

ну и если чего пропустил (хотя я все еще дополняю) - пишите.

[Alecto]

прописать то прописал, а гугл в Инструментах для веб-мастеров --Доступ для сканера -- Анализ файла robots.txt, ответил:
Строка 36: crawl-delay: 10 Правило, которое не учитывается Googlebot