Как добавить бота

[crash]

если бот не видит этого, то зачем ставить?

[web_pr]

выковыривайте из install_install.php функция add_bots($mode, $sub)

для своих форумов можно еще сразу подредактировать в том же файле var $bot_list = array и вписать нужных ботов

Код: Выделить всё

'Yandex [bot]'				=> array('Yandex/', ''),
'Yandex Direct [bot]'			=> array('YaDirectBot/', ''),
'Rambler [bot]'				=> array('StackRambler/', ''),
'GoGo [bot]'				=> array('Mail.Ru/', ''),
'WebAlta [bot]'				=> array('WebAlta Crawler/', ''),
'Aport [Bot]'				=> array('Aport', ''),

вот только для Сuill в разных местах указан разный агент

[batka16]

Простите за вопрос, просто не понял. Подскажите, зачем столько Desalow в robots.txt? Что тогда вообще поисковики будут индексировать? И разве нельзя запреты сразу для всех ботов поставить, а не писать сто восемь строк?

[crash]

Что тогда вообще поисковики будут индексировать?

сообщения. А что вам еще надо?

[batka16]

А названия тем, категорий? Это не нужно, что ли?
И почему стольким ботам отказано в индексации - это буржуйские боты?

[crash]

а где указаны боты?

[batka16]

User-agent: WebZip
Disallow: /

User-agent: larbin
Disallow: /

User-agent: b2w/0.1
Disallow: /

User-agent: Copernic
Disallow: /

User-agent: psbot
Disallow: /

User-agent: Python-urllib
Disallow: /

User-agent: NetMechanic
Disallow: /

User-agent: URL_Spider_Pro
Disallow: /

User-agent: CherryPicker
Disallow: /

и т.д. Это не боты?

[crash]

batka16
это боты. Ну значит им решили закрыть. Хозяин барин

[batka16]

Ещё вопрос. Вот гугл заходил ко мне. Почему он отображается в списке зарегистрированных посетителей? Он что, авторизацию проходит. Они ж вроде как гости должны заходить, или я не прав?

[rxu]

В phpBB3 боты являются особой категорией зарегистрированных пользователей, для которых установлены особые права доступа и которым не требуется авторизация.

[batka16]

Что-то я смотрю Гугл часто заходит для поисковика - раза 2-3 в день. Это нормально? Или это вовсе не паук гугла? А в индексе только одна страница - главная и всё.

[Alek$]

batka16
вы должны радоваться - гугл любит ваш сайт и быстро индексирует. С популярных сайтов он вообще не вылезает.

[batka16]

Ясно, спасибо. А то я уже волноваться начал. Но почему тогда так мало в индексе? Я в robots закачал, как в первом топике рекомендовали - думал переборщил

[Alek$]

batka16
а вот почему в индексе мало - знает только гугль.

[batka16]

У меня вопрос по robots.txt. В интернете противоречивая информация, и все же. Как правильно? В первом топике темы представлен рекомендованный файл robots.txt и там так написано:
Disallow: /adm
Disallow: /cache и т.д.
Что это значит? Если запрет индексации папок, то в конце дожен быть слэш (или не должен). Я отыскал, что такая запись означает "запрет индексации страниц, начинающихся с ..." того, что записано, например adm, а не запрет на папку. У меня не верная информация?