Как добавить бота

[Soschkin]

Внизу страницы этого форума расположен ряд счетчиков. Объясните пожалуйсто, как установить у себе на форуме счетчик от Mail.ru

[rxu]

Причем тут боты? Поиск для кого сделан?
[FAQ] Как поставить счетчик (баннер) в стиль в phpBB3

[Катерина]

Здравствуйте.
У меня на личном семейном форуме следующие права доступа: гостям запрещён вход на форум и просмотр содержимого. Зарегистрировавшийся пользователь(новый пользователь) может только читать информацию и то не во всех разделах и подфорумах.
Полный доступ к форуму с правом на отправку сообщений - я даю каждому пользователю индивидуально, перекидывая его в специальную группу у которой есть все права и удаляя его из "ограниченной" группы.
Вопросы:
1) Яндекс-бот индексирует у меня только служебную информацию (адрес сайта, вход, куки и прочее), содержимое форума не индексирует. Действуют-ли ограниченные права для пользователей и на поисковых ботов? Какие дополнительные права нужно дать яндекс-боту, чтобы он мог проходить защиту от гостей и новых пользователей и индексировать сообщения на форуме?
2) Как сделать так, чтобы поисковые боты отображались в онлайн-статистике (показывалось его присутсвие), как и пользователи (например, как на phpbbguru.net)

[Петрович]

По 2 вопросу: посмотрите в админ-разделе - система - общие задачи - поисковые боты, есть ли там вообще у вас прописанные боты?

[Nekstati]

1) Боты в phpBB — это отдельная группа. Права других групп («Гости», «Новые пользователи») на неё не распространяются. Настраивайте права группы «Боты» как вам угодно.

[Катерина]

По 2 вопросу: посмотрите в админ-разделе - система - общие задачи - поисковые боты, есть ли там вообще у вас прописанные боты?

Изначально в комплекте с форумом идёт штук 50 ботов, но ни один из них за 5 месяцев существования форума - не заходил на мой форум. (написано "Никогда"). Сегодня решила добавить "русскоязычных" ботов, установила вот эти.
Из них только один показал свою активность на несколько минут - Яндекс-бот. Пришёл-посмотрел-ушёл.
Я пошла на вэбмастер Яндекса, просмотрела статистику посещений моего сайта: оказалось, что Яндекс давно знает о существовании моего форума и его бот, даже будучи НЕпрописанным в списках ботов на форуме, стабильно заходил ко мне 1-2 раза в неделю. За 5 месяцев он проиндексировал только 12 страниц и то со служебным текстом (mode=delete_cookies, mode=register, mode=login и прочая лабуда). Такое ощущение, что боты не имеют прав доступа к пользовательскому контенту(сообщениям) на форуме.

1) Боты в phpBB — это отдельная группа. Права других групп («Гости», «Новые пользователи») на неё не распространяются. Настраивайте права группы «Боты» как вам угодно.

Спасибо, Некстати. Тогда не понимаю, чего этим ботам надо. "Сломать" там что-то я не могла, так как до сего времени этих ботов не касалась. Дело ясное, что дело тёмное...

[Nekstati]

Большая часть комплектных ботов и не заходит никогда. Буржуинские они какие-то.

Яндекс, будучи непрописанным как бот, заходил к вам с правами простого гостя, т. е. ничего не видел.

Можете сами посмотреть на свой форум глазами бота и узнать, что ему доступно, а что нет. Например, в IE9 нажмите F12 → Сервис → Изменить строку агента пользователя → Google. Учтите только, что такая проверка не учтёт содержимое robots.txt.

[Айдар]

Лучше robots.txt, имхо.

[Катерина]

Большая часть комплектных ботов и не заходит никогда. Буржуинские они какие-то.

Яндекс, будучи непрописанным как бот, заходил к вам с правами простого гостя, т. е. ничего не видел.

Ну если рассуждать логически, то верно. Подожду, может проиндексирует всё. Хотя с другой стороны Гугл-бот, который был в поставке с форум-пакетом и был прописан - даже не зашёл ни разу на форум. Может нужно прописать какой-нибудь другой бот от Гугла?

И ещё я сейчас заглянула в свой robots.txt и там только вот такая одинокая строчка:
User-agent: *
Disallow: /форум.ру/go.php

Это по-моему от какого-то редиректного мода. Может быть в этом проблема?

[Mr. Anderson]

Катерина
У Яши есть такая штука, как статистика - можно поглядеть хотя бы отброшенные роботом паги. Если там пусто - то пора задуматься о том, ЧТО вы поломали...
Хотя Яша - тот еще крендель. Бывает и не такое выкидывает. Но есть плюс - можно с аждминами списаться и обсудить тему. Не факт что поможет, но....
По другим ПС пошуршите и (если надо) скормите им свой ресурс - больше пользы будет, имхо.

А гугл к вам с чего должен был зайти? Проинтуичить, что ваш сайт есть в инете? Ага

[sweetah]

Mr. Anderson, девушка же наверное ни слова не поняла)
Катерина, если вы ещё не добавили свой сайт в гугле и яндексе - вам сюда и сюда

[Катерина]

Катерина
У Яши есть такая штука, как статистика - можно поглядеть хотя бы отброшенные роботом паги. Если там пусто - то пора задуматься о том, ЧТО вы поломали...
Хотя Яша - тот еще крендель. Бывает и не такое выкидывает. Но есть плюс - можно с аждминами списаться и обсудить тему. Не факт что поможет, но....
По другим ПС пошуршите и (если надо) скормите им свой ресурс - больше пользы будет, имхо.

А гугл к вам с чего должен был зайти? Проинтуичить, что ваш сайт есть в инете? Ага

Mr. Anderson, да, я пыталась скормить свой урл Яндексу и Гуглу. Яндекс "выплюнул" мой урл, говорит он уже давно о нём знает. Гугл проглотил урл, но эффекта ноль (возможно нужно подождать)...

Вот, Айдар, советует роботс.тхт поставить... Перечитала тему про этот роботс.тхт, - толку ноль, там у каждого свой роботс, да и ещё с какими-то сайтмапами, сео и прочим "добром". Все у друг дружки бракуют роботсы, не знаешь кому верить и что делать... Одни споры, так и не поняла как роботс.тхт правильно писать.
Прочитала вот это, но это для программистов. Судя потому, что в Интернет недавно попала куча секретных документов по всей России из за неправильных роботс.тхт, то программисты тоже не понимают как правильно делать эти роботсы. Куда уж мне тогда...

Вот раздобыла шаблонный роботс.тхт здесь: http://fladex.ru/article/a-6.html . Там и Яндекс-бот отдельно вроде прописан. Посоветуйте, подойдёт-ли этот шаблон для версии 3.0.9? И куда мне приткнуть вот эту запись в моём старом роботс.тхт:

Код: Выделить всё

User-agent: *
Disallow: /форум.ру/go.php

[itmgk]

Вот раздобыла шаблонный роботс.тхт здесь: http://fladex.ru/article/a-6.html . Там и Яндекс-бот отдельно вроде прописан. Посоветуйте, подойдёт-ли этот шаблон для версии 3.0.9? И куда мне приткнуть вот эту запись в моём старом роботс.тхт:

подойдет
но сделайте тот robots, который там итоговый
особенно директиву clean-param - значительно сократит нагрузку на сервер поисковыми ботами, и не допустит кучу дубликатов страниц с &sid=134657987564 (типа того:))
P.S.: seo моды никакие не стоят? под них свой роботс пишется...

[sweetah]

особенно директиву clean-param - значительно сократит нагрузку на сервер поисковыми ботами

Это только яндекс понимает.

[itmgk]

sweetah
гугл и другие ее просто проигнорируют
P.S.: в гугле тоже можно задать отбрасываемые параметры. в вебмастере делается