Индексация поисковиками

[VADR]

Искал в гугле фразу "связаться с администрацией" phpbb 3.1. Среди найденного была ссылка http://anderson.phpbbguru.net/viewtopic ... 1&start=50, где фраза "связаться с администрацией" есть внизу в статусной строке. Это ведь служебная информация, разве она должна отдаваться поисковикам для индексации?

[rxu]

Что именно - служебная информация? Форма для отправки сообщения администрации?

[VADR]

Что именно - служебная информация? Форма для отправки сообщения администрации?

Нет, не форма. Текст надписи на ссылке. На мой взгляд, поисковикам совершенно ни к чему информация о том, что на таком-то форуме есть такая-то служебная ссылка. Индексироваться должен текст сообщений, а всё остальное - ни к чему. Или просто на том форуме не настроены поисковые боты и в результате поисковики видят страницу в том же виде, в каком и пользователи?
Кстати, есть ли возможность посмотреть на форум "с точки зрения поисковика", т.е. в том виде, в котором его видят поисковые боты?

[Anvar]

Почему считаете что в поиске такая информация не нужна?
Пользователи может быть хотят связаться с администрацией сайта и ищут этот способ через поиск.

Смотрел как знакомые заходят на нужный им сайт, вводят его название в поиске и пошли. А планшеты и мобилки с Android и браузером Chrome вообще не имеют адресной строки по умолчанию, так приходится заходить(искать сайт) через google.

[VADR]

Почему считаете что в поиске такая информация не нужна?
Пользователи может быть хотят связаться с администрацией сайта и ищут этот способ через поиск.

Ну, не знаю. Не самый удобный способ, я бы сказал.
Кстати, да - протупил я с вопросом. Как-то раньше не задумывался над тем, в каком виде поисковикам форум показывается, думал - как при печати, отсекая всё лишнее. Сейчас посмотрел - каждому боту назначается стиль, соответственно получается и вид форума. Попробовал "взглянуть глазами поисковика" - создал нового бота, назначив ему свой ip-адрес. Получил знакомый просильвер, с той лишь разницей, что сразу оказался залогинен, а в заголовке на месте имени пользователя - ссылка "выход". Всё остальное внешне - как стандартный стиль.
Теперь мыслю: не поэкспериментировать ли мне с переделкой стиля специально для ботов... Им ведь логиниться/разлогиниваться не надо, писать сообщения - тоже, ссылки вперёд/назад вообще вредны (только по номеру страницы), всякие баннеры/счётчики - тоже мусор... Попробую взять просильвер и упростить по максимуму. Но это уже совершенно другая тема.

[xisp]

Кстати, есть ли возможность посмотреть на форум "с точки зрения поисковика", т.е. в том виде, в котором его видят поисковые боты?

В вебмастере гугла есть "Просмотреть как Googlebot", с возможностью отображения.

а в заголовке на месте имени пользователя - ссылка "выход".

По идее и её не должно быть. У меня её нет у ботов.

Теперь мыслю: не поэкспериментировать ли мне с переделкой стиля специально для ботов...

Достаточно в стандартном окружить тегами:

Код: Выделить всё

<!-- IF not S_IS_BOT -->это боту видеть не нужно<!-- ENDIF -->

Собственно по стандарту много лишнего уже вырезано.

ссылки вперёд/назад вообще вредны

Поспорил бы. Они дают информацию о последовательности страниц темы. Я правда на них rel="next" с rel="prev" нацепил.

всякие баннеры/счётчики - тоже мусор...

Если робот баннерной системы не найдёт на нужном месте баннера, то он обидеться и забанит сайт))

[VADR]

а в заголовке на месте имени пользователя - ссылка "выход".

По идее и её не должно быть. У меня её нет у ботов.

Стандартный prosilver, без каких-либо изменений. Есть ссылки "Выход" и "Регистрация". Кстати, нюанс: у меня в настройках стиля указано "заменять стиль пользователя" - это, как оказалось, действует и на ботов. Так что предоставить ботам специально заточенный стиль не получится.

ссылки вперёд/назад вообще вредны

Поспорил бы. Они дают информацию о последовательности страниц темы. Я правда на них rel="next" с rel="prev" нацепил.

Давненько не проверял это дело... Сейчас (и на 3.0.12, и на 3.1.0-RC4), как оказалось, ссылки вперёд/назад ведут туда же, куда и ссылки с номерами страниц (/viewforum.php?f=XX&start=YY), так что дублирования информации нет (ситуация, когда на одну страницу приходят разные ссылки, и у поисковиков возникают проблемы с анализом такой информации). Раньше для этого у меня был запрет в robots.txt - сейчас, похоже, он не нужен. Однако остаются запреты для всяких там posting.php, ucp.php и т.п., которые уж точно ботам ни к чему, а тот же Гугль, к примеру, не очень хорошо относится к тому, что ему что-то запретили индексировать

Если робот баннерной системы не найдёт на нужном месте баннера, то он обидеться и забанит сайт))

Хм... не подумал о таком варианте развития событий... А то, что эти баннеры вызываются при каждом просмотре страницы - не в счёт? Или "а хрен его знает, что там у них в мозгах" ?

Кстати, об индексации. А sitemap "из коробки" появился или надо тоже расширение искать?

[xisp]

сть ссылки "Выход" и "Регистрация".

Это наверное потому что вы не вышли с форума из своей учётки. Да и способ не самый правильный, я думаю. Инструменты вебмастера гугла надёжнее.

а тот же Гугль, к примеру, не очень хорошо относится к тому, что ему что-то запретили индексировать

С чего бы? Если это служебный мусор, то он должен быть только благодарен.

А то, что эти баннеры вызываются при каждом просмотре страницы - не в счёт?

Ну так вы и вырежите этот вызов. Впрочем, их систему изнутри не видел, да и снаружи)

А sitemap "из коробки" появился или надо тоже расширение искать?

Само собой расширение.

[rxu]

Главное - не переборщить и не нарваться на клоакинг. Не факт, что у гугла-сотоварищи нет обычных ботов, никак себя не проявляющих юзер-агентом.

[владимир1983]

не нарваться на клоакин

Что очень и очень вероятно. Был под санкциями из-за <!-- IF not S_IS_BOT -->"скрытия мусорных слов"<!-- ENDIF -->, никому не советую.
Смотри в сторону html5 разметки(новые семантические теги) и микроформатов.

[xisp]

Был под санкциями из-за <!-- IF not S_IS_BOT -->"скрытия мусорных слов"<!-- ENDIF -->

Ну это очевидно клоакинг.
Если осторожно, по мелочи- ничего не будет. Собственно в стандартной поставке и так много чего скрывается, никто не жалуется же.

[Anvar]

Сайт у меня по прежнему под санкциями, на экспериментировал и пользователи обиделись. Теперь АГС ходит по пятам, думаю уже самому забанить этого яндекса что-ли :-D

[Heldar]

Был под санкциями из-за <!-- IF not S_IS_BOT -->"скрытия мусорных слов"<!-- ENDIF -->, никому не советую.

Что бы не быть под санкциями достаточно расширить условия для скрытия незарегистрированным пользователям.

Если что-то чего не видит робот видит обычный пользователь - это клоакинг.
Если что-то появляеться после регистрации это нормально.

[владимир1983]

достаточно расширить условия для скрытия незарегистрированным пользователям.

Не получится. Я скрывал например всю информацию из профилей на странице просмотра темы.
Хочешь сказать гостям эта информация не нужна? Информация с футера кто онлайн им не нужна? Много чего было скрыто того что на мой взгляд было "мусором".

[xisp]

Информация с футера кто онлайн им не нужна?

Не а)) У меня скрыто.