быстроробот vs static html форум + rss feed

[pildwell]

Недавно я поставил на свой форум (phpbb2) мод который показывает все страницы форума в виде статического html для всех гостей. так же на форуме стоит rss feed mod который генерит несколько последних сообщений в rss виде и их можно читать через rss reader. так же на этот rss канал натравлен яндексовский быстробот (несколько месяцев уже как). и вот я решил протестировать как работает static mod и сделал поиск на яндексе по последним темам своего форума (они были начаты уже после установки статика) и к своему удивлению обнаружил что быстробот находит страницы форума по старым динамическим адресам! А ведь и верно! Я заглянул в код rss и там все ссылки даются в виде php... Как бы переписать rss feed так чтоб он давал статические html? Или может быть есть ему достойная замена???
А может просто отучить быстробота от форума и пускай его индексирует обычный поисковый робот? Тогд он очевидно уже будет индексироваться через html. Посоветуйте кто-нибудь что знает толк в этом, как мне дальше поступить???

Добавлено спустя 8 минут 5 секунд:

Добавлю, для тех кто не знает кто такой быстробот вот ссылочка
http://company.yandex.ru/blog/?msg=1000 ... &year=2005

[VVVas]

не сообразил в чем у вас проблема, вот мой форум в яндексе http://www.yandex.ru/yandsearch?serveru ... m.vvvas.ru

И у меня тоже стоит rss, который дает ссылки через *.php, но я проблем не ощущаю как видите.

[pildwell]

ну да, у меня тоже индексирует в php. А я хочу чтоб индексировал в html, т.к. в народе есть мнение что статический html поисковики больше любят чем php. Собственно ради этого я static html и поставил. Грубо говоря мне нужен rss feed который будет выдавать ссылки в html формате как для гостей сейчас происходит. вот.

[edgar]

pildwell, вы немного запутались вроде. У Яндекса rss индексируется в поиске по rss каналам (см. Поиск по блогам). А быстроробот ваши обычные страницы и индексирует, которые оказываются в обычном поиске Яндекса.
Так что ничего не трогайте и не вздумайте rssfeed на HTML переписывать Всё у вас нормально. Так и должно быть.

[pildwell]

тоесть вы хотите сказать что в rss канале не может быть html страниц???

[edgar]

Нет, я хочу сказать, что быстроробот не по rss ваш форум индексирует.
В поиске по блогам (вы ведь ему свою rss ссылку скормили?) ваш форум оказывается в течение нескольких минут. А быстроробот приходит к вам не через rss.

[pildwell]

вобщем я что-то запутался, но мне просто не нравится что яндекс находит на моём форуме страницы php вместо html. собственно в этом и есть проблема. почему не нравится я уже написал.

[VVVas]

ну да, у меня тоже индексирует в php.

Скажите, почему вы не прошли по ссылке которую я вам дал? Почему вы позволяете себе вести диалог не слушая людей? Это вообще культурно, спрашивать людей, а потом не читать их ответ?

Добавлю, для тех кто не знает кто такой быстробот вот ссылочка

Вы сами не знаете кто это такой. Будьте добры узнайте что это такое, а потом уже пытайтесь использовать этот термин.

тоесть вы хотите сказать что в rss канале не может быть html страниц?

Не важно что вам хотят сказать, важно что вы не слушаете.

вобщем я что-то запутался

Как я вижу это произошло очень-очень давно.

[edgar]

А что у вас вообще с выдачей происходит? н

Добавлено спустя 3 минуты 14 секунд:

Во фрейме ничего не индексируется
ссылка

Первый результат - тема с вашего форума.
Сохраненная копия - Not Found

[VVVas]

pildwell
Упрямым посвящается

User-Agent: *
Disallow: faq.php
Disallow: groupcp.php
Disallow: index.php?c=
Disallow: login.php
Disallow: memberlist.php
Disallow: posting.php
Disallow: privmsg.php
Disallow: profile.php
Disallow: search.php
Disallow: viewonline.php

И где тут сказано, что бы ссылки на *.php не появлялись?

Добавлено спустя 2 минуты 43 секунды:

Яндекс как ходил по старым ссылкам, так по ним и ходит, а новые html ему не видны.

[pildwell]

VVVas
Извиняйте, что так вышло, просто на работе мозги плавятся, не всё успеваю осознать )
За возможно неправильный или недостаточный роботс прошу не винить, т.к. опять же для меня всё это ново и не очень пока изучено. Страницы с темами моего форума могут открываться и не во фрейме, а без фреймов я не могу, так что это моя головная боль. А как так получилось что в яндексе появился такой кривой адрес? Я вот сам проверил по одной теме поиск по блогам и там ссылка на пхп, но без всяких сидов, тоетсь открывается нормально. вот она
Наверное просто в поиске по блогам так или иначе всегда будет пхп, который какраз через рсс идёт, а если на сайт придёт обычный робот (не быстробот) то он какраз проиндексирует всё в виде хтмл? Во всяком случае с вашим форумом всё происходит именно так, как я посмотрел на яндексе...

Добавлено спустя 14 минут 47 секунд:

edgar
Выдача восновном идёт нормальная на страницы статей.
Самая последняя страница была проиндексирована 16.01.2007 (если не считать поиска по блогам)
А в обычном поиске нормально проиндексировалось всё кроме форума. Форумные страницы там пока висят с сидами. Так я правильно понимаю что основной робот через какое-то время их проиндексирует в хтмле и всё будет ок?

[VVVas]

pildwell
Вы так и не знаете что такое быстроробот у Яндекса... Это всего лишь маркетинговый ход, просто теперь робот яндекса ходит быстрее. Он смотрит чего часто обновляется и туда ходит чаще, вот и всё.

Форумные страницы там пока висят с сидами.

А вы ставили мод отключающий сиды для гостей? Если нет, то куда денутся сиды?

Так я правильно понимаю что основной робот через какое-то время их проиндексирует в хтмле

А им ничто не мешает быть в HTML и с сидами. Одно от другого мало зависит. И понимаете вы не правильно: пока вы не избавитесь от сидов, пока вы не запретите индексацию в php и только при соблюдении этих двух условий робот не начнет собирать в html. Вернее начнет, но сделает этим вам ещё хуже.

[pildwell]

Хорошо.. спасибо за совет. уберу сиды модом. правда я их у себя на форуме не вижу, но видимо они всёранво есть. Читал где-то что они могут в кукисах прятаться... а как это определить кстати?
и ещё, вот как запретить индексацию в пхп если не секрет?

[VVVas]

а как это определить кстати?

Вспомнить обеспечивали ли вы функционал по уборке сидов для гостей, если нет - значит... сами догадаетесь?

и ещё, вот как запретить индексацию в пхп если не секрет?

Если вы этого не знаете, то зачем положили robots.txt?

[pildwell]

VVVas
роботс я положил когда устанавливал статик мод, тупо создал его по инструкции expert'а и всё. Я знаю зачем нужен роботс, но просто не знаю какая конкретно команда что делает и т.д.