).Да, можно сказать, что роботс может быть «у каждого свой», но не все так просто, скажу я вам. Как уже кто-то ранее здесь же справедливо заметил, что сия ветка вызывает еще больше вопросов….
Какие первичные выводы можно сделать:
1. robots.txt не зависит от версий phpbb 3, по крайней мере, для 3.1. – покатит и для 3.3.х.
2. Мнения насчет наличия robots.txt, как такового, диаметрально разделились, - нужен ли он для завоевания большей благосклонности поисковиков, или еще больше может навредит, - хз. Я все же больше сторонник того, что "надо Федя, надо"....
Но вопросы. увы, остаются.
Итак, исходные данные:
Форум хостится на домене «mysite.ru». Никуда не вложен, не является дополнением к какому-то там основному сайту. Никаких приватных\скрытых тем не не предполагается, а админку и профили юзеров надо бы закрыть от индексации. Других «особых» пожеланий пока не предвидется.
Следовательно, robots.txt разместим в корте сайта, это понятно.
За основу я взял robots с сайта Шрёдера:
Код: Выделить всё
User-agent: *
Disallow: /adm/
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /index.php?
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewonline.php
Disallow: /*&st=*
Disallow: /*&sk=*
Disallow: /*&sd=*
Disallow: /*&hilit=*
Disallow: /*&view=*
Disallow: /viewtopic.php*p=*
Disallow: /viewtopic.php?t=*
Disallow: /view*&start=0$
# Google Image
User-agent: Googlebot-Image
Disallow:
# Google AdSense
User-agent: Mediapartners-Google
Disallow:
User-agent: Yandex
Disallow: /adm/
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /index.php?
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewonline.php
Disallow: /*&st=*
Disallow: /*&sk=*
Disallow: /*&sd=*
Disallow: /*&hilit=*
Disallow: /*&view=*
Disallow: /viewtopic.php*p=*
Disallow: /viewtopic.php?t=*
Disallow: /view*&start=0$
Host: mysite.ru
Sitemap: http://www.mysite.ru/sitemap.php
Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.phpНо!
В этом сообщении
Re: robots.txt для 3.1
Siava критикует vic4884 за то, что строчки
Disallow: /index.php?
Disallow: /viewtopic.php?t=*
Disallow: /viewtopic.php*p=*как бы не очень хорошо закрывать от индексации.
Но ведь именно такие сточки есть в robots от Шрёдера.
(И там еще момент с
sitemap.php - надо бы sitemap.xml, но это уже мелочи)И тут как бы вопрос...
Я так понимаю, что без указанных 3-х
