robots.txt для 3.x

[xisp]

Смотрите в прилагаемом скрине панель Гугла

У вас разве не 3.0? Впрочем, в сабсилвере каноникла может и не быть. Там вообще нет ничего нового.

[yarnik]

Disallow: /forum/viewtopic.php?f=*&t=*&start=0$

3.1 этим не болеет =)
но раз ставить, то тогда и

Код: Выделить всё

Disallow: /viewforum.php?f=*&start=0$

=)

[Ivan25]

Подскажите пожалуйста, какой все же самый оптимальный robots.txt для 3.1? Необходимо скрыть от роботов самое ненужное, а также в приоритете хотелось бы исключить дубли страниц (сообщений), но меня смутило вот это:

Disallow: /forum/styles

Роботы будут опечалено смотреть на форум без стилей. И, например, гугл не сможет сделать вывод о том, что форум адаптируется для мобильных, и не поставит соответствующую метку в поисковой выдаче.[/quote]

С уважением,
Иван

[scouser]

Здравствуйте. Возник вопрос. Я создаю robots.txt. У меня в роботс.тхт сайта карта Sitemap: /sitemap.php а у меня она http://arciz.com.ua/sitemap.xml
Нужно заменить Sitemap: /sitemap.php на Sitemap: /sitemap.xml или ничего не надо менять?

И вообще гляньте пожалуйста профессиональным взглядом правильно ли я создал robots.txt?

Мой форум http://arciz.com.ua/

Код: Выделить всё

User-agent: *
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Disallow: /go.php
Sitemap: /sitemap.xml
Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php

User-agent: Yandex
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Disallow: /viewtopic.php?f=*&t=*&view=print

Host: arciz.com.ua
Sitemap: /sitemap.xml
Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php

[xisp]

Нужно заменить Sitemap: /sitemap.php на Sitemap: /sitemap.xml или ничего не надо менять?

Вы думаете, ПС телепатически угадает, что у вас карта на другом адресе? Конечно же менять.

Disallow: /style.php

Такого файла в 3.1быть не должно.

[scouser]

Код: Выделить всё

User-agent: *
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Disallow: /go.php
Sitemap: http://arciz.com.ua/sitemap.xml
Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php

User-agent: Yandex
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /ucp.php
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Disallow: /viewtopic.php?f=*&t=*&view=print

Host: arciz.com.ua
Sitemap: http://arciz.com.ua/sitemap.xml
Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php

так правильно? или там где Sitemap: должна быть не полная ссылка а лишь Sitemap: /sitemap.xml

[xisp]

так правильно?

/style.php в одном месте не удалили.

[scouser]

СПС. Дак а что там где Sitemap: должна быть полная ссылка Sitemap: http://arciz.com.ua/sitemap.xml или лишь Sitemap: /sitemap.xml

[invader]

scouser
Первая таблица/восьмая строка:
http://help.yandex.ru/webmaster/error-d ... ts-txt.xml

[Perfecthus]

Anvar, Поясни, зачем закрыл index? Disallow: /forum/index.php

[xisp]

Поясни, зачем закрыл index?

У него удалён index.php из адреса главной, поэтому и закрыто, чтобы дублей не было.

[Perfecthus]

удалён index.php из адреса главной, поэтому и закрыто, чтобы дублей не было

Ясно. Можно в .htaccess это сделать, что будет лучше.

[RomanZif]

Не очень понятна конструкция Disallow: /viewtopic.php?p=*
ведь мы по сути запрещаем к индексации оригинал темы?

[Татьяна5]

RomanZif
Оригинал темы это t=*, а p=* - это ссылка на отдельное сообщение (т.е. дубль страницы темы)

[COB16]

Татьяна5, у меня не стоит такого, стоит добавить для удаления дублей я так понял?