robots.txt для 3.x

[Erlang]

Какие изменения стоит внести в robots.txt для phpBB 3.1.X?

Может кто-то поделится готовым вариантом.
=======================
Использование robots.txt - мануал от яндекса
О файлах robots.txt - справка google
Все о файле «robots.txt» по-русски

[Anvar]

Если форум расположен по такому адресу: example.com/forum/, то размещаю по адресу: example.com/robots.txt

Код: Выделить всё

User-agent: *
Disallow: /forum/*?sid=*
Disallow: /forum/adm/*
Disallow: /forum/download/*
Disallow: /forum/faq.php
Disallow: /forum/mcp.php
Disallow: /forum/memberlist.php
Disallow: /forum/posting.php
Disallow: /forum/report.php
Disallow: /forum/search.php
Disallow: /forum/ucp.php
Disallow: /forum/viewtopic.php?p=*
Disallow: /forum/viewtopic.php?f=*&t=*&start=0$
Disallow: /forum/viewtopic.php?f=*&t=*&view=next
Disallow: /forum/viewtopic.php?f=*&t=*&view=previous
Sitemap: http://example.com/forum/sitemap.xml
Clean-param: sid /forum/index.php
Clean-param: sid /forum/viewforum.php
Clean-param: sid /forum/viewtopic.php

User-agent: Yandex
Disallow: /forum/*?sid=*
Disallow: /forum/adm/*
Disallow: /forum/download/*
Disallow: /forum/faq.php
Disallow: /forum/mcp.php
Disallow: /forum/memberlist.php
Disallow: /forum/posting.php
Disallow: /forum/report.php
Disallow: /forum/search.php
Disallow: /forum/ucp.php
Disallow: /forum/viewtopic.php?p=*
Disallow: /forum/viewtopic.php?f=*&t=*&start=0$
Disallow: /forum/viewtopic.php?f=*&t=*&view=next
Disallow: /forum/viewtopic.php?f=*&t=*&view=previous
Host: example.com
Sitemap: http://example.com/forum/sitemap.xml
Clean-param: sid /forum/index.php
Clean-param: sid /forum/viewforum.php
Clean-param: sid /forum/viewtopic.php

Изменить example.com на свой домен. Если кириллический домен, конвертируем его в punycode

[xisp]

то размещаю по адресу

Не у всех стоит карта сайта.

[COB16]

Кто скажет почему показывает ошибку?

Снимок.JPG

[xisp]

Потому что гугол не понимает параметра Clean-param, очевидно же. Забить. Гугол проигнорирует неизвестные ему параметры.

[COB16]

xisp Дело в том что и яндекс на них ругается

[xisp]

С чего бы? Покажите. У меня не ругается.

[COB16]

xisp

Снимок.JPG

[xisp]

Ну и? Написано же- секции используемые. Ругается он вот так:

[COB16]

xisp а я подумал ошибка

[Gudvin]

Проанализировав дубли страниц, сделал такой robots.txt, может кому пригодится:

Код: Выделить всё

User-agent: *
Disallow: /forum/adm
Disallow: /forum/cache
Disallow: /forum/files
Disallow: /forum/includes
Disallow: /forum/language
Disallow: /forum/store
Disallow: /forum/common.php
Disallow: /forum/config.php
Disallow: /forum/cron.php
Disallow: /forum/faq.php
Disallow: /forum/mcp.php
Disallow: /forum/memberlist.php 
Disallow: /forum/memberlist_fields.php
Disallow: /forum/thankslist.php
Disallow: /forum/posting.php
Disallow: /forum/recent.php
Disallow: /forum/report.php
Disallow: /forum/search.php
Disallow: /forum/style.php
Disallow: /forum/ucp.php
Disallow: /forum/go.php
Disallow: /forum/index.php*
Disallow: /forum/viewonline.php
Disallow: /forum/*&st=*
Disallow: /forum/*&sk=*
Disallow: /forum/*&sd=*
Disallow: /forum/*&hilit=*
Disallow: /forum/*&view=*
Disallow: /forum/viewtopic.php*p=*
Disallow: /forum/viewtopic.php?t=*
Disallow: /forum/view*&start=0$
Disallow:
Clean-param: sid /forum/index.php
Clean-param: sid /forum/viewforum.php
Clean-param: sid /forum/viewtopic.php

Мой форум

[ostridm]

Clean-param: start /forum/viewtopic.php
лишнее

[Gudvin]

Согласен, убрал.

[xisp]

Disallow: /forum/view*&start=0$

Не актуально для 3.1- таких ссылок я там не видел, а на этой странице указан правильный canonical.

Disallow:

Это не ошибка?

Disallow: /forum/styles

Роботы будут опечалено смотреть на форум без стилей. И, например, гугл не сможет сделать вывод о том, что форум адаптируется для мобильных, и не поставит соответствующую метку в поисковой выдаче.

[Gudvin]

Не актуально для 3.1- таких ссылок я там не видел, а на этой странице указан правильный canonical.

Смотрите в прилагаемом скрине панель Гугла.

Роботы будут опечалено смотреть на форум без стилей. И, например, гугл не сможет сделать вывод о том, что форум адаптируется для мобильных, и не поставит соответствующую метку в поисковой выдаче.

Попорбую снять запрет. Спасибо за ответ.