robots.txt для 3.x

[Татьяна5]

Что плохого?

Как минимум, все страницы от расширений будут по-умолчанию запрещены

[Kuskow]

А этого недостаточно?

Allow: /ext/

[Perfecthus]

Kuskow, Вообще-то Allow - это, разрешить, а не запретить, как выше написала Татьяна.

[Татьяна5]

А этого недостаточно?

Нет. Причём тут ext, когда ссылка будет, скажем, вида knowledgbase/123?

[Perfecthus]

Татьяна5, Видимо у некоторых, боты, ходят по каталогам на сервере.

[Kuskow]

когда ссылка будет, скажем, вида knowledgbase/123?

А можно какой-нибудь реальный пример из какого-нибудь популярного расширения? Хотя бы на сайте www.phpbbguru.net/community. Другие страницы типа списка благодарностей точно не надо индексировать - они и закрыты у многих. Файлы стилей и так открыты.

Мне кажется, ничего критичного в таком файле robots.txt нет, а если что-то и случится, Google пришлёт письмо "Новые причины препятствуют индексированию страниц с сайта". И тогда я добавлю новые строчки.

[Татьяна5]

реальный пример

rules/

[Kuskow]

Так это, как раз, у всех закрыто: всякие rules, faq, ucp и иже с ними. И я не открываю. А что именно из расширений нужно открыть, которое не в папке /ext/?

[rxu]

Kuskow, вам поясняют, что Disallow: / запрещает ссылки на все контроллеры phpBB. Например, встроенный /help/faq, и любые другие, которые добавляют какие бы то ни было расширения. Если у вас таких нет, или не хотите их скармливать ботам, то нет и проблем.

[Kuskow]

Disallow: /view*&start=0$

Эта строка вредная. Если бот проиндексировал такую, значит ссылка встретилась где-то в сообщении пользователя. В этом случае хорошо бы повысить вес страницы в поиске за счёт ссылки, а из-за этой строки плюсик не будет даден. Если убрать эту строку, страница не будет проиндексирована как отдельная за счёт link rel="canonical", но зато бот не обидится, что ссылка есть, а проиндексировать не дали.

Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php

Параметр sid= не нужно конкретизировать для каких-то страниц, он поисковикам не нужен на любой странице, а бывает он и для главной страницы форума. Чтобы не создавать отдельный раздел в robots.txt специально для Яндекса, лучше забить игнорирование парметров в интерфейсе Яндекс.Вебмастер -> Индексирование -> Настройка GET-параметров.

GET.png

Host: https://-----.ru

Это вообще нужно убрать, так как игнорируется уже почти всеми.