robots.txt для 3.x

[Татьяна5]

Что плохого?

Как минимум, все страницы от расширений будут по-умолчанию запрещены

[Kuskow]

А этого недостаточно?

Allow: /ext/

[Perfecthus]

Kuskow, Вообще-то Allow - это, разрешить, а не запретить, как выше написала Татьяна.

[Татьяна5]

А этого недостаточно?

Нет. Причём тут ext, когда ссылка будет, скажем, вида knowledgbase/123?

[Perfecthus]

Татьяна5, Видимо у некоторых, боты, ходят по каталогам на сервере.

[Kuskow]

когда ссылка будет, скажем, вида knowledgbase/123?

А можно какой-нибудь реальный пример из какого-нибудь популярного расширения? Хотя бы на сайте www.phpbbguru.net/community. Другие страницы типа списка благодарностей точно не надо индексировать - они и закрыты у многих. Файлы стилей и так открыты.

Мне кажется, ничего критичного в таком файле robots.txt нет, а если что-то и случится, Google пришлёт письмо "Новые причины препятствуют индексированию страниц с сайта". И тогда я добавлю новые строчки.

[Татьяна5]

реальный пример

rules/

[Kuskow]

Так это, как раз, у всех закрыто: всякие rules, faq, ucp и иже с ними. И я не открываю. А что именно из расширений нужно открыть, которое не в папке /ext/?

[rxu]

Kuskow, вам поясняют, что Disallow: / запрещает ссылки на все контроллеры phpBB. Например, встроенный /help/faq, и любые другие, которые добавляют какие бы то ни было расширения. Если у вас таких нет, или не хотите их скармливать ботам, то нет и проблем.

[Kuskow]

Disallow: /view*&start=0$

Эта строка вредная. Если бот проиндексировал такую, значит ссылка встретилась где-то в сообщении пользователя. В этом случае хорошо бы повысить вес страницы в поиске за счёт ссылки, а из-за этой строки плюсик не будет даден. Если убрать эту строку, страница не будет проиндексирована как отдельная за счёт link rel="canonical", но зато бот не обидится, что ссылка есть, а проиндексировать не дали.

Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php

Параметр sid= не нужно конкретизировать для каких-то страниц, он поисковикам не нужен на любой странице, а бывает он и для главной страницы форума. Чтобы не создавать отдельный раздел в robots.txt специально для Яндекса, лучше забить игнорирование парметров в интерфейсе Яндекс.Вебмастер -> Индексирование -> Настройка GET-параметров.

GET.png

Host: https://-----.ru

Это вообще нужно убрать, так как игнорируется уже почти всеми.

[Kuskow]

А что если сделать всё наоборот?

Переработано:

Код: Выделить всё

User-Agent: *
Disallow: /

User-Agent: Googlebot
User-Agent: YandexBot
Disallow: /
Allow: /$
Allow: /viewforum.php?
Allow: /viewtopic.php?
Allow: /sitemap
Allow: /assets/
Allow: /download/
Allow: /ext/
Allow: /styles/

User-Agent: Applebot
User-Agent: Bingbot
User-Agent: GPTBot
Disallow: /
Allow: /$
Allow: /viewforum.php?f=
Allow: /viewtopic.php?t=
Allow: /sitemap
Allow: /assets/
Allow: /download/
Allow: /ext/
Allow: /styles/

Sitemap: https://СВОЙДОМЕН/sitemap.xml

* Неожиданно: Если в инструкциях файла robots не упоминается Applebot, но есть Googlebot, робот Apple будет следовать инструкциям для Googlebot.

[Kuskow]

Нет. Причём тут ext, когда ссылка будет, скажем, вида knowledgbase/123?

Это даже хорошо. На форумах уникальный контент генерируют только пользователи. Весь он собран только в viewtopic.php, частично повторяясь в viewforum.php. А значит индексация всего остального бессмысленна, бесполезна и даже вредна, поскольку крадёт краулинговый бюджет. Вряд ли кто-то хочет, чтобы новый пользователь пришёл из Яндекса на страницу со списком благодарностей.
Опять же, Гугл с Яндексом и сами потом решат, что эти страницы мусорные, выкинут их из раздачи. Так зачем же их скармливать поисковикам изначально? FAQ и RULES вообще одинаковые для тысяч сайтов - однозначно умные поисковики не возьмут их в свой индекс.

[Татьяна5]

только пользователи

И админы, как в случае с knowledgbase, pages, и прочим-прочим-прочим