robots.txt для 3.x

[Татьяна5]

Что плохого?

Как минимум, все страницы от расширений будут по-умолчанию запрещены

[Kuskow]

А этого недостаточно?

Allow: /ext/

[Perfecthus]

Kuskow, Вообще-то Allow - это, разрешить, а не запретить, как выше написала Татьяна.

[Татьяна5]

А этого недостаточно?

Нет. Причём тут ext, когда ссылка будет, скажем, вида knowledgbase/123?

[Perfecthus]

Татьяна5, Видимо у некоторых, боты, ходят по каталогам на сервере.

[Kuskow]

когда ссылка будет, скажем, вида knowledgbase/123?

А можно какой-нибудь реальный пример из какого-нибудь популярного расширения? Хотя бы на сайте www.phpbbguru.net/community. Другие страницы типа списка благодарностей точно не надо индексировать - они и закрыты у многих. Файлы стилей и так открыты.

Мне кажется, ничего критичного в таком файле robots.txt нет, а если что-то и случится, Google пришлёт письмо "Новые причины препятствуют индексированию страниц с сайта". И тогда я добавлю новые строчки.

[Татьяна5]

реальный пример

rules/

[Kuskow]

Так это, как раз, у всех закрыто: всякие rules, faq, ucp и иже с ними. И я не открываю. А что именно из расширений нужно открыть, которое не в папке /ext/?

[rxu]

Kuskow, вам поясняют, что Disallow: / запрещает ссылки на все контроллеры phpBB. Например, встроенный /help/faq, и любые другие, которые добавляют какие бы то ни было расширения. Если у вас таких нет, или не хотите их скармливать ботам, то нет и проблем.