robots.txt для 3.x

[Татьяна5]

1 Закрывать ленты? Зачем же они ещё нужны, как ни для роботов? (Люди лентами практически не пользуются)
2 Правкой шаблона. Расширений для 3.0.14 нет
3 Вам видней, надо это лично вам или нет. (Если обновляться, то до 3.1.9)

[Grizman]

На форуме стоит следующий robots.txt

Код: Выделить всё

User-Agent: Googlebot
Disallow: /forum/*?sid=*
Disallow: /forum/adm/*
Disallow: /forum/download/*
Disallow: /forum/faq.php
Disallow: /forum/install/
Disallow: /forum/mcp.php
Disallow: /forum/memberlist.php
Disallow: /forum/posting.php
Disallow: /forum/report.php
Disallow: /forum/search.php
Disallow: /forum/ucp.php
Disallow: /forum/viewtopic.php?f=*&t=*&start=0$
Disallow: /forum/viewtopic.php?p=*
Disallow: /forum/viewtopic.php?f=*&t=*&start=0$

Clean-param: sid /forum/index.php
Clean-param: sid /forum/viewforum.php
Clean-param: sid /forum/viewtopic.php

User-Agent: Yandex
Disallow: /forum/*?sid=*
Disallow: /forum/adm/*
Disallow: /forum/download/*
Disallow: /forum/faq.php
Disallow: /forum/install/
Disallow: /forum/mcp.php
Disallow: /forum/memberlist.php
Disallow: /forum/posting.php
Disallow: /forum/report.php
Disallow: /forum/search.php
Disallow: /forum/ucp.php
Disallow: /forum/viewtopic.php?f=*&t=*&start=0$
Disallow: /forum/viewtopic.php?p=*
Disallow: /forum/viewtopic.php?f=*&t=*&start=0$

Clean-param: sid /forum/index.php
Clean-param: sid /forum/viewforum.php
Clean-param: sid /forum/viewtopic.php

User-Agent: *
Disallow: /forum/*?sid=*
Disallow: /forum/adm/*
Disallow: /forum/download/*
Disallow: /forum/faq.php
Disallow: /forum/install/
Disallow: /forum/mcp.php
Disallow: /forum/memberlist.php
Disallow: /forum/posting.php
Disallow: /forum/report.php
Disallow: /forum/search.php
Disallow: /forum/ucp.php
Disallow: /forum/viewtopic.php?p=*
Disallow: /forum/viewtopic.php?f=*&t=*&start=0$

Clean-param: sid /forum/index.php
Clean-param: sid /forum/viewforum.php
Clean-param: sid /forum/viewtopic.php

Можете дать комментарии, подсказки, что не так или что требуется добавить?

[Татьяна5]

Папку install удалить с сервера

[Grizman]

Папку install удалить с сервера

Так ведь файл /install вроде отвечает за обновление форума по следующему пути /install/database_update.php
В целях безопасности советуют просто переименовать файл и выставить права на файл config.php на 644, тем более в индекс поиска он не идет.

Форум давно установлен, но вижу что для оптимизации заголовков, страниц пагинации, атрибутов canonical и других вещей нужно переходить на более новое решение как вы пишите на 3.1.9.

[LONER]

нужно переходить на более новое решение как вы пишите на 3.1.9

Совсем скоро уже будет phpBB 3.2.1 и phpBB 3.1.11, а советовали переходить не на phpBB 3.1.10, а на 3.1.9 из-за того что 3.1.10 не совсем стабильная версия получилась. В 3.1.11 должны будут исправить недостатки 3.1.10 и скорее всего 3.1.11 будет крайней версией в 3.1.х, далее будут только 3.2.х

[Татьяна5]

отвечает за обновление форума

Старая папка не может обновить форум до новой версии. А с выходом новой версии её всё равно надо удалять перед заливкой подходящей

[aleksndr]

Мне вот то же по поводу с яшей интересно.Сейчас в поиске,куча страниц токого вида
Название моего сайта - Переход по внешней ссылке
Так,как у меня на форуме установлен трекер,то во многих раздачах присутствует ссылка на сэмпл и яша хавает этот переход.
Сейчас правда выставил по совету Татьяны5 - Атрибут rel внешних ссылок: nofollow
Посмотрим, что получится.

[Slavaws]

aleksndr, добавьте в robots.txt

Код: Выделить всё

User-agent: *
Disallow: /link/*

[aleksndr]

Спасибо,добавил,посмотрим,что получится.

[aleksndr]

Не помогло

1c427ef7f054.jpg

[Beer]

Удаление ссылки в панели Вебмастера (Удалить URL) - какой результат?
robots.txt у тебя где лежит?

[Slavaws]

Не помогло

Конечно, и не должно помочь. Тут нужно делать так:
User-agent: *
Disallow: /app.php/*

[maco8024]

Тут нужно делать так:

Наверно без слеша
User-agent: *
Disallow: /app.php*

[aleksndr]

Так с слешем или без?

Отправлено спустя 2 минуты 27 секунд:

Удаление ссылки в панели Вебмастера (Удалить URL) - какой результат?

URL успешно добавлен в очередь на удаление

robots.txt у тебя где лежит?

В корне

robots.txt

[Slavaws]

Я считаю правильным мой вариант.
А проверить можно элементарно с помощью онлайн валидатора https://webmaster.yandex.ru/tools/robotstxt/