Как убрать дубли из индекса ПС?

[Biba]

Доброго времени! Помогите, пожалуйста, решить следующую проблему.

Сначала форум работал так: site.com/forum

Затем создал поддомен forum и настроил перенаправления. Стало так: forum.site.com

НО! В индексе Гугла адреса многих страниц выдаются со старым url - site.com/forum/...

Прошло уже несколько месяцев, как я понимаю, в индексе уже должны быть страницы с новым url

Подскажите, можно ли как-то дополнительно "объяснить" Гуглу что он не прав...?

[владимир1983]

Обновляйте контент добавляя новые посты в старые темы. Темы обновятся в карте сайта которую вы используете да? Бот обойдет карту, и склеит в последствии.

[Biba]

Нет, карту, увы, не использую (не знаю, как сделать)

[apollion]

Biba, для начала, кроме 301 редиректа, обязательно закройте в роботсе ссылки на старый адрес форума. Лучше закрыть старый адрес целиком.

[Biba]

Спасибо за указание направления, но не совсем понятно как прописать этот запрет..

На хостинге есть корневая директория (отсюда работает site.com) и папка с форумом forum (отсюда, соответственно, работает сам форум).

И в корне, и в папке forum есть свой robots (т.е. всего их 2).

Используя свои скудные познания могу предположить, что текст роботса (но какого из 2-х?) должен выглядеть примерно так:

User-agent: *
Disallow: site.com

Вероятно, добавлять этот текст нужно в тот robots, который в папке forum, т.к. в противном случае он закроет от индексации весь site.com

Или, скорее, другой вариант

User-agent: *
Disallow: site.com/forum

Собственно, именно с таким url'ом есть дубликаты в индексе (а правильный адрес - forum.site.com)

Но все равно непонятно, в какой robots добавлять запрет (в корень или в папку с форумом) и как правильно прописать url, на который распространяется запрет (в т.ч. с http, www или без)?

[apollion]

Biba, роботса старого форума, конечно же. По его старому адресу, а не новому. Закрыть в нем старый форум от индексации целиком. Перед этим убедится, что редирект работает как надо - перенаправление происходит. И проверить правильность работы редиректа выборочно у тех ссылок старого форума, которые есть в индексе.
А потом, только запастить терпением и ждать.

Кроме этого в вебмастере гугла проверьте все ли правильно сделано на вкладке "Изменение адреса", если вы там что-то делали. Если нет - сделайте переезд сайта.
Вкладка типа этой: https://www.google.com/webmasters/tools ... //site.ru/

Настройки - Изменение адреса.

И проверьте роботсы: нового форума и старого в консоли гугл-вебмастера на наличие ошибок.

[Biba]

Спасибо! Буду делать.. и ждать)

[apollion]

как правильно прописать url, на который распространяется запрет (в т.ч. с http, www или без)?

Точно также как и запреты для других вложенных папок. Без http и www. Адрес должен начинаться со слэша /

В вебмастере Яндекса (точнее в разделе "Помощь") есть подробное описание того, как правильно прописывать что-либо в роботсе.

Отправлено спустя 1 минуту 50 секунд:
Грубо говоря, как пример, ссылка на эту тему: Как убрать дубли из индекса ПС?

Закрываемая ссылка должна начинаться с /community/...

Изучите раздел https://yandex.ru/support/webmaster/con ... ts-txt.xml

Правила создания роботса одинаковы для Гугла и Яндекса.

[Biba]

Прочитал разъяснения Яндекса, более-менее понятно, но все же терзают смутные сомнения насчет верности закрытия директории /community/ (как пример).
P.S. Сомнения касается именно моего случая и связаны со структурой папок (опасаюсь, чтоб форум на поддомене не перестал индексироваться, т.к. директория с ним будет закрыта).

Постараюсь описать причину сомнений (на примере community).

Итак, форум был изначально (и сейчас) в папке community, т.е. был доступен по адресу site.com/community/.
Затем (не переезжая физически) был создан поддомен forum и установлена переадресация.
Т.е. теперь форум стал доступен по адресу forum.site.com

При вводе в адресной строке site.com/community переадресовывает на forum.site.com (как и должно быть).
Аналогично и для тем, например, site.com/community/viewtopic.php?f=3&t=89 перекинет на forum.site.com/viewtopic.php?f=3&t=89
Вроде, переадресация настроена верно.

Меня смущает, что закрыв директорию community, чтобы убрать адреса в индексе вида site.com/community/ - форум вообще перестанет индексироваться, т.к. он находится именно в этой директории.
Хотя этот адрес URL и не должен быть доступен (поскольку нужный адрес forum.site.com, но он ведет на ту же папку community).

[apollion]

Если физического переноса папок форума не было, тогда закрывать по старому адресу не нужно.
Закрывать нужно, если в папке со старым форумом папок и файлов форума нет.

Немного странная ситуация, потому как обычно при создании поддомена -на сервере (можно проверить по ФТП) создается папка поддомена. Именно в нее физически переносят что-либо, а по старому адресу закрыают доступ.

Т. е. если есть site.ru и форум site.ru/forum

То по FTP это выглядит так:

1 уровень
site/
и в нем папка - 2 уровень
forum/
а в ней уже файлы и папки форума


при создании поддомена forum.site.ru - автоматом создается одноименная папка forum.site.ru
которая располагается на одном уровне с site.ru на сервере
и в нее переносят файлы форума, т.е. форум из вложенного в папку сайта переезжает на уровень выше на котором папка сайта находится.

Т. е. папки:
site.ru
forum.site.ru

Надеюсь, я понятно объяснил.

[Biba]

Да, все понятно, спасибо.

Просто изначально был один сайт (в корне), а позже в поддиректории phpBB3 был создан форум (схожей тематики).
Так он и работал: site.com/forum

Позже был создан поддомен forum, но он был принудительно "связан" с уже имеющейся директорией phpBB3.
И стало: forum.site.com (но ведет оно все равно на поддиректорию phpBB3)

Поэтому и появились сомнения в правильности закрытия в корневом Роботсе поддиректории phpBB3, чтобы форум вообще не ушел в аут

Отправлено спустя 4 минуты 57 секунд:
Да, что интересно - сейчас проверил с помощью опции "Просмотреть как Googlebot" из Инструментов для веб-мастеров - форум ВИДЕН (т.е. не закрыт от индексирования, как я понимаю, хотя папка с ним закрыта в роботсе, расположенном в корневой директории)

[Sumanai]

обязательно закройте в роботсе ссылки на старый адрес форума

Минус вся накопленная ссылочная база по старым ссылкам?

[Biba]

Ссылочная масса, полагаю, будет передаваться, т.к. со старого url site.com/forum есть переадресация на новый адрес forum.site.com

[Sumanai]

Biba, запретом в robots вы запретите переход по этим ссылкам, и вашей переадресации ПС просто не увидят, так как вообще не будут заходить.
Корректного редиректа должно быть достаточно.

[Biba]

Мне просто нужно выбросить из индекса страницы со старым url... Уже полгода прошло, а они все висят

Как вариант, может попробовать подержать немного запрет на индексацию старого url, а потом убрать.
Старый url может вылететь из индекса, а ссылочная масса с него потом вернется (после снятия disallow)

В любом случае, огромное спасибо за участие, помощь и объяснения (особенно, apollion)