На форуме есть разделы, закрытые для гостей или для всех пользователей, кроме модераторов. Они создавались сразу закрытыми, то есть, сканирующий робот поисковых систем никогда не мог увидеть их в оглавлении форума. Темы в этих раздела также никогда не бывали в других общих открытых разделах. В Sitemap отсутствуют ссылки на эти темы и разделы.
Но Яндекс откуда-то докопался до этих разделов и тем в них. Он их сканирует и пытается индексировать. Естественно, ему говорят: "Вы не авторизованы для чтения этого форума". Но ответ сервера начинается с кода 200 OK, и Яндекс пытается проиндексировать страницу, а потом удаляет её по причине "Дубль".
Как бы так сделать, чтоб сканеры поисковиков не добирались до этих тем, или, хотя бы, чтоб сервер выдавал им ошибку 401/404?
Закрыть в robots.txt не поможет, потому что у тем URL без указания на раздел.
Уважаемые пользователи!
C 7 ноября 2020 года phpBB Group прекратила выпуск обновлений и завершила дальнейшее развитие phpBB версии 3.2.
С 1 августа 2024 года phpBB Group прекращает поддержку phpBB 3.2 на официальном сайте.
Сайт официальной русской поддержки phpBB Guru продолжит поддержку phpBB 3.2 до 31 декабря 2024 года.
С учетом этого, настоятельно рекомендуется обновить конференции до версии 3.3.
C 7 ноября 2020 года phpBB Group прекратила выпуск обновлений и завершила дальнейшее развитие phpBB версии 3.2.
С 1 августа 2024 года phpBB Group прекращает поддержку phpBB 3.2 на официальном сайте.
Сайт официальной русской поддержки phpBB Guru продолжит поддержку phpBB 3.2 до 31 декабря 2024 года.
С учетом этого, настоятельно рекомендуется обновить конференции до версии 3.3.
Индексирование закрытых разделов и тем
Правила форума
Местная Конституция | Шаблон запроса | Документация (phpBB3) | Мини [FAQ] по phpBB3.1.x | FAQ-3 (phpbb3) | Как задавать вопросы | Как устанавливать расширения
Ваш вопрос может быть удален без объяснения причин, если на него есть ответы по приведённым ссылкам (а вы рискуете получить предупреждение ).
Местная Конституция | Шаблон запроса | Документация (phpBB3) | Мини [FAQ] по phpBB3.1.x | FAQ-3 (phpbb3) | Как задавать вопросы | Как устанавливать расширения
Ваш вопрос может быть удален без объяснения причин, если на него есть ответы по приведённым ссылкам (а вы рискуете получить предупреждение ).