На форуме есть разделы, закрытые для гостей или для всех пользователей, кроме модераторов. Они создавались сразу закрытыми, то есть, сканирующий робот поисковых систем никогда не мог увидеть их в оглавлении форума. Темы в этих раздела также никогда не бывали в других общих открытых разделах. В Sitemap отсутствуют ссылки на эти темы и разделы.
Но Яндекс откуда-то докопался до этих разделов и тем в них. Он их сканирует и пытается индексировать. Естественно, ему говорят: "Вы не авторизованы для чтения этого форума". Но ответ сервера начинается с кода 200 OK, и Яндекс пытается проиндексировать страницу, а потом удаляет её по причине "Дубль".
Как бы так сделать, чтоб сканеры поисковиков не добирались до этих тем, или, хотя бы, чтоб сервер выдавал им ошибку 401/404?
Закрыть в robots.txt не поможет, потому что у тем URL без указания на раздел.
Индексирование закрытых разделов и тем
Правила форума
Местная Конституция | Шаблон запроса | Документация (phpBB3) | Мини [FAQ] по phpBB3.1.x | FAQ-3 (phpbb3) | Как задавать вопросы | Как устанавливать расширения
Ваш вопрос может быть удален без объяснения причин, если на него есть ответы по приведённым ссылкам (а вы рискуете получить предупреждение
).
Местная Конституция | Шаблон запроса | Документация (phpBB3) | Мини [FAQ] по phpBB3.1.x | FAQ-3 (phpbb3) | Как задавать вопросы | Как устанавливать расширения
Ваш вопрос может быть удален без объяснения причин, если на него есть ответы по приведённым ссылкам (а вы рискуете получить предупреждение
).
