На форуме есть разделы, закрытые для гостей или для всех пользователей, кроме модераторов. Они создавались сразу закрытыми, то есть, сканирующий робот поисковых систем никогда не мог увидеть их в оглавлении форума. Темы в этих раздела также никогда не бывали в других общих открытых разделах. В Sitemap отсутствуют ссылки на эти темы и разделы.
Но Яндекс откуда-то докопался до этих разделов и тем в них. Он их сканирует и пытается индексировать. Естественно, ему говорят: "Вы не авторизованы для чтения этого форума". Но ответ сервера начинается с кода 200 OK, и Яндекс пытается проиндексировать страницу, а потом удаляет её по причине "Дубль".
Как бы так сделать, чтоб сканеры поисковиков не добирались до этих тем, или, хотя бы, чтоб сервер выдавал им ошибку 401/404?
Закрыть в robots.txt не поможет, потому что у тем URL без указания на раздел.
Индексирование закрытых разделов и тем
Правила форума
Местная Конституция | Шаблон запроса | Документация (phpBB3) | Мини [FAQ] по phpBB3.1.x | FAQ-3 (phpbb3) | Как задавать вопросы | Как устанавливать расширения
Ваш вопрос может быть удален без объяснения причин, если на него есть ответы по приведённым ссылкам (а вы рискуете получить предупреждение
).
Местная Конституция | Шаблон запроса | Документация (phpBB3) | Мини [FAQ] по phpBB3.1.x | FAQ-3 (phpbb3) | Как задавать вопросы | Как устанавливать расширения
Ваш вопрос может быть удален без объяснения причин, если на него есть ответы по приведённым ссылкам (а вы рискуете получить предупреждение
).
-
Kuskow
- phpBB 2.0.2
- Сообщения: 340
- Стаж: 9 лет 10 месяцев
- Откуда: 🇰🇿 Караганда
- Благодарил (а): 23 раза
- Поблагодарили: 32 раза
Индексирование закрытых разделов и тем
phpBB 3.3.15 • Manticore 17.5 • MariaDB 11.4 (2.8 GB) • Redis • PHP 8.3-FPM • Nginx • HestiaCP • Debian 12 • 4GB DDR4 • 60GB NVMe • 2 vCPU 4GHz
