phpBB Guru - Официальная русская поддержка форума phpBB3

После удаления сообщений из тем, переноса сообщений в другие темы или разделения тем становится меньше страниц в теме. Вместо несуществующих страниц показывается последняя в теме. При этом ответ сервера сканирующему роботу поисковика - 200 OK. Конечно, потом при индексировании поисковики понимают, что это одинаковые страницы, но всё же это не совсем правильно. Особенно после разделения больших тем появляется много одинаковых страниц, и они ещё не скоро станут разными, а может даже никогда.

Где бы подкрутить, чтобы на несуществующую страницу выдавался код 302 или 404?

Kuskow, А зачем кроспосспосить? Индексирование закрытых разделов и тем

Сначала хотел написать в одном сообщении, но потом подумал, что это разные вопросы. Пардон, наверное можно было выдать их по-очереди с интервалом в одной теме.

Установил новую версию расширения Canonical URL, и всё решилось само собой, так что, вопрос отпал.

Но возник следующий. На форуме есть закрытые разделы (для модераторов только). Их оглавление роботам не показывается, в формировании Sitemap они исключены. Но Яндекс как-то находит темы из них и пытается их индексировать. Через какую дыру он это делает?

Кто-то где-то мог опубликовать ссылку на раздел или на тему из него

Нет, точно не мог. Раздел закрыт для всех,к роме модераторов, ссылка на раздел ничего поисковому роботу не даст. Даже если опубликовали ссылку на тему, оттуда всё равно не достать оглавление раздела. А Яндексу стали известны адреса прям всех тем в этом закрытом разделе.

Делайте трассировку прав доступа

Прав точно нет, и "видеть форум", и "читать"? И для гостей, и для ботов?

Совершенно точно. Это видно и по тому, что Яндекс не находит ключевых слов из заголовков тем в этом разделе, и по тому, что он поудалял у себя все темы по причине "одинаковые" - ему же на каждой странице говорят "Для просмотра этого форума вы должны быть авторизованы" или что-то в этом духе. То есть, адреса тем он нашёл, а индексировать их не хочет (не может).

Kuskow, значит либо форум либо был на момент индексации открытым, либо права стоят так, что темы боты видят, а просматривать их не могут.
Либо кто-то выложил в сети ссылки на все темы =)))
Другого не дано.

Smayliks писал(а): Другого не дано.

По крайней мере гугл умеет выдумывать ссылки. То есть он на неоптимизированном для мобильных сайте самостоятельно пытался зайти на поддомен m. или mobile., или же на аналогичные страницы с префиксом /m/ или /mobile/.
Ничто не мешает яндексу, видя структуру URL, пытаться подобрать параметры самостоятельно.

Да, у меня тоже была такая мысль, видя как быстро Гугл и Яндекс индексируют форум. Только что тему завели - и уже через пару минут она в поиске. такое возможно, наверное, только если робот будет перебирать номера тем подряд. Но эти мои измышления, наверное, несостоятельны.

Kuskow писал(а): Только что тему завели - и уже через пару минут она в поиске.

Тут проще посмотреть логи, как часто они заходят в списки тем, или на главную, если там есть модуль активных тем.

Sumanai, ну m (mobile) логично искать, а вот долбиться на f=100500 (даже если есть f=100499 и f=100501) гугл врят ли будет.

Тогда если у меня будет 2 форума (первый с ID=5, второй с ID=1.000.000) то гугл не будет же перебирать весь лям адресов?

А вообще давно пора для закрытых форумов гостям и несуществующих форумов отдавать 404. Ещё ещё во времена двойки обсуждалось.

UPD сегодня от автора:

До меня, наконец-то, дошло. Оказывается, Яндекс берёт ссылки для индексирования не только на посещённых им страницах, но и из Яндекс.браузера. Когда модераторы, которые пользуются браузером Яндекса, ходят по закрытым разделам форума, Яндекс отправляет боту ссылки на эти страницы, так Яндекс-бот узнаёт о появлении новых страниц гораздо раньше, чем обходчик обнаружит их ссылки в других страницах.

Отправлено спустя 10 минут 12 секунд:
P.S. Ввиду того, что тема до сих пор актуальна - перенёс в Поддержку текущей версии.