Внимание!
Не все расширения для phpBB 3.2 совместимы с phpBB 3.3, главным образом из-за неверного синтаксиса в определениях сервисов (отсутствия обрамляющих кавычек - '...').
Перед обновлением необходимо убедиться в совместимости всех расширений.
Рекомендуется предварительно тестировать обновление на копии конференции (локально или на сервере).

Индексирование несуществующих страниц в почищенных или разделённых темах

Проблемы с установкой или работой phpBB 3.3.x? Получите помощь здесь!
Правила форума
Местная Конституция | Шаблон запроса | Документация (phpBB3) | Мини [FAQ] по phpBB 3.1.x/3.2.x | FAQ | Как задавать вопросы | Как устанавливать расширения

Ваш вопрос может быть удален без объяснения причин, если на него есть ответы по приведённым ссылкам (а вы рискуете получить предупреждение ;) ).
Аватара пользователя
Kuskow
phpBB 1.4.2
Сообщения: 73
Стаж: 4 года
Откуда: Караганда
Благодарил (а): 6 раз
Поблагодарили: 5 раз

Индексирование несуществующих страниц в почищенных или разделённых темах

Сообщение Kuskow »

После удаления сообщений из тем, переноса сообщений в другие темы или разделения тем становится меньше страниц в теме. Вместо несуществующих страниц показывается последняя в теме. При этом ответ сервера сканирующему роботу поисковика - 200 OK. Конечно, потом при индексировании поисковики понимают, что это одинаковые страницы, но всё же это не совсем правильно. Особенно после разделения больших тем появляется много одинаковых страниц, и они ещё не скоро станут разными, а может даже никогда.

Где бы подкрутить, чтобы на несуществующую страницу выдавался код 302 или 404?

Аватара пользователя
Sheer
phpBB Guru
phpBB Guru
Сообщения: 11541
Стаж: 13 лет 3 месяца
Откуда: Калининград не Кенигсберг
Благодарил (а): 53 раза
Поблагодарили: 2602 раза

Re: Индексирование несуществующих страниц в почищенных или разделённых темах

Сообщение Sheer »

Kuskow, А зачем кроспосспосить? Индексирование закрытых разделов и тем
Изображение
Общие ошибки новичков (07.11.2005) & Как задавать вопросы
Мини FAQ
Если ничто другое не помогает, прочтите, наконец, инструкцию!
"Никакая инструкция не может перечислить всех обязанностей должностного лица, предусмотреть все отдельные случаи и дать вперёд соответствующие указания, а поэтому господа инженеры должны проявить инициативу и, руководствуясь знаниями своей специальности и пользой дела, принять все усилия для оправдания своего назначения".
Циркуляр Морского технического комитета №15 от 29.11.1910 г.

Аватара пользователя
Kuskow
phpBB 1.4.2
Сообщения: 73
Стаж: 4 года
Откуда: Караганда
Благодарил (а): 6 раз
Поблагодарили: 5 раз

Re: Индексирование несуществующих страниц в почищенных или разделённых темах

Сообщение Kuskow »

Сначала хотел написать в одном сообщении, но потом подумал, что это разные вопросы. Пардон, наверное можно было выдать их по-очереди с интервалом в одной теме.

Аватара пользователя
Kuskow
phpBB 1.4.2
Сообщения: 73
Стаж: 4 года
Откуда: Караганда
Благодарил (а): 6 раз
Поблагодарили: 5 раз

Re: Индексирование несуществующих страниц в почищенных или разделённых темах

Сообщение Kuskow »

Установил новую версию расширения Canonical URL, и всё решилось само собой, так что, вопрос отпал.

Но возник следующий. На форуме есть закрытые разделы (для модераторов только). Их оглавление роботам не показывается, в формировании Sitemap они исключены. Но Яндекс как-то находит темы из них и пытается их индексировать. Через какую дыру он это делает?

Аватара пользователя
Татьяна5
Поддержка
Поддержка
Сообщения: 10079
Стаж: 8 лет 9 месяцев
Благодарил (а): 178 раз
Поблагодарили: 2803 раза

Re: Индексирование несуществующих страниц в почищенных или разделённых темах

Сообщение Татьяна5 »

Кто-то где-то мог опубликовать ссылку на раздел или на тему из него

Аватара пользователя
Kuskow
phpBB 1.4.2
Сообщения: 73
Стаж: 4 года
Откуда: Караганда
Благодарил (а): 6 раз
Поблагодарили: 5 раз

Re: Индексирование несуществующих страниц в почищенных или разделённых темах

Сообщение Kuskow »

Нет, точно не мог. Раздел закрыт для всех,к роме модераторов, ссылка на раздел ничего поисковому роботу не даст. Даже если опубликовали ссылку на тему, оттуда всё равно не достать оглавление раздела. А Яндексу стали известны адреса прям всех тем в этом закрытом разделе.

Аватара пользователя
Smayliks
Поддержка
Поддержка
Сообщения: 2178
Стаж: 15 лет 2 месяца
Откуда: {postrow.POSTER_FROM}
Поблагодарили: 153 раза

Re: Индексирование несуществующих страниц в почищенных или разделённых темах

Сообщение Smayliks »

Делайте трассировку прав доступа
//
// That's all, Folks!
// -------------------------------------------------

Аватара пользователя
Татьяна5
Поддержка
Поддержка
Сообщения: 10079
Стаж: 8 лет 9 месяцев
Благодарил (а): 178 раз
Поблагодарили: 2803 раза

Re: Индексирование несуществующих страниц в почищенных или разделённых темах

Сообщение Татьяна5 »

Прав точно нет, и "видеть форум", и "читать"? И для гостей, и для ботов?

Аватара пользователя
Kuskow
phpBB 1.4.2
Сообщения: 73
Стаж: 4 года
Откуда: Караганда
Благодарил (а): 6 раз
Поблагодарили: 5 раз

Re: Индексирование несуществующих страниц в почищенных или разделённых темах

Сообщение Kuskow »

Совершенно точно. Это видно и по тому, что Яндекс не находит ключевых слов из заголовков тем в этом разделе, и по тому, что он поудалял у себя все темы по причине "одинаковые" - ему же на каждой странице говорят "Для просмотра этого форума вы должны быть авторизованы" или что-то в этом духе. То есть, адреса тем он нашёл, а индексировать их не хочет (не может).

Аватара пользователя
Smayliks
Поддержка
Поддержка
Сообщения: 2178
Стаж: 15 лет 2 месяца
Откуда: {postrow.POSTER_FROM}
Поблагодарили: 153 раза

Re: Индексирование несуществующих страниц в почищенных или разделённых темах

Сообщение Smayliks »

Kuskow, значит либо форум либо был на момент индексации открытым, либо права стоят так, что темы боты видят, а просматривать их не могут.
Либо кто-то выложил в сети ссылки на все темы =)))
Другого не дано.
//
// That's all, Folks!
// -------------------------------------------------

Аватара пользователя
Sumanai
phpBB 3.0.0 RC5
Сообщения: 1665
Стаж: 5 лет 6 месяцев
Благодарил (а): 267 раз
Поблагодарили: 219 раз

Re: Индексирование несуществующих страниц в почищенных или разделённых темах

Сообщение Sumanai »

Smayliks писал(а): Другого не дано.
По крайней мере гугл умеет выдумывать ссылки. То есть он на неоптимизированном для мобильных сайте самостоятельно пытался зайти на поддомен m. или mobile., или же на аналогичные страницы с префиксом /m/ или /mobile/.
Ничто не мешает яндексу, видя структуру URL, пытаться подобрать параметры самостоятельно.

Аватара пользователя
Kuskow
phpBB 1.4.2
Сообщения: 73
Стаж: 4 года
Откуда: Караганда
Благодарил (а): 6 раз
Поблагодарили: 5 раз

Re: Индексирование несуществующих страниц в почищенных или разделённых темах

Сообщение Kuskow »

Да, у меня тоже была такая мысль, видя как быстро Гугл и Яндекс индексируют форум. Только что тему завели - и уже через пару минут она в поиске. такое возможно, наверное, только если робот будет перебирать номера тем подряд. Но эти мои измышления, наверное, несостоятельны.

Аватара пользователя
Sumanai
phpBB 3.0.0 RC5
Сообщения: 1665
Стаж: 5 лет 6 месяцев
Благодарил (а): 267 раз
Поблагодарили: 219 раз

Re: Индексирование несуществующих страниц в почищенных или разделённых темах

Сообщение Sumanai »

Kuskow писал(а): Только что тему завели - и уже через пару минут она в поиске.
Тут проще посмотреть логи, как часто они заходят в списки тем, или на главную, если там есть модуль активных тем.

Аватара пользователя
Smayliks
Поддержка
Поддержка
Сообщения: 2178
Стаж: 15 лет 2 месяца
Откуда: {postrow.POSTER_FROM}
Поблагодарили: 153 раза

Re: Индексирование несуществующих страниц в почищенных или разделённых темах

Сообщение Smayliks »

Sumanai, ну m (mobile) логично искать, а вот долбиться на f=100500 (даже если есть f=100499 и f=100501) гугл врят ли будет.

Тогда если у меня будет 2 форума (первый с ID=5, второй с ID=1.000.000) то гугл не будет же перебирать весь лям адресов?

А вообще давно пора для закрытых форумов гостям и несуществующих форумов отдавать 404. Ещё ещё во времена двойки обсуждалось.
//
// That's all, Folks!
// -------------------------------------------------

Перенесено из форума Поддержка phpBB 3.1.x в форум Поддержка phpBB 3.3.x 21.05.2020 5:33 модератором Smayliks

Аватара пользователя
Smayliks
Поддержка
Поддержка
Сообщения: 2178
Стаж: 15 лет 2 месяца
Откуда: {postrow.POSTER_FROM}
Поблагодарили: 153 раза

Re: Индексирование несуществующих страниц в почищенных или разделённых темах

Сообщение Smayliks »

UPD сегодня от автора:
До меня, наконец-то, дошло. Оказывается, Яндекс берёт ссылки для индексирования не только на посещённых им страницах, но и из Яндекс.браузера. Когда модераторы, которые пользуются браузером Яндекса, ходят по закрытым разделам форума, Яндекс отправляет боту ссылки на эти страницы, так Яндекс-бот узнаёт о появлении новых страниц гораздо раньше, чем обходчик обнаружит их ссылки в других страницах.
Отправлено спустя 10 минут 12 секунд:
P.S. Ввиду того, что тема до сих пор актуальна - перенёс в Поддержку текущей версии.
//
// That's all, Folks!
// -------------------------------------------------

Вернуться в «Поддержка phpBB 3.3.x»