Уважаемые пользователи!
C 7 ноября 2020 года phpBB Group прекратила выпуск обновлений и завершила дальнейшее развитие phpBB версии 3.2.
С 1 августа 2024 года phpBB Group прекращает поддержку phpBB 3.2 на официальном сайте.
Сайт официальной русской поддержки phpBB Guru продолжит поддержку phpBB 3.2 до 31 декабря 2024 года.
С учетом этого, настоятельно рекомендуется обновить конференции до версии 3.3.

Индексирование несуществующих страниц в почищенных или разделённых темах

Проблемы с установкой или работой phpBB 3.3.x? Получите помощь здесь!
Правила форума
Местная Конституция | Шаблон запроса | Документация (phpBB3) | Мини [FAQ] по phpBB 3.1.x/3.2.x | FAQ | Как задавать вопросы | Как устанавливать расширения

Ваш вопрос может быть удален без объяснения причин, если на него есть ответы по приведённым ссылкам (а вы рискуете получить предупреждение ;) ).
Аватара пользователя
Kuskow
phpBB 1.4.4
Сообщения: 158
Стаж: 7 лет 10 месяцев
Откуда: Караганда
Благодарил (а): 24 раза
Поблагодарили: 15 раз
Контактная информация:

Индексирование несуществующих страниц в почищенных или разделённых темах

Сообщение Kuskow »

После удаления сообщений из тем, переноса сообщений в другие темы или разделения тем становится меньше страниц в теме. Вместо несуществующих страниц показывается последняя в теме. При этом ответ сервера сканирующему роботу поисковика - 200 OK. Конечно, потом при индексировании поисковики понимают, что это одинаковые страницы, но всё же это не совсем правильно. Особенно после разделения больших тем появляется много одинаковых страниц, и они ещё не скоро станут разными, а может даже никогда.

Где бы подкрутить, чтобы на несуществующую страницу выдавался код 302 или 404?
Аватара пользователя
Sheer
Former team member
Сообщения: 12113
Стаж: 17 лет 1 месяц
Откуда: Калининград не Кенигсберг
Благодарил (а): 54 раза
Поблагодарили: 2752 раза
Контактная информация:

Re: Индексирование несуществующих страниц в почищенных или разделённых темах

Сообщение Sheer »

Kuskow, А зачем кроспосспосить? Индексирование закрытых разделов и тем
Изображение
Общие ошибки новичков (07.11.2005) & Как задавать вопросы
Мини FAQ
Если ничто другое не помогает, прочтите, наконец, инструкцию!
"Никакая инструкция не может перечислить всех обязанностей должностного лица, предусмотреть все отдельные случаи и дать вперёд соответствующие указания, а поэтому господа инженеры должны проявить инициативу и, руководствуясь знаниями своей специальности и пользой дела, принять все усилия для оправдания своего назначения".
Циркуляр Морского технического комитета №15 от 29.11.1910 г.
Аватара пользователя
Kuskow
phpBB 1.4.4
Сообщения: 158
Стаж: 7 лет 10 месяцев
Откуда: Караганда
Благодарил (а): 24 раза
Поблагодарили: 15 раз
Контактная информация:

Re: Индексирование несуществующих страниц в почищенных или разделённых темах

Сообщение Kuskow »

Сначала хотел написать в одном сообщении, но потом подумал, что это разные вопросы. Пардон, наверное можно было выдать их по-очереди с интервалом в одной теме.
Аватара пользователя
Kuskow
phpBB 1.4.4
Сообщения: 158
Стаж: 7 лет 10 месяцев
Откуда: Караганда
Благодарил (а): 24 раза
Поблагодарили: 15 раз
Контактная информация:

Re: Индексирование несуществующих страниц в почищенных или разделённых темах

Сообщение Kuskow »

Установил новую версию расширения Canonical URL, и всё решилось само собой, так что, вопрос отпал.

Но возник следующий. На форуме есть закрытые разделы (для модераторов только). Их оглавление роботам не показывается, в формировании Sitemap они исключены. Но Яндекс как-то находит темы из них и пытается их индексировать. Через какую дыру он это делает?
Аватара пользователя
Татьяна5
Поддержка
Поддержка
Сообщения: 12372
Стаж: 12 лет 7 месяцев
Благодарил (а): 223 раза
Поблагодарили: 3517 раз
Контактная информация:

Re: Индексирование несуществующих страниц в почищенных или разделённых темах

Сообщение Татьяна5 »

Кто-то где-то мог опубликовать ссылку на раздел или на тему из него
Аватара пользователя
Kuskow
phpBB 1.4.4
Сообщения: 158
Стаж: 7 лет 10 месяцев
Откуда: Караганда
Благодарил (а): 24 раза
Поблагодарили: 15 раз
Контактная информация:

Re: Индексирование несуществующих страниц в почищенных или разделённых темах

Сообщение Kuskow »

Нет, точно не мог. Раздел закрыт для всех,к роме модераторов, ссылка на раздел ничего поисковому роботу не даст. Даже если опубликовали ссылку на тему, оттуда всё равно не достать оглавление раздела. А Яндексу стали известны адреса прям всех тем в этом закрытом разделе.
Аватара пользователя
Balamut
Former team member
Сообщения: 2213
Стаж: 19 лет
Откуда: {postrow.POSTER_FROM}
Поблагодарили: 146 раз
Контактная информация:

Re: Индексирование несуществующих страниц в почищенных или разделённых темах

Сообщение Balamut »

Делайте трассировку прав доступа
//
// That's all, Folks!
// -------------------------------------------------
Аватара пользователя
Татьяна5
Поддержка
Поддержка
Сообщения: 12372
Стаж: 12 лет 7 месяцев
Благодарил (а): 223 раза
Поблагодарили: 3517 раз
Контактная информация:

Re: Индексирование несуществующих страниц в почищенных или разделённых темах

Сообщение Татьяна5 »

Прав точно нет, и "видеть форум", и "читать"? И для гостей, и для ботов?
Аватара пользователя
Kuskow
phpBB 1.4.4
Сообщения: 158
Стаж: 7 лет 10 месяцев
Откуда: Караганда
Благодарил (а): 24 раза
Поблагодарили: 15 раз
Контактная информация:

Re: Индексирование несуществующих страниц в почищенных или разделённых темах

Сообщение Kuskow »

Совершенно точно. Это видно и по тому, что Яндекс не находит ключевых слов из заголовков тем в этом разделе, и по тому, что он поудалял у себя все темы по причине "одинаковые" - ему же на каждой странице говорят "Для просмотра этого форума вы должны быть авторизованы" или что-то в этом духе. То есть, адреса тем он нашёл, а индексировать их не хочет (не может).
Аватара пользователя
Balamut
Former team member
Сообщения: 2213
Стаж: 19 лет
Откуда: {postrow.POSTER_FROM}
Поблагодарили: 146 раз
Контактная информация:

Re: Индексирование несуществующих страниц в почищенных или разделённых темах

Сообщение Balamut »

Kuskow, значит либо форум либо был на момент индексации открытым, либо права стоят так, что темы боты видят, а просматривать их не могут.
Либо кто-то выложил в сети ссылки на все темы =)))
Другого не дано.
//
// That's all, Folks!
// -------------------------------------------------
Аватара пользователя
Sumanai
phpBB 3.0.0 RC5
Сообщения: 1668
Стаж: 9 лет 4 месяца
Благодарил (а): 267 раз
Поблагодарили: 216 раз
Контактная информация:

Re: Индексирование несуществующих страниц в почищенных или разделённых темах

Сообщение Sumanai »

Smayliks писал(а): Другого не дано.
По крайней мере гугл умеет выдумывать ссылки. То есть он на неоптимизированном для мобильных сайте самостоятельно пытался зайти на поддомен m. или mobile., или же на аналогичные страницы с префиксом /m/ или /mobile/.
Ничто не мешает яндексу, видя структуру URL, пытаться подобрать параметры самостоятельно.
Аватара пользователя
Kuskow
phpBB 1.4.4
Сообщения: 158
Стаж: 7 лет 10 месяцев
Откуда: Караганда
Благодарил (а): 24 раза
Поблагодарили: 15 раз
Контактная информация:

Re: Индексирование несуществующих страниц в почищенных или разделённых темах

Сообщение Kuskow »

Да, у меня тоже была такая мысль, видя как быстро Гугл и Яндекс индексируют форум. Только что тему завели - и уже через пару минут она в поиске. такое возможно, наверное, только если робот будет перебирать номера тем подряд. Но эти мои измышления, наверное, несостоятельны.
Аватара пользователя
Sumanai
phpBB 3.0.0 RC5
Сообщения: 1668
Стаж: 9 лет 4 месяца
Благодарил (а): 267 раз
Поблагодарили: 216 раз
Контактная информация:

Re: Индексирование несуществующих страниц в почищенных или разделённых темах

Сообщение Sumanai »

Kuskow писал(а): Только что тему завели - и уже через пару минут она в поиске.
Тут проще посмотреть логи, как часто они заходят в списки тем, или на главную, если там есть модуль активных тем.
Аватара пользователя
Balamut
Former team member
Сообщения: 2213
Стаж: 19 лет
Откуда: {postrow.POSTER_FROM}
Поблагодарили: 146 раз
Контактная информация:

Re: Индексирование несуществующих страниц в почищенных или разделённых темах

Сообщение Balamut »

Sumanai, ну m (mobile) логично искать, а вот долбиться на f=100500 (даже если есть f=100499 и f=100501) гугл врят ли будет.

Тогда если у меня будет 2 форума (первый с ID=5, второй с ID=1.000.000) то гугл не будет же перебирать весь лям адресов?

А вообще давно пора для закрытых форумов гостям и несуществующих форумов отдавать 404. Ещё ещё во времена двойки обсуждалось.
//
// That's all, Folks!
// -------------------------------------------------
Перенесено из форума Поддержка phpBB 3.1.x в форум Поддержка phpBB 3.3.x 21.05.2020 5:33 модератором Balamut

Аватара пользователя
Balamut
Former team member
Сообщения: 2213
Стаж: 19 лет
Откуда: {postrow.POSTER_FROM}
Поблагодарили: 146 раз
Контактная информация:

Re: Индексирование несуществующих страниц в почищенных или разделённых темах

Сообщение Balamut »

UPD сегодня от автора:
До меня, наконец-то, дошло. Оказывается, Яндекс берёт ссылки для индексирования не только на посещённых им страницах, но и из Яндекс.браузера. Когда модераторы, которые пользуются браузером Яндекса, ходят по закрытым разделам форума, Яндекс отправляет боту ссылки на эти страницы, так Яндекс-бот узнаёт о появлении новых страниц гораздо раньше, чем обходчик обнаружит их ссылки в других страницах.
Отправлено спустя 10 минут 12 секунд:
P.S. Ввиду того, что тема до сих пор актуальна - перенёс в Поддержку текущей версии.
//
// That's all, Folks!
// -------------------------------------------------
Ответить

Вернуться в «Поддержка phpBB 3.3.x»