Индексация поисковиками

[ReXtor]

/viewforum.php?f=1. 404
Как я понимаю это ссылка на самый первый форум, создаваемый при инсталяции конференции "Это Ваш первый форум..."

Это ссылка на первую КАТЕГОРИЮ. А первый форум (раздел) уже внутри этой категории. И первая категория вполне себе доступна на отдельной странице по этой ссылке и должна отображать список вложенных в нее форумов. Проверь права доступа на категорию!

и как закрыть их для обхода ?

Если действительно эти ссылки от Antibot42, то странно. У меня подобного не наблюдалось. Отдельно UCP в robots.txt я не закрывал даже. А проверь добавлен ли яндекс (и правильно ли) в список ботов (в ACP).

К расширению SEO Metadata, вопрос не относится и все это оффтоп.

[G20]

Это ссылка на первую КАТЕГОРИЮ. А первый форум (раздел) уже внутри этой категории. И первая категория вполне себе доступна на отдельной странице по этой ссылке и должна отображать список вложенных в нее форумов. Проверь права доступа на категорию!

Я понимаю что написал. Да, это категория (f) , внутри которой разделы (t) топики, а уже внутри них располагаются посты (p)
И тем не менее ругается выдавая нерабочую ссылку на /viewforum.php?f=1, пройдя по которой "Запрошенного форума не существует.
Если смотреть содержимое SQL таблицы phpbb_forums, то минимальный forum_id который в ней есть это 4
Тоесть категории/форума под номером 1 на конференции нет физически.
Но где тогда Яндекс наткнулся на этот фантом?

[Татьяна5]

G20, форум не новый, сообщения в 1-м форуме были? В том случае ссылка могла остаться на стороннем сайте, кто-то разместил. Закрывать для индексации её не надо, сама исчезнет из-за 404-й

[G20]

G20, форум не новый, сообщения в 1-м форуме были?

Да не новый, но и не сильно старый. Создан 1 августа 2022г.
Сообщений там было/небыло уже не вспомню. Возможно какие-то и были в момент настройки.

P.S. После первой попытки проиндексировать, количество обходов роботом больше 30 ориентировочно.

[G20]

G20, форум не новый, сообщения в 1-м форуме были? В том случае ссылка могла остаться на стороннем сайте, кто-то разместил. Закрывать для индексации её не надо, сама исчезнет из-за 404-й

Проблема была на стороне Яндекс. Написал в техподдержку, исправили.

Та проблема исправлена, зато появились другие

"страница проиндексирована по каноническому адресу https://youforum.ru/viewtopic.php?t=75&start=80, который был указан в атрибуте rel="canonical" в исходном коде. Исправьте или удалите атрибут canonical, если он указан некорректно. Робот отследит изменения автоматически."

Уважаемые Гуру, не подскажете где именно этот атрибут расположен? Из за этой ошибки страницы не индексируются

[Татьяна5]

Из за этой ошибки страницы не индексируются

Это не ошибка. Canonical не даёт индексировать дубли страниц

[G20]

Это не ошибка. Canonical не даёт индексировать дубли страниц

Татьяна доброго времени суток! Я так ине победил эту проблему.
Яндекс и Гугл отказываются индексировать более половины страниц, причина Canonical.
Что может не нравиться поисковикам?

[Татьяна5]

эту проблему

Это не проблема
Вот если бы все дубли наоборот индексировались - была бы проблема, а так всё в порядке

[G20]

Это не проблема
Вот если бы все дубли наоборот индексировались - была бы проблема, а так всё в порядке

Что-то блуждаю в трёх соснах. Вот что ядекс Webмастер говорит.
Из 18 тыс страниц 16 тыс не хочет индексировать. Ну не дубли же там

гугловский инструмент примерно похожий результат выдаёт, но в качестве причины отказа в индексации звучит как запрет на обход в файле robiots.txt
Разумеется нет такого запрета

[Татьяна5]

Ну не дубли же там

На каждой странице темы по 10 штук дублей. А также, судя по виду ссылки что попал на скриншот, бот забрёл на постоянно-генерируемую страницу регистрации, и сидел там генерировал новые неиндексируемые адреса

[G20]

На каждой странице темы по 10 штук дублей.

Татьяна я в каком то ступоре чтоли. Как уже выявить эти дубли? Если говорить про тупо визуально, то повторяющейся информации в постах почти нет. Тем более по 10 шт на одной странице.
Насчёт ботов при регистрации. Установлено расширение Antibot 42.
Включены все пять методов обнаружения ботов. Лог показывет, что расширение достойно отрабатывает. Вот небольшой фрагмент из лога

2023-09-20 14:43:31 Attempt to open the registration page 3fccdb8f 37.20.145.128 Europe / Russia
2023-09-20 14:43:35 Invalid form at ucp.php?mode=login 3fccdb8f 37.20.145.128 Europe / Russia
2023-09-20 14:43:37 Attempt to contact admin 3fccdb8f 37.20.145.128 Europe / Russia
2023-09-20 17:43:54 Invalid form at memberlist.php?mode=contactadmin 9f5a4f4a 46.35.252.130 Europe / Ukraine
2023-09-20 18:57:32 Attempt to post a new topic 0bf516af 95.108.213.143 Europe / Russia

заблокировать по IP или по имени бота?

бот забрёл на постоянно-генерируемую страницу регистрации

С этим тоже не понял. Это означает например, что бот постоянно обновляет "задание теста против спам-ботов"?

[Татьяна5]

Как уже выявить эти дубли?

Это стандартные ссылки на каждое сообщение на странице. В результате на одну страницу ведёт по 11 ссылок (1 от темы, 10 от сообщений)
Нормально, что индексируется та 1 от темы, а 10 отбрасывается как дубли

С этим тоже не понял. Это означает например, что бот постоянно обновляет "задание теста против спам-ботов"?

Это означает что бот, несмотря на запреты индексации, всё-таки пытается проиндексировать страницу регистрации. А на неё ведёт неограниченное количество ссылок

[G20]

Это стандартные ссылки на каждое сообщение на странице. В результате на одну страницу ведёт по 11 ссылок (1 от темы, 10 от сообщений)
Нормально, что индексируется та 1 от темы, а 10 отбрасывается как дубли

Что-то видимо я так и не понял принципов индексирования.
Получается индексируется только 1\10 часть контента?
Но ведь на всех страницах разная информация.
На этом форме например поисковик гугла очень чётко находит все посты по ключевым словам в поиске.
Тоесть я так понял, что в том числе для поиска поиндексированы все страницы?

Посоветуйте пожалуйста, что почитать про механизмы и принципы индексирования. А то то что я ношол меня похоже в тупик загоняет.
У меня гугл такую картинку показывает , примерно 90% не в поиске

[Татьяна5]

Получается индексируется только 1\10 часть контента?

Нет, страница целиком. Та самая страница, на которую ведут 11 разных ссылок (на неё саму и на каждое сообщение на ней по отдельности)

[Kuskow]

Что-то видимо я так и не понял принципов индексирования.

До меня тоже долго доходило. Так что, давайте разбираться вместе. Самый непроходимый для меня затык - понятие слова "индексация", под которым и администраторы форумов, и инструкции поисковиков в разных местах понимают и подразумевают совершенно разные вещи. Поэтому, чтобы хоть как-то продвинуться в этом вопросе, предлагаю разграничить два понятия, которые смешиваются под одним словом "индексация":
1. Сканирование - робот (краулер) обходит страницы сайта, считывает их.
2. Индексирование - другой робот анализирует прочитанные страницы и создаёт как бы оглавление/глоссарий (индекс) сайта у себя в базе данных. В этом индексе поисковик потом ищет слова и выдаёт в результатах поиска.

Так вот, допонимание первое: файл robots.txt ограничивает только сканирование (обход) краулерами страниц своего сайта. И то, не всеми, а только теми, кто понимает и воспринимает инструкции этого файла.

Каждая страница форума на движке phpBB может быть вызвана несколькими способами, то есть, она существует по нескольким адресам. Например, при вводе в адресной строке браузера этих совершено разных адресов отобразится одна и та же страница:
viewtopic.php?t=42267&start=90
viewtopic.php?f=27&t=42267&start=90
viewtopic.php?t=42267&start=90&view=print
viewtopic.php?p=562501&hilit=%D0%B8%D0% ... 0%B8%D1%8F
viewtopic.php?p=560139
viewtopic.php?p=560147
viewtopic.php?p=560148

Поисковые краулеры (сканирующие боты), такие как Googlebot, YandexBot, Applebot, Bingbot, получают часть этих ссылок с других страниц форума. Но часть этих ссылок они получат на этой же самой странице. То есть, сначала они узнают о существовании этой страницы, просканируют её и увидят на ней другие ссылки (другого формата ссылки) на эту же страницу. Но они не знают (не могут по виду ссылки определить), что это ссылка на саму себя (на ту же самую страницу). И поэтому все они (сканирующие боты поисковых систем) вынуждены переходить по этим ссылкам и сканировать страницу как новую.

Дальше вступает в дело сложный механизм анализа содержимого страницы и выявление одинаковых страниц, чтобы поисковый индекс не раздувался и не пух от упоминания множества одинаковых страниц. И вот чтобы этим анализаторам помочь, придумали так называемый тег canonical, который движком форума phpBB вписывается в каждую страницу форума и указывает, что все эти страницы являются дублями одной и той же страницы с таким-то каноническим (официальным, общепринятым, стандартным) адресом.

Код: Выделить всё

<link rel="canonical" href="https://www.phpbbguru.net/community/viewtopic.php?t=42267&amp;start=90">

Откуда же берутся разные ссылки на одну и ту же страницу? Каноническая ссылка t=, t=&start= в последних версиях phpBB вырабатывается на всех оглавлениях разделов форума. А вот неканонические с параметрами p=, t=&view=, p=&hilit=, f=&p= появляются на самой этой странице и во время работы пользователей с ней. Например, на заголовке каждого сообщения ссылка формата viewtopic.php?p= с указанием конкретно на это сообщение. И если на странице 20 сообщений, то к одной канонической ссылке (адресу) добавляется ещё 20 неканонических адресов этой же страницы, указывающих на каждое её сообщение.

Таким образом, phpBB искусственно добавляет поисковым роботам работы по сканированию сайта и его анализу. Работы бесполезной, бессмысленной и беспощадной. От этой лишней работы можно их избавить, направив их усилия на быстрый всесторонний обход сайта. Можем обсудить, если интересно.