IndexNow в phpBB для автоматической отправки новых тем в поисковики

[Kuskow]

Протокол IndexNow существует с 2021 как совместная инициатива поисковых систем Яндекс и Microsoft Bing. Его главная задача — мгновенное (Push) уведомление поисковиков об изменениях на сайте. Вместо того чтобы ждать, пока робот сам зайдёт на форум и просканирует карту сайта, движок отправляет POST-запрос с новыми URL сразу в момент их создания, что позволяет ботам обходить и индексировать свежие темы за секунды. К сожалению, Google проект проигнорировал, но для Яндекса и Bing это де-факто лучший стандарт оперативной индексации.
https://www.indexnow.org/ru_ru/index

В официальной базе расширений phpBB готового и стабильного плагина под IndexNow до сих пор нет. Это потому что он не нужен? Или сложен в реализации? Или Яндекс/Bing не настолько популярны там, чтобы их ублажать?

Поделитесь опытом, кто как решает задачу мгновенного вызова роботов? Стоит ли вообще заморачиваться этим?

[rxu]

задачу мгновенного вызова роботов? Стоит ли вообще заморачиваться этим?

Надо задать простой вопрос: зачем? И станет всё ясно.

[Kuskow]

Конечно, про мгновенную я загнул. Меняем её на периодическую.

На форумах есть слепая зона для SEO, которую стандартные XML-карты сайта (Sitemap) и шпионские сети вроде Яндекс.Браузера/Метрики физически не способны обработать оперативно и корректно.

Если речь идет о публикации обычного нового сообщения, то IndexNow действительно не нужен. С этим справляются Метрика, sitemap, да и пользователи с Яндекс.Браузером помогают. Но есть события, которые сильно меняют содержимое страниц, а поисковики к ним доберутся не скоро:

1) Модераторские перестановки: Когда модератор берет старую ветку и переносит туда пачку сообщений (или сливает/разделяет темы). Карта сайта не обновится, и Яндекс может месяцами не знать, что в старую тему залили тонну свежего уникального текста.

2) Ловушка частичного обхода браузером: Допустим, модератор перенес 50 сообщений в середину живой темы. Количество страниц в теме увеличилось, но для Яндекса это всего лишь последние (добавленные) страницы, которые там были и без того, а что именно добавилось - он не знает. Больше того, он думает, что эти страницы похожи на те, где они были, считает их одинаковыми и не индексирует. Потом, когда приходит черёд переобхода тех страниц, они обновляются, а эти так и остались вне индекса. В итоге несколько страниц из индекса исчезли, хотя с форума они не пропадали, а только сдвинулись.

3) Схлопывание дублей усохшей пагинации: Если тему жестко почистили или разделили, её пагинация сокращается.

Ежедневная отправка изменившихся страниц решает это. Скрипт ловит ID всех пострадавших от модерации или активности тем, вычисляет точную пагинацию и отправляет в IndexNow пачку взаимосвязанных страниц одновременно.
Робот заходит на оригинал и на бывший дубль. Алгоритм поисковика мгновенно схлопывает дубли и вычищает индекс, не ломая позиции темы.
Для живого форума с активной модерацией ручной «пинок» роботов — это единственный способ держать структуру индекса в чистоте.

[Kuskow]

Мы с Google-ai посовещались и решили срастить SiteMap и IndexNow - много там пересечений получается. Вроде бы неплохо получилось отдельным скриптом при создании SiteMap. Первые ссылки пульнули, Bing сразу показал это в своём Webmaster Tools, Яндекс пока молчит как партизан, но наверное скажет через недельку.