Карта сайта для ботов (phpBB3 SEO Sitemap)

[Shredder]

Название: phpBB3 SEO Sitemap

Описание: Расширение добавляет xml-карту форума для улучшения индексации форума поисковиками, является аналогом моей же карты для 3.0.x. Совместимо с расширением Ultimate SEO URL, обнаруживает его и изменяет вид ссылок автоматически. Подробное описание возможностей и скачивание доступно в теме расширения на моём сайте.

Установка:
Разархивировать и закачать содержимое архива в папку ext в корне форума, включить на вкладке "Персонализация" в админке, настроить на вкладке "Настройка расширений" --> "SEO Карта сайта". Добавить URL карты в robots.txt и в панели вебмастера поисковых систем. Нормально работающая карта должна открываться по ссылке:
адрес_вашего_форума/sitemap.xml

[Cedars]

а в языковом присутствует только ru/, это может вылезти если используется язык для ботов en.

Добавил в языковую папку en с аналогичным русскому файлу - ошибка исчезла..

[Alecto]

из-за чего может быть...
в 3.0.12 были из карты сайта были проиндексированы все страницы 5000/5000
после обновления до 3.1.3 и установки экста, эта цифра постоянно падает, т.е. было 5000/5000... 1500 ... 500... 400, сейчас дошло до 229.
проверял инструментами гугл - страницы из карты доступны для его ботов, адрес карты тоже доступен.
страницы в поиске... в 3.0.12 было 100 000+, в 3.1.3 за счет удаления дубликатов и корректировки robots.txt стало стабильно 22000+, т.е. общей тенденции выпадания из поиска нет.
в работе расширения и на странице формируемых им ссылок тоже никаких проблем нет, все корректно.
... из-за чего может быть уменьшение индексированных страниц для карты сайта?

[владимир1983]

Поздравлю. Твои эксперименты с canonical дают результаты. Запасайся попкорном, это только начало.

[Shredder]

из-за чего может быть уменьшение индексированных страниц для карты сайта?

На самом форуме и в карте страницы с параметром форума, а в canonical - без него. Может, из-за этого?

Сайт и карта:

Код: Выделить всё

http://motobratva.com/viewtopic.php?f=59&t=2502

Canonical:

Код: Выделить всё

<link rel="canonical" href="http://motobratva.com/viewtopic.php?t=2502" />

[Alecto]

а в canonical - без него. Может, из-за этого?

может, а как от него избавиться?

Твои эксперименты с canonical дают результаты.

удивишься, я эксперименты не ставил.
откуда этот каноникал и как от него избиваться?

[владимир1983]

Alecto не торопись избавляться. Я тебя перепутал видимо.
Покажи конкретно страницу которая была в выдаче и выпала.

[Alecto]

вот карта сайта
http://motobratva.com/sitemap.xml
там 5 402 страницы, из них проиндексированы 229
гугл говорит: Сведения об ошибках: Ошибки отсутствуют.
точно сказать не могу, на вскидку - любая страница темы сайта, например
http://motobratva.com/viewtopic.php?f=10&t=1780

PS: если мой вопрос не имеет отношения к эсту, может модераторы выделят в отдельную тему?

[владимир1983]

Нормальный индекс у тебя в гугле https://www.google.ru/search?hl=ru&q=si ... ygPr9oHoBw В яше меньше да http://yandex.ru/yandsearch?text=&site= ... =true&lr=0 Но яша известный тормоз... Нужен конкретный пример страниц чтобы понять проблему.
Индекс Yandex - 3654 Google - 9160

[Alecto]

меня именно сайтмап смущает.
вот что гугл показывает. причем, как я писал ранее, в 3012 цифры были примерно одинаковы, т.е. 5000/5000, после обновления количество проиндексированных каждую неделю падает... на 252, 240... 229 сейчас.
либо я не правильно понимаю смысл данной диаграммы, либо все страницы выпали из индекса...



если предположить, что в сайтмапе передается 2400 тем со страницами, то однозначно, среди проиндексированных - тем нет, поэтому как пример и дал ссылку на одну из тем.
как посмотреть проиндексированные страницы - не нашел.


хотя тот же Статус индексирования: Проиндексировано всего 24 045

[владимир1983]

Покажи настройки карты.

точно сказать не могу, на вскидку - любая страница темы сайта, например
http://motobratva.com/viewtopic.php?f=10&t=1780

https://www.google.com/search?q=%D0%AD% ... 8&oe=utf-8

http://yandex.ru/yandsearch?text=%D0%AD ... id=1909644

Добавлено спустя 1 минуту 35 секунд:

хотя тот же Статус индексирования: Проиндексировано всего 24 045

Все верно. А в основной выдаче у тебя 10 000 страниц. Нормальная у тебя индексация.

Добавлено спустя 4 минуты 21 секунду:
Я бы на твоем месте заинтересовался откуда гугл 10 000 страниц в индекс взял когда у тебя по карте только 5 000+....

[Alecto]

Покажи настройки карты.

если настройки расширения Шредера - они все дефолтные...

[xisp]

откуда гугл 10 000 страниц в индекс взял

Скорее всего не все дубликаты подчистил. Да и иногда у него слишком оптимистичный подсчёт страниц. Показывает 1500, а на 10 странице- "Результаты кончились".

[владимир1983]

Перво наперво разберись откуда столько страниц в основном индексе когда у тебя по карте в два раза меньше. Дубли если, плохо тогда. Закрывай.
Стремись вот к такому.:

[Alecto]

Стремись вот к такому.:

так говорюж - у меня так и было, ситуация стала меняться именно после обновления до 3.1...
100+ форумов - они есть в карте + страницы внутри форумов.
То же самое для тем. Всего тем: 2354, только большинство тем - многостраничные, некоторые по 100 страниц, отсюда и количество страниц в карте. например, http://motobratva.com/viewtopic.php?f=21&t=21&start=10
дублей нет, либо просто нет, либо они выключены в роботс.тхт, но там все норм - проверял инструментами гугл.

[владимир1983]

твоя проблема с индексацией(может и не проблема?) это оффтоп для этой темы. Заканчиваем.