Карта сайта для ботов - phpBB3 SEO Sitemap

[Shredder]

Наименование модификации:: phpBB3 SEO Sitemap
Описание: Универсальная карта сайта, одинаково подходящая и для стандартных немодифицированных форумов phpBB3, и для форумов с установленным ЧПУ (мод phpBB SEO Ultimate SEO URL). Установлен или нет на форуме ЧПУ, мод определяет автоматически, и ссылки в карте принимают соответствующий вид. Полностью настраивается в админке.

Версия мода: 2.0.2
Версия phpBB: 3.0.12
Поддерживаемые стили: любые, мод не затрагивает стили
Автомод: Да

Возможности:

• Хранение в кеше на выбранное время для уменьшения нагрузки на сервер.
• Возможность выбрать лимит URL на один файл, при достижении которого карта будет автоматически разбита на несколько файлов. Что это такое и для чего нужно, читайте здесь: http://www.sitemaps.org/ru/protocol.html#index
• Возможность выбрать приоритет и частоту обновлений для форумов и тем, либо вообще эти показатели отключить.
• Выбор форумов для исключения из карты сайта - полезно в тех случаях, если вы не хотите включать какие-либо форумы и темы внутри них в карту.
• Отображение числа ссылок, присутствующих в карте, что бывает необходимо, если вы хотите иметь представление об общем количестве ссылок вашего форума, которое должны индексировать поисковые системы.

Установка мода очень простая: достаточно скопировать файлы мода в папку форума и запустить установочный файл.

Скриншоты:

acp_for_phpbb3_sitemap.png

Скачать:
Тема мода на моём сайте - всегда самая свежая версия.
Страница мода в официальной базе модов сайта phpbb.com

Прошу перенести эту тему в раздел "Анонсы и поддержка модов для phpBB3", поскольку мод не является бета-версией. Сам я в том разделе создать тему не могу, кнопки "Новая тема" там нет.

[Пчелкин]

Наконец-то!!! Виват автору... Щас завалю вопросами...

Добавлено спустя 48 минут 43 секунды:
Что-то так и не нашел описаний как теперь правильно составлять robots.txt в связи с сабжем...

Добавлено спустя 7 минут 24 секунды:
В лог дебаггера продолжают записываться ошибки от поисковок -

1 Сегодня, 09:30 Google [Bot]
Язык: ru Страница: sitemap.php
Файл: [ROOT]/sitemap.php
Строка: 137 [PHP Notice]
Undefined index: sitemap_seo_freq_4

2 Сегодня, 09:30 Google [Bot]
Язык: ru Страница: sitemap.php
Файл: [ROOT]/sitemap.php
Строка: 138 [PHP Notice]
Undefined index: sitemap_seo_prior_4

Да..есть еще два типа создаваемых тем - статьи и выведено отдельно право на создание глобальных тем модом - GA Control v1.0.0

[Shredder]

Роботс обычный, как и для других карт:

Код: Выделить всё

Sitemap: адрес_вашего_форума/sitemap.php

об этом написано в первом сообщении в теме мода на phpbb-work.

Чтобы не было ошибок от нестандартных типов тем, есть 2 быстрых варианта:
1) Добавить в таблицу phpbb_config нужные поля:

Код: Выделить всё

INSERT INTO `phpbb_config` (
`config_name` ,
`config_value` ,
`is_dynamic`
)
VALUES (
'sitemap_seo_freq_4', 'weekly', '0'
), (
'sitemap_seo_prior_4', '0.6', '0'
);

Вместо weekly и 0.6 можно подставить любые другие желаемые значения.
Затем очистить кеш.

Либо: 2) Прописать эти поля прямо в самом php-файле мода. Для версии 2.0.2, в includes/functions_sitemap.php найти:

Код: Выделить всё

			$freq = $config['sitemap_seo_freq_' . $topic_type . ''];

Добавить перед:

Код: Выделить всё

			$config['sitemap_seo_freq_4'] = 'weekly';
			$config['sitemap_seo_prior_4'] = '0.6';

Но этот вариант не слишком удобен, потому что действие придётся повторять после обновлений мода. Поэтому самым оптимальным считаю первый вариант.

Если на форуме добавлялись и ещё какие-то типы тем с другим числовым индексом, то делается всё аналогично, только вместо 4 в sitemap_seo_freq_4 и sitemap_seo_prior_4 будет другой номер.

[Пчелкин]

Выбрал и сделал первый вариант... Спасибо! Наблюдаю...

Добавлено спустя 17 минут 29 секунд:
Вопрос: При любых изменениях в настройках сабжа нужно перезапускать создание индексов?

[Shredder]

Не совсем уловил суть вопроса.
Карта создаётся автоматически, когда бот посещает страницу карты, и сразу выдаётся боту в готовом виде. Либо берётся из кеша, если она там есть.

[Пчелкин]

Значит сам sitemap.php перезапускать больше не надо? Я например кол-во юрлов изменил....

[Shredder]

Неа)
Если настройки были изменены, то закешированная версия удалится, таким образом бот всегда получит самую новую версию. Это предусмотрено.

[Anvar]

Чем лучше она, чем Sitemap FX, стоит ли менять последнюю на эту?

[Shredder]

Anvar
1) Умное разбиение на индексные файлы для больших форумов, в Sitemap FX этого нет, и при слишком большом количестве тем в каком-то из форумов всё может накрыться (ПС не будут качать карту сайта)
2) Поддержка Ultimate SEO в любых режимах. Sitemap FX поддерживает только "Simple" режим.
3) Настройки и возможности, которых нет в Sitemap FX, например возможность исключать выбранные форумы или выбрать собственный лимит URL для разбиения на индексные файлы при его достижении.

[Пчелкин]

3) Настройки и возможности, которых нет в Sitemap FX, например возможность исключать выбранные форумы или выбрать собственный лимит URL для разбиения на индексные файлы при его достижении.

исключать

Именно это и купило. Меняю везде где возможно... Ждем итогов на 25й-30й день. Надеюсь будут положительными и полезными... Аминь

[Shredder]

По крайней мере, у меня всё пучком. Карта стоит на двух форумах с сентября прошлого года - один крупный, другой "мелкий", поисковики кушают охотно.

1.png

2.png

3.png

Добавлено спустя 5 минут 32 секунды:
Это с крупного, панель Гугла:

Clip_4.png

[userAx]

Удаляю sitemap и ставлю Вашу, уважаемый Shredder, спасибо!

[Shredder]

userAx
Пожалуйста

[xisp]

Ответы на посты из другой темы.

Я (внезапно!) про свой скриншот говорил, на котором даже обвёл 14-е число

Виноват, проглядел. Ну так у вас 3,5 страницы, что там обновлять.

Куда-то не туда ты смотрел. Всё там есть, но при этом можно отключить.

Я у вас на форуме карту сайта посмотрел. Если в моде это всё настраивается, извиняюсь ещё раз.

Это лишь подсказка, а не обязательная для выполнения директива. Другими словами, если поисковые системы хотят сканировать сайт по-своему, то они это делают, не обращая внимания на lastmod, какой бы "красивый" или "некрасивый" он ни был.

Само собой подсказка. Но с этой подсказкой вероятность того, что робот будет сканировать свеже созданную страницу, а не скачивать по сотому разу одну и туже доисторическую и сто раз проиндексированную, выше.

Во-вторых, покажи мне способ сделать это время без увеличения серверной нагрузки на 2 порядка, и я его обязательно сделаю.

Нету. А какие проблемы? Карта сайта создаётся раз в сутки, потом просто кешируется. То есть вырастет пиковая нагрузка, один раз в день. Не вижу ничего страшного в выполнении 400 запросов к БД в течении 5 секунд раз в сутки, кроме случаев плохого хостинга.

В Sitemap FX этот механизм оставляет желать лучшего, поскольку на маленьких форумах он не рационален (разбивать карту нет смысла), а на больших всё равно "можно вылететь за пределы", т.к. в одном разделе форума вполне может оказаться более 50000 ссылок.

Логично. Ваш механизм продуманнее.

[Shredder]

Нету. А какие проблемы? Карта сайта создаётся раз в сутки, потом просто кешируется. То есть вырастет пиковая нагрузка, один раз в день. Не вижу ничего страшного в выполнении 400 запросов к БД в течении 5 секунд раз в сутки, кроме случаев плохого хостинга.

Как ни странно, но после того, как я выложил карту на оффсайт, меня пара-тройка человек оттуда спрашивали: "как снизить нагрузку?". Я аж офанарел Это с моими-то двумя запросами нагрузка?.. Если такое было у них, то с постсоветским говнохостингом всё будет ещё печальнее. Хорошо помню, как на Мажордомо у меня чистый phpbb2 падал. Поэтому я сейчас думаю над механизмом, который позволит сделать "правильное время модификации" без увеличения числа запросов. Определённый прогресс есть. Но не обещаю пока ничего, т.к. кажущийся прогресс может в итоге обернуться и фэйлом, к тому же сейчас появились другие дела. Как будет время - продолжу, и если что-то получится, то обязательно выложу сюда.