[Андрей Питонов]

Привет, есть вопрос и соответственно нужна помощь ГУРУ, т.к. на форуме я не нашёл про файл sitemap.xml
В файл sitemap.xml (генерируется через http://www.xml-sitemaps.com) попадают ссылки на пустые страницы, как от этого избавиться, не очень хочется давать поисковикам ссылки на пустые страницы, что нужно прописать в robots.txt?

… есть файл robots.txt, где закрыты к индексированию технические страницы, которые поисковикам явно не нужны:
Disallow: /phpBB3/memberlist.php
Disallow: /phpBB3/ucp.php
Disallow: /phpBB3/faq.php
Disallow: /phpBB3/adm
Disallow: /phpBB3/posting.php
Disallow: /phpBB3/report.php
Disallow: /phpBB3/mcp.php
Disallow: /phpBB3/viewonline.php
Disallow: /phpBB3/search.php
Disallow: /phpBB3/cache


.. при создании sitemap.xml «появляются» ссылки типа - www.ИМЯ.ru/phpBB3/viewtopic.php?f=23&t=57&p=463
или www.ИМЯ.ru/phpBB3/viewtopic.php?f=4&t=30&view=previous, которые на самом деле пустые (Запрошенной темы не существует.)

а в таком варианте - www.ИМЯ.ru/phpBB3/viewtopic.php?p=497 открывается нормальная страница из форума! Т.е. закрыть как Disallow: /phpBB3/ viewtopic.php не выход!!!((

Не обижусь, если кто-то посоветует руками вычистить из sitemap.xml пустые ссылки, в количестве более 100,200,3??, но как ответ не приму! )))

Или как вариант: всё таки закрыть viewtopic.php, т.к. viewforum.php будет достаточно для поисковика и он просканирует все страницы форума??????

(немного статистики) в файле sitemap.xml с открытым для сканирования viewtopic.php 2531 строк кода, а с закрытым 2116, получается более 400 страниц которые возможно пустые!!! хотя много из них проверил - пустые!!!

[FladeX]

Андрей Питонов, быть может проще будет откатить все на шаг назад и использовать специальный мод для phpBB, который генерит sitemap?

[Андрей Питонов]

Спасибо конечно, но я не на столько силён, чтоб откатами заниматься )))), я впервые делаю форум и мне пока не всё доступно и понятно! Правда форум получился и всё работает, но мне интересно узнать ответ на свой вопрос! ))))
... скармливать Гуглу пустые страницы - не очень полезно! Да и уверен я на 100%, что если самому не сделать sitemap.xml, то за тебя это сделает Гугл (он же должен иметь историю сайта, и видит по отклику сервера, какие страницы когда изменились, а какие новые), и если всё ненужное не закрыть в robots.txt то Гугл такого накушается!!!!!! что скажется на сайте!
(я про растворяющейся PR и большое количество пустых страниц, так что мод хорошо, а без robots.txt не обойтись! да и конфликт будет в robots.txt одно, а мод своё генерирует)

[FladeX]

Андрей Питонов, ну "откат" в данном случае подразумевает замену вашего sitemap'а на тот, что будет генерироваться предложенным модом. Не думаю, что его установка будет такой сложной.

[Андрей Питонов]

возможно, но нет времени на изучение нового, и потом, надо сначала знать, что в этом моде можно сделать, настроить и т.д. может этот мод генерирует sitemap.xml без учёта моих пожеланий, или всё таки учитывает прописанные запреты в robots.txt??? если учитывает, то возвращаемся опять к моему вопросу!

[Erlang]

FladeX писал(а):и использовать специальный мод для phpBB, который генерит sitemap?

А как называется МОД?

[FladeX]

SiteMap Generator

[MaximM]

Подскажите, как сделать чтобы карта сайта обновлялась автоматически ,а не вручную нажатием кнопки RUN

[FladeX]

MaximM, прописать вызов функции генерации sitemap при создании темы (начинать искать лучше с файла posting.php). Как только найдете вставку данных в базу, там и делайте вызов функции генерации sitemap.
ЗЫ. На выходных возможно поставлю мод, отпишу подробно что и как надо делать.

[MaximM]

FladeX, спасибо, буду ждать. Не понимаю только почему создатель мода не сделал автоматическое обновление Sitemap
Ещё можно вызывать нажатие кнопки RUN с помощью Cron (если хостер поддерживает), только я опять же не знаю - какая должна быть команда

[FladeX]

Так, все-таки нашлось время и начал делать этот sitemap. Пока сделал бета-версию на локалхосте, функционал примитивный очень - xml выводит список всех тем в формате google sitemap. Надо еще прикрутить права доступа ботов и можно выкладывать.

[vanicon]

что то не могу понять по ссылке перешел, скачал файл, а куда его ставить не пойму, там всё на английском, трудно понять

[ribalov]

Может кто подскажет. Сталкнулся с таким траблом - при попытке сгенерировать сайтмап выдает ошибку
Warning: Cannot modify header information - headers already sent by (output started at
что надо сделать что бы исправить?

[FladeX]

Какой мод используется?

[ribalov]

SiteMap Generator - шел в сборке