Уважаемые пользователи!
C 7 ноября 2020 года phpBB Group прекратила выпуск обновлений и завершила дальнейшее развитие phpBB версии 3.2.
С 1 августа 2024 года phpBB Group прекращает поддержку phpBB 3.2 на официальном сайте.
Сайт официальной русской поддержки phpBB Guru продолжит поддержку phpBB 3.2 до 31 декабря 2024 года.
С учетом этого, настоятельно рекомендуется обновить конференции до версии 3.3.

robots.txt и sitemap.xml для phpBB3

Форум для авторов модов для phpBB 3.0.x. Здесь можно попросить помощи в разработке у коллег.
Правила форума
Местная Конституция | Шаблон запроса | Документация (phpBB3) | Переход на 3.0.6 и выше | FAQ-3 (phpbb3) | Как задавать вопросы | Как устанавливать моды

Ваш вопрос может быть удален без объяснения причин, если на него есть ответы по приведённым ссылкам (а вы рискуете получить предупреждение ;) ).
Аватара пользователя
Андрей Питонов
phpBB 1.0.0
Сообщения: 3
Стаж: 15 лет 5 месяцев

robots.txt и sitemap.xml для phpBB3

Сообщение Андрей Питонов »

Привет, есть вопрос и соответственно нужна помощь ГУРУ, т.к. на форуме я не нашёл про файл sitemap.xml
В файл sitemap.xml (генерируется через http://www.xml-sitemaps.com) попадают ссылки на пустые страницы, как от этого избавиться, не очень хочется давать поисковикам ссылки на пустые страницы, что нужно прописать в robots.txt? :?:

… есть файл robots.txt, где закрыты к индексированию технические страницы, которые поисковикам явно не нужны:
Disallow: /phpBB3/memberlist.php
Disallow: /phpBB3/ucp.php
Disallow: /phpBB3/faq.php
Disallow: /phpBB3/adm
Disallow: /phpBB3/posting.php
Disallow: /phpBB3/report.php
Disallow: /phpBB3/mcp.php
Disallow: /phpBB3/viewonline.php
Disallow: /phpBB3/search.php
Disallow: /phpBB3/cache


.. при создании sitemap.xml «появляются» ссылки типа - www.ИМЯ.ru/phpBB3/viewtopic.php?f=23&t=57&p=463
или www.ИМЯ.ru/phpBB3/viewtopic.php?f=4&t=30&view=previous, которые на самом деле пустые (Запрошенной темы не существует.)

а в таком варианте - www.ИМЯ.ru/phpBB3/viewtopic.php?p=497 открывается нормальная страница из форума! Т.е. закрыть как Disallow: /phpBB3/ viewtopic.php не выход!!!((

Не обижусь, если кто-то посоветует руками вычистить из sitemap.xml пустые ссылки, в количестве более 100,200,3??, но как ответ не приму! )))

Или как вариант: всё таки закрыть viewtopic.php, т.к. viewforum.php будет достаточно для поисковика и он просканирует все страницы форума?????? :idea:

(немного статистики) в файле sitemap.xml с открытым для сканирования viewtopic.php 2531 строк кода, а с закрытым 2116, получается более 400 страниц которые возможно пустые!!! хотя много из них проверил - пустые!!!
Аватара пользователя
FladeX
Former team member
Сообщения: 1935
Стаж: 16 лет 9 месяцев
Откуда: Саранск
Благодарил (а): 7 раз
Поблагодарили: 59 раз
Контактная информация:

Re: robots.txt и sitemap.xml для phpBB3

Сообщение FladeX »

Андрей Питонов, быть может проще будет откатить все на шаг назад и использовать специальный мод для phpBB, который генерит sitemap?
//
// Okay, let's do the loop, yeah come on baby let's do the loop
// and it goes like this ...
| phpBB Adept ] | Каталог форумов | генератор sitemap для форумов | форум про форумы
Аватара пользователя
Андрей Питонов
phpBB 1.0.0
Сообщения: 3
Стаж: 15 лет 5 месяцев

Re: robots.txt и sitemap.xml для phpBB3

Сообщение Андрей Питонов »

Спасибо конечно, но я не на столько силён, чтоб откатами заниматься )))), я впервые делаю форум и мне пока не всё доступно и понятно! Правда форум получился и всё работает, но мне интересно узнать ответ на свой вопрос! ))))
... скармливать Гуглу пустые страницы - не очень полезно! Да и уверен я на 100%, что если самому не сделать sitemap.xml, то за тебя это сделает Гугл (он же должен иметь историю сайта, и видит по отклику сервера, какие страницы когда изменились, а какие новые), и если всё ненужное не закрыть в robots.txt то Гугл такого накушается!!!!!! что скажется на сайте!
(я про растворяющейся PR и большое количество пустых страниц, так что мод хорошо, а без robots.txt не обойтись! да и конфликт будет в robots.txt одно, а мод своё генерирует)
Аватара пользователя
FladeX
Former team member
Сообщения: 1935
Стаж: 16 лет 9 месяцев
Откуда: Саранск
Благодарил (а): 7 раз
Поблагодарили: 59 раз
Контактная информация:

Re: robots.txt и sitemap.xml для phpBB3

Сообщение FladeX »

Андрей Питонов, ну "откат" в данном случае подразумевает замену вашего sitemap'а на тот, что будет генерироваться предложенным модом. Не думаю, что его установка будет такой сложной.
//
// Okay, let's do the loop, yeah come on baby let's do the loop
// and it goes like this ...
| phpBB Adept ] | Каталог форумов | генератор sitemap для форумов | форум про форумы
Аватара пользователя
Андрей Питонов
phpBB 1.0.0
Сообщения: 3
Стаж: 15 лет 5 месяцев

Re: robots.txt и sitemap.xml для phpBB3

Сообщение Андрей Питонов »

возможно, но нет времени на изучение нового, и потом, надо сначала знать, что в этом моде можно сделать, настроить и т.д. может этот мод генерирует sitemap.xml без учёта моих пожеланий, или всё таки учитывает прописанные запреты в robots.txt??? если учитывает, то возвращаемся опять к моему вопросу! :)
Erlang
phpBB 2.0.15
Сообщения: 1033
Стаж: 19 лет 8 месяцев
Откуда: Москва
Благодарил (а): 293 раза
Поблагодарили: 6 раз
Контактная информация:

Re: robots.txt и sitemap.xml для phpBB3

Сообщение Erlang »

FladeX писал(а):и использовать специальный мод для phpBB, который генерит sitemap?
А как называется МОД?
С уважением,
Сергей
Аватара пользователя
FladeX
Former team member
Сообщения: 1935
Стаж: 16 лет 9 месяцев
Откуда: Саранск
Благодарил (а): 7 раз
Поблагодарили: 59 раз
Контактная информация:

Re: robots.txt и sitemap.xml для phpBB3

Сообщение FladeX »

//
// Okay, let's do the loop, yeah come on baby let's do the loop
// and it goes like this ...
| phpBB Adept ] | Каталог форумов | генератор sitemap для форумов | форум про форумы
MaximM
phpBB 1.4.1
Сообщения: 40
Стаж: 17 лет
Благодарил (а): 3 раза

Re: robots.txt и sitemap.xml для phpBB3

Сообщение MaximM »

Подскажите, как сделать чтобы карта сайта обновлялась автоматически ,а не вручную нажатием кнопки RUN
Аватара пользователя
FladeX
Former team member
Сообщения: 1935
Стаж: 16 лет 9 месяцев
Откуда: Саранск
Благодарил (а): 7 раз
Поблагодарили: 59 раз
Контактная информация:

Re: robots.txt и sitemap.xml для phpBB3

Сообщение FladeX »

MaximM, прописать вызов функции генерации sitemap при создании темы (начинать искать лучше с файла posting.php). Как только найдете вставку данных в базу, там и делайте вызов функции генерации sitemap.
ЗЫ. На выходных возможно поставлю мод, отпишу подробно что и как надо делать.
//
// Okay, let's do the loop, yeah come on baby let's do the loop
// and it goes like this ...
| phpBB Adept ] | Каталог форумов | генератор sitemap для форумов | форум про форумы
MaximM
phpBB 1.4.1
Сообщения: 40
Стаж: 17 лет
Благодарил (а): 3 раза

Re: robots.txt и sitemap.xml для phpBB3

Сообщение MaximM »

FladeX, спасибо, буду ждать. Не понимаю только почему создатель мода не сделал автоматическое обновление Sitemap
Ещё можно вызывать нажатие кнопки RUN с помощью Cron (если хостер поддерживает), только я опять же не знаю - какая должна быть команда
Аватара пользователя
FladeX
Former team member
Сообщения: 1935
Стаж: 16 лет 9 месяцев
Откуда: Саранск
Благодарил (а): 7 раз
Поблагодарили: 59 раз
Контактная информация:

Re: robots.txt и sitemap.xml для phpBB3

Сообщение FladeX »

Так, все-таки нашлось время и начал делать этот sitemap. Пока сделал бета-версию на локалхосте, функционал примитивный очень - xml выводит список всех тем в формате google sitemap. Надо еще прикрутить права доступа ботов и можно выкладывать.
//
// Okay, let's do the loop, yeah come on baby let's do the loop
// and it goes like this ...
| phpBB Adept ] | Каталог форумов | генератор sitemap для форумов | форум про форумы
vanicon
phpBB 1.0.0
Сообщения: 1
Стаж: 14 лет 11 месяцев

Re: robots.txt и sitemap.xml для phpBB3

Сообщение vanicon »

что то не могу понять по ссылке перешел, скачал файл, а куда его ставить не пойму, там всё на английском, трудно понять
ribalov
phpBB 1.0.0
Сообщения: 8
Стаж: 14 лет 2 месяца

Re: robots.txt и sitemap.xml для phpBB3

Сообщение ribalov »

Может кто подскажет. Сталкнулся с таким траблом - при попытке сгенерировать сайтмап выдает ошибку
Warning: Cannot modify header information - headers already sent by (output started at
что надо сделать что бы исправить?
Аватара пользователя
FladeX
Former team member
Сообщения: 1935
Стаж: 16 лет 9 месяцев
Откуда: Саранск
Благодарил (а): 7 раз
Поблагодарили: 59 раз
Контактная информация:

Re: robots.txt и sitemap.xml для phpBB3

Сообщение FladeX »

Какой мод используется?
//
// Okay, let's do the loop, yeah come on baby let's do the loop
// and it goes like this ...
| phpBB Adept ] | Каталог форумов | генератор sitemap для форумов | форум про форумы
ribalov
phpBB 1.0.0
Сообщения: 8
Стаж: 14 лет 2 месяца

Re: robots.txt и sitemap.xml для phpBB3

Сообщение ribalov »

SiteMap Generator - шел в сборке
Закрыто

Вернуться в «Для авторов (phpBB 3.0.x)»