Уважаемые пользователи!
C 7 ноября 2020 года phpBB Group прекратила выпуск обновлений и завершила дальнейшее развитие phpBB версии 3.2.
С 1 августа 2024 года phpBB Group прекращает поддержку phpBB 3.2 на официальном сайте.
Сайт официальной русской поддержки phpBB Guru продолжит поддержку phpBB 3.2 до 31 декабря 2024 года.
С учетом этого, настоятельно рекомендуется обновить конференции до версии 3.3.

robots.txt и sitemap.xml для phpBB3

Форум для авторов модов для phpBB 3.0.x. Здесь можно попросить помощи в разработке у коллег.
Правила форума
Местная Конституция | Шаблон запроса | Документация (phpBB3) | Переход на 3.0.6 и выше | FAQ-3 (phpbb3) | Как задавать вопросы | Как устанавливать моды

Ваш вопрос может быть удален без объяснения причин, если на него есть ответы по приведённым ссылкам (а вы рискуете получить предупреждение ;) ).
vipartem
phpBB 1.0.0
Сообщения: 3
Стаж: 12 лет 3 месяца
Поблагодарили: 1 раз
Контактная информация:

Re: robots.txt и sitemap.xml для phpBB3

Сообщение vipartem »

Знаю, что тема затронута не раз, но в такой комбинации не встретил.
Установил мод, сгенерировал sitemap, но получил такой результат в topic_sitemap.xml:
это часть

Код: Выделить всё

<loc>http://ambu.pp.ua//viewtopic.php?t=2</loc>
<lastmod>2011-12-16</lastmod>
<changefreq>daily</changefreq>
<priority>0.5</priority>
Google Server Ping: Да
SEOMOD: Да
Gzip Sitemaps: Да
Show Sitemap Stats: Да
У меня все ссылки прописаны ЧПУ http://ambu.pp.ua/%D0%BDa%D0%BBoro%D0%B ... a-t61.html

А в карте сайта указаны в таком формате: viewtopic.php?t=2
Чтобы не было дублей в поисковиках в robots.txt прописал:

Код: Выделить всё

Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next 
Disallow: /viewtopic.php?f=*&t=*&view=previous 
Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php
Правильно ли работает мод, и не перестанет ли вообще индексироваться поисковиками форум?
Спасибо!
kirill4521
phpBB 1.0.0
Сообщения: 1
Стаж: 12 лет

Re: robots.txt и sitemap.xml для phpBB3

Сообщение kirill4521 »

Всем привет, у меня возникла проблемка, как правильно сделать sitemap.xml для форума, так как скрипт форума установлен не в корень сайта, а в /forum, а в корне сайта уже есть 4 файла Sitemap, которые автоматически генерируются основным движком сайта, движок форума PHPBB 3.10, у меня конечно есть предположение что можно прописать в robots.txt пути к файлам, но вот как отреагируют поисковики если и на форуме есть файл indexsitemaps.xml, и на сайте sitemapsindex.xml
hulitolku
phpBB 1.0.0
Сообщения: 7
Стаж: 13 лет
Благодарил (а): 1 раз
Контактная информация:

Re: robots.txt и sitemap.xml для phpBB3

Сообщение hulitolku »

kirill4521 решили проблему?
Pilot74
phpBB 1.2.0
Сообщения: 11
Стаж: 12 лет 11 месяцев
Благодарил (а): 1 раз

Re: robots.txt и sitemap.xml для phpBB3

Сообщение Pilot74 »

Прошу посмотреть мой robots.txt, все ли в нем нормально:
И еще вопрос: как в robots закрыть сообщения, находящиеся в теге хайд, чтобы они не отображались в результатах поиска?

Код: Выделить всё

User-agent: *
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewforum.php?f=*&start=0$
Disallow: /viewforum.php?f=31
Disallow: /viewforum.php?f=32
Disallow: /viewforum.php?f=33
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Sitemap: http://btgsworld.ts6.ru/sitemap.xml

User-agent: Yandex
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewforum.php?f=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Host: btgsworld.ts6.ru
Sitemap: http://btgsworld.ts6.ru/sitemap.xml
Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php
Последний раз редактировалось Pilot74 13.06.2012 20:55, всего редактировалось 1 раз.
Shredder
Former team member
Сообщения: 2217
Стаж: 15 лет 3 месяца
Благодарил (а): 236 раз
Поблагодарили: 561 раз
Контактная информация:

Re: robots.txt и sitemap.xml для phpBB3

Сообщение Shredder »

Pilot74 писал(а):И еще вопрос: как в robots закрыть сообщения, находящиеся в теге хайд, чтобы они не отображались в результатах поиска?
В robots - никак. Он для этих целей не предназначен.
Аватара пользователя
Пчелкин
phpBB 3.3.0
Сообщения: 11234
Стаж: 14 лет 2 месяца
Откуда: fotovideoforum.ru
Благодарил (а): 1782 раза
Поблагодарили: 1340 раз
Контактная информация:

Re: robots.txt и sitemap.xml для phpBB3

Сообщение Пчелкин »

Pilot74 Никто ваш роботикс скачивать, что б посмотреть, не будет...
Про тег СОДе знаете?
Ruson
phpBB 1.2.0
Сообщения: 14
Стаж: 10 лет 9 месяцев
Откуда: Ukraine
Контактная информация:

Re: robots.txt и sitemap.xml для phpBB3

Сообщение Ruson »

После установки Sitemap Generator при попытке сгенерировать выдает ошибку. в чем может быть проблема ?

Код: Выделить всё

Общая ошибка
SQL ERROR [ mysqli ]

You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near '' at line 3 [1064]

SQL

SELECT forum_id, auth_option_id, auth_role_id, auth_setting FROM phpbb_acl_users WHERE user_id =

BACKTRACE

FILE: [ROOT]/includes/db/mysqli.php
LINE: 182
CALL: dbal->sql_error()
Последний раз редактировалось Sheer 18.06.2013 11:44, всего редактировалось 1 раз.
Причина: bb-код
Аватара пользователя
Pazh
Former team member
Сообщения: 2317
Стаж: 14 лет 4 месяца
Благодарил (а): 43 раза
Поблагодарили: 506 раз
Контактная информация:

Re: robots.txt и sitemap.xml для phpBB3

Сообщение Pazh »

Ruson вы не всю ошибку написали. Смотрите ниже будет написан файл и номер строки где формируется этот запрос. Суть проблемы - не передается в запрос id пользователя для получения его прав доступа
Помощь в ЛС/email только за WM или ЮMoney
Ruson
phpBB 1.2.0
Сообщения: 14
Стаж: 10 лет 9 месяцев
Откуда: Ukraine
Контактная информация:

Re: robots.txt и sitemap.xml для phpBB3

Сообщение Ruson »

Да это верно, код был намного больше. Пробровал переустанавливать всеравно таже ошибка вылезает, пока не пойму что и где нужно сделать.
В итоге вернул бекап, пока останется так, может пожже руки дойдут до sitemap...
Аватара пользователя
Freeze
phpBB 1.4.1
Сообщения: 45
Стаж: 11 лет 4 месяца

Re: robots.txt и sitemap.xml для phpBB3

Сообщение Freeze »

Подскажите пожалуйста… Мне нужно разрешить индексацию только определенных страниц сайта которые находятся в sitemap.xml, правильно ли я понимаю, что robots.txt должен выглядеть следующим образом:

Код: Выделить всё

User-agent: *
Disallow: /
Sitemap: http://mysite.ru/sitemap.xml

User-agent: yandex
Disallow: /
Sitemap: http://mysite.ru/sitemap.xml

User-agent: msn 
Disallow: /
Sitemap: http://mysite.ru/sitemap.xml

User-agent: yahoo  
Disallow: /
Sitemap: http://mysite.ru/sitemap.xml

User-agent: googlebot   
Disallow: /
Sitemap: http://mysite.ru/sitemap.xml
Можно ли вместо sitemap.xml использовать модуль php динамически строящий xml-структуру? Т.е. типа Sitemap: http://mysite.ru/sitemap.php
Лучше промолчать, чем сказать много слов не по делу...
Аватара пользователя
Freeze
phpBB 1.4.1
Сообщения: 45
Стаж: 11 лет 4 месяца

Re: robots.txt и sitemap.xml для phpBB3

Сообщение Freeze »

С последним вопросом я выяснил - ответ: "да, можно динамически выстроить sitemap"
Помогите по первому вопросу, о правильности структуры robots.txt!
Лучше промолчать, чем сказать много слов не по делу...
Аватара пользователя
владимир1983
phpBB 3.2.6
Сообщения: 5954
Стаж: 13 лет 11 месяцев
Откуда: Сергиев Посад
Благодарил (а): 374 раза
Поблагодарили: 727 раз
Контактная информация:

Re: robots.txt и sitemap.xml для phpBB3

Сообщение владимир1983 »

Неправильный у тебя файл robots.txt.
Кури http://help.yandex.ru/webmaster/?id=996567 и https://support.google.com/webmasters/a ... 6449?hl=ru ну и тут почитай http://robotstxt.org.ru/rurobots/google
За ваши деньги решу ваши проблемы. Стучи в ЛС.
Нет человека - нет проблемы. (c)
Аватара пользователя
Freeze
phpBB 1.4.1
Сообщения: 45
Стаж: 11 лет 4 месяца

Re: robots.txt и sitemap.xml для phpBB3

Сообщение Freeze »

Читал я все это... не нашел я там то, что меня интерисует...
Поясню ситуацию... имеется несколько сотен динамических страниц, например:
1) http://chita.nashkray.net/index.php?ite ... g_id=16213
2) http://chita.nashkray.net/index.php?ite ... g_id=16218
3) http://chita.nashkray.net/index.php?ite ... g_id=16149
4) http://chita.nashkray.net/index.php?ite ... g_id=16125 и т.д.
Мне нужно чтоб робот проиндексировал только 1 и 3 ссылку которые помещены в sitemap.xml и корневой домен http://chita.nashkray.net, а все остальное бы не индексировал.
В чем конкретно ошибка моего robots.txt?

Добавлено спустя 2 часа 18 минут 58 секунд:
В общем перепробовал я все варианты (в яндекс анализаторе), которых в общем-то немного, ничего не подошло...
Либо динамические страницы о которых я писал выше доступны все для индексирования, либо наоборот недоступны...
Что если на веб страницы написать вот так:
<META NAME="ROBOTS" CONTENT="NOFOLLOW">
а в robots.txt:

Код: Выделить всё

User-agent: *
Allow: /
Sitemap: http://mysite.ru/sitemap.xml

User-agent: yandex
Allow: /
Sitemap: http://mysite.ru/sitemap.xml
Будут ли индексироваться яндексом страницы которые находятся в sitemap.xml?
Нормально ли Яндекс воспримет <META NAME="ROBOTS" CONTENT="NOFOLLOW">? Не будет ли сново индексировать все подряд?
Лучше промолчать, чем сказать много слов не по делу...
Аватара пользователя
владимир1983
phpBB 3.2.6
Сообщения: 5954
Стаж: 13 лет 11 месяцев
Откуда: Сергиев Посад
Благодарил (а): 374 раза
Поблагодарили: 727 раз
Контактная информация:

Re: robots.txt и sitemap.xml для phpBB3

Сообщение владимир1983 »

Freeze писал(а):<META NAME="ROBOTS" CONTENT="NOFOLLOW">
вот так правильно

Код: Выделить всё

<meta name=“robots” content=“noindex,nofollow”>
Freeze писал(а):Будут ли индексироваться яндексом страницы
По ссылке с карты перейдет, но тег <meta name=“robots” content=“noindex,nofollow”> обязательно будет учтён и страница в индекс взята не буедет.
Freeze писал(а):Не будет ли сново индексировать все подряд?
Роботы периодически индексируют "всё подряд". Но будет ли взято это в индекс зависит от правил в роботсе и тегов в head.

Добавлено спустя 1 минуту 11 секунд:
Самопис? А чего на нормальную cms не перейдёшь? Сайт то вроде не большой.
За ваши деньги решу ваши проблемы. Стучи в ЛС.
Нет человека - нет проблемы. (c)
Аватара пользователя
Freeze
phpBB 1.4.1
Сообщения: 45
Стаж: 11 лет 4 месяца

Re: robots.txt и sitemap.xml для phpBB3

Сообщение Freeze »

Хм.... насчет небольшого сайта...
chita.nashkray.net - это только одна частица из предполагаемых 2600 сайтов... Пока реализовано в качестве эксперимента около 70 сайтов...
Вот в этом та вся и заморочка, что яндекс порой может проиндексировать страницы которые находятся скажим на pz.nashkray.net и соотнести их на chita.nashkray.net. Все от того что там есть лазейка - "Все блоги" благодоря которой нет нужды лазить постоянно от сайта к сайту, а все читать в одном месте... В будущем это еще хитрее будет)))
С cms не хочу заморачиваться, пишу сам, за основу взял интеграцию phpBB, здесь на форуме, заодно изучаю HTML, CSS, php, JS))) Ну вот и в SEO начинаю вникать)))
Насчет:

Код: Выделить всё

<meta name=“robots” content=“noindex,nofollow”>
В данном случае тогда не будет проиндексирована основная страница!? Я правильно понимаю?
Да и почему Яндекс указывает немного другой синтаксис (слэш в конце)?

Код: Выделить всё

<meta name=“robots” content=“noindex,nofollow”/>
Добавлено спустя 12 минут 44 секунды:
Да и как отнесется поисковик, если он берет ссылку из sitemap:
http://chita.nashkray.net/index.php?ite ... g_id=16213
переходит туда, а там:
<meta name=“robots” content=“noindex,nofollow”>
:o
Лучше промолчать, чем сказать много слов не по делу...
Закрыто

Вернуться в «Для авторов (phpBB 3.0.x)»