Уважаемые пользователи!
C 7 ноября 2020 года phpBB Group прекратила выпуск обновлений и завершила дальнейшее развитие phpBB версии 3.2.
С 1 августа 2024 года phpBB Group прекращает поддержку phpBB 3.2 на официальном сайте.
Сайт официальной русской поддержки phpBB Guru продолжит поддержку phpBB 3.2 до 31 декабря 2024 года.
С учетом этого, настоятельно рекомендуется обновить конференции до версии 3.3.

robots.txt и sitemap.xml для phpBB3

Форум для авторов модов для phpBB 3.0.x. Здесь можно попросить помощи в разработке у коллег.
Правила форума
Местная Конституция | Шаблон запроса | Документация (phpBB3) | Переход на 3.0.6 и выше | FAQ-3 (phpbb3) | Как задавать вопросы | Как устанавливать моды

Ваш вопрос может быть удален без объяснения причин, если на него есть ответы по приведённым ссылкам (а вы рискуете получить предупреждение ;) ).
Аватара пользователя
pisikot
phpBB 1.2.1
Сообщения: 21
Стаж: 13 лет 5 месяцев
Откуда: tmn
Благодарил (а): 32 раза
Контактная информация:

Re: robots.txt и sitemap.xml для phpBB3

Сообщение pisikot »

phpBB 3.0.8 стоит SiteMap Generator Версия1.1.0
После создания карты даты не понятные
дата на форуме у темы: 03.01.2011, 14:22 а в карте: MonPMMSKE_013C
В настройках форума пробовал изменить формат даты, но результат тот же...

Пробовал еще вариант, phpBB 3.0.8 чистую поставил без единого мода на нее вешал SiteMap Generator Версия1.2.0 и тоже самое(
Может это с хостингом что-то? На денвере нормально получается сделать...

Помогите!))
Аватара пользователя
Дед
phpBB 1.4.4
Сообщения: 109
Стаж: 16 лет 11 месяцев
Откуда: Беер Шева
Благодарил (а): 14 раз

Re: robots.txt и sitemap.xml для phpBB3

Сообщение Дед »

Прокомментируйте,плз,мой файл robots.txt и почему при проверке этого файла инструментом Яндекса выдает ошибку Некорректный формат URL файла Sitemap ? Спасибо.

Код: Выделить всё

User-agent: *
Disallow: /adm
Disallow: /cache
Disallow: /css
Disallow: /docs
Disallow: /download
Disallow: /files
\\Disallow: /gallery
Disallow: /images
Disallow: /language
Disallow: /statistics
Disallow: /styles
Disallow: /temp
Disallow: /test
Disallow: /mcp.php
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /statistics.php
Disallow: /viewonline.php
Disallow: /memberlist.php
Disallow: /faq.php
Disallow: /download.php
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewforum.php?f=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Sitemap: /sitemaps/sitemap_index.xml
Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php

User-agent: Yandex
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewforum.php?f=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Sitemap: /sitemaps/sitemap_index.xml
Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php

User-agent: MSN 
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewforum.php?f=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Sitemap: /sitemaps/sitemap_index.xml
Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php

User-agent: Yahoo  
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewforum.php?f=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Sitemap: /sitemaps/sitemap_index.xml
Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php

User-agent: Google   
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewforum.php?f=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Sitemap: /sitemaps/sitemap_forums.xml
Sitemap: /sitemaps/sitemap_index.xml
Sitemap: /sitemaps/sitemap_topics_0000000-0050000.xml
Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php

Аватара пользователя
Айдар
Former team member
Сообщения: 1687
Стаж: 13 лет 3 месяца
Откуда: KZN
Благодарил (а): 93 раза
Поблагодарили: 189 раз
Контактная информация:

Re: robots.txt и sitemap.xml для phpBB3

Сообщение Айдар »

Дед,

Код: Выделить всё

/css
/files
/images
/styles
/language
Их то зачем запретили? Особенно /css ?
In Web We Trust
Аватара пользователя
Дед
phpBB 1.4.4
Сообщения: 109
Стаж: 16 лет 11 месяцев
Откуда: Беер Шева
Благодарил (а): 14 раз

Re: robots.txt и sitemap.xml для phpBB3

Сообщение Дед »

Могу согласиться, что styles и language не стоит запрещать, но в остальных то что сканер может найти?
Аватара пользователя
Айдар
Former team member
Сообщения: 1687
Стаж: 13 лет 3 месяца
Откуда: KZN
Благодарил (а): 93 раза
Поблагодарили: 189 раз
Контактная информация:

Re: robots.txt и sitemap.xml для phpBB3

Сообщение Айдар »

Собственно то, что в названиях папок написано, то и может найти. Наприме, у меня с картинок неплохо переходят, хотя и нецелевые посетители.
In Web We Trust
Аватара пользователя
Дед
phpBB 1.4.4
Сообщения: 109
Стаж: 16 лет 11 месяцев
Откуда: Беер Шева
Благодарил (а): 14 раз

Re: robots.txt и sitemap.xml для phpBB3

Сообщение Дед »

Как бы ты построил robots.txt ? Форум установлен в корень,в корне также Portal (Board3 Portal) + галерея (phpBB-Gallery) + PHPBB СТАТИСТИКА.
Вложения
root.JPG
root.JPG (10.32 КБ) 2449 просмотров
Аватара пользователя
Айдар
Former team member
Сообщения: 1687
Стаж: 13 лет 3 месяца
Откуда: KZN
Благодарил (а): 93 раза
Поблагодарили: 189 раз
Контактная информация:

Re: robots.txt и sitemap.xml для phpBB3

Сообщение Айдар »

Вот так:

Код: Выделить всё

User-agent: *

Disallow: /away.htm
Disallow: /go.php
Disallow: /groupcp.php
Disallow: /login.php
Disallow: /privmsg.php
Disallow: /profile.php
Disallow: /viewonline.php
Disallow: /faq.php 
Disallow: /posting.php
Disallow: /recent_cp1251.php
Disallow: /stk/
away.htm и go.php - это редирект внешних ссылок. Еще memberlist добавил бы.
По указанным модам написать ничего не могу - не знаю какие там файлы есть.
In Web We Trust
Аватара пользователя
Дед
phpBB 1.4.4
Сообщения: 109
Стаж: 16 лет 11 месяцев
Откуда: Беер Шева
Благодарил (а): 14 раз

Re: robots.txt и sitemap.xml для phpBB3

Сообщение Дед »

Можно ли прокомментировать мой robots.txt? Спасибо.
Вложения
robots.txt
(1.3 КБ) 572 скачивания
Аватара пользователя
Айдар
Former team member
Сообщения: 1687
Стаж: 13 лет 3 месяца
Откуда: KZN
Благодарил (а): 93 раза
Поблагодарили: 189 раз
Контактная информация:

Re: robots.txt и sitemap.xml для phpBB3

Сообщение Айдар »

Дед, достаточно неплохо - все ненужное ПСам есть, ничего лишнего в файле нет.
In Web We Trust
Аватара пользователя
Дед
phpBB 1.4.4
Сообщения: 109
Стаж: 16 лет 11 месяцев
Откуда: Беер Шева
Благодарил (а): 14 раз

Re: robots.txt и sitemap.xml для phpBB3

Сообщение Дед »

Вчера смотрю, Yahoo [Bot] шарит по статистике, которая у меня закрыта в robots.txt. Может быть для каждого робота нужно создавать секцию с понятными для него директивами?
Аватара пользователя
Айдар
Former team member
Сообщения: 1687
Стаж: 13 лет 3 месяца
Откуда: KZN
Благодарил (а): 93 раза
Поблагодарили: 189 раз
Контактная информация:

Re: robots.txt и sitemap.xml для phpBB3

Сообщение Айдар »

Дед писал(а):шарит по статистике, которая у меня закрыта в robots.txt
А кто сказал, что ПСы не будут ходить по закрытым от них документам!? Вы им запрещаете индексировать их, но не ходить по ним.
In Web We Trust
Аватара пользователя
kreator
phpBB 1.4.4
Сообщения: 135
Стаж: 13 лет 4 месяца
Откуда: Новочебоксарск
Благодарил (а): 23 раза
Поблагодарили: 8 раз
Контактная информация:

Re: robots.txt и sitemap.xml для phpBB3

Сообщение kreator »

Подскажите пожалуйста: мне показалось? или яндекс проиндексировал файл go.php (редирект)
вот скрин:
12121212.gif
12121212.gif (5.78 КБ) 6 просмотров
в роботс.txt прописана строка

Код: Выделить всё

Disallow: /go.php
Чеченские хакеры уже третий день активно пытаются зарегистрироваться в одноклассниках (TheJokes.ru)
Аватара пользователя
rxu
phpBB Guru
phpBB Guru
Сообщения: 16313
Стаж: 17 лет 10 месяцев
Откуда: Красноярск
Благодарил (а): 533 раза
Поблагодарили: 2119 раз
Контактная информация:

Re: robots.txt и sitemap.xml для phpBB3

Сообщение rxu »

Что это за скрин?
Изображение
Аватара пользователя
Айдар
Former team member
Сообщения: 1687
Стаж: 13 лет 3 месяца
Откуда: KZN
Благодарил (а): 93 раза
Поблагодарили: 189 раз
Контактная информация:

Re: robots.txt и sitemap.xml для phpBB3

Сообщение Айдар »

rxu писал(а):Что это за скрин?
Это скрин с Я-Вебмастера "Загруженные страницы".
kreator, заметь, "Загруженные страницы", а не "Страницы в поиске" - это во-первых. Во-вторых, в любом случае, его в Вебмастере быть не должно, и я не понимаю, почему он есть и, вообще, какого фига у тебя там 289 страниц и в поддиректории файлы на .asp ? :shock:
In Web We Trust
sarmath
phpBB 1.0.0
Сообщения: 4
Стаж: 12 лет 8 месяцев

Re: robots.txt и sitemap.xml для phpBB3

Сообщение sarmath »

такой вопрос: гугл выдает в инструментах для веб-мастеров ключевые слова по типу "июль, добавлено, заголовок, зарегистрирован" и так далее. Даже ники показывает как ключевые. Можно ли это как-то исправить в файле робот.тхт?
Закрыто

Вернуться в «Для авторов (phpBB 3.0.x)»