Внимание!
Не все расширения для phpBB 3.2 совместимы с phpBB 3.3, главным образом из-за неверного синтаксиса в определениях сервисов (отсутствия обрамляющих кавычек - '...').
Перед обновлением необходимо убедиться в совместимости всех расширений.
Рекомендуется предварительно тестировать обновление на копии конференции (локально или на сервере).

robots.txt и sitemap.xml для phpBB3

Форум для авторов модов для phpBB 3.0.x. Здесь можно попросить помощи в разработке у коллег.
Правила форума
Местная Конституция | Шаблон запроса | Документация (phpBB3) | Переход на 3.0.6 и выше | FAQ-3 (phpbb3) | Как задавать вопросы | Как устанавливать моды

Ваш вопрос может быть удален без объяснения причин, если на него есть ответы по приведённым ссылкам (а вы рискуете получить предупреждение ;) ).
Аватара пользователя
pisikot
phpBB 1.2.1
Сообщения: 21
Стаж: 9 лет 8 месяцев
Откуда: tmn
Благодарил (а): 32 раза

Re: robots.txt и sitemap.xml для phpBB3

Сообщение pisikot »

phpBB 3.0.8 стоит SiteMap Generator Версия1.1.0
После создания карты даты не понятные
дата на форуме у темы: 03.01.2011, 14:22 а в карте: MonPMMSKE_013C
В настройках форума пробовал изменить формат даты, но результат тот же...

Пробовал еще вариант, phpBB 3.0.8 чистую поставил без единого мода на нее вешал SiteMap Generator Версия1.2.0 и тоже самое(
Может это с хостингом что-то? На денвере нормально получается сделать...

Помогите!))

Аватара пользователя
Дед
phpBB 1.4.4
Сообщения: 109
Стаж: 13 лет 2 месяца
Откуда: Беер Шева
Благодарил (а): 14 раз

Re: robots.txt и sitemap.xml для phpBB3

Сообщение Дед »

Прокомментируйте,плз,мой файл robots.txt и почему при проверке этого файла инструментом Яндекса выдает ошибку Некорректный формат URL файла Sitemap ? Спасибо.

Код: Выделить всё

User-agent: *
Disallow: /adm
Disallow: /cache
Disallow: /css
Disallow: /docs
Disallow: /download
Disallow: /files
\\Disallow: /gallery
Disallow: /images
Disallow: /language
Disallow: /statistics
Disallow: /styles
Disallow: /temp
Disallow: /test
Disallow: /mcp.php
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /statistics.php
Disallow: /viewonline.php
Disallow: /memberlist.php
Disallow: /faq.php
Disallow: /download.php
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewforum.php?f=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Sitemap: /sitemaps/sitemap_index.xml
Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php

User-agent: Yandex
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewforum.php?f=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Sitemap: /sitemaps/sitemap_index.xml
Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php

User-agent: MSN 
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewforum.php?f=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Sitemap: /sitemaps/sitemap_index.xml
Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php

User-agent: Yahoo  
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewforum.php?f=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Sitemap: /sitemaps/sitemap_index.xml
Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php

User-agent: Google   
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewforum.php?f=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Sitemap: /sitemaps/sitemap_forums.xml
Sitemap: /sitemaps/sitemap_index.xml
Sitemap: /sitemaps/sitemap_topics_0000000-0050000.xml
Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php


Аватара пользователя
Айдар
Former team member
Сообщения: 1687
Стаж: 9 лет 6 месяцев
Откуда: KZN
Благодарил (а): 94 раза
Поблагодарили: 189 раз

Re: robots.txt и sitemap.xml для phpBB3

Сообщение Айдар »

Дед,

Код: Выделить всё

/css
/files
/images
/styles
/language
Их то зачем запретили? Особенно /css ?
In Web We Trust

Аватара пользователя
Дед
phpBB 1.4.4
Сообщения: 109
Стаж: 13 лет 2 месяца
Откуда: Беер Шева
Благодарил (а): 14 раз

Re: robots.txt и sitemap.xml для phpBB3

Сообщение Дед »

Могу согласиться, что styles и language не стоит запрещать, но в остальных то что сканер может найти?

Аватара пользователя
Айдар
Former team member
Сообщения: 1687
Стаж: 9 лет 6 месяцев
Откуда: KZN
Благодарил (а): 94 раза
Поблагодарили: 189 раз

Re: robots.txt и sitemap.xml для phpBB3

Сообщение Айдар »

Собственно то, что в названиях папок написано, то и может найти. Наприме, у меня с картинок неплохо переходят, хотя и нецелевые посетители.
In Web We Trust

Аватара пользователя
Дед
phpBB 1.4.4
Сообщения: 109
Стаж: 13 лет 2 месяца
Откуда: Беер Шева
Благодарил (а): 14 раз

Re: robots.txt и sitemap.xml для phpBB3

Сообщение Дед »

Как бы ты построил robots.txt ? Форум установлен в корень,в корне также Portal (Board3 Portal) + галерея (phpBB-Gallery) + PHPBB СТАТИСТИКА.
Вложения
root.JPG
root.JPG (10.32 КБ) 2126 просмотров

Аватара пользователя
Айдар
Former team member
Сообщения: 1687
Стаж: 9 лет 6 месяцев
Откуда: KZN
Благодарил (а): 94 раза
Поблагодарили: 189 раз

Re: robots.txt и sitemap.xml для phpBB3

Сообщение Айдар »

Вот так:

Код: Выделить всё

User-agent: *

Disallow: /away.htm
Disallow: /go.php
Disallow: /groupcp.php
Disallow: /login.php
Disallow: /privmsg.php
Disallow: /profile.php
Disallow: /viewonline.php
Disallow: /faq.php 
Disallow: /posting.php
Disallow: /recent_cp1251.php
Disallow: /stk/
away.htm и go.php - это редирект внешних ссылок. Еще memberlist добавил бы.
По указанным модам написать ничего не могу - не знаю какие там файлы есть.
In Web We Trust

Аватара пользователя
Дед
phpBB 1.4.4
Сообщения: 109
Стаж: 13 лет 2 месяца
Откуда: Беер Шева
Благодарил (а): 14 раз

Re: robots.txt и sitemap.xml для phpBB3

Сообщение Дед »

Можно ли прокомментировать мой robots.txt? Спасибо.
Вложения
robots.txt
(1.3 КБ) 497 скачиваний

Аватара пользователя
Айдар
Former team member
Сообщения: 1687
Стаж: 9 лет 6 месяцев
Откуда: KZN
Благодарил (а): 94 раза
Поблагодарили: 189 раз

Re: robots.txt и sitemap.xml для phpBB3

Сообщение Айдар »

Дед, достаточно неплохо - все ненужное ПСам есть, ничего лишнего в файле нет.
In Web We Trust

Аватара пользователя
Дед
phpBB 1.4.4
Сообщения: 109
Стаж: 13 лет 2 месяца
Откуда: Беер Шева
Благодарил (а): 14 раз

Re: robots.txt и sitemap.xml для phpBB3

Сообщение Дед »

Вчера смотрю, Yahoo [Bot] шарит по статистике, которая у меня закрыта в robots.txt. Может быть для каждого робота нужно создавать секцию с понятными для него директивами?

Аватара пользователя
Айдар
Former team member
Сообщения: 1687
Стаж: 9 лет 6 месяцев
Откуда: KZN
Благодарил (а): 94 раза
Поблагодарили: 189 раз

Re: robots.txt и sitemap.xml для phpBB3

Сообщение Айдар »

Дед писал(а):шарит по статистике, которая у меня закрыта в robots.txt
А кто сказал, что ПСы не будут ходить по закрытым от них документам!? Вы им запрещаете индексировать их, но не ходить по ним.
In Web We Trust

Аватара пользователя
kreator
phpBB 1.4.4
Сообщения: 135
Стаж: 9 лет 7 месяцев
Откуда: Новочебоксарск
Благодарил (а): 23 раза
Поблагодарили: 8 раз

Re: robots.txt и sitemap.xml для phpBB3

Сообщение kreator »

Подскажите пожалуйста: мне показалось? или яндекс проиндексировал файл go.php (редирект)
вот скрин:
12121212.gif
(5.78 КБ) 0 скачиваний
в роботс.txt прописана строка

Код: Выделить всё

Disallow: /go.php
Чеченские хакеры уже третий день активно пытаются зарегистрироваться в одноклассниках (TheJokes.ru)

Аватара пользователя
rxu
phpBB Guru
phpBB Guru
Сообщения: 15127
Стаж: 14 лет 1 месяц
Откуда: Красноярск
Благодарил (а): 386 раз
Поблагодарили: 1737 раз

Re: robots.txt и sitemap.xml для phpBB3

Сообщение rxu »

Что это за скрин?
Изображение

Аватара пользователя
Айдар
Former team member
Сообщения: 1687
Стаж: 9 лет 6 месяцев
Откуда: KZN
Благодарил (а): 94 раза
Поблагодарили: 189 раз

Re: robots.txt и sitemap.xml для phpBB3

Сообщение Айдар »

rxu писал(а):Что это за скрин?
Это скрин с Я-Вебмастера "Загруженные страницы".
kreator, заметь, "Загруженные страницы", а не "Страницы в поиске" - это во-первых. Во-вторых, в любом случае, его в Вебмастере быть не должно, и я не понимаю, почему он есть и, вообще, какого фига у тебя там 289 страниц и в поддиректории файлы на .asp ? :shock:
In Web We Trust

sarmath
phpBB 1.0.0
Сообщения: 4
Стаж: 8 лет 11 месяцев

Re: robots.txt и sitemap.xml для phpBB3

Сообщение sarmath »

такой вопрос: гугл выдает в инструментах для веб-мастеров ключевые слова по типу "июль, добавлено, заголовок, зарегистрирован" и так далее. Даже ники показывает как ключевые. Можно ли это как-то исправить в файле робот.тхт?

Вернуться в «Для авторов (phpBB 3.0.x)»