robots.txt и sitemap.xml для phpBB3

Форум для авторов модов для phpBB 3.0.x. Здесь можно попросить помощи в разработке у коллег.
Правила форума
Местная Конституция | Шаблон запроса | Документация (phpBB3) | Переход на 3.0.6 и выше | FAQ-3 (phpbb3) | Как задавать вопросы | Как устанавливать моды

Ваш вопрос может быть удален без объяснения причин, если на него есть ответы по приведённым ссылкам (а вы рискуете получить предупреждение ;) ).
Аватара пользователя
pisikot
phpBB 1.2.1
Сообщения: 21
Зарегистрирован: 18.10.2010 15:31
Откуда: tmn
Благодарил (а): 32 раза

Re: robots.txt и sitemap.xml для phpBB3

Сообщение pisikot » 05.01.2011 11:12

phpBB 3.0.8 стоит SiteMap Generator Версия1.1.0
После создания карты даты не понятные
дата на форуме у темы: 03.01.2011, 14:22 а в карте: MonPMMSKE_013C
В настройках форума пробовал изменить формат даты, но результат тот же...

Пробовал еще вариант, phpBB 3.0.8 чистую поставил без единого мода на нее вешал SiteMap Generator Версия1.2.0 и тоже самое(
Может это с хостингом что-то? На денвере нормально получается сделать...

Помогите!))

Аватара пользователя
Дед
phpBB 1.4.4
Сообщения: 109
Зарегистрирован: 08.04.2007 10:15
Откуда: Беер Шева
Благодарил (а): 14 раз

Re: robots.txt и sitemap.xml для phpBB3

Сообщение Дед » 03.02.2011 12:53

Прокомментируйте,плз,мой файл robots.txt и почему при проверке этого файла инструментом Яндекса выдает ошибку Некорректный формат URL файла Sitemap ? Спасибо.

Код: Выделить всё

User-agent: *
Disallow: /adm
Disallow: /cache
Disallow: /css
Disallow: /docs
Disallow: /download
Disallow: /files
\\Disallow: /gallery
Disallow: /images
Disallow: /language
Disallow: /statistics
Disallow: /styles
Disallow: /temp
Disallow: /test
Disallow: /mcp.php
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /statistics.php
Disallow: /viewonline.php
Disallow: /memberlist.php
Disallow: /faq.php
Disallow: /download.php
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewforum.php?f=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Sitemap: /sitemaps/sitemap_index.xml
Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php

User-agent: Yandex
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewforum.php?f=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Sitemap: /sitemaps/sitemap_index.xml
Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php

User-agent: MSN 
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewforum.php?f=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Sitemap: /sitemaps/sitemap_index.xml
Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php

User-agent: Yahoo  
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewforum.php?f=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Sitemap: /sitemaps/sitemap_index.xml
Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php

User-agent: Google   
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewforum.php?f=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Sitemap: /sitemaps/sitemap_forums.xml
Sitemap: /sitemaps/sitemap_index.xml
Sitemap: /sitemaps/sitemap_topics_0000000-0050000.xml
Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php


Аватара пользователя
Айдар
Former team member
Сообщения: 1687
Зарегистрирован: 14.12.2010 16:15
Откуда: KZN
Благодарил (а): 94 раза
Поблагодарили: 189 раз

Re: robots.txt и sitemap.xml для phpBB3

Сообщение Айдар » 03.02.2011 13:04

Дед,

Код: Выделить всё

/css
/files
/images
/styles
/language
Их то зачем запретили? Особенно /css ?
In Web We Trust

Аватара пользователя
Дед
phpBB 1.4.4
Сообщения: 109
Зарегистрирован: 08.04.2007 10:15
Откуда: Беер Шева
Благодарил (а): 14 раз

Re: robots.txt и sitemap.xml для phpBB3

Сообщение Дед » 03.02.2011 19:51

Могу согласиться, что styles и language не стоит запрещать, но в остальных то что сканер может найти?

Аватара пользователя
Айдар
Former team member
Сообщения: 1687
Зарегистрирован: 14.12.2010 16:15
Откуда: KZN
Благодарил (а): 94 раза
Поблагодарили: 189 раз

Re: robots.txt и sitemap.xml для phpBB3

Сообщение Айдар » 03.02.2011 19:57

Собственно то, что в названиях папок написано, то и может найти. Наприме, у меня с картинок неплохо переходят, хотя и нецелевые посетители.
In Web We Trust

Аватара пользователя
Дед
phpBB 1.4.4
Сообщения: 109
Зарегистрирован: 08.04.2007 10:15
Откуда: Беер Шева
Благодарил (а): 14 раз

Re: robots.txt и sitemap.xml для phpBB3

Сообщение Дед » 03.02.2011 20:43

Как бы ты построил robots.txt ? Форум установлен в корень,в корне также Portal (Board3 Portal) + галерея (phpBB-Gallery) + PHPBB СТАТИСТИКА.
Вложения
root.JPG
root.JPG (10.32 КБ) 2072 просмотра

Аватара пользователя
Айдар
Former team member
Сообщения: 1687
Зарегистрирован: 14.12.2010 16:15
Откуда: KZN
Благодарил (а): 94 раза
Поблагодарили: 189 раз

Re: robots.txt и sitemap.xml для phpBB3

Сообщение Айдар » 03.02.2011 20:49

Вот так:

Код: Выделить всё

User-agent: *

Disallow: /away.htm
Disallow: /go.php
Disallow: /groupcp.php
Disallow: /login.php
Disallow: /privmsg.php
Disallow: /profile.php
Disallow: /viewonline.php
Disallow: /faq.php 
Disallow: /posting.php
Disallow: /recent_cp1251.php
Disallow: /stk/
away.htm и go.php - это редирект внешних ссылок. Еще memberlist добавил бы.
По указанным модам написать ничего не могу - не знаю какие там файлы есть.
In Web We Trust

Аватара пользователя
Дед
phpBB 1.4.4
Сообщения: 109
Зарегистрирован: 08.04.2007 10:15
Откуда: Беер Шева
Благодарил (а): 14 раз

Re: robots.txt и sitemap.xml для phpBB3

Сообщение Дед » 20.02.2011 19:34

Можно ли прокомментировать мой robots.txt? Спасибо.
Вложения
robots.txt
(1.3 КБ) 484 скачивания

Аватара пользователя
Айдар
Former team member
Сообщения: 1687
Зарегистрирован: 14.12.2010 16:15
Откуда: KZN
Благодарил (а): 94 раза
Поблагодарили: 189 раз

Re: robots.txt и sitemap.xml для phpBB3

Сообщение Айдар » 20.02.2011 19:39

Дед, достаточно неплохо - все ненужное ПСам есть, ничего лишнего в файле нет.
In Web We Trust

Аватара пользователя
Дед
phpBB 1.4.4
Сообщения: 109
Зарегистрирован: 08.04.2007 10:15
Откуда: Беер Шева
Благодарил (а): 14 раз

Re: robots.txt и sitemap.xml для phpBB3

Сообщение Дед » 21.02.2011 13:03

Вчера смотрю, Yahoo [Bot] шарит по статистике, которая у меня закрыта в robots.txt. Может быть для каждого робота нужно создавать секцию с понятными для него директивами?

Аватара пользователя
Айдар
Former team member
Сообщения: 1687
Зарегистрирован: 14.12.2010 16:15
Откуда: KZN
Благодарил (а): 94 раза
Поблагодарили: 189 раз

Re: robots.txt и sitemap.xml для phpBB3

Сообщение Айдар » 21.02.2011 13:17

Дед писал(а):шарит по статистике, которая у меня закрыта в robots.txt
А кто сказал, что ПСы не будут ходить по закрытым от них документам!? Вы им запрещаете индексировать их, но не ходить по ним.
In Web We Trust

Аватара пользователя
kreator
phpBB 1.4.4
Сообщения: 135
Зарегистрирован: 05.11.2010 18:36
Откуда: Новочебоксарск
Благодарил (а): 23 раза
Поблагодарили: 8 раз

Re: robots.txt и sitemap.xml для phpBB3

Сообщение kreator » 01.03.2011 11:01

Подскажите пожалуйста: мне показалось? или яндекс проиндексировал файл go.php (редирект)
вот скрин:
12121212.gif
(5.78 КБ) 0 скачиваний
в роботс.txt прописана строка

Код: Выделить всё

Disallow: /go.php
Чеченские хакеры уже третий день активно пытаются зарегистрироваться в одноклассниках (TheJokes.ru)

Аватара пользователя
rxu
phpBB Guru
phpBB Guru
Сообщения: 14533
Зарегистрирован: 12.05.2006 18:16
Откуда: Красноярск
Благодарил (а): 348 раз
Поблагодарили: 1556 раз

Re: robots.txt и sitemap.xml для phpBB3

Сообщение rxu » 01.03.2011 17:04

Что это за скрин?
Изображение

Аватара пользователя
Айдар
Former team member
Сообщения: 1687
Зарегистрирован: 14.12.2010 16:15
Откуда: KZN
Благодарил (а): 94 раза
Поблагодарили: 189 раз

Re: robots.txt и sitemap.xml для phpBB3

Сообщение Айдар » 01.03.2011 17:45

rxu писал(а):Что это за скрин?
Это скрин с Я-Вебмастера "Загруженные страницы".
kreator, заметь, "Загруженные страницы", а не "Страницы в поиске" - это во-первых. Во-вторых, в любом случае, его в Вебмастере быть не должно, и я не понимаю, почему он есть и, вообще, какого фига у тебя там 289 страниц и в поддиректории файлы на .asp ? :shock:
In Web We Trust

sarmath
phpBB 1.0.0
Сообщения: 4
Зарегистрирован: 18.07.2011 14:49

Re: robots.txt и sitemap.xml для phpBB3

Сообщение sarmath » 16.08.2011 20:09

такой вопрос: гугл выдает в инструментах для веб-мастеров ключевые слова по типу "июль, добавлено, заголовок, зарегистрирован" и так далее. Даже ники показывает как ключевые. Можно ли это как-то исправить в файле робот.тхт?

Вернуться в «Для авторов (phpBB 3.0.x)»