robots.txt и sitemap.xml для phpBB3

[pisikot]

phpBB 3.0.8 стоит SiteMap Generator Версия1.1.0
После создания карты даты не понятные
дата на форуме у темы: 03.01.2011, 14:22 а в карте: MonPMMSKE_013C
В настройках форума пробовал изменить формат даты, но результат тот же...

Пробовал еще вариант, phpBB 3.0.8 чистую поставил без единого мода на нее вешал SiteMap Generator Версия1.2.0 и тоже самое(
Может это с хостингом что-то? На денвере нормально получается сделать...

Помогите!))

[Дед]

Прокомментируйте,плз,мой файл robots.txt и почему при проверке этого файла инструментом Яндекса выдает ошибку Некорректный формат URL файла Sitemap ? Спасибо.

Код: Выделить всё

User-agent: *
Disallow: /adm
Disallow: /cache
Disallow: /css
Disallow: /docs
Disallow: /download
Disallow: /files
\\Disallow: /gallery
Disallow: /images
Disallow: /language
Disallow: /statistics
Disallow: /styles
Disallow: /temp
Disallow: /test
Disallow: /mcp.php
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /statistics.php
Disallow: /viewonline.php
Disallow: /memberlist.php
Disallow: /faq.php
Disallow: /download.php
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewforum.php?f=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Sitemap: /sitemaps/sitemap_index.xml
Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php

User-agent: Yandex
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewforum.php?f=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Sitemap: /sitemaps/sitemap_index.xml
Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php

User-agent: MSN 
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewforum.php?f=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Sitemap: /sitemaps/sitemap_index.xml
Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php

User-agent: Yahoo  
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewforum.php?f=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Sitemap: /sitemaps/sitemap_index.xml
Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php

User-agent: Google   
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewforum.php?f=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Sitemap: /sitemaps/sitemap_forums.xml
Sitemap: /sitemaps/sitemap_index.xml
Sitemap: /sitemaps/sitemap_topics_0000000-0050000.xml
Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php

[Айдар]

Дед,

Код: Выделить всё

/css
/files
/images
/styles
/language

Их то зачем запретили? Особенно /css ?

[Дед]

Могу согласиться, что styles и language не стоит запрещать, но в остальных то что сканер может найти?

[Айдар]

Собственно то, что в названиях папок написано, то и может найти. Наприме, у меня с картинок неплохо переходят, хотя и нецелевые посетители.

[Дед]

Как бы ты построил robots.txt ? Форум установлен в корень,в корне также Portal (Board3 Portal) + галерея (phpBB-Gallery) + PHPBB СТАТИСТИКА.

[Айдар]

Вот так:

Код: Выделить всё

User-agent: *

Disallow: /away.htm
Disallow: /go.php
Disallow: /groupcp.php
Disallow: /login.php
Disallow: /privmsg.php
Disallow: /profile.php
Disallow: /viewonline.php
Disallow: /faq.php 
Disallow: /posting.php
Disallow: /recent_cp1251.php
Disallow: /stk/

away.htm и go.php - это редирект внешних ссылок. Еще memberlist добавил бы.
По указанным модам написать ничего не могу - не знаю какие там файлы есть.

[Дед]

Можно ли прокомментировать мой robots.txt? Спасибо.

[Айдар]

Дед, достаточно неплохо - все ненужное ПСам есть, ничего лишнего в файле нет.

[Дед]

Вчера смотрю, Yahoo [Bot] шарит по статистике, которая у меня закрыта в robots.txt. Может быть для каждого робота нужно создавать секцию с понятными для него директивами?

[Айдар]

шарит по статистике, которая у меня закрыта в robots.txt

А кто сказал, что ПСы не будут ходить по закрытым от них документам!? Вы им запрещаете индексировать их, но не ходить по ним.

[kreator]

Подскажите пожалуйста: мне показалось? или яндекс проиндексировал файл go.php (редирект)
вот скрин:

12121212.gif

в роботс.txt прописана строка

Код: Выделить всё

Disallow: /go.php

[rxu]

Что это за скрин?

[Айдар]

Что это за скрин?

Это скрин с Я-Вебмастера "Загруженные страницы".
kreator, заметь, "Загруженные страницы", а не "Страницы в поиске" - это во-первых. Во-вторых, в любом случае, его в Вебмастере быть не должно, и я не понимаю, почему он есть и, вообще, какого фига у тебя там 289 страниц и в поддиректории файлы на .asp ?

[sarmath]

такой вопрос: гугл выдает в инструментах для веб-мастеров ключевые слова по типу "июль, добавлено, заголовок, зарегистрирован" и так далее. Даже ники показывает как ключевые. Можно ли это как-то исправить в файле робот.тхт?