Индексация Яндекс

[Tactic]

Не нашел другой темы, решил немного оживить данную. С запуска сайта держал форум в noindex, через годик решил снять и не прописал в robots.txt закрытия лишних страниц. В итоге в индекс они конечно не попали, но в Яндекс Вебмастере в графе - Загружено роботом, вылезло 400 тыс. страниц. На что поисковик отреагировал негативно и начал выкидывать сайт из индекса.

Поняв в чем дело, прописал robots.txt, строки для робота взял такие:

 

Disallow: /forum/faq.php
Disallow: /forum/mcp.php
Disallow: /forum/memberlist.php
Disallow: /forum/posting.php
Disallow: /forum/report.php
Disallow: /forum/search.php
Disallow: /forum/style.php
Disallow: /forum/ucp.php
Disallow: /forum/viewtopic.php?p=*
Disallow: /forum/viewtopic.php?f=*&t=*&start=0$
Disallow: /forum/viewtopic.php?f=*&t=*&view=next
Disallow: /forum/viewtopic.php?f=*&t=*&view=previous
Clean-param: sid /forum/index.php
Clean-param: sid /forum/viewforum.php
Clean-param: sid /forum/viewtopic.php

Количество загруженных страниц упало до 80000. Учитывая что на сайте у меня примерно 500 страниц, а на форуме полезных десятка 3-4. То мусора еще очень много. Чего не хватает? Как убрать мусор? Посоветуйте материал где и что почитать.

[xisp]

Посоветуйте материал где и что почитать.

В самом вебмастере посмотрите, какие именно страницы он считает ненужными.

[apollion]

Вот пример:

Код: Выделить всё

Disallow: /adm/
Disallow: /attach_mod/
Disallow: /cache/
Disallow: /db/
Disallow: /docs/
Disallow: /files/
Disallow: /images/
Disallow: /includes/
Disallow: /language/
Disallow: /templates/
Disallow: /attach_rules.php
Disallow: /card.php
Disallow: /common.php*
Disallow: /config.php*
Disallow: /download.php
Disallow: /extension.inc
Disallow: /faq.php*
Disallow: /glance.php*
Disallow: /groupcp.php*
Disallow: /login.php*
Disallow: /memberlist.php*
Disallow: /merge.php*
Disallow: /modcp.php*
Disallow: /posting.php
Disallow: /privmsg.php*
Disallow: /profile.php*
Disallow: /quick_reply.php*
Disallow: /search.php*
Disallow: /uacp.php*
Disallow: /viewonline.php*
Disallow: /ucp.php*
Disallow: /mcp.php*
Disallow: /viewtopic.php?f=*&t=*&st=0&sk=*&sd=*
Disallow: /viewforum.php?f=*&st=0&sk=*&sd=*
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&t=*&start=0
Disallow: /viewforum.php?f=*&start=0
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Disallow: /viewtopic.php?f=*&t=*&view=print
Host: http://site.ru
Clean-param: sid /index.php # очистка параметра sid
Clean-param: sid /viewforum.php # очистка параметра sid
Clean-param: sid /viewtopic.php # очистка параметра sid
Crawl-delay: 5 # задает таймаут в 5 секунд