Проблема с индексацией форума

[kpripper]

Все хуже и хуже индексируется форум, на старте форума отставание от момента поста до индексации было день-два, сейчас в некоторых темах уже неделю посту, а он не проидексирован. Хуже ситуация в яндексе, точнее просто ужасная - три недели отставание, чуть лучше в гугле. Боты постоянно висят на форуме. В чем проблема ?

[zorexx]

Посмотрите права доступа для ботов
Так же мне кажется нежелательно, чтобы описание форума и ключевики повторялись слово в слово
так же можно убрать для чистоты запросов вот эти вещи типа "просмотр темы" , "просмотр форума" в тайтлах, где-то видел тему поищите

[kpripper]

Права проверял, описание и ключевики только сегодня прицепил. Просмотры убрал, яндексу написал.

[ostridm]

сарый ли форум? большой ли?

напишите в robots.txt запрет индексации всяческой ненужно ерунды

типа
- станицы профилей
- список пользователей
- станицы просмотра тем по прямой ссылке на сообщение
- все старницы где гости получают логин бокс

идея в том чтобы уменьшить массу ненужных или что еще печальнее одинаковых страниц по разным адресам

[kpripper]

Форум то старый, но месяц назад переехал я. На старом форуме больше 20000 сообщений, на новом пока 1500.

В robots.txt все эти служебные страницы закрыты. Вот как его видит сам Яндекс (скопировал из ЯВМ):

User-agent: *
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewforum.php?f=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Sitemap: /sitemaps/sitemap_index.xml
Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php

User-agent: Yandex
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewforum.php?f=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Sitemap: /sitemaps/sitemap_index.xml
Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php

Вот это не может мешать ?

Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewforum.php?f=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous

[Shredder]

Роботс вроде в порядке.

Форум то старый, но месяц назад переехал я.

А как переезжали, откуда и куда? Не оставили случаем сообщений на старом адресе? Опишите подробно все действия.
Я тоже однажды "хорошо переехал"

[zorexx]

Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewforum.php?f=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous

я лично убрал все это, и хрен поставлю, пусть даже скажут что это будет плохо влиять, раньше тоже стояло.
вот мой http://molotok-forum.ru/robots.txt
В google 614 в яндексе 408 примерно можно сказать одинаково
Google проиндексировал 58 % форума

На вашем форуме действительно разница большая при google 8330 стр.(3%) ,против яндекс 229 стр
Пробуйте экспериментировать, и еще sitemap какой-то странный первый раз вижу такой. Он же вроде в корне форума должен стоять а не на главной странице. Типа http://ваш форум/sitemap.xml , а у вас он кидает на список форумов. То есть sitemap киньте в корень сайта и пропишите в роботсе Sitemap - ваш сайт/sitemap.xml

[ostridm]

Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewforum.php?f=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous

уберите это, это какраз ссылки по которым должен идтить бот

[kpripper]

Shredder я переехал с сервиса 2х2 на свой хостинг, там все сообщения остались, но старый форум теперь имеет адрес http://arhiv.surgeryzone.net/

роботс и сайтмап поправлю, яндекс пока молчит - выходные ))

[romeo_piter]

уберите это, это какраз ссылки по которым должен идтить бот

Это дублирующие ссылки, у которых есть аналоги. Не надо убирать это из роботса

[kpripper]

В общем поправил титлы, скормил Яндексу карту, роботс не трогал - движение пошло.

[kpripper]

Если кому-то интересно - уже в 6 раз выросло количество проиндексированных страниц.

[CARNET]

Гугл перестал видеть форум. Уже месяца два как, с конца марта. Файл robots.txt именялся только в конце апреля... Яндекс нормально и видит и индексирует, все это время. Что может быть?