Индексация поисковиками

[Kuskow]

Получается индексируется только 1\10 часть контента?

Нет, наоборот. Контент индексируется весь. Но сканируется и анализируется в разы больше, чем индексируется. То есть, каждая страница сайта на стандартном движке phpBB сканируется раз 12-15 (если на ней 10 сообщений), а то и больше. Один раз по делу, остальные вхолостую. И это не считая повторных сканирований для проверки обновлений.
Но в индекс попадает не весь просканированный контент, в любом случае. Поисковая система определяет, каковы шансы у этой страницы попасть в результаты поиска - насколько в её уникальном тексте присутствуют слова, которые ищут люди в интернете. И отсекает страницы, на которых только бла-бла-бла без конкретики. У моего форума в индексе Google ровно 70% всех страниц.

Но ведь на всех страницах разная информация.

Это никого не волнует, им это безразлично, у них другая цель и задача.

Тоесть я так понял, что в том числе для поиска поиндексированы все страницы?

Вот тут и разница, о которой я писал сообщением выше: просканированы (проанализированы) все страницы, проиндексированы (включены в индекс) не все.

примерно 90% не в поиске

Это нормальная картина. Вы считаете проценты от количества всевозможных ссылок. А надо исходить из количества фактически существующих на сайте страниц. Посчитать его можно, создав файл sitemap.xml. Как это сделать - описано в другой теме Re: [3.2]SEO Sitemap

[Kuskow]

Если б начал с теории, никто бы не поверил, поэтому захожу сразу с практики. На 9% за неделю выросло количество проиндексированных страниц в Google (сайту 10 лет). А всё потому что убрал неканонические ссылки из выдачи для ботов.

Малая часть их маскировалась под канонические или существовала в сообщениях пользователей - с ними можно ничего не делать, они не докучают. Я их отправил на 301 редирект.

А вот львиная доля (больше 99%) прятались (лежали на самом видном месте) в заголовках сообщений и цитатах. Пришлось вырезать их оттуда - и вот нам результат. Какие изменения внесены:

В файле /style/prosilver/template/viewtopic_body.html одна замена:
https://gist.github.com/Kuskow/c4586e07 ... /revisions

Ищем:

Код: Выделить всё

<a {% if postrow.S_FIRST_UNREAD %}class="first-unread" {% endif %}href="{{ postrow.U_MINI_POST }}">{{ postrow.POST_SUBJECT }}</a>

Меняем на:

Код: Выделить всё

{% if S_IS_BOT %}{{ postrow.POST_SUBJECT }}{% else %}<a {% if postrow.S_FIRST_UNREAD %}class="first-unread" {% endif %}href="{{ postrow.U_MINI_POST }}">{{ postrow.POST_SUBJECT }}</a>{% endif %}

В файле /style/prosilver/template/bbcode.html в двух местах две одинаковых замены:
https://gist.github.com/Kuskow/78eb53f4 ... /revisions

Ищем:

Код: Выделить всё

<xsl:if test="@post_url">

Меняем на:

Код: Выделить всё

<xsl:if test="@post_url and not($S_IS_BOT)">