robots.txt и sitemap.xml для phpBB3

[владимир1983]

предполагаемых 2600 сайтов

Ты понимаешь что контент если он даже околотематический надо группировать на одном домене дабы собирать плюсы по низкочастотным запросам? Ты же всё в разные стороны раскидываешь. Делай в папках: http://nashkray.ne/chita/category/article.html И http://nashkray.net/ должен быть корнем. Иначе из твоей грандиозной затеи ничего не выйдет. Поддомены в твоём случае зло.

Насчет:

На кофе с нотерпадом 2-е сутки, могу и ошибаться)

Я правильно понимаю?

Нет, не будет проиндексирована та станица на которой этот мета-тег расположен.

Код: Выделить всё

<meta name="robots" content="noindex"/>  —  не индексировать текст страницы
<meta name="robots" content="nofollow"/>  —  не переходить по ссылкам на странице

[Freeze]

В общем выходят проблемы с sitemap-ом...
Залил на сайт robots.txt следующего вида

Код: Выделить всё

User-agent: *
Allow: /
Sitemap: http://chita.nashkray.net/sitemap.php

User-agent: yandex
Allow: /
Sitemap: http://chita.nashkray.net/sitemap.php

User-agent: msn 
Allow: /
Sitemap: http://chita.nashkray.net/sitemap.php

User-agent: yahoo  
Allow: /
Sitemap: http://chita.nashkray.net/sitemap.php

User-agent: googlebot   
Allow: /
Sitemap: http://chita.nashkray.net/sitemap.php

Yandex считает, что у меня 5 sitemap-ов на сайте (т.е. берет sitemap.php из каждого раздела) и по-видемому пытается проиндексировать одно и то же 5 раз, т.к. нагрузка на сервер у меня значительно возрасла, после того как я подкинул туда robots.txt.

Google же считает, что sitemap.php не является картой сайта...
Остальные не проверял.

Видимо прейдется все-таки создавать нединамический sitemap.xml
А robots.txt приводить к самому простому виду типа:

Код: Выделить всё

User-agent: *
Allow: /
Sitemap: http://chita.nashkray.net/sitemap.xml

[romeo_piter]

Подскажите имеет ли смысл закрывать в роботс ссылку на топик вида /viewtopic.php?t=*
Как я понимаю это дублирующая ссылка и в выдаче её не должно быть?

[Пчелкин]

Верно...тем более ссылки могут потом исчезнуть (сотрешь) а Яша при обходе этого не любит...Тем более и Яша и Гула обновляют свои данные уже второй месяц как. в 25 раз реже чем раньше...Новшество у них там какое-то ввели...

[владимир1983]

romeo_piter
В борьбе с дублями хорошо помогает сanonical url.

Добавлено спустя 5 минут 8 секунд:
Решение проблем с дублями Canonical URL

[romeo_piter]

Задам вопрос по другому. На форуме стоит поиск Search Topic JQAutocomplete.
До недавнего времени он в выдаче давал ссылки именно этого типа, те viewtopic.php?t=
Соответственно в некотором количестве они разошлись по форуму, сегодня обнаружил их в яшогугле.

Сейчас поиск подправлен. Но ссылки остались. Верным ли решением будет в этой ситуации закрыть ссылки этого вида в роботс?

Решение проблем с дублями Canonical URL

Спасибо, посмотрим.

[Shredder]

Решение проблем с дублями Canonical URL

Вчера как раз качал. Этот мод только для обычного вида ссылок. Если используется комплект Ultimate SEO, то в нём есть собственный инструмент для создания канонических тегов: Zero Duplicate.

[romeo_piter]

Как я понимаю каноникал помогает только с гуглом?

[xisp]

Как я понимаю каноникал помогает только с гуглом?

Намекаю.

[romeo_piter]

Спасибо. Понял. Поставил.
Удобная фигня. Как я понимаю, в результате установки директивы в роботс теряют смысл?

[xisp]

Удобная фигня. Как я понимаю, в результате установки директивы в роботс теряют смысл?

Какие именно?

[romeo_piter]

Да уже не важно.

Правильно ли я понимаю, что ссылок вида viewtopic.php?t=*&p=*
на форуме не должно быть?

Они в невероятном количестве расплодились в яндексе и теперь непонятно, что с ними делать (

[elphx]

Форум совсем не хочет индексироваться. пробовал разные варианты с robots.txt, плагин sitemap стоит.
В поиске только несколько страниц.

http://yandex.ru/yandsearch?lr=75&text= ... intball.ru

в чем может быть причина?

[Татьяна5]

elphx
В результатах поиска заголовок Дальневосточный Пейнтбольный Форум • Информация по ссылке на форум.
Информация: запрещен доступ. Не настроены права для ботов

[sweetah]

Canonical URL

У этого мода серьёзная идеологическая ошибка. Зачем-то на каждой странице в качестве канонической ссылки указывается текущая страница. То есть, если текущая страница в форуме (или топике) 3-я из 10, то она и указывается канонической. Это неправильно, канонической должна быть первая страница (без &start=20).
То есть из инструкции просто надо удалить из всех мест эту часть:

Код: Выделить всё

 . (($start) ? "&start=$start" : '')

Важно! А потом прикрутить везде к ссылкам "След." и "Пред." rel="next" и rel="prev".