robots.txt для 3.x

[sasa85]

Добавил в роботс тхт вот такое:
Disallow: /forum/viewtopic.php?f=*&t=*&p=*

Гугл сразу забил тревогу, что у сайта серьезные проблемы. Убрать такую строку или оставить?

[COB16]

sasa85, Ты же запретил индексацию всех тем и разделов

[Alecto]

ничего подобного, только там, где есть ссылки на посты, а они нафиг гуглу не нужны, поскольку дубли.
чтобы не было сомнений - надо взять ссылку и проверить в консоли гугл для своего роботс.тхт

Отправлено спустя 4 минуты 58 секунд:
добавил себе, проверил.
ссылки вида viewtopic.php?f=35&t=5263&p=82675#p82675 блокируются
viewtopic.php?f=35&t=5263 - проходят, так что все в порядке.

[sasa85]

Вот я тоже все проверил, но у меня в индексе у гугла много страниц типа viewtopic.php?f=35&t=5263&p=82675#p82675
Может и поэтому он забил тревогу, понаблюдаю в общем.

[Sumanai]

Вот я тоже все проверил, но у меня в индексе у гугла много страниц типа

Они должны были исчезнуть после перехода на 3.1 благодаря Canonical URL.

[Alecto]

Они должны были

ага, щяс, хотелось бы.
гугл тащит все ссылки, что находит на сайте, во всех их вариациях.
у меня этих дублей было больше 100 000 в 3.0, в 3.1 уменьшил до 8700, но тут скорее помогла настройка роботс.тхт, чем смена движка.

[Sumanai]

гугл тащит все ссылки, что находит на сайте, во всех их вариациях.

И склеивает дубликаты.

[Alecto]

Sumanai, спорить можно долго и безрезультатно.
вот ссылка Re: Карта сайта для ботов (phpBB3 SEO Sitemap) (Пост Alecto #472554) что было С ДУБЛЯМИ и что стало ПОСЛЕ.
для меня это очень показательно и очевидно, вы же в своем праве как считать и что делать

[Sumanai]

что было С ДУБЛЯМИ и что стало ПОСЛЕ

Это не относится к дублям.

[Alecto]

еще и как относится.

[COB16]

где есть ссылки на посты

иногда как раз нужный ответ содержится в посте, а не во всей теме и получается что при переходе пользователь будет рыть всю тему вместо чтения ответа

[Alecto]

иногда как раз нужный ответ содержится в посте

вот только гугл об этом не знает.

[SashaMinsky]

Поднималась ли мысль, что дубли в роботс лучше не запрещать? Склейки по canonical достаточно, и поисковики с этим прекрасно справляются. А в случае запрета в роботс они страницу считают проиндексированной, когда выводят общее число проиндексированных, но содержимое ее не читают и ни с чем не склеивают. То есть, встречая такую ссылку, робот свою поисковую базу не пополняет реальным содержимым, только увеличивает счетчик страниц, а вот если страница открыта и имеет каноникал, то читает и понимает как надо с правильным адресом.

Мой опыт говорит, что дубли можно не запрещать - в вебмастере и яндекса, и гугла все в порядке. В роботсе запрещены только cgi-bin и feed.php. А ненужные поисковикам страницы ucp, memberlist и прочие закрыты в мета-тегах.

[staiki]

А ненужные поисковикам страницы ucp, memberlist и прочие закрыты в мета-тегах.

А дайте пример как те страницы запретить мета-тегами. Потому как закрывал ucp, memberlist только в роботсе.

[владимир1983]

https://yandex.ru/support/webmaster/con ... t/html.xml