robots.txt для 3.x

[Anvar]

Disallow: /forum/viewtopic.php?t=*
это тоже дубль какой то

Это как раз таки каноническая ссылка на тему. Сразу из индекса вылетит основной контент.

[mike2003]

ну она же и так будет вида /forum/viewtopic.php?f=2&t=19

[Rubinovi4]

Disallow: /forum/viewtopic.php?t=*
это тоже дубль какой то

Это как раз таки каноническая ссылка на тему. Сразу из индекса вылетит основной контент.

Хм, у нас же темы с f viewtopic.php?f=2&t=51, а этот блокирует t

[Anvar]

она же и так будет вида /forum/viewtopic.php?f=2&t=19

Да это ссылка вида, но ни canonical, поищите в поисковиках свои темы, ссылки на темы.

[Rubinovi4]

Да это ссылка вида, но ни canonical, поищите в поисковиках свои темы, ссылки на темы.

Проверил в яндексе и гугле, запрет Disallow: /forum/viewtopic.php?t=* моя тема: viewtopic.php?f=2&t=51 оба отписали что доступен полностью. phpbb 3.1.8

Меняю f на t сразу недоступен..))

Отправлено спустя 5 минут 12 секунд:
Хотя я склоняюсь к мнению высказанную тут кем -то надо забить на этого роботса, и не морочить себе голову. Лучше следить за наполнением форума и прочим..))

[Anvar]

Может быть потому что запрет в robots.txt, по этому в поиске отображаются не канонические ссылки. Ответить сложно, проверять долго.

Ссылки на темы в поиске без f=

[mike2003]

но ни canonical

viewtopic.php?f=2&t=19

советуете те выключить, а

php?t=*

оставить?

[Rubinovi4]

оставить?

Ну как то так...))

Хотя я склоняюсь к мнению высказанную тут кем -то надо забить на этого роботса, и не морочить себе голову. Лучше следить за наполнением форума и прочим..))

А если серьезно, то будет блокировать. Конфликт возникнет если индексация будет происходить через sitemap.xml получаем такую ошибку: Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt.

[mike2003]

а откуда берутся ссылки php?t=* ?
поводил мышью, поискал в исходнике - нет таких!

Отправлено спустя 2 минуты 8 секунд:

sitemap.xml получаем такую ошибку

[Rubinovi4]

а откуда берутся ссылки php?t=* ?
поводил мышью, поискал в исходнике - нет таких!

))) зайди в вебмастер, хоть яндекса хоть гугла, я проверяю в обоих, там все ясно и понятно будет видно, какие ссылки блокируются какие нет.

[Anvar]

но ни canonical

viewtopic.php?f=2&t=19

советуете те выключить, а

php?t=*

оставить?

Оба должны быть доступны для индексации.

[Rubinovi4]

Оба должны быть доступны для индексации.

Чисто такая ссылка, как на скрине, при Disallow: /viewtopic.php?t=* будет заблокирована. Можете проверить в вебмастере.

[Anvar]

Яндекс не блокирует, они в индексе.

yandex webmaster.png

./viewtopic.php?f=2&t=19

[Rubinovi4]

Яндекс не блокирует, они в индексе.

Вот и я об этом, забить надо на этот роботс, и не морочить себе голову. В индекс попал, а в мастере пишет что заблокирован.

[sasa85]

Товарищи, подскажите, как в роботс тхт убрать такие url
/forum/?0735620=1&recent_topics_start=10
/forum/?205b5bd=1&recent_topics_start=5
/forum/?21a6654=1
/forum/?recent_topics_start=5
Как я понимаю мод recent topic сделал немного дополнительных url

Отправлено спустя 2 минуты 35 секунд:
и у меня очень много ломится тем с sid
/forum/viewtopic.php?f=2&t=10675&sid=0aefd15cac06175f31f7b97ce8db676a

Отправлено спустя 24 минуты 5 секунд:
Правильно я понимаю, что мне надо добавить следующее:
Disallow: /forum/*&sid=*
Disallow: /forum/*&recent_topics_start=*