robots.txt для 3.x

[dotez]

User-agent: Yandex

Clean-param: uid&f&sid&e&hilit&view&unwatch /viewtopic.php
Clean-param: sid&
Clean-param: &mode&view

спасибо, попробую так.

[southklad]

У меня Яндекс докопался ссылкам со style и f, ладно F, а вот как запретить ему style?

[Татьяна5]

Через тот же самый Clean-param
Ссылки со style - это с разными отображаемыми стилями

[southklad]

Ссылки со style - это с разными отображаемыми стилями

Это я понял, но как это прописать правильно

[Татьяна5]

Код: Выделить всё

Clean-param: style

В блоке для яндекса

[southklad]

Ссылки там выглядят так:

Код: Выделить всё

https://форум.ru/forum/viewtopic.php?style=12&f=72&t=8994&start=10

https://форум.ru/forum/viewforum.php?style=12&f=577

https://форум.ru/forum/viewforum.php?style=12&f=573

https://soфорум.ru/forum/thankslist/givens/353/true?style=12

https://форум.ru/forum/viewforum.php?style=12&f=720

[Татьяна5]

Порядок get-параметров значения не имеет

[southklad]

Теперь ругается яша на GET-параметр f, как его побороть?

[Татьяна5]

f - это номер форума, значимый параметр на страницах форумов

[southklad]

ПОлучается Яндексу не нравится дубли forum/viewtopic.php?f=455&t=14698 и forum/viewtopic.php?t=14698

[Татьяна5]

canonical с f (что странно, по стандарту без f), так что параметр f убирать никак нельзя на форуме

[Thoral]

canonical с f (что странно, по стандарту без f), так что параметр f убирать никак нельзя на форуме

Уточните, пожалуйста, значит ли это то, что параметр f вообще не стоит включать в клининг для robots.txt?

Если так подумать, темы между разделами перемещаются крайне редко, особенно крупные. Не так давно я опробовал данную конструкцию вместе с f (хотя были сомнения), эту:

Скрытый текст

Код: Выделить всё

Clean-param: sid&f&e&hilit&view /viewtopic.php 
Clean-param: sid
Clean-param: style

Яша наругался сейчас на предстоящий массовый клининг. Что будет по итогу -- пока не уверен. Но мне кажется очень много страниц выпадет, потому что прямых ссылок без f= нет , с карты сайта ссылается в разделы (viewforum) , а оттуда все ссылки с аттрибутом f= .

Или?

[Татьяна5]

Уточните, пожалуйста, значит ли это то, что параметр f вообще не стоит включать в клининг для robots.txt?

Смотря как на форуме прописан canonical (по идее, я не сеошник)

[Thoral]

Смотря как на форуме прописан canonical (по идее, я не сеошник)

Спасибо, похоже разобрался.
Исключил f из каноникал в админке и добавил клинер в роботс.
Не помню зачем вообще раньше включал.. Где-то прочитал, что так советуют, включил не подумавши.
Яша таки все страницы вырезал под 0 теперь всё заново, ну ничего, главное разобрались. Без f вариант мне кажется для поисковиков более приятный.

[Thoral]

Вот сижу ломаю голову.. Гугл индексирует страницы с тегом style= , причем тег style вписан в каноническую версию этой страницы если смотреть источник и тега style нет в списке канонической страницы если смотреть на версию страницы без тега.

Видимо мод стилей Mobile Devices добавляет (Анвара который).. других вариантов похоже нет..

Как это убрать? Клиринг, понятно, не работает для Гугла.. Может просто запретить через disallow потипу так:

Код: Выделить всё

Disallow: /viewtopic.php?style=*&f=*&t=*

?
в карте сайта нет ссылок с данным тегом, значит берет по ссылкам, которые пользователи сами публикуют..

И может ещё реврайт добавить в .htaccess с перенаправлением на страницу без тега стиля?