robots.txt для 3.x

[***Blaze***]

В robots.txt прописано:

Код: Выделить всё

Clean-param: sid&f&e&hilit&view

Yandex ругается на GET-параметр hilit
Как это можно исправить?

[ciiz1]

У меня вот так, вроде не ругается
Clean-param: uid&f&sid&e&hilit&view&unwatch /viewtopic.php
Clean-param: sid&
Clean-param: &mode&view
Clean-param: style

[Siava]

Код: Выделить всё

Clean-param: uid&f&sid&e&hilit&view&unwatch /viewtopic.php
Clean-param: sid&
Clean-param: &mode&view
Clean-param: style

то же самое, только короче:

Код: Выделить всё

Clean-param: sid&&mode&view&style
Clean-param: uid&f&e&hilit&unwatch /viewtopic.php

Отправлено спустя 1 минуту 20 секунд:

Yandex ругается на GET-параметр hilit
Как это можно исправить?

Как именно ругается?

[ciiz1]

Clean-param: sid&&mode&view&style

Спасибо, у Вас два очепятка &&, а то вдруг кто скопирует и вставит

[***Blaze***]

Как именно ругается?

Некоторые страницы с GET-параметрами в URL дублируют содержимое других страниц (без GET-параметров). Например, https://example.com/tovary?from=mainpage дублирует https://example.com/tovary. Из-за их обхода информация о важных для вас страницах может медленнее передаваться в поисковую базу, что может влиять на состояние сайта в поиске.

Посмотрите примеры. Если в поиске есть дубли из-за GET-параметров, рекомендуем использовать директиву Clean-param в robots.txt, чтобы робот игнорировал незначащие GET-параметры и объединил все сигналы со страниц-копий на основной странице. Когда робот узнает о внесенных изменениях, страницы с незначащими GET-параметрами пропадут из поиска.

Посмотреть примеры страниц

с примером от ciiz1 все так же ругается.

[ciiz1]

/frorum/viewtopic.php
Может ошибаюсь, а Вам не так надо?
В вебмастере сразу и ссылки можно проверить Разрешены ли URL?

[***Blaze***]

так и прописано

Код: Выделить всё

Clean-param: uid&f&sid&e&hilit&view&unwatch /forum/viewtopic.php

В вебмастере сразу и ссылки можно проверить Разрешены ли URL?

Зеленые галочки ставил однако

[ciiz1]

(Я у Вас глянул) Как бы на яндекс не должно влиять но я для User-agent: Yandex отдельную настройку сделал, для других ботов Clean-param это ошибка.
Запретите, через месяц задокументируйте, у меня с самого начало без всяких Clean-param:, и жил не хуже.
Disallow: /*?sid=
Disallow: /*&hilit=

А не подскажите сейчас глянул свой robots.txt Это с старых версий у меня осталось?
Disallow: /*&sd= Disallow: /*&sk= Disallow: /*&sr=

[ciiz1]

закомментируйте

[***Blaze***]

для других ботов Clean-param это ошибка

вроде все хорошо.

Решил заблокировать иначе:

Код: Выделить всё

Disallow: /forum/*&hilit=*

Я.Вебмастер блокирует hilit при проверке.
Отправил на проверку.
Спасибо.

[bigcrown]

А можете привести пример такой страницы (или фрагмент), где написан noindex?

У меня родилась версия, что Яндекс обходит страницы в момент архивации хостера в 3-00 ночи и для недоступной страницы пишет хрень про noindex. А потом через день пишет, что noindex пропал. И так по кругу.

[southklad]

Как побороть Яшу с его ктитическими пробелмами?

Код: Выделить всё

Примеры страниц, которые содержат одинаковый контент и различаются только GET-параметрами в URL
f	
https://форум.ru/forum/viewtopic.php?f=120&t=4380

https://форум.ru/forum/viewtopic.php?t=4380

ЧТо прописать ?

[Nekstati]

southklad, имхо, лучше привести на форуме все ссылки к единому виду, чтобы нигде не было f=120&t=4380, а только t=4380. Это обновить форум как минимум до 3.3.5 и пофиксить некоторые расширения.

[southklad]

обновить форум как минимум до 3.3.5

Самое интересное, это на форуме 3.3.5, а вот на форуме 3.3.3 такой нет проблемы.

[ronim]

southklad, А почему только 3.3.5 а не 3.3.10 ?