robots.txt для 3.x

[Webliberty]

COB16, Директива Host должна содержать указание на протокол HTTPS, если зеркало доступно только по защищенному каналу. Источник - справка Яндекса.

Нужно изменить Host в robots.txt таким образом:

Код: Выделить всё

Host: https://golf2mania.ru

[COB16]

Webliberty, спасибо щас поправлю

[COB16]

гугл ругается на параметр

Код: Выделить всё

Clean-param:

2223.JPG

[Webliberty]

COB16, потому что его знает только Яндекс.

В Гугле функции этих правил выполняет настройка Параметры URL в Search Console.

[COB16]

Webliberty, а что делать теперь?

[Webliberty]

COB16, не обращать внимания

[COB16]

Webliberty, почему то выдает ошибку

Код: Выделить всё

Некоторые важные страницы блокируются в файле robots.txt.

и ругается на тот файл

Код: Выделить всё

http://golf2mania.ru/download/file.php?id=5353

- пдф документ, не пойму в чем дело однако

[Webliberty]

COB16, на странице Инструмент проверки файла robots.txt указать этот адрес и нажать проверить - будет подсвечена строка, которая блокирует индексацию.

[COB16]

Webliberty,

Код: Выделить всё

Disallow: /download/*

[Webliberty]

COB16, ну вот и ответ на вопрос)

[COB16]

Webliberty, Webliberty, удалил строку, файл стал доступен. Не пойму зачем закрывать тогда было его?

[Webliberty]

Не пойму зачем закрывать тогда было его?

Не знаю зачем вы закрывали, у меня никогда такой строки не было в robots.txt

[COB16]

Webliberty, я брал отсюда роботс, вроде анвар его еще писал вначале

[Diza]

Robots для 3.2 обсуждать можно здесь же?

Если да, то увидел нехорошую тенденцию к появлению страниц подобного рода:

Код: Выделить всё

/viewforum.php?hash=244259ea&f=82&mark=topics&mark_time=1483436331

Сейчас мой Роботс выглядит так:

Код: Выделить всё

User-agent: *
Disallow: /forum/
Disallow: /adm/
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /index.php?
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewonline.php
Disallow: /*&st=*
Disallow: /*&sk=*
Disallow: /*&sd=*
Disallow: /*&hilit=*
Disallow: /*&view=*
Disallow: /viewtopic.php*p=*
Disallow: /viewtopic.php?t=*
Disallow: /view*&start=0$

# Google Image
User-agent: Googlebot-Image
Disallow:

# Google AdSense
User-agent: Mediapartners-Google
Disallow:

User-agent: Yandex
Disallow: /forum/
Disallow: /adm/
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /index.php?
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewonline.php
Disallow: /*&st=*
Disallow: /*&sk=*
Disallow: /*&sd=*
Disallow: /*&hilit=*
Disallow: /*&view=*
Disallow: /viewtopic.php*p=*
Disallow: /viewtopic.php?t=*
Disallow: /view*&start=0$

Host: *****

Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php

Как это убрать от индексирования? Так?

Код: Выделить всё

Disallow: /viewforum.php?hash*

И еще - можно добавить следующее?

Код: Выделить всё

Disallow: /viewtopic.php*p=*
Disallow: /viewtopic.php?t=*
Disallow: /view*&start=0$

[LONER]

Robots для 3.2 обсуждать можно здесь же?

Да. Смысла нет и для 3.2 создавать такую же тему, там практически все то же самое.