Страница 10 из 25
Re: robots.txt для 3.1
Добавлено: 05.02.2017 11:05
Diza
Ок.
Так кто-нибудь поможет с вопросами, дамы и господа?
Добавил пока к стандартному:
Код: Выделить всё
Disallow: /viewtopic.php*p=*
Disallow: /viewtopic.php?t=*
Disallow: /view*&start=0$
Disallow: /viewforum.php?hash*
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Disallow: /viewtopic.php?f=*&t=*&view=print
Итого после анализа дублей получился такой файл:
Код: Выделить всё
User-agent: *
Disallow: /forum/
Disallow: /adm/
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /index.php?
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewonline.php
Disallow: /*&st=*
Disallow: /*&sk=*
Disallow: /*&sd=*
Disallow: /*&hilit=*
Disallow: /*&view=*
Disallow: /viewtopic.php*p=*
Disallow: /viewtopic.php?t=*
Disallow: /view*&start=0$
Disallow: /viewforum.php?hash*
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Disallow: /viewtopic.php?f=*&t=*&view=print
# Google Image
User-agent: Googlebot-Image
Disallow:
# Google AdSense
User-agent: Mediapartners-Google
Disallow:
User-agent: Yandex
Disallow: /forum/
Disallow: /adm/
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /index.php?
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewonline.php
Disallow: /*&st=*
Disallow: /*&sk=*
Disallow: /*&sd=*
Disallow: /*&hilit=*
Disallow: /*&view=*
Disallow: /viewtopic.php*p=*
Disallow: /viewtopic.php?t=*
Disallow: /view*&start=0$
Disallow: /viewforum.php?hash*
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Disallow: /viewtopic.php?f=*&t=*&view=print
Host: xxxxx
Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php
Re: robots.txt для 3.1
Добавлено: 20.03.2017 9:58
Abrikos
Подскажите robots.txt для версии 3.2 (чистый форум), установлена только карта сайта.
Re: robots.txt для 3.1
Добавлено: 03.04.2017 9:23
fozzy
Abrikos писал(а): Подскажите robots.txt для версии 3.2 (чистый форум), установлена только карта сайта.
Я применил robots.txt что выше.Яша проверил,ошибок не нашел
Re: robots.txt для 3.1
Добавлено: 11.04.2017 14:33
andromeda68
Diza писал(а): Disallow: /forum/
Почему запрет индексации папки с форумом?
Отправлено спустя 9 минут 44 секунды:
У меня в вебмастере:
Код: Выделить всё
Обход Последние 10 изменений
11.04.2017
/forum/?sid=6219dcffeff3d6b4948f86e298d3cc55
N / a ⇒ 200
/forum/?sid=7e0c3f4f7a1b01b4f31d8938125deb7a
N / a ⇒ 200
/forum/?sid=83d4ea7a85d791619c20e4b1c3450340
N / a ⇒ 200
Получается Яндекс ходит по sid спокойно, в роботс написано:
Код: Выделить всё
Clean-param: sid /forum/index.php
Clean-param: sid /forum/viewforum.php
Clean-param: sid /forum/viewtopic.php
видимо так нужно дописать?
Re: robots.txt для 3.1
Добавлено: 12.04.2017 7:40
Diza
andromeda68 писал(а): видимо так нужно дописать?
Clean-param: sid /forum/
Почему именно "/forum/"?
У кого форум начинается сразу с главной страницы сайта другой путь?
Re: robots.txt для 3.1
Добавлено: 12.04.2017 14:06
Siava
Diza, тогда вместо /forum/ просто /
Re: robots.txt для 3.1
Добавлено: 12.04.2017 14:13
andromeda68
Если форум лежит в корне сайта, а не в какой либо папке, то какой смысл писать
а код означает не индексировать папку тоже самое "/" зачем тогда вообще такой форум, когда запрет стоит на индесацию
Re: robots.txt для 3.1
Добавлено: 12.04.2017 15:11
Kot
andromeda68, подозреваю, это просто авторский случай. Возможно, когда-то давно у него на сайте стоял форум в подпапке, вот он сейчас и пытается таким образом избавиться от дублирующих ссылок. Полагаю, у него в папке /forum/ на самом деле стоит переадресация на корень сайта.
Таким образом реализована обратная поддержка старых ссылок, и в то же время роботы не перегружаются лишними путями (хотя они, по идее, должны уметь правильно распознавать переадресацию, хотя можно и перестраховаться).
Re: robots.txt для 3.1
Добавлено: 15.04.2017 10:38
Diza
Kot писал(а): Возможно, когда-то давно у него на сайте стоял форум в подпапке, вот он сейчас и пытается таким образом избавиться от дублирующих ссылок. Полагаю, у него в папке /forum/ на самом деле стоит переадресация на корень сайта.
Все верно. Так и было.
Остальным тоже спасибо за ответы
robots.txt и версия 3.2
Добавлено: 14.05.2017 14:25
regina68
Подскажите пожалуйста.
Можно ли использовать robot.txt от версии 3.1.6
Или что то над добавлять в версии 3.2
Спасибо!
Re: robot.txt и версия 3.2
Добавлено: 14.05.2017 14:39
apograph
Структура папок 3.1 и 3.2 одинакова.
Re: robots.txt для 3.1
Добавлено: 18.05.2017 16:41
rst
Siava писал(а): ↑03.10.2016 23:57AntonVVV, есть одно стороннее расширение SEO Topic & Canonical URL, которое убирает f=N из таких ссылок. Весьма полезное, на мой взгляд
AntonVVV писал(а):
сделав запись Disallow: /viewtopic.php?t=*
Так категорически нельзя! Запрет индексации тем форума.
У меня яндекс некоторые последние темы индексирует в виде: /viewtopic.php?t=10710&p=498443
Хотя стоит это расширение и выбран вариант с канонакал. И канонический адрес корректно стоит в исходном коде страницы.
Почему яша индексирует некорректные ссылки вместо тех, которые должен брать?
И почему нельзя использовать конструкцию: Disallow: /viewtopic.php?t=* Как её запрет связан с запретом индексации если нормальная ссылка имеет вид: f= t=
Re: robot.txt и версия 3.2
Добавлено: 31.05.2017 23:23
regina68
Подскажите пожалуйста.
Перешла на версию 3.2.
Но после использования robot.txt от 3.1.6 yandex проиндексировал много неправильных url.
В частности появились /app.php/feed/topic/1 /feed.php?f=1&t=16
/viewtopic.php?f=1&start=4&t=8
Т.е. получается у меня неправильный robot.txt
Написала новый а может у кого правильный проверенный есть.
Добавила к
robots.txt для 3.1
Еще свои пути. Написала пока общий для google и yandex.
Код: Выделить всё
User-agent: *
Disallow: /adm
Disallow: /app.php/
Disallow: /assets
Disallow: /bin
Disallow: /cache
Disallow: /common.php
Disallow: /composer.json
Disallow: /config
Disallow: /config.php
Disallow: /groupcp.php
Disallow: /cron.php
Disallow: /docs
Disallow: /download
Disallow: /ext
Disallow: /faq.php
Disallow: /feed.php
Disallow: /files
Disallow: /includes
Disallow: /language
Disallow: /lastpost.php
Disallow: /mcp.php
Disallow: /memberlist.php
Disallow: /phpbb
Disallow: /profile.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /store
Disallow: /ucp.php
Disallow: /vendor
Disallow: /faylovt.php
Disallow: /index.php?
Disallow: /viewonline.php
Disallow: /*&st=*
Disallow: /*&sk=*
Disallow: /*&sd=*
Disallow: /*&view=*
Disallow: /viewtopic.php*p=*
Disallow: /viewtopic.php?t=*
Disallow: /view*&start=0$
Disallow: /viewforum.php?hash*
Disallow: /viewtopic.php?highlight=*
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Disallow: /viewtopic.php?f=*&t=*&view=print
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?t=*&p=*
User-agent: Yandex
Host: xxxxx
Re: robots.txt для 3.1
Добавлено: 01.06.2017 11:13
rst
Кто -то может подсказать по запрету
Disallow: /viewtopic.php?t=*
Если все ссылки на форуме имеют вид ft и каноникал задан для ft. Можно ли сделать в роботсе такой запрет?
Кстати, гуглу плевать на каноникал. В поиске выдаются темы (их не много, но они есть) у которых четко прописан каноникал с ft, при этом темы выдаются с t.
Re: robots.txt для 3.1
Добавлено: 03.07.2017 14:38
Grizman
1) Подскажите насчет /forum/feed.php стоит ли закрывать в файле Robots.txt ?
2) Как добавить атрибут rel canonical, атрибуты rel="next" и rel="prev" - версия движка стоит 3.0.14, нужно устанавливать расширение или что-то ещё ?
3) Стоит ли переходить на более новую версию и запускать обновления до версии 3.1.10 ?