robots.txt для 3.x

[vic4884]

Запрещают например админку, чтобы боты не индексировали, кто-то запрещает индексировать профили пользователей, кто-то приватные, скрытые темы, сообщения. Да много разных вариантов, поэтому я и писал выше, что каждый делает под себя и свои нужды.

а как например запретить доступ к определенному разделу (админский раздел скрытый от обычного пользователя)?

[LONER]

vic4884, https://yandex.ru/support/webmaster/con ... ml?lang=ru

[владимир1983]

Добавил информацию в первый пост, пост закрепил.

[AntonVVV]

Здравствуйте,
Помогите пожалуйста разобраться с дублями страниц.
Ссылки страниц форума выглядят site.com/viewtopic.php?f=19&t=53 , но появились дубли страниц site.com/viewtopic.php?t=53 о чем я благополучно узнал в Гугл вебмастере. Поскольку ранее ссылок типа site.com/viewtopic.php?t=53 у меня не было я решил запретить их в robots.txt сделав запись Disallow: /viewtopic.php?t=* , казалось всё бы хорошо в разделе "Оптимизация HTML" гугл перестал ругаться на дубли, НО сегодня зайдя в гугл вебмастер обнаружил сообщение "На ресурсе выявлены серьезные проблемы" и комментарий "Блокирует ли файл robots.txt важные страницы?" и показывает одну из страниц site.com/viewtopic.php?t=53 .

Подскажите пожалуйста что прописать в файле robots.txt дабы всё было правильно, не было дублей?

И сразу хочу задать еще один вопрос.

Тот же раздел "Оптимизация HTML" показал дубли главной страницы форума такого вида site.com/index.php?ebb130fe98
Можно ли закрыть такого рода дубли записью в robots.txt Disallow: /index.php? ?

P.S. Хотел бы еще добавить, что все эти проблемы начались после перехода с версии 3.0.8 на 3.1.9

[Siava]

AntonVVV, есть одно стороннее расширение SEO Topic & Canonical URL, которое убирает f=N из таких ссылок. Весьма полезное, на мой взгляд

сделав запись Disallow: /viewtopic.php?t=*

Так категорически нельзя! Запрет индексации тем форума.

[AntonVVV]

Siava, большое спасибо, сделал как вы посоветовали, выбрал второй вариант "Добавить ID форума к тегу Canonical". Всё ок. Только вопрос, я не понял что нужно менять в файле .htaccess ? мой форум находится на поддомене (forum.site.com)

Выбрал вариант "Добавить ID форума к тегу Canonical" т.к. форуму уже 5 лет и не хочется менять адреса ссылок

[Siava]

AntonVVV, лучше ничего в .htaccess не изменяйте.

[AntonVVV]

Подскажите пожалуйста,

Код: Выделить всё

Options +FollowSymlinks
RewriteEngine On
RewriteBase /

RewriteCond %{QUERY_STRING} (.*)f=([0-9]+)&t=(.+) [NC]
RewriteRule ^viewtopic\.php$ viewtopic.php?%1t=%3 [R=301]

Выше код для файла .htaccess для редиректа ссылок типа site.com/viewtopic.php?f=19&t=53 на site.com/viewtopic.php?t=53 причем работает отлично, а как сделать чтобы было наоборот редирект с ссылок типа site.com/viewtopic.php?t=53 на site.com/viewtopic.php?f=19&t=53 .

Хочу временно сделать такой редирект дабы избавиться от дублей.

[Siava]

AntonVVV, чтобы обратно сделать надо знать id-форума, а таких данных в ссылках вида viewtopic.php?t=N нет

[aleksndr]

Ребят,вопрос такой-
у меня robots.txt,такого плана

Код: Выделить всё

User-agent: *
Disallow: /adm/
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /index.php?
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewonline.php
Disallow: /*&st=*
Disallow: /*&sk=*
Disallow: /*&sd=*
Disallow: /*&hilit=*
Disallow: /*&view=*
Disallow: /viewtopic.php*p=*
Disallow: /viewtopic.php?t=*
Disallow: /view*&start=0$

# Google Image
User-agent: Googlebot-Image
Disallow:

# Google AdSense
User-agent: Mediapartners-Google
Disallow:

User-agent: Yandex
Disallow: /adm/
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /index.php?
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewonline.php
Disallow: /*&st=*
Disallow: /*&sk=*
Disallow: /*&sd=*
Disallow: /*&hilit=*
Disallow: /*&view=*
Disallow: /viewtopic.php*p=*
Disallow: /viewtopic.php?t=*
Disallow: /view*&start=0$

Host: www.ххх.pro
Sitemap: http://www.ххх.pro/sitemap.xml

Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php

Хочу сделать портал главной,то есть он будет открываться по http://www.ххх.pro ,но надо,чтоб поисковики его не индексировали(там много всяких не нужных ссылок.)Надо чтоб индексировал только форум,который открывается по http://www.natorrent.pro/index.php
Подскажите,как править и что сейчас в robots.txt ,не так? За ранее спасибо!

[Siava]

aleksndr, в этом случае лучше не в robots.txt добавлять страницу, а на самой странице в заголовки добавить

Код: Выделить всё

<meta name="robots" content="noindex, nofollow">

Но вообще запрещать индексацию главной страницы... это что-то интересное

[Webliberty]

В Яндекс Вебмастере стали появляться страницы такого плана: viewtopic.php?f=9&t=103&sd=d&start=20

Откуда берется sd=d, что это такое и как заблокировать в роботсе? Версия phpBB 3.1.10.

[Sumanai]

Откуда берется sd=d,

Параметры сортировки.

[Webliberty]

Запретил таким образом:

Код: Выделить всё

Disallow: /forum/viewtopic.php*sd=*

[COB16]

Пришло такое уведомление в вебмастере:
В файле robots.txt сайта https://golf2mania.ru задана противоречивая директива Host
11.01.2017
На сайте https://golf2mania.ru в директиве Host файла robots.txt указан домен, где аналогичные указания в файле robots.txt отсутствуют. Чтобы указания директивы Host были учтены, идентичные директивы должны присутствовать в файлах robots.txt всех зеркал сайта.

сам роботс:

Код: Выделить всё

User-agent: *
Disallow: /*?sid=*
Disallow: /adm/*
Disallow: /download/*
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /ucp.php
Disallow: /viewtopic.php?p=*
Sitemap: https://golf2mania.ru/sitemap.xml
Clean-param: sid /forum/index.php
Clean-param: sid /forum/viewforum.php
Clean-param: sid /forum/viewtopic.php

User-agent: Yandex
Disallow: /*?sid=*
Disallow: /adm/*
Disallow: /download/*
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /ucp.php
Disallow: /viewtopic.php?p=*
Sitemap: https://golf2mania.ru/sitemap.xml
Clean-param: sid /forum/index.php
Clean-param: sid /forum/viewforum.php
Clean-param: sid /forum/viewtopic.php

Host: golf2mania.ru
Sitemap: https://golf2mania.ru/sitemap.xml
Clean-param: sid /forum/index.php
Clean-param: sid /forum/viewforum.php
Clean-param: sid /forum/viewtopic.php