[sweetah]

Heldar писал(а):Сначала Host, потом Allow, потом Disallow

Host должен быть сразу после Disallow.

[sweetah]

Код: Выделить всё

<!-- IF FORUM_ID == '1' or FORUM_ID == '2' --><meta name="robots" content="nofollow" /><!-- ENDIF -->

Подскажите пожалуйста как для некоторых страниц такое реализовать? Хорошо бы прописать все - memberlist, ucp, viewonline, thankslist и т.д.
Можно конечно сделать 10 разных overall_header.html, но это идиотизм)

[владимир1983]

sweetah писал(а): Хорошо бы прописать все - memberlist, ucp, viewonline, thankslist

Настройте права доступа для группы "Боты" на эти страницы.

[Pazh]

случайно наткнулся на прикольный аддон для ФФ называется roboxt! (ссылки найдете самостоятельно) - удобная штука для анализа на сайте robots.txt с подсветкой заблокированных линков для указанного бота (бот выбирается)

[Biba]

Здравствуйте,

взял за основу файл robots.txt от FladeX:

Код: Выделить всё

User-agent: *
Disallow: /phpBB3/faq.php
Disallow: /phpBB3/mcp.php
Disallow: /phpBB3/memberlist.php
Disallow: /phpBB3/posting.php
Disallow: /phpBB3/report.php
Disallow: /phpBB3/search.php
Disallow: /phpBB3/style.php 
Disallow: /phpBB3/viewtopic.php?p=*
Disallow: /phpBB3/viewtopic.php?f=*&t=*&start=0$
Disallow: /phpBB3/viewtopic.php?f=*&t=*&view=next 
Disallow: /phpBB3/viewtopic.php?f=*&t=*&view=previous 
Host: www.forum.example.com
 
User-agent: Yandex
Disallow: /phpBB3/faq.php
Disallow: /phpBB3/mcp.php 
Disallow: /phpBB3/memberlist.php
Disallow: /phpBB3/posting.php
Disallow: /phpBB3/report.php
Disallow: /phpBB3/search.php
Disallow: /phpBB3/style.php
Disallow: /phpBB3/viewtopic.php?p=* 
Disallow: /phpBB3/viewtopic.php?f=*&t=*&start=0$
Disallow: /phpBB3/viewtopic.php?f=*&t=*&view=next
Disallow: /phpBB3/viewtopic.php?f=*&t=*&view=previous
Host: www.forum.example.com
Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php

Однако возник вопрос - форум находится в директории phpBB3, файл robots.txt расположен в корне сайта (в robots.txt указан путь к директории).
Правильно ли это?

В cPanel выставлена переадресация на поддомен forum.
Посетители (и боты) заходят на http://www.forum.example.com, а переадресация идет на http://www.example.com/phpBB3 (в адресной строке браузера остается http://www.forum.example.com)
Правильно ли писать в robots.txt

Код: Выделить всё

Disallow: /phpBB3/faq.php

или нужно писАть по другому

Код: Выделить всё

Disallow: www.forum.example.com/faq.php

P.S. Адрес http://www.forum.example.com указан для примера.

Спасибо!

[Voodoo Doll]

Подскажите, пожалуйста, если я не хочу, чтобы боты имели доступ к определенному форуму/разделу - я выставляю права группе Боты на этот форум "нет доступа".
Надо ли дополнительно закрывать форумы/темы в robots или это уже паранойя? ))

[Айдар]

Voodoo Doll писал(а):или это уже паранойя?

Да

[mic_2000]

Объясните почему вместо этого

Код: Выделить всё

Disallow: /forum/viewtopic.php?p=*
Disallow: /forum/viewtopic.php?f=*&t=*&start=0$
Disallow: /forum/viewtopic.php?f=*&t=*&view=next 
Disallow: /forum/viewtopic.php?f=*&t=*&view=previous 

нельзя написать вот так

Код: Выделить всё

Disallow: /forum/viewtopic.php?*p=*
Disallow: /forum/viewtopic.php?*start=0$
Disallow: /forum/viewtopic.php?*view=next*
Disallow: /forum/viewtopic.php?*view=previous*

тем более что после проверки через яндекс.вебмастер по верхним правилам такой урл успешно будет индексироваться:
/forum/viewtopic.php?f=30&p=1061


и как можно закрыть такие урлы, которые начинаются на решетку и указывают на конкретное сообщение:
/forum/viewtopic.php?f=14&t=72#p309

[sweetah]

почему бы не сделать просто Disallow: /forum/*p=* и т.д.

[Walan]

Приветствую товарищи.
Подскажите, как запретить яндексу выводить в выдаче ненужную шелуху, а то в выдаче проскакивают такие пункты как

Код: Выделить всё

1 тема • Страница 1 из 1. Темы. Ответы. Просмотры. Последнее сообщение. 

или

Код: Выделить всё

Автор. Сообщения: 6. Зарегистрирован: 08 авг 2011, 21:09. Вернуться к началу. Re: Название темы. Имя автора следующего сообщения » 17 авг 2011, 20:44. 

Вот роботс:

Код: Выделить всё

User-agent: *

Disallow: /go.php
Disallow: /cgi-bin
Disallow: /report.php
Disallow: /viewonline.php
Disallow: /cron.php
Disallow: /adm/
Disallow: /faq_manager.php
Disallow: /rules
Disallow: /files
Disallow: /style.php
Disallow: /viewtopic.php
Disallow: /viewforum.php
Disallow: /index.php?
Disallow: /posting.php
Disallow: /search.php?
Disallow: /ucp.php
Disallow: /mcp.php
Disallow: /post
Disallow: /member
Disallow: /memberlist.php
Disallow: /faq.php
Disallow: /download
Disallow: /images
Disallow: /store
Disallow: /maps/
Disallow: /map.php
Disallow: /news/
Disallow: /the-team.html
Disallow: /includes
Disallow: /cache
Host: site.ru
Clean-param: sid

Sitemap: http://site.ru/sitemapindex.xml

Что я упустил? Буду очень признателен за помощь.

[Kozir]

Коллеги, прошу, если не сложно, просмотреть мой роботс на наличие ошибок или несуразиц. Может чего-то не хватает или лишнее. Форум находится на домене второго уровня freedownshifting.com

Гугл выдает несколько ошибок:

Строка 42: Sitemap: http://www.freedownshifting.com/sitemap.php Обнаружены данные о действительном файле Sitemap
Строка 43: Crawl-delay: 3 Правило, которое не учитывается Googlebot
Строка 44: Clean-param: sid /index.php Синтаксис не распознается
Строка 45: Clean-param: sid /viewforum.php Синтаксис не распознается
Строка 46: Clean-param: sid /viewtopic.php Синтаксис не распознается

Код: Выделить всё

User-agent: *
Disallow: /common.php
Disallow: /config.php
Disallow: /cron.php
Disallow: /faq.php
Disallow: /groupcp.php
Disallow: /login.php
Disallow: /mcp.php
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /privmsg.php
Disallow: /profile.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /viewonline.php
Disallow: /viewforum.php
Disallow: /ucp.php
Disallow: /viewtopic.php?t=*
Disallow: /viewtopic.php?t=*&p=*
Disallow: /viewtopic.php?p=*
Disallow: /viewforum.php?f=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Disallow: /viewtopic.php?f=*&p=*
Disallow: /viewtopic.php?f=*&t=*&p=*

Disallow: /adm
Disallow: /ads
Disallow: /cache
Disallow: /docs
Disallow: /download
Disallow: /files
Disallow: /images
Disallow: /includes
Disallow: /language
Disallow: /store
Disallow: /styles
Host: freedownshifting.com

Sitemap: http://www.freedownshifting.com/sitemap.php
Crawl-delay: 3
Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php

[melts]

Помогите !Прочитала все тему, но чего то до меня не дошло...
Нашла свой robots, но там у меня чисто ...может поэтому сайт по названию нету в поисковике??
Чего конкретно туда написать...???

[МайскийЖук]

То есть, 18 страниц темы недостаточно, чтобы понять, что туда писать?

[alexgearbox]

melts писал(а):может поэтому сайт по названию нету в поисковике??

Уверены? Уверены-2?

[zusul]

прочитал всю тему совсем запутался
Disallow: /forum/viewtopic.php?t=*
Disallow: /forum/viewtopic.php?t=*&p=*
При наличии SEO мода эти строки нужны или нет?
В одном посте Айдар пишет что темы и топики будут индексироваться а ниже он же пишет что не будут, так где истинна?
Моя цель удалить дубли страниц.