robots.txt для 3.x

[staiki]

https://yandex.ru/support/webmaster/con ... t/html.xml

И где там мета-тег как закрыть memberlist?

[владимир1983]

Тебе скорее всего требуется условие для показа на определенной группе страниц определенного мета тега при условии что боты имеют доступ на эти определенные страницы.

[staiki]

Ну то я и спросил у человека, который говорит что проще запретить мета-тегами чем роботсом. Например - Вход • Регистрация, иногда в индексе было "кто онлайн" и куча ботов. Не думаю что мета-тегом можно всё запретить и проще использовать роботс.

[SashaMinsky]

staiki, я реализовывал это довольно кустарно, не через расширение, а правкой кода. Такое решение не совсем в духе идеологии 3.1, поэтому я скорее просто подтвердил, что такой подход работает, а реализовать можно и получше Роботы заглядывать будут, просто не будут вносить в индекс.
Впрочем, тема-то про роботс и дубли, для них по моему опыту полностью достаточно каноникал, ни метатеги, ни роботс вообще не требуются, а роботс скорее наоборот может замедлить индексацию, так как закрытую в роботс ссылку поисковик не анализирует вообще, а открытую и имеющую тег каноникал - анализирует и правильно индексирует.

[regina68]

Google проиндексировал mysait/viewtopic.php?f=4&t=1 и mysait/viewtopic.php?t=1
mysait/viewtopic.php?f=4&t=2 и mysait/viewtopic.php?t=2 т.е. идет дублирование. Как устранить дублирование.

[Casper12]

Если форум расположен по такому адресу: example.com/forum/, то размещаю по адресу: example.com/robots.txt

а если форум расположен сразу , forumklgd.ru/index.php то убрать везде строку /forum ? типа так писать Disallow: /go.php ??
и где размещать фаил ?

[Anvar]

robots.txt всегда размещается в корне не зависимо от используемого движка.

[Casper12]

А forum дописывает ?

[mike2003]

А зачем в 2-м посте дублируются такие вещи:

Код: Выделить всё

Sitemap: ***
Clean-param: sid /forum/index.php
Clean-param: sid /forum/viewforum.php
Clean-param: sid /forum/viewtopic.php

для * и для Yandex?
Анализатор яндекса пишет, что это дубли. Они же уже прописаны для *

Отправлено спустя 7 минут 58 секунд:
а гугль наоборот ругается на sid в разделе *
в чем тут смысл так делать?

[KEMnEP]

Clean-param гугл вообще не признаёт, а для яндекса если уж и ставить (зачем если он и так в ботах) то правельней
Clean-param: sid
Вообще убирает дубли с сидом из поиска, чтоб бот создавал меньше нагрузку индексированием

[Anvar]

Да там вообще много лишнего.

Нет необходимости и в этих запретах:

Код: Выделить всё

Disallow: /forum/adm/*
Disallow: /forum/download/*
Disallow: /forum/mcp.php
Disallow: /forum/viewtopic.php?f=*&t=*&start=0$
Disallow: /forum/viewtopic.php?f=*&t=*&view=next
Disallow: /forum/viewtopic.php?f=*&t=*&view=previous

[mike2003]

а почему такие вещи не убирают? или вы каналы выключаете?

feed.php
feed.php@f=10
feed.php@f=11
feed.php@f=11&t=10
feed.php@f=4
feed.php@f=4&t=10
feed.php@f=6

или вот еще
Disallow: /forum/viewtopic.php?f=*&view=print
это печать
Disallow: /forum/viewtopic.php?f=*&p=*
это переход на номер поста
Disallow: /forum/viewtopic.php?p=*
это переход на номер поста
Disallow: /forum/viewtopic.php?t=*
это тоже дубль какой то

т.е. всякие
viewtopic.php?f=11&p=21
viewtopic.php?f=11&t=10&p=21
выкинуть

а доступ оставить для viewtopic.php?f=2&t=8&start=10
viewtopic.php?f=11&t=10
или я не правильно понимаю?

Вот такие маски нормально будут?

Код: Выделить всё

Disallow: /forum/adm/*
Disallow: /forum/app.php/rules
Disallow: /forum/app.php/news
Disallow: /forum/cache/
Disallow: /forum/config/
Disallow: /forum/docs/
Disallow: /forum/download/*
Disallow: /forum/faq.php
Disallow: /forum/feed.php
Disallow: /forum/includes/
Disallow: /forum/language/
Disallow: /forum/mcp.php
Disallow: /forum/memberlist.php
Disallow: /forum/posting.php
Disallow: /forum/report.php
Disallow: /forum/search.php
Disallow: /forum/ucp.php
Disallow: /forum/viewonline.php
Disallow: /forum/viewtopic.php?f=*&view=print
Disallow: /forum/viewtopic.php?f=*&p=*
Disallow: /forum/viewtopic.php?p=*
Disallow: /forum/viewtopic.php?t=*

Clean-param: sid

в смысле вообще убрать 3 строчки, и оставить только эту без

[KEMnEP]

User-agent: Yandex
Crawl-delay: 3
Disallow:
Clean-param: p /viewtopic.php
Clean-param: mode /download/file.php
Clean-param: sid

Я в данный момент когда решаю с яндексом проблему ддоса сайта ими. сделал такие правила для робота чтоб уменьшить нагрузку, пока они выполняют то что обещали у себя исправить. После планирую убрать вовсе, имхо пока поисковики не сильно влияют на Вашу нагрузку все настройки лишнии, чем меньше их, тем меньше глюков и лучше. Но это моё имхо.

Отправлено спустя 11 минут 41 секунду:
mike2003, более подробно про Clean-param: от самого Яндекса

[mike2003]

Disallow:

разве не запрет на все?

[Gubkin]

Я себе сделал файл вида

Код: Выделить всё

Sitemap: http://www.site.ru/sitemap.xml
Host: http://www.site.ru

всё.. нафиг эти заморочки с запрещениями, пусть робот всё индексирует
не жалко