robots.txt для 3.x

[capur]

Siava, Кстати, такой вариант помог

Код: Выделить всё

Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid&view /viewtopic.php

Яшка, перестал ругаться на get-параметры. По-индексации, тоже всё хорошо.

всем доброго, яндекс с некоторого временя ругается на get-параметры &f. Приведенный выше вариант от Perfecthus не помог. После проверки в яндексе постоянно выдает эту критическую проблему, есть ли еще какие-нибудь варианты побороть это грамотно через Clean-param или еще как-нибудь?

[Nekstati]

capur,
Clean-param: sid&view&f /viewtopic.php
(Только для viewtopic.php. Для viewforum.php добавлять этот параметр нельзя.)

[Sergey73]

Часто встречаю вначале робот.тхт

User-agent: *
Disallow: /*?sid=*
......

Что она запрещает и нужна ли?

[vit_pro]

Часто встречаю вначале робот.тхт

User-agent: *
Disallow: /*?sid=*
......

В поисковике тебе придет отклик/ошибка, мол исправьте. Смотри в отправленном сообщении и ошибке robots.txt

[garry]

Доброго времени всем гуру форума!
Подскажите пожалуйста, по такому robots,txt, все ли там ОК, или есть что-то что мешает(или наоборот добавить надо):

User-agent: *
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /ucp.php
Disallow: /adm/
Disallow: /cache/
Disallow: /files/
Disallow: /includes/
Disallow: /language/
Disallow: /store/
Disallow: /common.php
Disallow: /config.php
Disallow: /cron.php
Disallow: /memberlist_fields.php
Disallow: /thankslist.php
Disallow: /recent.php
Disallow: /style.php
Disallow: /go.php
Disallow: /ext/
Disallow: /agent/
Disallow: /viewonline.php
Disallow: /*&st=
Disallow: /*&sk=*
Disallow: /*&sd=*
Disallow: /*&hilit=*
Disallow: /*&view=*
Disallow: /viewtopic.php*p=*
Disallow: /view*&start=0$
Disallow: /app.php/gallery/image/*edit
Disallow: /post*.html*
Disallow: /member*.html

Host: https://costaspain.net
Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php

Особенно интересно параметр: Disallow: /viewtopic.php*p=*
Я так понимаю он блокирует индексацию отдельных сообщений?
Или нет?
И нужно ли пытаться мешать гуглу индексировать отдельные посты?
У меня их по 20 постов на странице, а не 10 как обычно.
С одной стороны поисковик индексирует текущую страницу форума, например /viewtopic.php?t=120&start=20
Но там могут быть посты разной полезности для пользователя
В общем терзают смутные сомненья
Спасибо

[Татьяна5]

Disallow: /faq.php

Лишнее, файла нет

Disallow: /adm/

Не имеет смысла

Disallow: /cache/

Вредным может оказаться

Disallow: /files/

И так закрыто, строчка не имеет смысла

Disallow: /language/

Вредная

Disallow: /store/

Смысла нет

Disallow: /common.php
Disallow: /config.php
Disallow: /cron.php

Закрывать нельзя

Disallow: /memberlist_fields.php
Disallow: /thankslist.php
Disallow: /recent.php
Disallow: /style.php
Disallow: /go.php

Этих файлов не существует

Disallow: /ext/

Не стоит закрывать

Disallow: /agent/

А это откуда? Никогда не было

Disallow: /*&st=
Disallow: /*&sk=*
Disallow: /*&sd=*
Disallow: /*&hilit=*
Disallow: /*&view=*
Disallow: /viewtopic.php*p=*
Disallow: /view*&start=0$

Зря, пусть индексируется, всё равно всё к единым ссылкам будет приведено. Ну разве что с view под вопросом

Disallow: /app.php/gallery/image/*edit

Оно должно закрываться правами доступа, а не в robots

Disallow: /post*.html*
Disallow: /member*.html

Их так-то нет

Clean-param

Работает только для яндекса. Гугл на это будет ругаться

Из явно полезного здесь одна строка, Disallow: /viewonline.php. И то если у гостей или ботов вдруг есть туда доступ

[garry]

Из явно полезного здесь одна строка, Disallow: /viewonline.php. И то если у гостей или ботов вдруг есть туда доступ

Спасибо огромное Татьяна5
То есть чтож получается, практически всё убирать?!
Выходит вот так примерно будет правильно: ?
Disallow: /mcp.php
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /ucp.php
Disallow: /includes/
Disallow: /viewonline.php
Disallow: /view*&start=0$

А три строчки с Clean Parametr:
Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php
оставить только для Яндекса?

garry писал(а): ↑41 минуту назад
Disallow: /app.php/gallery/image/*edit
Оно должно закрываться правами доступа, а не в robots

А как правами доступа папки закрывать? Разве можно из админки закрыть какие-то папки от я так понимаю гостей?

Отправлено спустя 5 минут 20 секунд:
Уже бегу менять роботс, волосы назад !

begu.gif

[garry]

А вот вижу роботс для форума https://www.phpbbguru.net/

User-agent: *
Disallow: /administrator/
Disallow: /cache/
# Disallow: /components/
# Disallow: /images/
# Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
# Disallow: /media/
Disallow: /modules/
# Disallow: /plugins/
# Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/

Закрыты /cache и /language
С другой стороны роботс форума действительно куцый такой!

[garry]

Так лучше или ещё что убрать?

User-agent: Yandex
Disallow: /mcp.php
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /ucp.php
Disallow: /includes/
Disallow: /viewonline.php
Disallow: /view*&start=0$
Disallow: /app.php/gallery/image/*edit
Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php

User-agent: *
Disallow: /mcp.php
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /ucp.php
Disallow: /includes/
Disallow: /viewonline.php
Disallow: /view*&start=0$
Disallow: /app.php/gallery/image/*edit

Host: https://

[Татьяна5]

Disallow: /includes/

Это тоже убрать

А как правами доступа папки закрывать?

А это не папка

Отправлено спустя 1 минуту 24 секунды:

Закрыты /cache и /language

Он вообще для джумлы. Для форума ничего нет

[garry]

Огромное спасибо Татьяна!