robots.txt для 3.1

Проблемы с установкой или работой phpBB 3.1.x? Получите помощь здесь!
С 1 июля 2018 года phpBB Group прекращает поддержку phpBB версии 3.1.
Сайт официальной русской поддержки phpBB Guru продолжит поддержку phpBB 3.1 до 1 января 2019 года.
Подробнее: Окончание поддержки phpBB 3.1.
Правила форума
Местная Конституция | Шаблон запроса | Документация (phpBB3) | Мини [FAQ] по phpBB3.1.x | FAQ-3 (phpbb3) | Как задавать вопросы | Как устанавливать расширения

Ваш вопрос может быть удален без объяснения причин, если на него есть ответы по приведённым ссылкам (а вы рискуете получить предупреждение ;) ).
Erlang
phpBB 2.0.15
Сообщения: 1033
Зарегистрирован: 13.07.2004 21:30
Откуда: Москва
Благодарил (а): 297 раз
Поблагодарили: 6 раз
Контактная информация:

robots.txt для 3.1

Сообщение Erlang » 12.12.2014 12:48

Какие изменения стоит внести в robots.txt для phpBB 3.1.X?

Может кто-то поделится готовым вариантом.
=======================
Использование robots.txt - мануал от яндекса
О файлах robots.txt - справка google
Все о файле «robots.txt» по-русски
Последний раз редактировалось владимир1983 02.10.2016 21:42, всего редактировалось 2 раза.
Причина: Добавил информациюс мануалов Я и G
С уважением,
Сергей

Аватара пользователя
Diza
phpBB 1.4.0
Сообщения: 36
Зарегистрирован: 17.12.2016 11:25
Откуда: Питер
Благодарил (а): 6 раз
Поблагодарили: 3 раза

Re: robots.txt для 3.1

Сообщение Diza » 05.02.2017 11:05

Ок.
Так кто-нибудь поможет с вопросами, дамы и господа? :)

Добавил пока к стандартному:

Код: Выделить всё

Disallow: /viewtopic.php*p=*
Disallow: /viewtopic.php?t=*
Disallow: /view*&start=0$
Disallow: /viewforum.php?hash*
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Disallow: /viewtopic.php?f=*&t=*&view=print
Итого после анализа дублей получился такой файл:

Код: Выделить всё

User-agent: *
Disallow: /forum/
Disallow: /adm/
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /index.php?
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewonline.php
Disallow: /*&st=*
Disallow: /*&sk=*
Disallow: /*&sd=*
Disallow: /*&hilit=*
Disallow: /*&view=*
Disallow: /viewtopic.php*p=*
Disallow: /viewtopic.php?t=*
Disallow: /view*&start=0$
Disallow: /viewforum.php?hash*
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Disallow: /viewtopic.php?f=*&t=*&view=print

# Google Image
User-agent: Googlebot-Image
Disallow:

# Google AdSense
User-agent: Mediapartners-Google
Disallow:

User-agent: Yandex
Disallow: /forum/
Disallow: /adm/
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /index.php?
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewonline.php
Disallow: /*&st=*
Disallow: /*&sk=*
Disallow: /*&sd=*
Disallow: /*&hilit=*
Disallow: /*&view=*
Disallow: /viewtopic.php*p=*
Disallow: /viewtopic.php?t=*
Disallow: /view*&start=0$
Disallow: /viewforum.php?hash*
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Disallow: /viewtopic.php?f=*&t=*&view=print

Host: xxxxx

Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php

Abrikos
phpBB 1.0.0
Сообщения: 9
Зарегистрирован: 20.03.2017 9:50

Re: robots.txt для 3.1

Сообщение Abrikos » 20.03.2017 9:58

Подскажите robots.txt для версии 3.2 (чистый форум), установлена только карта сайта.

Аватара пользователя
fozzy
phpBB 1.2.0
Сообщения: 12
Зарегистрирован: 12.09.2016 16:38
Благодарил (а): 9 раз
Контактная информация:

Re: robots.txt для 3.1

Сообщение fozzy » 03.04.2017 9:23

Abrikos писал(а): Подскажите robots.txt для версии 3.2 (чистый форум), установлена только карта сайта.
Я применил robots.txt что выше.Яша проверил,ошибок не нашел

Аватара пользователя
andromeda68
phpBB 1.4.3
Сообщения: 92
Зарегистрирован: 21.10.2012 21:20
Откуда: Ижевск
Благодарил (а): 21 раз
Поблагодарили: 1 раз
Контактная информация:

Re: robots.txt для 3.1

Сообщение andromeda68 » 11.04.2017 14:33

Diza писал(а): Disallow: /forum/
Почему запрет индексации папки с форумом?

Отправлено спустя 9 минут 44 секунды:
У меня в вебмастере:

Код: Выделить всё

Обход	Последние 10 изменений
11.04.2017	
/forum/?sid=6219dcffeff3d6b4948f86e298d3cc55
	N / a ⇒ 200
	
/forum/?sid=7e0c3f4f7a1b01b4f31d8938125deb7a
	N / a ⇒ 200
	
/forum/?sid=83d4ea7a85d791619c20e4b1c3450340
	N / a ⇒ 200
Получается Яндекс ходит по sid спокойно, в роботс написано:

Код: Выделить всё

Clean-param: sid /forum/index.php
Clean-param: sid /forum/viewforum.php
Clean-param: sid /forum/viewtopic.php
видимо так нужно дописать?

Код: Выделить всё

Clean-param: sid /forum/

Аватара пользователя
Diza
phpBB 1.4.0
Сообщения: 36
Зарегистрирован: 17.12.2016 11:25
Откуда: Питер
Благодарил (а): 6 раз
Поблагодарили: 3 раза

Re: robots.txt для 3.1

Сообщение Diza » 12.04.2017 7:40

andromeda68 писал(а): видимо так нужно дописать?

Clean-param: sid /forum/
Почему именно "/forum/"?
У кого форум начинается сразу с главной страницы сайта другой путь?

Аватара пользователя
Siava
Поддержка
Поддержка
Сообщения: 4041
Зарегистрирован: 11.01.2005 14:29
Откуда: Питер
Благодарил (а): 103 раза
Поблагодарили: 411 раз
Контактная информация:

Re: robots.txt для 3.1

Сообщение Siava » 12.04.2017 14:06

Diza, тогда вместо /forum/ просто /
Еще одно нарушение правил и будете забанены. © Mr. Anderson
https://siava.ru/forum/ (phpbb 2.0.x, 3.1.x 3.2.x)

Аватара пользователя
andromeda68
phpBB 1.4.3
Сообщения: 92
Зарегистрирован: 21.10.2012 21:20
Откуда: Ижевск
Благодарил (а): 21 раз
Поблагодарили: 1 раз
Контактная информация:

Re: robots.txt для 3.1

Сообщение andromeda68 » 12.04.2017 14:13

Если форум лежит в корне сайта, а не в какой либо папке, то какой смысл писать

Код: Выделить всё

Disallow: /forum/

а код означает не индексировать папку тоже самое "/" зачем тогда вообще такой форум, когда запрет стоит на индесацию

Аватара пользователя
Kot
phpBB 2.0.0
Сообщения: 207
Зарегистрирован: 20.03.2009 20:23
Благодарил (а): 17 раз
Поблагодарили: 34 раза
Контактная информация:

Re: robots.txt для 3.1

Сообщение Kot » 12.04.2017 15:11

andromeda68, подозреваю, это просто авторский случай. Возможно, когда-то давно у него на сайте стоял форум в подпапке, вот он сейчас и пытается таким образом избавиться от дублирующих ссылок. Полагаю, у него в папке /forum/ на самом деле стоит переадресация на корень сайта.

Таким образом реализована обратная поддержка старых ссылок, и в то же время роботы не перегружаются лишними путями (хотя они, по идее, должны уметь правильно распознавать переадресацию, хотя можно и перестраховаться).

Аватара пользователя
Diza
phpBB 1.4.0
Сообщения: 36
Зарегистрирован: 17.12.2016 11:25
Откуда: Питер
Благодарил (а): 6 раз
Поблагодарили: 3 раза

Re: robots.txt для 3.1

Сообщение Diza » 15.04.2017 10:38

Kot писал(а): Возможно, когда-то давно у него на сайте стоял форум в подпапке, вот он сейчас и пытается таким образом избавиться от дублирующих ссылок. Полагаю, у него в папке /forum/ на самом деле стоит переадресация на корень сайта.
Все верно. Так и было.

Остальным тоже спасибо за ответы ;)

rst
phpBB 2.0.1
Сообщения: 255
Зарегистрирован: 25.11.2016 21:15
Благодарил (а): 50 раз
Поблагодарили: 5 раз

Re: robots.txt для 3.1

Сообщение rst » 18.05.2017 16:41

Siava писал(а):
03.10.2016 23:57
AntonVVV, есть одно стороннее расширение SEO Topic & Canonical URL, которое убирает f=N из таких ссылок. Весьма полезное, на мой взгляд
AntonVVV писал(а):
сделав запись Disallow: /viewtopic.php?t=*
Так категорически нельзя! Запрет индексации тем форума.
У меня яндекс некоторые последние темы индексирует в виде: /viewtopic.php?t=10710&p=498443
Хотя стоит это расширение и выбран вариант с канонакал. И канонический адрес корректно стоит в исходном коде страницы.

Почему яша индексирует некорректные ссылки вместо тех, которые должен брать?
И почему нельзя использовать конструкцию: Disallow: /viewtopic.php?t=* Как её запрет связан с запретом индексации если нормальная ссылка имеет вид: f= t=

rst
phpBB 2.0.1
Сообщения: 255
Зарегистрирован: 25.11.2016 21:15
Благодарил (а): 50 раз
Поблагодарили: 5 раз

Re: robots.txt для 3.1

Сообщение rst » 01.06.2017 11:13

Кто -то может подсказать по запрету
Disallow: /viewtopic.php?t=*

Если все ссылки на форуме имеют вид ft и каноникал задан для ft. Можно ли сделать в роботсе такой запрет?

Кстати, гуглу плевать на каноникал. В поиске выдаются темы (их не много, но они есть) у которых четко прописан каноникал с ft, при этом темы выдаются с t.

Аватара пользователя
Grizman
phpBB 1.2.0
Сообщения: 12
Зарегистрирован: 03.07.2017 14:25
Благодарил (а): 6 раз

Re: robots.txt для 3.1

Сообщение Grizman » 03.07.2017 14:38

1) Подскажите насчет /forum/feed.php стоит ли закрывать в файле Robots.txt ?
2) Как добавить атрибут rel canonical, атрибуты rel="next" и rel="prev" - версия движка стоит 3.0.14, нужно устанавливать расширение или что-то ещё ?
3) Стоит ли переходить на более новую версию и запускать обновления до версии 3.1.10 ?

Аватара пользователя
Татьяна5
Поддержка
Поддержка
Сообщения: 9420
Зарегистрирован: 08.08.2011 2:02
Благодарил (а): 167 раз
Поблагодарили: 2629 раз
Контактная информация:

Re: robots.txt для 3.1

Сообщение Татьяна5 » 03.07.2017 14:45

1 Закрывать ленты? Зачем же они ещё нужны, как ни для роботов? (Люди лентами практически не пользуются)
2 Правкой шаблона. Расширений для 3.0.14 нет
3 Вам видней, надо это лично вам или нет. (Если обновляться, то до 3.1.9)

Аватара пользователя
Grizman
phpBB 1.2.0
Сообщения: 12
Зарегистрирован: 03.07.2017 14:25
Благодарил (а): 6 раз

Re: robots.txt для 3.1

Сообщение Grizman » 03.07.2017 15:04

На форуме стоит следующий robots.txt

Код: Выделить всё

User-Agent: Googlebot
Disallow: /forum/*?sid=*
Disallow: /forum/adm/*
Disallow: /forum/download/*
Disallow: /forum/faq.php
Disallow: /forum/install/
Disallow: /forum/mcp.php
Disallow: /forum/memberlist.php
Disallow: /forum/posting.php
Disallow: /forum/report.php
Disallow: /forum/search.php
Disallow: /forum/ucp.php
Disallow: /forum/viewtopic.php?f=*&t=*&start=0$
Disallow: /forum/viewtopic.php?p=*
Disallow: /forum/viewtopic.php?f=*&t=*&start=0$

Clean-param: sid /forum/index.php
Clean-param: sid /forum/viewforum.php
Clean-param: sid /forum/viewtopic.php

User-Agent: Yandex
Disallow: /forum/*?sid=*
Disallow: /forum/adm/*
Disallow: /forum/download/*
Disallow: /forum/faq.php
Disallow: /forum/install/
Disallow: /forum/mcp.php
Disallow: /forum/memberlist.php
Disallow: /forum/posting.php
Disallow: /forum/report.php
Disallow: /forum/search.php
Disallow: /forum/ucp.php
Disallow: /forum/viewtopic.php?f=*&t=*&start=0$
Disallow: /forum/viewtopic.php?p=*
Disallow: /forum/viewtopic.php?f=*&t=*&start=0$

Clean-param: sid /forum/index.php
Clean-param: sid /forum/viewforum.php
Clean-param: sid /forum/viewtopic.php

User-Agent: *
Disallow: /forum/*?sid=*
Disallow: /forum/adm/*
Disallow: /forum/download/*
Disallow: /forum/faq.php
Disallow: /forum/install/
Disallow: /forum/mcp.php
Disallow: /forum/memberlist.php
Disallow: /forum/posting.php
Disallow: /forum/report.php
Disallow: /forum/search.php
Disallow: /forum/ucp.php
Disallow: /forum/viewtopic.php?p=*
Disallow: /forum/viewtopic.php?f=*&t=*&start=0$

Clean-param: sid /forum/index.php
Clean-param: sid /forum/viewforum.php
Clean-param: sid /forum/viewtopic.php
Можете дать комментарии, подсказки, что не так или что требуется добавить?

Аватара пользователя
Татьяна5
Поддержка
Поддержка
Сообщения: 9420
Зарегистрирован: 08.08.2011 2:02
Благодарил (а): 167 раз
Поблагодарили: 2629 раз
Контактная информация:

Re: robots.txt для 3.1

Сообщение Татьяна5 » 03.07.2017 16:00

Папку install удалить с сервера

Закрыто

Вернуться в «Поддержка phpBB 3.1.x»