robots.txt для 3.1

Проблемы с установкой или работой phpBB 3.1.x? Получите помощь здесь!
С 1 июля 2018 года phpBB Group прекращает поддержку phpBB версии 3.1.
Сайт официальной русской поддержки phpBB Guru продолжит поддержку phpBB 3.1 до 1 января 2019 года.
Подробнее: Окончание поддержки phpBB 3.1.
Правила форума
Местная Конституция | Шаблон запроса | Документация (phpBB3) | Мини [FAQ] по phpBB3.1.x | FAQ-3 (phpbb3) | Как задавать вопросы | Как устанавливать расширения

Ваш вопрос может быть удален без объяснения причин, если на него есть ответы по приведённым ссылкам (а вы рискуете получить предупреждение ;) ).
Erlang
phpBB 2.0.15
Сообщения: 1033
Зарегистрирован: 13.07.2004 21:30
Откуда: Москва
Благодарил (а): 297 раз
Поблагодарили: 6 раз

robots.txt для 3.1

Сообщение Erlang » 12.12.2014 12:48

Какие изменения стоит внести в robots.txt для phpBB 3.1.X?

Может кто-то поделится готовым вариантом.
=======================
Использование robots.txt - мануал от яндекса
О файлах robots.txt - справка google
Все о файле «robots.txt» по-русски
Последний раз редактировалось владимир1983 02.10.2016 21:42, всего редактировалось 2 раза.
Причина: Добавил информациюс мануалов Я и G
С уважением,
Сергей

Аватара пользователя
Anvar
Former team member
Сообщения: 1962
Зарегистрирован: 26.03.2010 9:09
Благодарил (а): 67 раз
Поблагодарили: 784 раза

Re: robots.txt для 3.1

Сообщение Anvar » 12.12.2014 13:56

Если форум расположен по такому адресу: example.com/forum/, то размещаю по адресу: example.com/robots.txt

Код: Выделить всё

User-agent: *
Disallow: /forum/*?sid=*
Disallow: /forum/adm/*
Disallow: /forum/download/*
Disallow: /forum/faq.php
Disallow: /forum/mcp.php
Disallow: /forum/memberlist.php
Disallow: /forum/posting.php
Disallow: /forum/report.php
Disallow: /forum/search.php
Disallow: /forum/ucp.php
Disallow: /forum/viewtopic.php?p=*
Disallow: /forum/viewtopic.php?f=*&t=*&start=0$
Disallow: /forum/viewtopic.php?f=*&t=*&view=next
Disallow: /forum/viewtopic.php?f=*&t=*&view=previous
Sitemap: http://example.com/forum/sitemap.xml
Clean-param: sid /forum/index.php
Clean-param: sid /forum/viewforum.php
Clean-param: sid /forum/viewtopic.php

User-agent: Yandex
Disallow: /forum/*?sid=*
Disallow: /forum/adm/*
Disallow: /forum/download/*
Disallow: /forum/faq.php
Disallow: /forum/mcp.php
Disallow: /forum/memberlist.php
Disallow: /forum/posting.php
Disallow: /forum/report.php
Disallow: /forum/search.php
Disallow: /forum/ucp.php
Disallow: /forum/viewtopic.php?p=*
Disallow: /forum/viewtopic.php?f=*&t=*&start=0$
Disallow: /forum/viewtopic.php?f=*&t=*&view=next
Disallow: /forum/viewtopic.php?f=*&t=*&view=previous
Host: example.com
Sitemap: http://example.com/forum/sitemap.xml
Clean-param: sid /forum/index.php
Clean-param: sid /forum/viewforum.php
Clean-param: sid /forum/viewtopic.php
Изменить example.com на свой домен. Если кириллический домен, конвертируем его в punycode
Последний раз редактировалось Anvar 07.06.2015 17:28, всего редактировалось 2 раза.
Причина: Удалён Disallow: /forum/style.php

Аватара пользователя
xisp
phpBB 3.0.0 RC7
Сообщения: 1799
Зарегистрирован: 19.05.2012 19:00
Благодарил (а): 152 раза
Поблагодарили: 215 раз
Забанен: Бессрочно

Re: robots.txt для 3.1

Сообщение xisp » 12.12.2014 17:11

Anvar писал(а): то размещаю по адресу
Не у всех стоит карта сайта.
phpBBex

Аватара пользователя
COB16
phpBB 2.0.14
Сообщения: 961
Зарегистрирован: 05.10.2014 21:08
Откуда: Беларусь
Благодарил (а): 309 раз
Поблагодарили: 57 раз

Re: robots.txt для 3.1

Сообщение COB16 » 12.12.2014 17:39

Кто скажет почему показывает ошибку?
Снимок.JPG

Аватара пользователя
xisp
phpBB 3.0.0 RC7
Сообщения: 1799
Зарегистрирован: 19.05.2012 19:00
Благодарил (а): 152 раза
Поблагодарили: 215 раз
Забанен: Бессрочно

Re: robots.txt для 3.1

Сообщение xisp » 13.12.2014 6:04

Потому что гугол не понимает параметра Clean-param, очевидно же. Забить. Гугол проигнорирует неизвестные ему параметры.
phpBBex

Аватара пользователя
COB16
phpBB 2.0.14
Сообщения: 961
Зарегистрирован: 05.10.2014 21:08
Откуда: Беларусь
Благодарил (а): 309 раз
Поблагодарили: 57 раз

Re: robots.txt для 3.1

Сообщение COB16 » 14.12.2014 15:20

xisp Дело в том что и яндекс на них ругается

Аватара пользователя
xisp
phpBB 3.0.0 RC7
Сообщения: 1799
Зарегистрирован: 19.05.2012 19:00
Благодарил (а): 152 раза
Поблагодарили: 215 раз
Забанен: Бессрочно

Re: robots.txt для 3.1

Сообщение xisp » 14.12.2014 19:49

С чего бы? Покажите. У меня не ругается.
phpBBex

Аватара пользователя
COB16
phpBB 2.0.14
Сообщения: 961
Зарегистрирован: 05.10.2014 21:08
Откуда: Беларусь
Благодарил (а): 309 раз
Поблагодарили: 57 раз

Re: robots.txt для 3.1

Сообщение COB16 » 15.12.2014 11:13

xisp
Снимок.JPG
Снимок.JPG (19.5 КБ) 4800 просмотров

Аватара пользователя
xisp
phpBB 3.0.0 RC7
Сообщения: 1799
Зарегистрирован: 19.05.2012 19:00
Благодарил (а): 152 раза
Поблагодарили: 215 раз
Забанен: Бессрочно

Re: robots.txt для 3.1

Сообщение xisp » 15.12.2014 16:14

Ну и? Написано же- секции используемые. Ругается он вот так:
Изображение
phpBBex

Аватара пользователя
COB16
phpBB 2.0.14
Сообщения: 961
Зарегистрирован: 05.10.2014 21:08
Откуда: Беларусь
Благодарил (а): 309 раз
Поблагодарили: 57 раз

Re: robots.txt для 3.1

Сообщение COB16 » 15.12.2014 17:06

xisp а я подумал ошибка

Аватара пользователя
Gudvin
phpBB 1.4.2
Сообщения: 54
Зарегистрирован: 31.03.2011 16:28
Благодарил (а): 13 раз

Re: robots.txt для 3.1

Сообщение Gudvin » 28.01.2015 13:51

Проанализировав дубли страниц, сделал такой robots.txt, может кому пригодится:

Код: Выделить всё

User-agent: *
Disallow: /forum/adm
Disallow: /forum/cache
Disallow: /forum/files
Disallow: /forum/includes
Disallow: /forum/language
Disallow: /forum/store
Disallow: /forum/common.php
Disallow: /forum/config.php
Disallow: /forum/cron.php
Disallow: /forum/faq.php
Disallow: /forum/mcp.php
Disallow: /forum/memberlist.php 
Disallow: /forum/memberlist_fields.php
Disallow: /forum/thankslist.php
Disallow: /forum/posting.php
Disallow: /forum/recent.php
Disallow: /forum/report.php
Disallow: /forum/search.php
Disallow: /forum/style.php
Disallow: /forum/ucp.php
Disallow: /forum/go.php
Disallow: /forum/index.php*
Disallow: /forum/viewonline.php
Disallow: /forum/*&st=*
Disallow: /forum/*&sk=*
Disallow: /forum/*&sd=*
Disallow: /forum/*&hilit=*
Disallow: /forum/*&view=*
Disallow: /forum/viewtopic.php*p=*
Disallow: /forum/viewtopic.php?t=*
Disallow: /forum/view*&start=0$
Disallow:
Clean-param: sid /forum/index.php
Clean-param: sid /forum/viewforum.php
Clean-param: sid /forum/viewtopic.php

Мой форум
Последний раз редактировалось Gudvin 29.01.2015 16:27, всего редактировалось 2 раза.

ostridm
phpBB 2.0.7
Сообщения: 551
Зарегистрирован: 30.03.2012 21:52
Благодарил (а): 20 раз
Поблагодарили: 62 раза

Re: robots.txt для 3.1

Сообщение ostridm » 28.01.2015 21:38

Clean-param: start /forum/viewtopic.php
лишнее

Аватара пользователя
Gudvin
phpBB 1.4.2
Сообщения: 54
Зарегистрирован: 31.03.2011 16:28
Благодарил (а): 13 раз

Re: robots.txt для 3.1

Сообщение Gudvin » 28.01.2015 21:47

Согласен, убрал.

Аватара пользователя
xisp
phpBB 3.0.0 RC7
Сообщения: 1799
Зарегистрирован: 19.05.2012 19:00
Благодарил (а): 152 раза
Поблагодарили: 215 раз
Забанен: Бессрочно

Re: robots.txt для 3.1

Сообщение xisp » 28.01.2015 21:47

Gudvin писал(а):Disallow: /forum/view*&start=0$
Не актуально для 3.1- таких ссылок я там не видел, а на этой странице указан правильный canonical.
Gudvin писал(а):Disallow:
Это не ошибка?
Gudvin писал(а):Disallow: /forum/styles
Роботы будут опечалено смотреть на форум без стилей. И, например, гугл не сможет сделать вывод о том, что форум адаптируется для мобильных, и не поставит соответствующую метку в поисковой выдаче.
phpBBex

Аватара пользователя
Gudvin
phpBB 1.4.2
Сообщения: 54
Зарегистрирован: 31.03.2011 16:28
Благодарил (а): 13 раз

Re: robots.txt для 3.1

Сообщение Gudvin » 29.01.2015 16:24

xisp писал(а):Не актуально для 3.1- таких ссылок я там не видел, а на этой странице указан правильный canonical.
Смотрите в прилагаемом скрине панель Гугла.
xisp писал(а):Роботы будут опечалено смотреть на форум без стилей. И, например, гугл не сможет сделать вывод о том, что форум адаптируется для мобильных, и не поставит соответствующую метку в поисковой выдаче.
Попорбую снять запрет. Спасибо за ответ.
Изображение

Вернуться в «Поддержка phpBB 3.1.x»