Уважаемые пользователи!
C 7 ноября 2020 года phpBB Group прекратила выпуск обновлений и завершила дальнейшее развитие phpBB версии 3.2.
С 1 августа 2024 года phpBB Group прекращает поддержку phpBB 3.2 на официальном сайте.
Сайт официальной русской поддержки phpBB Guru продолжит поддержку phpBB 3.2 до 31 декабря 2024 года.
С учетом этого, настоятельно рекомендуется обновить конференции до версии 3.3.

robots.txt для 3.x

Вопросы без привязки к версии. Установлена авточистка (2 года).
Правила форума
Местная Конституция | Шаблон запроса | Документация (phpBB3) | Переход на 3.0.6 и выше | FAQ | Как задавать вопросы | Как устанавливать расширения

Ваш вопрос может быть удален без объяснения причин, если на него есть ответы по приведённым ссылкам (а вы рискуете получить предупреждение ;) ).
Erlang
phpBB 2.0.15
Сообщения: 1033
Стаж: 19 лет 8 месяцев
Откуда: Москва
Благодарил (а): 293 раза
Поблагодарили: 6 раз
Контактная информация:

robots.txt для 3.x

Сообщение Erlang »

Какие изменения стоит внести в robots.txt для phpBB 3.1.X?

Может кто-то поделится готовым вариантом.
=======================
Использование robots.txt - мануал от яндекса
О файлах robots.txt - справка google
Все о файле «robots.txt» по-русски
Последний раз редактировалось владимир1983 29.07.2021 5:11, всего редактировалось 2 раза.
С уважением,
Сергей
Anvar
Former team member
Сообщения: 1965
Стаж: 14 лет
Благодарил (а): 67 раз
Поблагодарили: 799 раз
Контактная информация:

Re: robots.txt для 3.1

Сообщение Anvar »

Если форум расположен по такому адресу: example.com/forum/, то размещаю по адресу: example.com/robots.txt

Код: Выделить всё

User-agent: *
Disallow: /forum/*?sid=*
Disallow: /forum/adm/*
Disallow: /forum/download/*
Disallow: /forum/faq.php
Disallow: /forum/mcp.php
Disallow: /forum/memberlist.php
Disallow: /forum/posting.php
Disallow: /forum/report.php
Disallow: /forum/search.php
Disallow: /forum/ucp.php
Disallow: /forum/viewtopic.php?p=*
Disallow: /forum/viewtopic.php?f=*&t=*&start=0$
Disallow: /forum/viewtopic.php?f=*&t=*&view=next
Disallow: /forum/viewtopic.php?f=*&t=*&view=previous
Sitemap: http://example.com/forum/sitemap.xml
Clean-param: sid /forum/index.php
Clean-param: sid /forum/viewforum.php
Clean-param: sid /forum/viewtopic.php

User-agent: Yandex
Disallow: /forum/*?sid=*
Disallow: /forum/adm/*
Disallow: /forum/download/*
Disallow: /forum/faq.php
Disallow: /forum/mcp.php
Disallow: /forum/memberlist.php
Disallow: /forum/posting.php
Disallow: /forum/report.php
Disallow: /forum/search.php
Disallow: /forum/ucp.php
Disallow: /forum/viewtopic.php?p=*
Disallow: /forum/viewtopic.php?f=*&t=*&start=0$
Disallow: /forum/viewtopic.php?f=*&t=*&view=next
Disallow: /forum/viewtopic.php?f=*&t=*&view=previous
Host: example.com
Sitemap: http://example.com/forum/sitemap.xml
Clean-param: sid /forum/index.php
Clean-param: sid /forum/viewforum.php
Clean-param: sid /forum/viewtopic.php
Изменить example.com на свой домен. Если кириллический домен, конвертируем его в punycode
Последний раз редактировалось Anvar 07.06.2015 17:28, всего редактировалось 2 раза.
Причина: Удалён Disallow: /forum/style.php
Аватара пользователя
xisp
phpBB 3.0.0 RC7
Сообщения: 1798
Стаж: 11 лет 10 месяцев
Благодарил (а): 152 раза
Поблагодарили: 215 раз
Забанен: Бессрочно

Re: robots.txt для 3.1

Сообщение xisp »

Anvar писал(а): то размещаю по адресу
Не у всех стоит карта сайта.
phpBBex
Аватара пользователя
COB16
phpBB 2.0.15
Сообщения: 1011
Стаж: 9 лет 5 месяцев
Откуда: Беларусь
Благодарил (а): 316 раз
Поблагодарили: 58 раз

Re: robots.txt для 3.1

Сообщение COB16 »

Кто скажет почему показывает ошибку?
Снимок.JPG
Аватара пользователя
xisp
phpBB 3.0.0 RC7
Сообщения: 1798
Стаж: 11 лет 10 месяцев
Благодарил (а): 152 раза
Поблагодарили: 215 раз
Забанен: Бессрочно

Re: robots.txt для 3.1

Сообщение xisp »

Потому что гугол не понимает параметра Clean-param, очевидно же. Забить. Гугол проигнорирует неизвестные ему параметры.
phpBBex
Аватара пользователя
COB16
phpBB 2.0.15
Сообщения: 1011
Стаж: 9 лет 5 месяцев
Откуда: Беларусь
Благодарил (а): 316 раз
Поблагодарили: 58 раз

Re: robots.txt для 3.1

Сообщение COB16 »

xisp Дело в том что и яндекс на них ругается
Аватара пользователя
xisp
phpBB 3.0.0 RC7
Сообщения: 1798
Стаж: 11 лет 10 месяцев
Благодарил (а): 152 раза
Поблагодарили: 215 раз
Забанен: Бессрочно

Re: robots.txt для 3.1

Сообщение xisp »

С чего бы? Покажите. У меня не ругается.
phpBBex
Аватара пользователя
COB16
phpBB 2.0.15
Сообщения: 1011
Стаж: 9 лет 5 месяцев
Откуда: Беларусь
Благодарил (а): 316 раз
Поблагодарили: 58 раз

Re: robots.txt для 3.1

Сообщение COB16 »

xisp
Снимок.JPG
Снимок.JPG (19.5 КБ) 16632 просмотра
Аватара пользователя
xisp
phpBB 3.0.0 RC7
Сообщения: 1798
Стаж: 11 лет 10 месяцев
Благодарил (а): 152 раза
Поблагодарили: 215 раз
Забанен: Бессрочно

Re: robots.txt для 3.1

Сообщение xisp »

Ну и? Написано же- секции используемые. Ругается он вот так:
Изображение
phpBBex
Аватара пользователя
COB16
phpBB 2.0.15
Сообщения: 1011
Стаж: 9 лет 5 месяцев
Откуда: Беларусь
Благодарил (а): 316 раз
Поблагодарили: 58 раз

Re: robots.txt для 3.1

Сообщение COB16 »

xisp а я подумал ошибка
Аватара пользователя
Gudvin
phpBB 1.4.2
Сообщения: 74
Стаж: 12 лет 11 месяцев
Благодарил (а): 17 раз
Поблагодарили: 1 раз
Контактная информация:

Re: robots.txt для 3.1

Сообщение Gudvin »

Проанализировав дубли страниц, сделал такой robots.txt, может кому пригодится:

Код: Выделить всё

User-agent: *
Disallow: /forum/adm
Disallow: /forum/cache
Disallow: /forum/files
Disallow: /forum/includes
Disallow: /forum/language
Disallow: /forum/store
Disallow: /forum/common.php
Disallow: /forum/config.php
Disallow: /forum/cron.php
Disallow: /forum/faq.php
Disallow: /forum/mcp.php
Disallow: /forum/memberlist.php 
Disallow: /forum/memberlist_fields.php
Disallow: /forum/thankslist.php
Disallow: /forum/posting.php
Disallow: /forum/recent.php
Disallow: /forum/report.php
Disallow: /forum/search.php
Disallow: /forum/style.php
Disallow: /forum/ucp.php
Disallow: /forum/go.php
Disallow: /forum/index.php*
Disallow: /forum/viewonline.php
Disallow: /forum/*&st=*
Disallow: /forum/*&sk=*
Disallow: /forum/*&sd=*
Disallow: /forum/*&hilit=*
Disallow: /forum/*&view=*
Disallow: /forum/viewtopic.php*p=*
Disallow: /forum/viewtopic.php?t=*
Disallow: /forum/view*&start=0$
Disallow:
Clean-param: sid /forum/index.php
Clean-param: sid /forum/viewforum.php
Clean-param: sid /forum/viewtopic.php

Мой форум
Последний раз редактировалось Gudvin 29.01.2015 16:27, всего редактировалось 2 раза.
ostridm
phpBB 2.0.7
Сообщения: 552
Стаж: 11 лет 11 месяцев
Благодарил (а): 20 раз
Поблагодарили: 62 раза

Re: robots.txt для 3.1

Сообщение ostridm »

Clean-param: start /forum/viewtopic.php
лишнее
Аватара пользователя
Gudvin
phpBB 1.4.2
Сообщения: 74
Стаж: 12 лет 11 месяцев
Благодарил (а): 17 раз
Поблагодарили: 1 раз
Контактная информация:

Re: robots.txt для 3.1

Сообщение Gudvin »

Согласен, убрал.
Аватара пользователя
xisp
phpBB 3.0.0 RC7
Сообщения: 1798
Стаж: 11 лет 10 месяцев
Благодарил (а): 152 раза
Поблагодарили: 215 раз
Забанен: Бессрочно

Re: robots.txt для 3.1

Сообщение xisp »

Gudvin писал(а):Disallow: /forum/view*&start=0$
Не актуально для 3.1- таких ссылок я там не видел, а на этой странице указан правильный canonical.
Gudvin писал(а):Disallow:
Это не ошибка?
Gudvin писал(а):Disallow: /forum/styles
Роботы будут опечалено смотреть на форум без стилей. И, например, гугл не сможет сделать вывод о том, что форум адаптируется для мобильных, и не поставит соответствующую метку в поисковой выдаче.
phpBBex
Аватара пользователя
Gudvin
phpBB 1.4.2
Сообщения: 74
Стаж: 12 лет 11 месяцев
Благодарил (а): 17 раз
Поблагодарили: 1 раз
Контактная информация:

Re: robots.txt для 3.1

Сообщение Gudvin »

xisp писал(а):Не актуально для 3.1- таких ссылок я там не видел, а на этой странице указан правильный canonical.
Смотрите в прилагаемом скрине панель Гугла.
xisp писал(а):Роботы будут опечалено смотреть на форум без стилей. И, например, гугл не сможет сделать вывод о том, что форум адаптируется для мобильных, и не поставит соответствующую метку в поисковой выдаче.
Попорбую снять запрет. Спасибо за ответ.
Изображение
Ответить

Вернуться в «phpBB-пространство»