Внимание!
Не все расширения для phpBB 3.2 совместимы с phpBB 3.3, главным образом из-за неверного синтаксиса в определениях сервисов (отсутствия обрамляющих кавычек - '...').
Перед обновлением необходимо убедиться в совместимости всех расширений.
Рекомендуется предварительно тестировать обновление на копии конференции (локально или на сервере).

robots.txt и версия 3.2

Проблемы с установкой или работой phpBB 3.2.x? Получите помощь здесь!
Внимание: с 6 июля 2020 года phpBB Group прекращает поддержку phpBB версии 3.2.
Сайт официальной русской поддержки phpBB Guru продолжит поддержку phpBB 3.2 до 31 декабря 2020 года.

Правила форума
Местная Конституция | Шаблон запроса | Документация (phpBB3) | Мини [FAQ] по phpBB 3.1.x/3.2.x | FAQ | Как задавать вопросы | Как устанавливать расширения

Ваш вопрос может быть удален без объяснения причин, если на него есть ответы по приведённым ссылкам (а вы рискуете получить предупреждение ;) ).
Аватара пользователя
Татьяна5
Поддержка
Поддержка
Сообщения: 10143
Стаж: 9 лет
Благодарил (а): 179 раз
Поблагодарили: 2827 раз

Re: robot.txt и версия 3.2

Сообщение Татьяна5 »

includes, language, common.php - стирайте. К тем файлам/папкам запросы должны проходить свободно (а их индексации всё равно нет)
Tugus писал(а):
10.01.2019 22:36
мемберов точно ни к чему светить
В 3.2 нет файла memberlist_fields.php
Tugus писал(а):
10.01.2019 22:36
(расширение)
Расширения не добавляют файлов в корень форума, а запрещены файлы из корня

Отправлено спустя 3 минуты 17 секунд:
Tugus писал(а):
10.01.2019 22:08
Disallow: /config.php
Это, по идее, тоже не надо
Прямой доступ к файлу запрещён в .htaccess
Tugus писал(а):
10.01.2019 22:08
Disallow: /cron.php
"На вкус и цвет"
Если не хотите, чтобы боты могли запускать действия по крону, оставляйте, но ничего плохого в том, что они действия запустят, нет (наоборот точнее по времени выполнятся)

Аватара пользователя
Tugus
phpBB 1.4.4
Сообщения: 117
Стаж: 1 год 8 месяцев
Благодарил (а): 43 раза

Re: robot.txt и версия 3.2

Сообщение Tugus »

Теперь:

Код: Выделить всё

User-agent: *
Disallow: /*?sid=*
Disallow: /adm
Disallow: /cache
Disallow: /download
Disallow: /files
Disallow: /store
Disallow: /config.php
Disallow: /cron.php
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /memberlist.php 
Disallow: /thankslist.php
Disallow: /posting.php
Disallow: /recent.php
Disallow: /report.php
Disallow: /search.php
Disallow: /ucp.php
Disallow: /go.php
Disallow: /viewonline.php
Disallow: /*&st=*
Disallow: /*&sk=*
Disallow: /*&sd=*
Disallow: /*&hilit=*
Disallow: /*&view=*
Disallow: /viewtopic.php?*&view=print
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewforum.php?f=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Sitemap: http://magija-portal.ru/sitemap.xml

Clean-param: sid /forum/index.php
Clean-param: sid /forum/viewforum.php
Clean-param: sid /forum/viewtopic.php

User-agent: Yandex
Disallow: /*?sid=*
Disallow: /adm
Disallow: /cache
Disallow: /download
Disallow: /files
Disallow: /store
Disallow: /config.php
Disallow: /cron.php
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /memberlist.php 
Disallow: /thankslist.php
Disallow: /posting.php
Disallow: /recent.php
Disallow: /report.php
Disallow: /search.php
Disallow: /ucp.php
Disallow: /go.php
Disallow: /viewonline.php
Disallow: /*&st=*
Disallow: /*&sk=*
Disallow: /*&sd=*
Disallow: /*&hilit=*
Disallow: /*&view=*
Disallow: /viewtopic.php?*&view=print
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewforum.php?f=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Host: magija-portal.ru
Sitemap: http://magija-portal.ru/sitemap.xml
Clean-param: sid /forum/index.php
Clean-param: sid /forum/viewforum.php
Clean-param: sid /forum/viewtopic.php
1) А где ему сказать, что теперь мы на https?
2) Выяснил, что медиа с ютюба и т.п. блокируются браузером как "блокировка рекламы на этом сайте". Если в настройках браузера разрешить её, то замочек в адресной строке становится красным. Есть ли варианты настроек, чтобы не перекачивать ворох медиафайлов на сервер?

Отправлено спустя 11 минут 16 секунд:
Вот такое выдает браузер
 
2019-01-10_22-16-53.png
2019-01-10_22-18-08.png
Это распространено на медиа и счетчик рамблер.

дотумкал пока до варианта перезалить медиа на сервер, но тогда придется докупать место на хостинге. Есть ли альтернативные мысли?

Аватара пользователя
nissin
phpBB 3.0.4
Сообщения: 2191
Стаж: 12 лет 7 месяцев
Откуда: Павлодар
Благодарил (а): 7 раз
Поблагодарили: 340 раз

Re: robot.txt и версия 3.2

Сообщение nissin »

Tugus,

Код: Выделить всё

Host: https://magija-portal.ru
Sitemap: https://magija-portal.ru/sitemap.xml
По ббкоду media используйте независимый js на своём сервере:
phpBB [media] — bbcode для вставки аудио, видео, карт и др.
В изображениях и скриптах счётчиков поменяйте http на https.
Всё повторяется. nurlan.info

Doroty123
phpBB 1.2.1
Сообщения: 22
Стаж: 2 года 8 месяцев
Благодарил (а): 2 раза

Re: robot.txt и версия 3.2

Сообщение Doroty123 »

Подскажите пожалуйста, после перехода форума на версию 3.2.2 в вебмастере яндекса появились сотни дублей главной страницы. Как их правильно закрыть? Что бы сама главная не вылетела ?
Скрин из вебмастера прилагаю. Понять бы еще из за чего и что генерирует эти дубли.
Если закрою так? Это верно будет?
Disallow: /index.php?*

на всякий случай прилагаю роботс который сейчас

Код: Выделить всё

User-agent: *
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /ucp.php
Disallow: /budget/*
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Disallow: /go.php
Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php

# Google Image
User-agent: Googlebot-Image
Disallow:

# Google AdSense
User-agent: Mediapartners-Google
Disallow:

User-agent: Yandex
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /ucp.php
Disallow: /budget/*


Host: 
Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php

Sitemap: http://...
Вложения
вебмастер.jpg

Аватара пользователя
Siava
Поддержка
Поддержка
Сообщения: 4467
Стаж: 15 лет 7 месяцев
Откуда: Питер
Благодарил (а): 133 раза
Поблагодарили: 533 раза

Re: robot.txt и версия 3.2

Сообщение Siava »

Doroty123, потому что у вас яндексу разрешается индексировать подобное. В вебмастере яндекса есть удобный интрумент анализа вашего robots.txt, а также документация по его использованию.
Еще одно нарушение правил и будете забанены. © Mr. Anderson
https://siava.ru/forum/ (phpbb 2.0.x, 3.1.x 3.5.x)

S4astliff4ik
phpBB 1.2.1
Сообщения: 27
Стаж: 10 лет 3 месяца
Благодарил (а): 11 раз

Re: robot.txt и версия 3.2

Сообщение S4astliff4ik »

Доброго времени суток!

Вопросы: 1. почему некоторые используют в robots.txt - User-agent: * или User-agent: Mediapartners-Google* или User-agent: Yandex вместе с User-agent: Mediapartners-Google и User-agent: YandexDirect. 2. Зачем перед Disallow: ставить # ?

Аватара пользователя
Siava
Поддержка
Поддержка
Сообщения: 4467
Стаж: 15 лет 7 месяцев
Откуда: Питер
Благодарил (а): 133 раза
Поблагодарили: 533 раза

Re: robot.txt и версия 3.2

Сообщение Siava »

S4astliff4ik писал(а):
03.02.2020 20:16
почему некоторые используют в robots.txt - User-agent: * или User-agent: Mediapartners-Google* или User-agent: Yandex вместе с User-agent: Mediapartners-Google и User-agent: YandexDirect
Для того, чтобы разграничить какие правила для каких поисковиков будут действовать. У яндекса свои, у гугла свои, рекламным площадкам свои.
S4astliff4ik писал(а):
03.02.2020 20:16
Зачем перед Disallow: ставить # ?
Вот хз... попытка запретить индексацию ссылок с # ? Никогда такое не видел)
Еще одно нарушение правил и будете забанены. © Mr. Anderson
https://siava.ru/forum/ (phpbb 2.0.x, 3.1.x 3.5.x)

S4astliff4ik
phpBB 1.2.1
Сообщения: 27
Стаж: 10 лет 3 месяца
Благодарил (а): 11 раз

Re: robot.txt и версия 3.2

Сообщение S4astliff4ik »

Siava писал(а):
04.02.2020 0:02
Вот хз... попытка запретить индексацию ссылок с # ? Никогда такое не видел)
https://www.phpbbguru.net/robots.txt :?

Вопрос - для phpbb надо делать разграничение какие правила для каких поисковиков будут действовать? Или лишнее это?

Аватара пользователя
Siava
Поддержка
Поддержка
Сообщения: 4467
Стаж: 15 лет 7 месяцев
Откуда: Питер
Благодарил (а): 133 раза
Поблагодарили: 533 раза

Re: robot.txt и версия 3.2

Сообщение Siava »

S4astliff4ik, А.. ну значит закомментированные строки это. Исключенные из обработки.
Еще одно нарушение правил и будете забанены. © Mr. Anderson
https://siava.ru/forum/ (phpbb 2.0.x, 3.1.x 3.5.x)

S4astliff4ik
phpBB 1.2.1
Сообщения: 27
Стаж: 10 лет 3 месяца
Благодарил (а): 11 раз

Re: robot.txt и версия 3.2

Сообщение S4astliff4ik »

Скажите, пожалуйста, что-нить нужно добавить или удалить:

User-agent: *
Disallow: /adm
Disallow: /cache
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /ucp.php
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Clean-param: sid /index.php
Clean-param: sid /viewtopic.php
Clean-param: sid /viewforum.php
Host: gac-forum.ru

Отправлено спустя 4 минуты 55 секунд:
В вебмастере Яндекса - проверял - 0 ошибок.

al36rus
phpBB 1.4.2
Сообщения: 68
Стаж: 7 месяцев
Благодарил (а): 26 раз
Поблагодарили: 3 раза
Забанен: Бессрочно

Re: robot.txt и версия 3.2

Сообщение al36rus »

Блин, тема вызывает больше вопросов, чем дает решений.
Выложите, пожалуйста, нормальный файл robots.txt (в частности, рабочий для 3.2.9)

Аватара пользователя
Татьяна5
Поддержка
Поддержка
Сообщения: 10143
Стаж: 9 лет
Благодарил (а): 179 раз
Поблагодарили: 2827 раз

Re: robot.txt и версия 3.2

Сообщение Татьяна5 »

Зависит от целей
По-хорошему в 3.2 можно обойтись без него

ciiz1
phpBB 2.0.0
Сообщения: 227
Стаж: 2 года 11 месяцев
Благодарил (а): 67 раз
Поблагодарили: 5 раз

Re: robot.txt и версия 3.2

Сообщение ciiz1 »

Что то я никогда =next и =previous не видел это где? только top.

al36rus
phpBB 1.4.2
Сообщения: 68
Стаж: 7 месяцев
Благодарил (а): 26 раз
Поблагодарили: 3 раза
Забанен: Бессрочно

Re: robot.txt и версия 3.2

Сообщение al36rus »

Татьяна5 писал(а):
24.04.2020 6:12
Зависит от целей
По-хорошему в 3.2 можно обойтись без него
Цели обычные - нормальная индексация в поисковых системах.
Карта сайта генерируется модом шреддера (вроде нормально работает, но для таких разрабов есть отдельный котел в аду за рекламный инклуд в футер).
Осталось решить вопрос с разрешениями для роботов, но если он не нужен - еще проще.

Аватара пользователя
Kuskow
phpBB 1.4.4
Сообщения: 133
Стаж: 4 года 2 месяца
Откуда: Караганда
Благодарил (а): 18 раз
Поблагодарили: 13 раз

Re: robot.txt и версия 3.2

Сообщение Kuskow »

Долго думал, экспериментировал, пришёл к выводу, что вот такие строчки не полезны именно для форума:
regina68 писал(а):
31.05.2017 23:23

Код: Выделить всё

Disallow: /viewtopic.php*p=*
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?t=*&p=*
Если форуму как месту обсуждений важно и полезно, чтобы новые обсуждалки поскорей попадали в индексы поисковиков, то как раз индексирование ?p= будет способствовать этому. Некоторые пользователи ходят на форум через Google Chrome и Яндекс.Браузер, и если там специально не отключено "отсылать анонимную информацию...", то эти браузеры сообщают своим ботам о том, по каким страницам ходят люди. И как только видят, что какой-то URL отсутствует в их индексе, сразу же его индексируют, и он появляется в результатах поиска. То есть, вот это сообщение я сейчас отправлю, вам придёт уведомление, вы зайдёте на страницу /viewtopic.php?p=527429#p527429 из Яндекс.Браузера - и уже через пару минут эта страница со свежим сообщением появится в результатах поиска.
Удаление этих строчек из robots.txt не вызовет появления дубляжей, потому что есть CANONICAL. Правда, поначалу (до индексации канонической страницы) в индексе будут присутстовать адреса /viewtopic.php?p=, но это не страшно - впоследствии они будут заменены в индексе на канонические URL.
И всплеска нагрузки на сервер это не может вызвать - ну подумаешь, добавится пара-тройка новых псевдопользователей, прочитывающих на форуме каждое сообщение - разве ж это нагрузка?

Отправлено спустя 18 минут 38 секунд:
Tugus писал(а):
10.01.2019 22:08

Код: Выделить всё

User-agent: *
Disallow: /download
Вот это оказалось вредной штукой. Оно запрещает индексировать аватары, а без них на многих страницах совсем никаких изображений. А поисковики хотят иногда хоть какое-то изображение ставить в результат поиска. Да и в сохранённых страницах надо, чтобы их было видно, иначе совсем криво там получается.
Tugus писал(а):
10.01.2019 22:08

Код: Выделить всё

Disallow: /*?sid=*

Clean-param: sid /forum/index.php
Clean-param: sid /forum/viewforum.php
Clean-param: sid /forum/viewtopic.php
Вот эта конструкция избыточна и бессмысленна. Если sid запрещены к индексации, то и нет смысла чистить их из URL. Вот так, мне кажется, будет интересней, универсальней, эффективней:

Код: Выделить всё

Clean-param: sid
Clean-param: view&hilit /viewtopic.php
Отправлено спустя 37 минут 41 секунду:
S4astliff4ik писал(а):
08.02.2020 14:59
Скажите, пожалуйста, что-нить нужно добавить или удалить
Поскольку на Вашем сайте канонические URL тем имеют вид без указания форума:

Код: Выделить всё

<link rel="canonical" href="http://gac-forum.ru/viewtopic.php?t=119">
То я бы сделал так (красное удалить, синее добавить):

User-agent: *
Host: gac-forum.ru

Disallow: /adm
Disallow: /cache
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /ucp.php
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous


Clean-param: sid /index.php
Clean-param: sid f&view&hilit /viewtopic.php
Clean-param: sid /viewforum.php

Вернуться в «Поддержка phpBB 3.2.x»