Уважаемые пользователи!
C 7 ноября 2020 года phpBB Group прекратила выпуск обновлений и завершила дальнейшее развитие phpBB версии 3.2.
С 1 августа 2024 года phpBB Group прекращает поддержку phpBB 3.2 на официальном сайте.
Сайт официальной русской поддержки phpBB Guru продолжит поддержку phpBB 3.2 до 31 декабря 2024 года.
С учетом этого, настоятельно рекомендуется обновить конференции до версии 3.3.

robots.txt для 3.x

Вопросы без привязки к версии. Установлена авточистка (2 года).
Правила форума
Местная Конституция | Шаблон запроса | Документация (phpBB3) | Переход на 3.0.6 и выше | FAQ | Как задавать вопросы | Как устанавливать расширения

Ваш вопрос может быть удален без объяснения причин, если на него есть ответы по приведённым ссылкам (а вы рискуете получить предупреждение ;) ).
Аватара пользователя
Tugus
phpBB 1.4.4
Сообщения: 135
Стаж: 5 лет 4 месяца
Благодарил (а): 46 раз

Re: robot.txt и версия 3.2

Сообщение Tugus »

Приветствую! Подскажите, пожалуйста, что нужно дописать или изменить в файле роботс после перехода на https?
Наш выглядит так:

Код: Выделить всё

User-agent: *
Disallow: /*?sid=*
Disallow: /adm
Disallow: /cache
Disallow: /download
Disallow: /files
Disallow: /includes
Disallow: /language
Disallow: /store
Disallow: /common.php
Disallow: /config.php
Disallow: /cron.php
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /memberlist.php 
Disallow: /memberlist_fields.php
Disallow: /thankslist.php
Disallow: /posting.php
Disallow: /recent.php
Disallow: /report.php
Disallow: /search.php
Disallow: /ucp.php
Disallow: /go.php
Disallow: /viewonline.php
Disallow: /*&st=*
Disallow: /*&sk=*
Disallow: /*&sd=*
Disallow: /*&hilit=*
Disallow: /*&view=*
Disallow: /viewtopic.php?*&view=print
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewforum.php?f=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Sitemap: http://magija-portal.ru/sitemap.xml

Clean-param: sid /forum/index.php
Clean-param: sid /forum/viewforum.php
Clean-param: sid /forum/viewtopic.php

User-agent: Yandex
Disallow: /*?sid=*
Disallow: /adm
Disallow: /cache
Disallow: /download
Disallow: /files
Disallow: /includes
Disallow: /language
Disallow: /store
Disallow: /common.php
Disallow: /config.php
Disallow: /cron.php
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /memberlist.php 
Disallow: /memberlist_fields.php
Disallow: /thankslist.php
Disallow: /posting.php
Disallow: /recent.php
Disallow: /report.php
Disallow: /search.php
Disallow: /ucp.php
Disallow: /go.php
Disallow: /viewonline.php
Disallow: /*&st=*
Disallow: /*&sk=*
Disallow: /*&sd=*
Disallow: /*&hilit=*
Disallow: /*&view=*
Disallow: /viewtopic.php?*&view=print
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewforum.php?f=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Host: magija-portal.ru
Sitemap: http://magija-portal.ru/sitemap.xml
Clean-param: sid /forum/index.php
Clean-param: sid /forum/viewforum.php
Clean-param: sid /forum/viewtopic.php
Аватара пользователя
Татьяна5
Поддержка
Поддержка
Сообщения: 12372
Стаж: 12 лет 7 месяцев
Благодарил (а): 223 раза
Поблагодарили: 3517 раз
Контактная информация:

Re: robot.txt и версия 3.2

Сообщение Татьяна5 »

Tugus писал(а): 10.01.2019 22:08 Disallow: /files
Вы запретили ботам все вложения разом (и картинки тоже)
Tugus писал(а): 10.01.2019 22:08 Disallow: /includes
Disallow: /language
Tugus писал(а): 10.01.2019 22:08 Disallow: /common.php
С этим у них проблемы с отображением могут быть
Tugus писал(а): 10.01.2019 22:08 Disallow: /memberlist_fields.php
Disallow: /thankslist.php
Tugus писал(а): 10.01.2019 22:08 Disallow: /recent.php
Эти файлы физически есть? Откуда и зачем?
Аватара пользователя
Tugus
phpBB 1.4.4
Сообщения: 135
Стаж: 5 лет 4 месяца
Благодарил (а): 46 раз

Re: robots.txt и версия 3.2

Сообщение Tugus »

Татьяна5,
Татьяна5 писал(а): 10.01.2019 22:30 запретили ботам все вложения разом (и картинки тоже)
у нас картинки и вложения на 99 сторонние, из сети. Разрешение на их индексацию будет иметь вес? Надо разрешить?

Татьяна5 писал(а): 10.01.2019 22:30 Tugus писал(а): ↑22 минуты назад
Disallow: /common.php
С этим у них проблемы с отображением могут быть
Стираем строку?

Татьяна5 писал(а): 10.01.2019 22:30 Tugus писал(а): ↑22 минуты назад
Disallow: /memberlist_fields.php
Disallow: /thankslist.php
Tugus писал(а): ↑22 минуты назад
Disallow: /recent.php
Эти файлы физически есть? Откуда и зачем?
хе! мемберов точно ни к чему светить. Они этого не приветствуют. thankslist.php - у нас есть система лайков (расширение) и репутация (расширение). Списка "благодарности" нет. recent.php - последние темы, да, есть.
Аватара пользователя
Татьяна5
Поддержка
Поддержка
Сообщения: 12372
Стаж: 12 лет 7 месяцев
Благодарил (а): 223 раза
Поблагодарили: 3517 раз
Контактная информация:

Re: robot.txt и версия 3.2

Сообщение Татьяна5 »

includes, language, common.php - стирайте. К тем файлам/папкам запросы должны проходить свободно (а их индексации всё равно нет)
Tugus писал(а): 10.01.2019 22:36 мемберов точно ни к чему светить
В 3.2 нет файла memberlist_fields.php
Tugus писал(а): 10.01.2019 22:36(расширение)
Расширения не добавляют файлов в корень форума, а запрещены файлы из корня

Отправлено спустя 3 минуты 17 секунд:
Tugus писал(а): 10.01.2019 22:08 Disallow: /config.php
Это, по идее, тоже не надо
Прямой доступ к файлу запрещён в .htaccess
Tugus писал(а): 10.01.2019 22:08 Disallow: /cron.php
"На вкус и цвет"
Если не хотите, чтобы боты могли запускать действия по крону, оставляйте, но ничего плохого в том, что они действия запустят, нет (наоборот точнее по времени выполнятся)
Аватара пользователя
Tugus
phpBB 1.4.4
Сообщения: 135
Стаж: 5 лет 4 месяца
Благодарил (а): 46 раз

Re: robot.txt и версия 3.2

Сообщение Tugus »

Теперь:

Код: Выделить всё

User-agent: *
Disallow: /*?sid=*
Disallow: /adm
Disallow: /cache
Disallow: /download
Disallow: /files
Disallow: /store
Disallow: /config.php
Disallow: /cron.php
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /memberlist.php 
Disallow: /thankslist.php
Disallow: /posting.php
Disallow: /recent.php
Disallow: /report.php
Disallow: /search.php
Disallow: /ucp.php
Disallow: /go.php
Disallow: /viewonline.php
Disallow: /*&st=*
Disallow: /*&sk=*
Disallow: /*&sd=*
Disallow: /*&hilit=*
Disallow: /*&view=*
Disallow: /viewtopic.php?*&view=print
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewforum.php?f=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Sitemap: http://magija-portal.ru/sitemap.xml

Clean-param: sid /forum/index.php
Clean-param: sid /forum/viewforum.php
Clean-param: sid /forum/viewtopic.php

User-agent: Yandex
Disallow: /*?sid=*
Disallow: /adm
Disallow: /cache
Disallow: /download
Disallow: /files
Disallow: /store
Disallow: /config.php
Disallow: /cron.php
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /memberlist.php 
Disallow: /thankslist.php
Disallow: /posting.php
Disallow: /recent.php
Disallow: /report.php
Disallow: /search.php
Disallow: /ucp.php
Disallow: /go.php
Disallow: /viewonline.php
Disallow: /*&st=*
Disallow: /*&sk=*
Disallow: /*&sd=*
Disallow: /*&hilit=*
Disallow: /*&view=*
Disallow: /viewtopic.php?*&view=print
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewforum.php?f=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Host: magija-portal.ru
Sitemap: http://magija-portal.ru/sitemap.xml
Clean-param: sid /forum/index.php
Clean-param: sid /forum/viewforum.php
Clean-param: sid /forum/viewtopic.php
1) А где ему сказать, что теперь мы на https?
2) Выяснил, что медиа с ютюба и т.п. блокируются браузером как "блокировка рекламы на этом сайте". Если в настройках браузера разрешить её, то замочек в адресной строке становится красным. Есть ли варианты настроек, чтобы не перекачивать ворох медиафайлов на сервер?

Отправлено спустя 11 минут 16 секунд:
Вот такое выдает браузер
 
2019-01-10_22-16-53.png
2019-01-10_22-18-08.png
Это распространено на медиа и счетчик рамблер.

дотумкал пока до варианта перезалить медиа на сервер, но тогда придется докупать место на хостинге. Есть ли альтернативные мысли?
Аватара пользователя
nissin
phpBB 3.0.4
Сообщения: 2208
Стаж: 16 лет 3 месяца
Откуда: Павлодар
Благодарил (а): 7 раз
Поблагодарили: 338 раз
Контактная информация:

Re: robot.txt и версия 3.2

Сообщение nissin »

Tugus,

Код: Выделить всё

Host: https://magija-portal.ru
Sitemap: https://magija-portal.ru/sitemap.xml
По ббкоду media используйте независимый js на своём сервере:
phpBB [media] — bbcode для вставки аудио, видео, карт и др.
В изображениях и скриптах счётчиков поменяйте http на https.
Всё повторяется. nurlan.info
Doroty123
phpBB 1.2.1
Сообщения: 23
Стаж: 6 лет 3 месяца
Благодарил (а): 3 раза

Re: robot.txt и версия 3.2

Сообщение Doroty123 »

Подскажите пожалуйста, после перехода форума на версию 3.2.2 в вебмастере яндекса появились сотни дублей главной страницы. Как их правильно закрыть? Что бы сама главная не вылетела ?
Скрин из вебмастера прилагаю. Понять бы еще из за чего и что генерирует эти дубли.
Если закрою так? Это верно будет?
Disallow: /index.php?*

на всякий случай прилагаю роботс который сейчас

Код: Выделить всё

User-agent: *
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /ucp.php
Disallow: /budget/*
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Disallow: /go.php
Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php

# Google Image
User-agent: Googlebot-Image
Disallow:

# Google AdSense
User-agent: Mediapartners-Google
Disallow:

User-agent: Yandex
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /ucp.php
Disallow: /budget/*


Host: 
Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php

Sitemap: http://...
Вложения
вебмастер.jpg
Аватара пользователя
Siava
Поддержка
Поддержка
Сообщения: 5270
Стаж: 19 лет 2 месяца
Откуда: Питер
Благодарил (а): 188 раз
Поблагодарили: 800 раз
Контактная информация:

Re: robot.txt и версия 3.2

Сообщение Siava »

Doroty123, потому что у вас яндексу разрешается индексировать подобное. В вебмастере яндекса есть удобный интрумент анализа вашего robots.txt, а также документация по его использованию.
Еще одно нарушение правил и будете забанены. © Mr. Anderson
Ты очистил кеш? © Sheer
https://siava.ru (phpbb 2.0.x 3.5.x)
aleksndr
phpBB 1.4.4
Сообщения: 159
Стаж: 10 лет 1 месяц
Благодарил (а): 2 раза

robots.txt

Сообщение aleksndr »

Добрый час.
Перевел сайт на новый домен, заменил в роботе ссылки (прописал на новый домен)

User-agent: *
Host: http://новый.сайт
Sitemap: http://новый.сайт/sitemap.xml

User-agent: Yandex
Host: http://новый.сайт
Sitemap: http://новый.сайт/sitemap.xml

В вебмастере яши, найдена ошибка -
Найдено несколько директив Host
Host: http://новый.сайт

Что нетак, подскажите? Раньше всё прокатывало!
Аватара пользователя
Webliberty
phpBB 2.0.5
Сообщения: 472
Стаж: 12 лет 3 месяца
Благодарил (а): 161 раз
Поблагодарили: 66 раз
Контактная информация:

Re: Ошибки в robots.txt

Сообщение Webliberty »

Директива Host уже не используется Яндексом, удалите ее.

И даже когда работала, то при работе сайта на http протоколе он не указывался, указывался только если протокол https.
Мой форум на phpBB 3.3.8 (начинал с phpBB 3.0.9)
Подпись заверена нотариусом :P
ciiz1
phpBB 2.0.4
Сообщения: 440
Стаж: 6 лет 7 месяцев
Благодарил (а): 100 раз
Поблагодарили: 30 раз

Re: Ошибки в robots.txt

Сообщение ciiz1 »

Webliberty писал(а): 02.02.2020 13:12 Директива Host уже не используется Яндексом, удалите ее.
Что делать с директивой Host?
её можно удалить из robots.txt или оставить, робот её просто игнорирует
aleksndr
phpBB 1.4.4
Сообщения: 159
Стаж: 10 лет 1 месяц
Благодарил (а): 2 раза

Re: Ошибки в robots.txt

Сообщение aleksndr »

Webliberty писал(а): 02.02.2020 13:12 Директива Host уже не используется Яндексом, удалите ее.
Спасибо не знал и поиск не помог.
S4astliff4ik
phpBB 1.2.1
Сообщения: 27
Стаж: 13 лет 11 месяцев
Благодарил (а): 12 раз
Контактная информация:

Re: robot.txt и версия 3.2

Сообщение S4astliff4ik »

Доброго времени суток!

Вопросы: 1. почему некоторые используют в robots.txt - User-agent: * или User-agent: Mediapartners-Google* или User-agent: Yandex вместе с User-agent: Mediapartners-Google и User-agent: YandexDirect. 2. Зачем перед Disallow: ставить # ?
Аватара пользователя
Siava
Поддержка
Поддержка
Сообщения: 5270
Стаж: 19 лет 2 месяца
Откуда: Питер
Благодарил (а): 188 раз
Поблагодарили: 800 раз
Контактная информация:

Re: robot.txt и версия 3.2

Сообщение Siava »

S4astliff4ik писал(а): 03.02.2020 20:16 почему некоторые используют в robots.txt - User-agent: * или User-agent: Mediapartners-Google* или User-agent: Yandex вместе с User-agent: Mediapartners-Google и User-agent: YandexDirect
Для того, чтобы разграничить какие правила для каких поисковиков будут действовать. У яндекса свои, у гугла свои, рекламным площадкам свои.
S4astliff4ik писал(а): 03.02.2020 20:16 Зачем перед Disallow: ставить # ?
Вот хз... попытка запретить индексацию ссылок с # ? Никогда такое не видел)
Еще одно нарушение правил и будете забанены. © Mr. Anderson
Ты очистил кеш? © Sheer
https://siava.ru (phpbb 2.0.x 3.5.x)
S4astliff4ik
phpBB 1.2.1
Сообщения: 27
Стаж: 13 лет 11 месяцев
Благодарил (а): 12 раз
Контактная информация:

Re: robot.txt и версия 3.2

Сообщение S4astliff4ik »

Siava писал(а): 04.02.2020 0:02 Вот хз... попытка запретить индексацию ссылок с # ? Никогда такое не видел)
https://www.phpbbguru.net/robots.txt :?

Вопрос - для phpbb надо делать разграничение какие правила для каких поисковиков будут действовать? Или лишнее это?
Ответить

Вернуться в «phpBB-пространство»