robot.txt и версия 3.2

Проблемы с установкой или работой phpBB 3.2.x? Получите помощь здесь!
Правила форума
Местная Конституция | Шаблон запроса | Документация (phpBB3) | Мини [FAQ] по phpBB3.1.x | FAQ-3 (phpbb3) | Как задавать вопросы | Как устанавливать расширения

Ваш вопрос может быть удален без объяснения причин, если на него есть ответы по приведённым ссылкам (а вы рискуете получить предупреждение ;) ).
Ответить
regina68
phpBB 1.4.2
Сообщения: 62
Зарегистрирован: 15.07.2014 0:31
Благодарил (а): 9 раз

robot.txt и версия 3.2

Сообщение regina68 » 14.05.2017 14:25

Подскажите пожалуйста.
Можно ли использовать robot.txt от версии 3.1.6
Или что то над добавлять в версии 3.2
Спасибо!

apograph
phpBB 1.4.3
Сообщения: 82
Зарегистрирован: 03.04.2017 15:29
Благодарил (а): 4 раза
Поблагодарили: 18 раз

Re: robot.txt и версия 3.2

Сообщение apograph » 14.05.2017 14:39

Структура папок 3.1 и 3.2 одинакова.

regina68
phpBB 1.4.2
Сообщения: 62
Зарегистрирован: 15.07.2014 0:31
Благодарил (а): 9 раз

Re: robot.txt и версия 3.2

Сообщение regina68 » 31.05.2017 23:23

Подскажите пожалуйста.
Перешла на версию 3.2.
Но после использования robot.txt от 3.1.6 yandex проиндексировал много неправильных url.
В частности появились /app.php/feed/topic/1 /feed.php?f=1&t=16
/viewtopic.php?f=1&start=4&t=8
Т.е. получается у меня неправильный robot.txt
Написала новый а может у кого правильный проверенный есть.
Добавила к robots.txt для 3.1
Еще свои пути. Написала пока общий для google и yandex.

Код: Выделить всё

User-agent: *
Disallow: /adm
Disallow: /app.php/
Disallow: /assets
Disallow: /bin
Disallow: /cache
Disallow: /common.php
Disallow: /composer.json
Disallow: /config
Disallow: /config.php
Disallow: /groupcp.php 
Disallow: /cron.php
Disallow: /docs
Disallow: /download
Disallow: /ext
Disallow: /faq.php
Disallow: /feed.php
Disallow: /files
Disallow: /includes
Disallow: /language
Disallow: /lastpost.php
Disallow: /mcp.php
Disallow: /memberlist.php
Disallow: /phpbb
Disallow: /profile.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /store
Disallow: /ucp.php
Disallow: /vendor
Disallow: /faylovt.php
Disallow: /index.php?
Disallow: /viewonline.php
Disallow: /*&st=*
Disallow: /*&sk=*
Disallow: /*&sd=*
Disallow: /*&view=*
Disallow: /viewtopic.php*p=*
Disallow: /viewtopic.php?t=*
Disallow: /view*&start=0$
Disallow: /viewforum.php?hash*
Disallow: /viewtopic.php?highlight=*
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Disallow: /viewtopic.php?f=*&t=*&view=print
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?t=*&p=*
User-agent: Yandex
Host: xxxxx

Аватара пользователя
Tugus
phpBB 1.4.2
Сообщения: 53
Зарегистрирован: 27.11.2018 12:43
Благодарил (а): 6 раз

Re: robot.txt и версия 3.2

Сообщение Tugus » 10.01.2019 22:08

Приветствую! Подскажите, пожалуйста, что нужно дописать или изменить в файле роботс после перехода на https?
Наш выглядит так:

Код: Выделить всё

User-agent: *
Disallow: /*?sid=*
Disallow: /adm
Disallow: /cache
Disallow: /download
Disallow: /files
Disallow: /includes
Disallow: /language
Disallow: /store
Disallow: /common.php
Disallow: /config.php
Disallow: /cron.php
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /memberlist.php 
Disallow: /memberlist_fields.php
Disallow: /thankslist.php
Disallow: /posting.php
Disallow: /recent.php
Disallow: /report.php
Disallow: /search.php
Disallow: /ucp.php
Disallow: /go.php
Disallow: /viewonline.php
Disallow: /*&st=*
Disallow: /*&sk=*
Disallow: /*&sd=*
Disallow: /*&hilit=*
Disallow: /*&view=*
Disallow: /viewtopic.php?*&view=print
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewforum.php?f=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Sitemap: http://magija-portal.ru/sitemap.xml

Clean-param: sid /forum/index.php
Clean-param: sid /forum/viewforum.php
Clean-param: sid /forum/viewtopic.php

User-agent: Yandex
Disallow: /*?sid=*
Disallow: /adm
Disallow: /cache
Disallow: /download
Disallow: /files
Disallow: /includes
Disallow: /language
Disallow: /store
Disallow: /common.php
Disallow: /config.php
Disallow: /cron.php
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /memberlist.php 
Disallow: /memberlist_fields.php
Disallow: /thankslist.php
Disallow: /posting.php
Disallow: /recent.php
Disallow: /report.php
Disallow: /search.php
Disallow: /ucp.php
Disallow: /go.php
Disallow: /viewonline.php
Disallow: /*&st=*
Disallow: /*&sk=*
Disallow: /*&sd=*
Disallow: /*&hilit=*
Disallow: /*&view=*
Disallow: /viewtopic.php?*&view=print
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewforum.php?f=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Host: magija-portal.ru
Sitemap: http://magija-portal.ru/sitemap.xml
Clean-param: sid /forum/index.php
Clean-param: sid /forum/viewforum.php
Clean-param: sid /forum/viewtopic.php

Аватара пользователя
Татьяна5
Поддержка
Поддержка
Сообщения: 8986
Зарегистрирован: 08.08.2011 2:02
Благодарил (а): 158 раз
Поблагодарили: 2522 раза
Контактная информация:

Re: robot.txt и версия 3.2

Сообщение Татьяна5 » 10.01.2019 22:30

Tugus писал(а):
10.01.2019 22:08
Disallow: /files
Вы запретили ботам все вложения разом (и картинки тоже)
Tugus писал(а):
10.01.2019 22:08
Disallow: /includes
Disallow: /language
Tugus писал(а):
10.01.2019 22:08
Disallow: /common.php
С этим у них проблемы с отображением могут быть
Tugus писал(а):
10.01.2019 22:08
Disallow: /memberlist_fields.php
Disallow: /thankslist.php
Tugus писал(а):
10.01.2019 22:08
Disallow: /recent.php
Эти файлы физически есть? Откуда и зачем?

Аватара пользователя
Tugus
phpBB 1.4.2
Сообщения: 53
Зарегистрирован: 27.11.2018 12:43
Благодарил (а): 6 раз

Re: robot.txt и версия 3.2

Сообщение Tugus » 10.01.2019 22:36

Татьяна5,
Татьяна5 писал(а):
10.01.2019 22:30
запретили ботам все вложения разом (и картинки тоже)
у нас картинки и вложения на 99 сторонние, из сети. Разрешение на их индексацию будет иметь вес? Надо разрешить?

Татьяна5 писал(а):
10.01.2019 22:30
Tugus писал(а): ↑22 минуты назад
Disallow: /common.php
С этим у них проблемы с отображением могут быть
Стираем строку?

Татьяна5 писал(а):
10.01.2019 22:30
Tugus писал(а): ↑22 минуты назад
Disallow: /memberlist_fields.php
Disallow: /thankslist.php
Tugus писал(а): ↑22 минуты назад
Disallow: /recent.php
Эти файлы физически есть? Откуда и зачем?
хе! мемберов точно ни к чему светить. Они этого не приветствуют. thankslist.php - у нас есть система лайков (расширение) и репутация (расширение). Списка "благодарности" нет. recent.php - последние темы, да, есть.

Аватара пользователя
Татьяна5
Поддержка
Поддержка
Сообщения: 8986
Зарегистрирован: 08.08.2011 2:02
Благодарил (а): 158 раз
Поблагодарили: 2522 раза
Контактная информация:

Re: robot.txt и версия 3.2

Сообщение Татьяна5 » 10.01.2019 22:40

includes, language, common.php - стирайте. К тем файлам/папкам запросы должны проходить свободно (а их индексации всё равно нет)
Tugus писал(а):
10.01.2019 22:36
мемберов точно ни к чему светить
В 3.2 нет файла memberlist_fields.php
Tugus писал(а):
10.01.2019 22:36
(расширение)
Расширения не добавляют файлов в корень форума, а запрещены файлы из корня

Отправлено спустя 3 минуты 17 секунд:
Tugus писал(а):
10.01.2019 22:08
Disallow: /config.php
Это, по идее, тоже не надо
Прямой доступ к файлу запрещён в .htaccess
Tugus писал(а):
10.01.2019 22:08
Disallow: /cron.php
"На вкус и цвет"
Если не хотите, чтобы боты могли запускать действия по крону, оставляйте, но ничего плохого в том, что они действия запустят, нет (наоборот точнее по времени выполнятся)

Аватара пользователя
Tugus
phpBB 1.4.2
Сообщения: 53
Зарегистрирован: 27.11.2018 12:43
Благодарил (а): 6 раз

Re: robot.txt и версия 3.2

Сообщение Tugus » 10.01.2019 22:45

Теперь:

Код: Выделить всё

User-agent: *
Disallow: /*?sid=*
Disallow: /adm
Disallow: /cache
Disallow: /download
Disallow: /files
Disallow: /store
Disallow: /config.php
Disallow: /cron.php
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /memberlist.php 
Disallow: /thankslist.php
Disallow: /posting.php
Disallow: /recent.php
Disallow: /report.php
Disallow: /search.php
Disallow: /ucp.php
Disallow: /go.php
Disallow: /viewonline.php
Disallow: /*&st=*
Disallow: /*&sk=*
Disallow: /*&sd=*
Disallow: /*&hilit=*
Disallow: /*&view=*
Disallow: /viewtopic.php?*&view=print
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewforum.php?f=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Sitemap: http://magija-portal.ru/sitemap.xml

Clean-param: sid /forum/index.php
Clean-param: sid /forum/viewforum.php
Clean-param: sid /forum/viewtopic.php

User-agent: Yandex
Disallow: /*?sid=*
Disallow: /adm
Disallow: /cache
Disallow: /download
Disallow: /files
Disallow: /store
Disallow: /config.php
Disallow: /cron.php
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /memberlist.php 
Disallow: /thankslist.php
Disallow: /posting.php
Disallow: /recent.php
Disallow: /report.php
Disallow: /search.php
Disallow: /ucp.php
Disallow: /go.php
Disallow: /viewonline.php
Disallow: /*&st=*
Disallow: /*&sk=*
Disallow: /*&sd=*
Disallow: /*&hilit=*
Disallow: /*&view=*
Disallow: /viewtopic.php?*&view=print
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewforum.php?f=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Host: magija-portal.ru
Sitemap: http://magija-portal.ru/sitemap.xml
Clean-param: sid /forum/index.php
Clean-param: sid /forum/viewforum.php
Clean-param: sid /forum/viewtopic.php
1) А где ему сказать, что теперь мы на https?
2) Выяснил, что медиа с ютюба и т.п. блокируются браузером как "блокировка рекламы на этом сайте". Если в настройках браузера разрешить её, то замочек в адресной строке становится красным. Есть ли варианты настроек, чтобы не перекачивать ворох медиафайлов на сервер?

Отправлено спустя 11 минут 16 секунд:
Вот такое выдает браузер
 
2019-01-10_22-16-53.png
2019-01-10_22-18-08.png
Это распространено на медиа и счетчик рамблер.

дотумкал пока до варианта перезалить медиа на сервер, но тогда придется докупать место на хостинге. Есть ли альтернативные мысли?

Аватара пользователя
nissin
phpBB 3.0.3
Сообщения: 2108
Зарегистрирован: 16.12.2007 14:01
Откуда: Павлодар
Благодарил (а): 7 раз
Поблагодарили: 329 раз
Контактная информация:

Re: robot.txt и версия 3.2

Сообщение nissin » 11.01.2019 6:15

Tugus,

Код: Выделить всё

Host: https://magija-portal.ru
Sitemap: https://magija-portal.ru/sitemap.xml
По ббкоду media используйте независимый js на своём сервере:
phpBB [media] — bbcode для вставки аудио, видео, карт и др.
В изображениях и скриптах счётчиков поменяйте http на https.
Всё повторяется. nurlan.info

Doroty123
phpBB 1.2.1
Сообщения: 22
Зарегистрирован: 05.12.2017 18:13
Благодарил (а): 2 раза

Re: robot.txt и версия 3.2

Сообщение Doroty123 » 14.01.2019 22:22

Подскажите пожалуйста, после перехода форума на версию 3.2.2 в вебмастере яндекса появились сотни дублей главной страницы. Как их правильно закрыть? Что бы сама главная не вылетела ?
Скрин из вебмастера прилагаю. Понять бы еще из за чего и что генерирует эти дубли.
Если закрою так? Это верно будет?
Disallow: /index.php?*

на всякий случай прилагаю роботс который сейчас

User-agent: *
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /ucp.php
Disallow: /budget/*
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Disallow: /go.php
Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php

# Google Image
User-agent: Googlebot-Image
Disallow:

# Google AdSense
User-agent: Mediapartners-Google
Disallow:

User-agent: Yandex
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /ucp.php
Disallow: /budget/*


Host:
Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php

Sitemap: http://...
Вложения
вебмастер.jpg

Аватара пользователя
Siava
Поддержка
Поддержка
Сообщения: 4019
Зарегистрирован: 11.01.2005 14:29
Откуда: Питер
Благодарил (а): 97 раз
Поблагодарили: 391 раз
Контактная информация:

Re: robot.txt и версия 3.2

Сообщение Siava » 15.01.2019 10:40

Doroty123, потому что у вас яндексу разрешается индексировать подобное. В вебмастере яндекса есть удобный интрумент анализа вашего robots.txt, а также документация по его использованию.
Еще одно нарушение правил и будете забанены. © Mr. Anderson
https://siava.ru/forum/ (phpbb 2.0.x, 3.1.x 3.2.x)

Ответить

Вернуться в «Поддержка phpBB 3.2.x»