Уважаемые пользователи!
C 7 ноября 2020 года phpBB Group прекратила выпуск обновлений и завершила дальнейшее развитие phpBB версии 3.2.
С 1 августа 2024 года phpBB Group прекращает поддержку phpBB 3.2 на официальном сайте.
Сайт официальной русской поддержки phpBB Guru продолжит поддержку phpBB 3.2 до 31 декабря 2024 года.
С учетом этого, настоятельно рекомендуется обновить конференции до версии 3.3.

robots.txt для 3.x

Вопросы без привязки к версии. Установлена авточистка (2 года).
Правила форума
Местная Конституция | Шаблон запроса | Документация (phpBB3) | Переход на 3.0.6 и выше | FAQ | Как задавать вопросы | Как устанавливать расширения

Ваш вопрос может быть удален без объяснения причин, если на него есть ответы по приведённым ссылкам (а вы рискуете получить предупреждение ;) ).
Аватара пользователя
apollion
phpBB 2.0.22
Сообщения: 1382
Стаж: 10 лет
Откуда: Юг Руси
Благодарил (а): 50 раз
Поблагодарили: 99 раз
Контактная информация:

Re: robots.txt для 3.1

Сообщение apollion »

Яндекс иногда жрет ссылки, которых нет на форуме и никогда не было. Потом выаплевывает и жрет новые. Борь ба с этим не особо помогает, он новые тащит. Но немного, штук по 5 за каждый апдейт.

Типа - пример для примера:

Код: Выделить всё

https://www.phpbbguru.net/community/1
https://www.phpbbguru.net/community/%F
https://www.phpbbguru.net/community/m
https://www.phpbbguru.net/community/xz
ciiz1
phpBB 2.0.4
Сообщения: 440
Стаж: 6 лет 7 месяцев
Благодарил (а): 100 раз
Поблагодарили: 30 раз

Re: robots.txt для 3.1

Сообщение ciiz1 »

Татьяна5 писал(а): 03.10.2017 22:53Нежелательно, гугл javascript понимает
Я так и подумал.
Аватара пользователя
misterleks
phpBB 2.0.9
Сообщения: 715
Стаж: 13 лет 7 месяцев
Откуда: Великий Новгород
Благодарил (а): 103 раза
Поблагодарили: 38 раз
Контактная информация:

Re: robots.txt для 3.1

Сообщение misterleks »

У меня яндекс забирает вот такие ссылки

Код: Выделить всё

/thankslist/givens/185/true
/thankslist/givens/211/false
/thankslist/givens/58/true
/thankslist/givens/65/false
Нужны ли они? Или стоит закрыть от ботов?
Продаю комиксы, продаю инструмент, продаю товары для охоты и рыбаков... и администрирую форум!
ciiz1
phpBB 2.0.4
Сообщения: 440
Стаж: 6 лет 7 месяцев
Благодарил (а): 100 раз
Поблагодарили: 30 раз

Re: robots.txt для 3.1

Сообщение ciiz1 »

Disallow: /thankslist
Если форум про список благодарностей, то не надо, а так я бы закрыл.
PintPont
phpBB 2.0.0
Сообщения: 249
Стаж: 6 лет 2 месяца
Благодарил (а): 48 раз
Поблагодарили: 3 раза

Re: robots.txt для 3.1

Сообщение PintPont »

Доброго часа всем. Посмотрите пожалуйста правильный код? И туда ли я добавил файл, форум расположен в папке http - в него и закинул файл верно?

Код: Выделить всё

User-agent: *
Disallow: /forum/*?sid=*
Disallow: /forum/adm/*
Disallow: /forum/download/*
Disallow: /forum/faq.php
Disallow: /forum/mcp.php
Disallow: /forum/memberlist.php
Disallow: /forum/posting.php
Disallow: /forum/report.php
Disallow: /forum/search.php
Disallow: /forum/ucp.php
Disallow: /forum/viewtopic.php?p=*
Disallow: /forum/viewtopic.php?f=*&t=*&start=0$
Disallow: /forum/viewtopic.php?f=*&t=*&view=next
Disallow: /forum/viewtopic.php?f=*&t=*&view=previous
Sitemap: http://nashauk.ru/forum/sitemap.xml
Clean-param: sid /forum/index.php
Clean-param: sid /forum/viewforum.php
Clean-param: sid /forum/viewtopic.php

User-agent: Yandex
Disallow: /forum/*?sid=*
Disallow: /forum/adm/*
Disallow: /forum/download/*
Disallow: /forum/faq.php
Disallow: /forum/mcp.php
Disallow: /forum/memberlist.php
Disallow: /forum/posting.php
Disallow: /forum/report.php
Disallow: /forum/search.php
Disallow: /forum/ucp.php
Disallow: /forum/viewtopic.php?p=*
Disallow: /forum/viewtopic.php?f=*&t=*&start=0$
Disallow: /forum/viewtopic.php?f=*&t=*&view=next
Disallow: /forum/viewtopic.php?f=*&t=*&view=previous
Host: nashauk.ru
Sitemap: http://nashauk.ru/forum/sitemap.xml
Clean-param: sid /forum/index.php
Clean-param: sid /forum/viewforum.php
Clean-param: sid /forum/viewtopic.php
И как нужно выставить кравделей для бота 37.9.113.131 (37-9-113-131.spider.yandex.com)
За ранее спасибо.
PintPont
phpBB 2.0.0
Сообщения: 249
Стаж: 6 лет 2 месяца
Благодарил (а): 48 раз
Поблагодарили: 3 раза

Re: robots.txt для 3.1

Сообщение PintPont »

Заметил что робот очень часто посещает app.php/link, app.php/feed/topic, за что они отвечают, может запретить их посещать роботам? :?: :?: :?:
Аватара пользователя
Татьяна5
Поддержка
Поддержка
Сообщения: 12372
Стаж: 12 лет 7 месяцев
Благодарил (а): 223 раза
Поблагодарили: 3517 раз
Контактная информация:

Re: robots.txt для 3.1

Сообщение Татьяна5 »

feed - лента rss
link - вам видней, откуда это взялось
PintPont
phpBB 2.0.0
Сообщения: 249
Стаж: 6 лет 2 месяца
Благодарил (а): 48 раз
Поблагодарили: 3 раза

Re: robots.txt для 3.1

Сообщение PintPont »

Татьяна5, я правильно запретил? Disallow: /app.php/*
Аватара пользователя
Татьяна5
Поддержка
Поддержка
Сообщения: 12372
Стаж: 12 лет 7 месяцев
Благодарил (а): 223 раза
Поблагодарили: 3517 раз
Контактная информация:

Re: robots.txt для 3.1

Сообщение Татьяна5 »

Запретил все страницы расширений разом + некоторые страницы движка
PintPont
phpBB 2.0.0
Сообщения: 249
Стаж: 6 лет 2 месяца
Благодарил (а): 48 раз
Поблагодарили: 3 раза

Re: robots.txt для 3.1

Сообщение PintPont »

Татьяна5, а как правильно поступить?
Аватара пользователя
Татьяна5
Поддержка
Поддержка
Сообщения: 12372
Стаж: 12 лет 7 месяцев
Благодарил (а): 223 раза
Поблагодарили: 3517 раз
Контактная информация:

Re: robots.txt для 3.1

Сообщение Татьяна5 »

Разобраться, откуда взялся тот link, и если не нужен поисковикам - запретить именно его
В запрете индексирования лент смысла не вижу, они кроме как для поисковиков и не нужны толком
PintPont
phpBB 2.0.0
Сообщения: 249
Стаж: 6 лет 2 месяца
Благодарил (а): 48 раз
Поблагодарили: 3 раза

Re: robots.txt для 3.1

Сообщение PintPont »

в чем дело из 1000 запросов за час половину они. Не понимаю как :?
Аватара пользователя
Татьяна5
Поддержка
Поддержка
Сообщения: 12372
Стаж: 12 лет 7 месяцев
Благодарил (а): 223 раза
Поблагодарили: 3517 раз
Контактная информация:

Re: robots.txt для 3.1

Сообщение Татьяна5 »

В файлах routing.yml расширений (всех установленных) ищите, там где-то этот link
Аватара пользователя
MrBas
phpBB 1.0.0
Сообщения: 6
Стаж: 9 лет 1 месяц
Благодарил (а): 2 раза
Контактная информация:

robots.txt для 3.2

Сообщение MrBas »

Здравствуйте, данная тема вроде не затрагивалась для версии 3.2
Поделитесь своим robots.txt для свежей версии пожалуйста
Аватара пользователя
Siava
Поддержка
Поддержка
Сообщения: 5270
Стаж: 19 лет 2 месяца
Откуда: Питер
Благодарил (а): 188 раз
Поблагодарили: 800 раз
Контактная информация:

Re: robots.txt для 3.2

Сообщение Siava »

MrBas, robots.txt для версии форума 3.2 будет таким же, как и для 3.1.
Еще одно нарушение правил и будете забанены. © Mr. Anderson
Ты очистил кеш? © Sheer
https://siava.ru (phpbb 2.0.x 3.5.x)
Ответить

Вернуться в «phpBB-пространство»