robots.txt для 3.1

Проблемы с установкой или работой phpBB 3.1.x? Получите помощь здесь!
С 1 июля 2018 года phpBB Group прекращает поддержку phpBB версии 3.1.
Сайт официальной русской поддержки phpBB Guru продолжит поддержку phpBB 3.1 до 1 января 2019 года.
Подробнее: Окончание поддержки phpBB 3.1.
Правила форума
Местная Конституция | Шаблон запроса | Документация (phpBB3) | Мини [FAQ] по phpBB3.1.x | FAQ-3 (phpbb3) | Как задавать вопросы | Как устанавливать расширения

Ваш вопрос может быть удален без объяснения причин, если на него есть ответы по приведённым ссылкам (а вы рискуете получить предупреждение ;) ).
Erlang
phpBB 2.0.15
Сообщения: 1033
Зарегистрирован: 13.07.2004 21:30
Откуда: Москва
Благодарил (а): 297 раз
Поблагодарили: 6 раз

robots.txt для 3.1

Сообщение Erlang » 12.12.2014 12:48

Какие изменения стоит внести в robots.txt для phpBB 3.1.X?

Может кто-то поделится готовым вариантом.
=======================
Использование robots.txt - мануал от яндекса
О файлах robots.txt - справка google
Все о файле «robots.txt» по-русски
Последний раз редактировалось владимир1983 02.10.2016 21:42, всего редактировалось 2 раза.
Причина: Добавил информациюс мануалов Я и G
С уважением,
Сергей

aleksndr
phpBB 1.4.4
Сообщения: 133
Зарегистрирован: 23.02.2014 17:46
Благодарил (а): 2 раза

Re: robots.txt для 3.1

Сообщение aleksndr » 26.08.2017 19:11

Как это?,скриншот первого изображения сделан с fizilla с файла robots.txt,который лежит в корне

Аватара пользователя
Sheer
phpBB Guru
phpBB Guru
Сообщения: 11499
Зарегистрирован: 18.02.2007 19:01
Откуда: Калининград не Кенигсберг
Благодарил (а): 53 раза
Поблагодарили: 2580 раз

Re: [Отделено][RC] External Links - Управление ссылками

Сообщение Sheer » 26.08.2017 19:14

aleksndr писал(а):
26.08.2017 18:54
Тут я начинал эту тему
Считай что предупреждение получил именно из-за этого.

Отправлено спустя 17 минут 4 секунды:
Re: robots.txt для 3.1
aleksndr писал(а):
26.08.2017 18:31
этих изминений нет почему то
А у меня почему-то измИнения видны. А почему бы кеш браузера не почистить?

Отправлено спустя 2 минуты 4 секунды:
Re: robots.txt для 3.1
Erlang писал(а):
12.12.2014 12:48
Использование robots.txt - мануал от яндекса
https://yandex.ru/support/webmaster/con ... ml?lang=ru
Проверьте файл в сервисе Яндекс.Вебмастер (пункт меню Анализ robots.txt).
Изображение
Общие ошибки новичков (07.11.2005) & Как задавать вопросы
Мини FAQ
Если ничто другое не помогает, прочтите, наконец, инструкцию!
"Никакая инструкция не может перечислить всех обязанностей должностного лица, предусмотреть все отдельные случаи и дать вперёд соответствующие указания, а поэтому господа инженеры должны проявить инициативу и, руководствуясь знаниями своей специальности и пользой дела, принять все усилия для оправдания своего назначения".
Циркуляр Морского технического комитета №15 от 29.11.1910 г.

aleksndr
phpBB 1.4.4
Сообщения: 133
Зарегистрирован: 23.02.2014 17:46
Благодарил (а): 2 раза

Re: robots.txt для 3.1

Сообщение aleksndr » 26.08.2017 19:56

Sheer писал(а):
26.08.2017 19:33
А у меня почему-то измИнения видны. А почему бы кеш браузера не почистить?
Удалил нафиг этот robots.txt
из public_html и из public_shtml (там он то же был от ПУ,такого вида-

Код: Выделить всё

# vestacp autogenerated robots.txt
User-agent: *
Crawl-delay: 10
И да же после этого по ссылке https://www.сайт.pro/robots.txt , он открывается.
Историю в месте с кешем,куками и тд. чистил на 3х браузерах!И с телефона заходит.

Отправлено спустя 5 минут 58 секунд:
В Яндексвебмастере, тоже кажет.Толко при обновлении,показывает по разному.То

Код: Выделить всё

User-agent: *
Disallow: /*?sid=*
То

Код: Выделить всё

User-agent: *
Disallow: /link/*
Disallow: /*?sid=*
Последний раз редактировалось Sheer 26.08.2017 20:14, всего редактировалось 1 раз.
Причина: bb-код

Аватара пользователя
Sheer
phpBB Guru
phpBB Guru
Сообщения: 11499
Зарегистрирован: 18.02.2007 19:01
Откуда: Калининград не Кенигсберг
Благодарил (а): 53 раза
Поблагодарили: 2580 раз

Re: robots.txt для 3.1

Сообщение Sheer » 26.08.2017 20:13

Есть еще серверный кеш.
Изображение
Общие ошибки новичков (07.11.2005) & Как задавать вопросы
Мини FAQ
Если ничто другое не помогает, прочтите, наконец, инструкцию!
"Никакая инструкция не может перечислить всех обязанностей должностного лица, предусмотреть все отдельные случаи и дать вперёд соответствующие указания, а поэтому господа инженеры должны проявить инициативу и, руководствуясь знаниями своей специальности и пользой дела, принять все усилия для оправдания своего назначения".
Циркуляр Морского технического комитета №15 от 29.11.1910 г.

aleksndr
phpBB 1.4.4
Сообщения: 133
Зарегистрирован: 23.02.2014 17:46
Благодарил (а): 2 раза

Re: robots.txt для 3.1

Сообщение aleksndr » 26.08.2017 20:31

Sheer писал(а):
26.08.2017 19:33
А у меня почему-то измИнения видны. А почему бы кеш браузера не почистить?
По чему тогда яша жрет эти ссылки?

Аватара пользователя
Sheer
phpBB Guru
phpBB Guru
Сообщения: 11499
Зарегистрирован: 18.02.2007 19:01
Откуда: Калининград не Кенигсберг
Благодарил (а): 53 раза
Поблагодарили: 2580 раз

Re: robots.txt для 3.1

Сообщение Sheer » 26.08.2017 20:51

А потому
Sheer писал(а):
26.08.2017 20:13
Есть еще серверный кеш
Изображение
Общие ошибки новичков (07.11.2005) & Как задавать вопросы
Мини FAQ
Если ничто другое не помогает, прочтите, наконец, инструкцию!
"Никакая инструкция не может перечислить всех обязанностей должностного лица, предусмотреть все отдельные случаи и дать вперёд соответствующие указания, а поэтому господа инженеры должны проявить инициативу и, руководствуясь знаниями своей специальности и пользой дела, принять все усилия для оправдания своего назначения".
Циркуляр Морского технического комитета №15 от 29.11.1910 г.

aleksndr
phpBB 1.4.4
Сообщения: 133
Зарегистрирован: 23.02.2014 17:46
Благодарил (а): 2 раза

Re: robots.txt для 3.1

Сообщение aleksndr » 28.08.2017 19:20

Sheer писал(а):
26.08.2017 20:51
А потому
Sheer писал(а):
26.08.2017 20:13
Есть еще серверный кеш
Весь интернет перелопатил,не нашел где и как его чистить?

Аватара пользователя
Sheer
phpBB Guru
phpBB Guru
Сообщения: 11499
Зарегистрирован: 18.02.2007 19:01
Откуда: Калининград не Кенигсберг
Благодарил (а): 53 раза
Поблагодарили: 2580 раз

Re: robots.txt для 3.1

Сообщение Sheer » 28.08.2017 22:55

У хостера своего поинтересуйтесь.
Изображение
Общие ошибки новичков (07.11.2005) & Как задавать вопросы
Мини FAQ
Если ничто другое не помогает, прочтите, наконец, инструкцию!
"Никакая инструкция не может перечислить всех обязанностей должностного лица, предусмотреть все отдельные случаи и дать вперёд соответствующие указания, а поэтому господа инженеры должны проявить инициативу и, руководствуясь знаниями своей специальности и пользой дела, принять все усилия для оправдания своего назначения".
Циркуляр Морского технического комитета №15 от 29.11.1910 г.

ciiz1
phpBB 1.4.4
Сообщения: 182
Зарегистрирован: 16.08.2017 23:08
Благодарил (а): 44 раза
Поблагодарили: 3 раза

Re: robots.txt для 3.1

Сообщение ciiz1 » 05.09.2017 1:05

Crawl-delay: 0.5
Allow: /$
Allow: /index.
Allow: /forum/$
Allow: /forum/index.php$
Allow: /forum/index.php?map=1
Allow: /forum/viewforum.php?f=
Allow: /forum/viewtopic.php?t=
Disallow: /
Host: мой

Вот ещё от этого варианта можете плясать

ciiz1
phpBB 1.4.4
Сообщения: 182
Зарегистрирован: 16.08.2017 23:08
Благодарил (а): 44 раза
Поблагодарили: 3 раза

Re: robots.txt для 3.1

Сообщение ciiz1 » 13.09.2017 21:02

Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php


А не правильнее бы было писать

Clean-param: &sid /index.php
Clean-param: &sid /viewforum.php
Clean-param: &sid /viewtopic.php

ciiz1
phpBB 1.4.4
Сообщения: 182
Зарегистрирован: 16.08.2017 23:08
Благодарил (а): 44 раза
Поблагодарили: 3 раза

Re: robots.txt для 3.1

Сообщение ciiz1 » 03.10.2017 22:29

Google вот такой адрес находит phpbb 3.2
******rum.ru/assets/javascript/core.js?assets_version=255 и т.п.
это можно закрывать от индексирования?

Аватара пользователя
Татьяна5
Поддержка
Поддержка
Сообщения: 9768
Зарегистрирован: 08.08.2011 2:02
Благодарил (а): 175 раз
Поблагодарили: 2722 раза

Re: robots.txt для 3.1

Сообщение Татьяна5 » 03.10.2017 22:53

Нежелательно, гугл javascript понимает

Аватара пользователя
apollion
phpBB 2.0.22
Сообщения: 1382
Зарегистрирован: 05.03.2014 20:13
Откуда: Юг Руси
Благодарил (а): 50 раз
Поблагодарили: 99 раз

Re: robots.txt для 3.1

Сообщение apollion » 04.10.2017 3:18

Яндекс иногда жрет ссылки, которых нет на форуме и никогда не было. Потом выаплевывает и жрет новые. Борь ба с этим не особо помогает, он новые тащит. Но немного, штук по 5 за каждый апдейт.

Типа - пример для примера:

Код: Выделить всё

https://www.phpbbguru.net/community/1
https://www.phpbbguru.net/community/%F
https://www.phpbbguru.net/community/m
https://www.phpbbguru.net/community/xz

ciiz1
phpBB 1.4.4
Сообщения: 182
Зарегистрирован: 16.08.2017 23:08
Благодарил (а): 44 раза
Поблагодарили: 3 раза

Re: robots.txt для 3.1

Сообщение ciiz1 » 05.10.2017 0:31

Татьяна5 писал(а):
03.10.2017 22:53
Нежелательно, гугл javascript понимает
Я так и подумал.

Аватара пользователя
misterleks
phpBB 2.0.9
Сообщения: 715
Зарегистрирован: 20.08.2010 15:09
Откуда: Великий Новгород
Благодарил (а): 103 раза
Поблагодарили: 37 раз

Re: robots.txt для 3.1

Сообщение misterleks » 06.10.2017 15:25

У меня яндекс забирает вот такие ссылки

Код: Выделить всё

/thankslist/givens/185/true
/thankslist/givens/211/false
/thankslist/givens/58/true
/thankslist/givens/65/false
Нужны ли они? Или стоит закрыть от ботов?
Продаю комиксы, продаю инструмент, продаю товары для охоты и рыбаков... и администрирую форум!

Вернуться в «Поддержка phpBB 3.1.x»