Страница 14 из 25
Re: robots.txt для 3.1
Добавлено: 04.10.2017 3:18
apollion
Яндекс иногда жрет ссылки, которых нет на форуме и никогда не было. Потом выаплевывает и жрет новые. Борь ба с этим не особо помогает, он новые тащит. Но немного, штук по 5 за каждый апдейт.
Типа - пример для примера:
Код: Выделить всё
https://www.phpbbguru.net/community/1
https://www.phpbbguru.net/community/%F
https://www.phpbbguru.net/community/m
https://www.phpbbguru.net/community/xz
Re: robots.txt для 3.1
Добавлено: 05.10.2017 0:31
ciiz1
Татьяна5 писал(а): ↑03.10.2017 22:53Нежелательно, гугл javascript понимает
Я так и подумал.
Re: robots.txt для 3.1
Добавлено: 06.10.2017 15:25
misterleks
У меня яндекс забирает вот такие ссылки
Код: Выделить всё
/thankslist/givens/185/true
/thankslist/givens/211/false
/thankslist/givens/58/true
/thankslist/givens/65/false
Нужны ли они? Или стоит закрыть от ботов?
Re: robots.txt для 3.1
Добавлено: 06.10.2017 21:00
ciiz1
Disallow: /thankslist
Если форум про список благодарностей, то не надо, а так я бы закрыл.
Re: robots.txt для 3.1
Добавлено: 18.07.2018 9:35
PintPont
Доброго часа всем. Посмотрите пожалуйста правильный код? И туда ли я добавил файл, форум расположен в папке http - в него и закинул файл верно?
Код: Выделить всё
User-agent: *
Disallow: /forum/*?sid=*
Disallow: /forum/adm/*
Disallow: /forum/download/*
Disallow: /forum/faq.php
Disallow: /forum/mcp.php
Disallow: /forum/memberlist.php
Disallow: /forum/posting.php
Disallow: /forum/report.php
Disallow: /forum/search.php
Disallow: /forum/ucp.php
Disallow: /forum/viewtopic.php?p=*
Disallow: /forum/viewtopic.php?f=*&t=*&start=0$
Disallow: /forum/viewtopic.php?f=*&t=*&view=next
Disallow: /forum/viewtopic.php?f=*&t=*&view=previous
Sitemap: http://nashauk.ru/forum/sitemap.xml
Clean-param: sid /forum/index.php
Clean-param: sid /forum/viewforum.php
Clean-param: sid /forum/viewtopic.php
User-agent: Yandex
Disallow: /forum/*?sid=*
Disallow: /forum/adm/*
Disallow: /forum/download/*
Disallow: /forum/faq.php
Disallow: /forum/mcp.php
Disallow: /forum/memberlist.php
Disallow: /forum/posting.php
Disallow: /forum/report.php
Disallow: /forum/search.php
Disallow: /forum/ucp.php
Disallow: /forum/viewtopic.php?p=*
Disallow: /forum/viewtopic.php?f=*&t=*&start=0$
Disallow: /forum/viewtopic.php?f=*&t=*&view=next
Disallow: /forum/viewtopic.php?f=*&t=*&view=previous
Host: nashauk.ru
Sitemap: http://nashauk.ru/forum/sitemap.xml
Clean-param: sid /forum/index.php
Clean-param: sid /forum/viewforum.php
Clean-param: sid /forum/viewtopic.php
И как нужно выставить кравделей для бота 37.9.113.131 (37-9-113-131.spider.yandex.com)
За ранее спасибо.
Re: robots.txt для 3.1
Добавлено: 21.07.2018 16:48
PintPont
Re: robots.txt для 3.1
Добавлено: 21.07.2018 17:27
Татьяна5
feed - лента rss
link - вам видней, откуда это взялось
Re: robots.txt для 3.1
Добавлено: 21.07.2018 17:49
PintPont
Татьяна5, я правильно запретил? Disallow: /app.php/*
Re: robots.txt для 3.1
Добавлено: 21.07.2018 17:49
Татьяна5
Запретил все страницы расширений разом + некоторые страницы движка
Re: robots.txt для 3.1
Добавлено: 21.07.2018 17:53
PintPont
Татьяна5, а как правильно поступить?
Re: robots.txt для 3.1
Добавлено: 21.07.2018 17:54
Татьяна5
Разобраться, откуда взялся тот link, и если не нужен поисковикам - запретить именно его
В запрете индексирования лент смысла не вижу, они кроме как для поисковиков и не нужны толком
Re: robots.txt для 3.1
Добавлено: 21.07.2018 17:58
PintPont
в чем дело из 1000 запросов за час половину они. Не понимаю как
Re: robots.txt для 3.1
Добавлено: 21.07.2018 18:02
Татьяна5
В файлах routing.yml расширений (всех установленных) ищите, там где-то этот link
robots.txt для 3.2
Добавлено: 22.08.2018 15:22
MrBas
Здравствуйте, данная тема вроде не затрагивалась для версии 3.2
Поделитесь своим robots.txt для свежей версии пожалуйста
Re: robots.txt для 3.2
Добавлено: 22.08.2018 15:28
Siava
MrBas, robots.txt для версии форума 3.2 будет таким же, как и для
3.1.
