robots.txt для 3.x

[apollion]

Яндекс иногда жрет ссылки, которых нет на форуме и никогда не было. Потом выаплевывает и жрет новые. Борь ба с этим не особо помогает, он новые тащит. Но немного, штук по 5 за каждый апдейт.

Типа - пример для примера:

Код: Выделить всё

https://www.phpbbguru.net/community/1
https://www.phpbbguru.net/community/%F
https://www.phpbbguru.net/community/m
https://www.phpbbguru.net/community/xz

[ciiz1]

Нежелательно, гугл javascript понимает

Я так и подумал.

[misterleks]

У меня яндекс забирает вот такие ссылки

Код: Выделить всё

/thankslist/givens/185/true
/thankslist/givens/211/false
/thankslist/givens/58/true
/thankslist/givens/65/false

Нужны ли они? Или стоит закрыть от ботов?

[ciiz1]

Disallow: /thankslist
Если форум про список благодарностей, то не надо, а так я бы закрыл.

[PintPont]

Доброго часа всем. Посмотрите пожалуйста правильный код? И туда ли я добавил файл, форум расположен в папке http - в него и закинул файл верно?

Код: Выделить всё

User-agent: *
Disallow: /forum/*?sid=*
Disallow: /forum/adm/*
Disallow: /forum/download/*
Disallow: /forum/faq.php
Disallow: /forum/mcp.php
Disallow: /forum/memberlist.php
Disallow: /forum/posting.php
Disallow: /forum/report.php
Disallow: /forum/search.php
Disallow: /forum/ucp.php
Disallow: /forum/viewtopic.php?p=*
Disallow: /forum/viewtopic.php?f=*&t=*&start=0$
Disallow: /forum/viewtopic.php?f=*&t=*&view=next
Disallow: /forum/viewtopic.php?f=*&t=*&view=previous
Sitemap: http://nashauk.ru/forum/sitemap.xml
Clean-param: sid /forum/index.php
Clean-param: sid /forum/viewforum.php
Clean-param: sid /forum/viewtopic.php

User-agent: Yandex
Disallow: /forum/*?sid=*
Disallow: /forum/adm/*
Disallow: /forum/download/*
Disallow: /forum/faq.php
Disallow: /forum/mcp.php
Disallow: /forum/memberlist.php
Disallow: /forum/posting.php
Disallow: /forum/report.php
Disallow: /forum/search.php
Disallow: /forum/ucp.php
Disallow: /forum/viewtopic.php?p=*
Disallow: /forum/viewtopic.php?f=*&t=*&start=0$
Disallow: /forum/viewtopic.php?f=*&t=*&view=next
Disallow: /forum/viewtopic.php?f=*&t=*&view=previous
Host: nashauk.ru
Sitemap: http://nashauk.ru/forum/sitemap.xml
Clean-param: sid /forum/index.php
Clean-param: sid /forum/viewforum.php
Clean-param: sid /forum/viewtopic.php

И как нужно выставить кравделей для бота 37.9.113.131 (37-9-113-131.spider.yandex.com)
За ранее спасибо.

[PintPont]

Заметил что робот очень часто посещает app.php/link, app.php/feed/topic, за что они отвечают, может запретить их посещать роботам?

[Татьяна5]

feed - лента rss
link - вам видней, откуда это взялось

[PintPont]

Татьяна5, я правильно запретил? Disallow: /app.php/*

[Татьяна5]

Запретил все страницы расширений разом + некоторые страницы движка

[PintPont]

Татьяна5, а как правильно поступить?

[Татьяна5]

Разобраться, откуда взялся тот link, и если не нужен поисковикам - запретить именно его
В запрете индексирования лент смысла не вижу, они кроме как для поисковиков и не нужны толком

[PintPont]

в чем дело из 1000 запросов за час половину они. Не понимаю как

[Татьяна5]

В файлах routing.yml расширений (всех установленных) ищите, там где-то этот link

[MrBas]

Здравствуйте, данная тема вроде не затрагивалась для версии 3.2
Поделитесь своим robots.txt для свежей версии пожалуйста

[Siava]

MrBas, robots.txt для версии форума 3.2 будет таким же, как и для 3.1.