robots.txt для 3.x

[Sheer]

А причем тут Управление ссылками? Или все равно в какой теме брякнуть?

Отправлено спустя 1 минуту 13 секунд:
Со своими проблемами сюда robots.txt для 3.1

[aleksndr]

Тут я начинал эту тему,здесь решил продолжить

[Татьяна5]

Потому что файл на сервер не залит.

[aleksndr]

Как это?,скриншот первого изображения сделан с fizilla с файла robots.txt,который лежит в корне

[Sheer]

Тут я начинал эту тему

Считай что предупреждение получил именно из-за этого.

Отправлено спустя 17 минут 4 секунды:
Re: robots.txt для 3.1

этих изминений нет почему то

А у меня почему-то измИнения видны. А почему бы кеш браузера не почистить?

Отправлено спустя 2 минуты 4 секунды:
Re: robots.txt для 3.1

Использование robots.txt - мануал от яндекса

https://yandex.ru/support/webmaster/con ... ml?lang=ru

Проверьте файл в сервисе Яндекс.Вебмастер (пункт меню Анализ robots.txt).

[aleksndr]

А у меня почему-то измИнения видны. А почему бы кеш браузера не почистить?

Удалил нафиг этот robots.txt
из public_html и из public_shtml (там он то же был от ПУ,такого вида-

Код: Выделить всё

# vestacp autogenerated robots.txt
User-agent: *
Crawl-delay: 10

И да же после этого по ссылке https://www.сайт.pro/robots.txt , он открывается.
Историю в месте с кешем,куками и тд. чистил на 3х браузерах!И с телефона заходит.

Отправлено спустя 5 минут 58 секунд:
В Яндексвебмастере, тоже кажет.Толко при обновлении,показывает по разному.То

Код: Выделить всё

User-agent: *
Disallow: /*?sid=*

То

Код: Выделить всё

User-agent: *
Disallow: /link/*
Disallow: /*?sid=*

[Sheer]

Есть еще серверный кеш.

[aleksndr]

А у меня почему-то измИнения видны. А почему бы кеш браузера не почистить?

По чему тогда яша жрет эти ссылки?

[Sheer]

А потому

Есть еще серверный кеш

[aleksndr]

А потому

Есть еще серверный кеш

Весь интернет перелопатил,не нашел где и как его чистить?

[Sheer]

У хостера своего поинтересуйтесь.

[ciiz1]

Crawl-delay: 0.5
Allow: /$
Allow: /index.
Allow: /forum/$
Allow: /forum/index.php$
Allow: /forum/index.php?map=1
Allow: /forum/viewforum.php?f=
Allow: /forum/viewtopic.php?t=
Disallow: /
Host: мой

Вот ещё от этого варианта можете плясать

[ciiz1]

Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php


А не правильнее бы было писать

Clean-param: &sid /index.php
Clean-param: &sid /viewforum.php
Clean-param: &sid /viewtopic.php

[ciiz1]

Google вот такой адрес находит phpbb 3.2
******rum.ru/assets/javascript/core.js?assets_version=255 и т.п.
это можно закрывать от индексирования?

[Татьяна5]

Нежелательно, гугл javascript понимает