Как закрыть ссылки от индексации?

[sk16rus]

Вот теперь практически все понятно!
Только с модами напряженка - пробовал поставить один, но знаний не хватило :(
Огромное спасибо за помощь!

[sk16rus]

Закрыл от индексации ссылки, как мне посоветовал Палыч (и forall).
Внес исправления в файлы bbcode.tpl и bbcode.php и загрузил в корень сайта robots.txt с рекомендованным кодом.

Результаты проверял двумя способами - по программке оценки стоимости ссылок (там указывается количество внешних и внутренних ссылок на странице) и просмотром html-кода страницы.

Сразу после внесения вышеуказанных изменений перестали индексироваться ссылки в тексте сообщений.
А вот ссылки в профиле продолжают индексироваться.
В чем может быть дело?

Заранее спасибо за помощь.
С уважением

[Палыч]

В чем может быть дело?

файл robots.txt не мгновенно отрабатывается поисковиками.
+ убедиться, что он валидный (Unix кодировка, правильный синтаксис, залит в корень)

[sk16rus]

А как сделать Unix кодировку?
При попытке "Сохранить как" (из блокнота) выдает кодировку только: Юникод, Юникод Big Endian, UTF и ANSI...
А если я правлю в Total Commander'е, то есть предложение сохранить в КOI8-R.
Так наверно правильнее будет?
Спасибо.

[Палыч]

sk16rus
Блокнот не пойдёт. В FAR по shift-F2

[sk16rus]

Здравствуйте!
Пробую закрыть ссылки на форуме, у меня осталась проблема с закрытием ссылок в профиле пользователей.
Я загрузил в корень сайта файл robots.txt:

Код: Выделить всё

User-agent: *
Disallow: /forum/groupcp.php
Disallow: /forum/index.php?c=
Disallow: /forum/login.php
Disallow: /forum/memberlist.php
Disallow: /forum/posting.php
Disallow: /forum/privmsg.php
Disallow: /forum/profile.php
Disallow: /forum/search.php
Disallow: /forum/viewonline.php

Проверяю работу файла в Яндексе (Вебмастер, анализ robots.txt)
При проверке (к примеру) профиля пользователя http://sk16.ru/forum/viewtopic.php?p=198#198 Яндекс пишет, что URL не пренадлежит моему сайту, а при проверке того же адреса, но с www - http://www.sk16.ru/forum/viewtopic.php?p=198#198 результат проверки - "разрешен" . При этом внешние ссылки на этой страничке продолжают индексироваться.
Подскажите пожалуйста:
- что значит в результате проверки "разрешен" ?
- что мне предпринять, чтобы ссылки все-таки не индексировались?
- или необходимо еще подождать?

Заранее Большое спасибо.
С уважением


С данным вопросом разобрался. Всем большое спасибо за помощь.

[sk16rus]

Господа, интересный момент.
Робот Яндекса прочитал файл robots.txt и принял его к сведению.
Я захожу на свой форум (где с помощью robots.txt запрещена индексация внешних ссылок в профиле пользователя), перехожу на страничку списка пользователей, где указаны их сайты (http://sk16.ru/forum/memberlist.php) и проверяю наличие внешних ссылок (перед этим упорядочив список по наличию у пользователей сайтов).
В результате вижу, что от индексации закрыты все ссылки кроме одной (!) которая ведет на сайт http://www.aviachamp.com

Проверял с помощью этих страничек: linum.mohito.ru и vface.controlstyle.ru

В чем может быть дело? Почему одна ссылка продолжает индексироваться?
(Пробовал в админке убрать сайт этого пользователя - проверка показывает 0 внешних ссылок)

Спасибо
С уважением

[uznaipravdu]

Мне надо что-бы только одно сообщение не индекировалось поисковиками.
Если я напишу вот так
Disallow: /forum/viewtopic.php?t=1234

Будет ли робот исключать толко одно это сообщение, обратит ли он внимание на знак ?
Или он закроет все топики Disallow: /forum/viewtopic.php

[Alek$]

uznaipravdu
он будет игнорировать только те страницы, которые начинаются на /forum/viewtopic.php?t=1234
Но нужно иметь ввиду, что на сообщение можно сослаться и таким образом:

Код: Выделить всё

/forum/viewtopic.php?p=19275

[lime]

Доброе утро.
Вопрос: я сделал все, что выше сказано. Внес изменения в bbcode.tpl и bbcode.php Изменил robots.txt в unix и загрузил. После чего проверил в linum.mohito.ru. Индеец Мохито подтвердил мне, что в постах ссылки закрыты для яндекса, но не подтвердил, что они теперь закрыты и для гугля. А также сказал, что остались открыты прямые ссылки в панелях участников форума под их постами, где значки WWW, ICQ и т.д.
Как эту засаду закрыть?
Или можно индейцу не верить?
Как стерелизовать страницу полностью от индексации ссылок?
А то боты шарят как крысы по бакалейной лавке.
Вопрос может и ламерский, но вот это все в определенном смысле мое хобби, которым я занимаюсь после совершенно не имеющего никакого отношения к phpbb рабочего дня.
Кстати, кто скажет: раздел admin изначально закрыт для поисковиков, или его стоит закрыть в robots.txt?

[Alek$]

А то боты шарят как крысы по бакалейной лавке.

Дак это и хорошо. Это значит, что ваш форум любим ботами и хорошо индексируется.

Кстати, кто скажет: раздел admin изначально закрыт для поисковиков, или его стоит закрыть в robots.txt?

Изначально закрыт.

[lime]

Изначально закрыт.

Сэнкс. :D
Но вопрос по по вот этой дюлине

остаеЦЦа открытым.
Как сделать ссылки с кнопок невидимыми для ботов?

[lime]

Ауууууу! Люююдииии!? Где вы.....? :?:

[crash]

lime
прочтите правила. Спасибо

[Alek$]

lime
во viewtopic.php находите вот эти куски и правите как надо:

Код: Выделить всё

$profile_img = '<a href="' . $temp_url . '"><img src="' . $images['icon_profile'] . '" alt="' . $lang['Read_profile'] . '" title="' . $lang['Read_profile'] . '" border="0" /></a>';

Код: Выделить всё

$pm_img = '<a href="' . $temp_url . '"><img src="' . $images['icon_pm'] . '" alt="' . $lang['Send_private_message'] . '" title="' . $lang['Send_private_message'] . '" border="0" /></a>';

Код: Выделить всё

$email_img = '<a href="' . $email_uri . '"><img src="' . $images['icon_email'] . '" alt="' . $lang['Send_email'] . '" title="' . $lang['Send_email'] . '" border="0" /></a>';

Код: Выделить всё

$www_img = ( $postrow[$i]['user_website'] ) ? '<a href="' . $postrow[$i]['user_website'] . '" target="_userwww"><img src="' . $images['icon_www'] . '" alt="' . $lang['Visit_website'] . '" title="' . $lang['Visit_website'] . '" border="0" /></a>' : '';