Как добавить бота

[crash]

ну вот страница /adm/index.php начинается с /adm, вот ее и блокируем

[rxu]

У меня вопрос по robots.txt. В интернете противоречивая информация

http://robotstxt.org.ru/

[Murderer]

Такой вопрос у меня почему то форум не определяется ботами вообще никак
в админке посещение: никогда
сами боты в админке включены, права на форуме указаны.
Что можно сделать без переустановки форума?
P.s: phpBB 3.0.4

[Палыч]

Murderer
Придут.

[FladeX]

Murderer, проверьте свой форум валидатором. Если форум его определит, то все нормально у вас с настройками.

[ZveroBoy]

Как сделать, чтобы поисковые боты не индексировали и не выдавали в сниппете страницы вот это:

Код: Выделить всё

FAQ. Предыдущее посещение: менее минуты назад. Текущее время: 24 фев 2009, 09:22. Список форумов. Часовой пояс:

Как я понял, бот тупо проходит по самой верхушке главной страницы (стиль subsilver2).
Как заставить их индексировать, хотя бы первые темы в списке обсуждаемых тем?

На данный момент robots.txt такой:

Код: Выделить всё

User-agent: *
Disallow: /posting.php
Disallow: /report.php
Disallow: /ucp.php
Disallow: /mcp.php
Disallow: /viewonline.php
Disallow: /memberlist.php
Disallow: /search.php
Disallow: /faq.php

Правда в корень самого форума я кинул его только вчера ))) Раньше robots.txt лежал только в корне сайта.

Кстати, валидатор определил 4 ошибки:

Код: Выделить всё

 Line 136, Column 14: required attribute "type" not specified.
	<br /><script>URL='http://img.gismeteo.Ru/flash/fw88x31.swf?index=27612';w='88'

Все они связаны с анимированным баннером погоды, размещенным на главной странице. Значит ли это, что строчки с кодом информера погоды надо каким-то образом закомментировать в robots.txt?

[Alek$]

Как сделать, чтобы поисковые боты не индексировали и не выдавали в сниппете страницы вот это:

Для Яндекса есть тег <noindex>, для других - никак.

Как заставить их индексировать, хотя бы первые темы в списке обсуждаемых тем?

Никак. Захотят - проиндексируют. Не захотят - индексировать не будут.

Значит ли это, что строчки с кодом информера погоды надо каким-то образом закомментировать в robots.txt?

Нет, главное, что валидатор смог открыть ваш сайт, следовательно и боты смогут.

[Murderer]

Ещё вопрос можно ли ботов как то скрыть в плане того что бы они не отображались в Зарегистрированных пользователях: в админке такого не нашёл.

[itmgk]

Ясно, спасибо. А то я уже волноваться начал. Но почему тогда так мало в индексе? Я в robots закачал, как в первом топике рекомендовали - думал переборщил 8-)

Сделайте карту сайта, скормите ее поисковикам, и будет Вам счастье ;)

[elsinor]

Выложите кто-нибудь скрипт для добавления ботов.

Спасибо, Rayden, так тоже сканает

[Rayden]

Админка - Общие - Поисковые боты

Второй вариант:
Админка - Система - поисковые боты

[GSC]

Включил, два дня прошло, не появляются, права на форумах-всё настроено... :(

[rxu]

GSC
Боты не появляются? Тут только ждать, другого не остается.

[GSC]

GSC
Боты не появляются? Тут только ждать, другого не остается.

УРА! появился некий "W3C [Validator]" значит с настройками всё в порядке?

[crash]

GSC
прочтите наши правила