Инндексация постов

[dusky]

Есть файл robots.txt. Брал здесь на форуме. В принципе спамеров/роботов меньше стало, особенно после смены папки. Но вот посты не индексируются. Не подскажите, где нужно убрать Disallow, чтобы это происходило? (Так сказать минимальную конфигурацию, чтобы не все открывать)

[Siava]

dusky
Выложил бы текст сначала, а мы бы ошибки указали.

[dusky]

Он длинный...
Там вообще все запрещено, вот я бы хотел, открыть только то, что помогло бы индексации.

Код: Выделить всё

User-agent: * 
Disallow: /admin/ 
Disallow: /attach_mod/ 
Disallow: /cache/ 
Disallow: /db/ 
Disallow: /docs/ 
Disallow: /files/ 
Disallow: /images/ 
Disallow: /includes/ 
Disallow: /language/ 
Disallow: /templates/ 
Disallow: /attach_rules.php 
Disallow: /card.php 
Disallow: /common.php 
Disallow: /config.php 
Disallow: /download.php 
Disallow: /extension.inc 
Disallow: /faq.php 
Disallow: /glance.php 
Disallow: /groupcp.php 
Disallow: /login.php 
Disallow: /memberlist.php 
Disallow: /merge.php 
Disallow: /modcp.php 
Disallow: /posting.php 
Disallow: /privmsg.php 
Disallow: /profile.php 
Disallow: /quick_reply.php 
Disallow: /search.php 
Disallow: /uacp.php 
Disallow: /viewonline.php 

[Siava]

Да как бы индексация постов, тем и форумов не запрещена.. может следует подождать чуток результатов индексирования?

[dusky]

Да форум старый... в яндексе точно нет.
Нашел в корне сайта еще один robots.txt, какая-то фигня...

Код: Выделить всё

User-Agent: *
Disallow: /www /protect/
Disallow: /cgi-bin/

protect - этой папки вообще нет,
cgi-bin - она же выше www, разве можно таким образом запретить?

Может из-за этого файла глюки?
Но страницы сайта в яндксе есть.

[Siava]

dusky
Начнём с того, что файл robots.txt должен находиться только в корне сайта.
Так что уберите из него всё лишнее и перенесите содержимое robots.txt из форума в корень (удалив тот что в форуме). Разумеется и пути обновить, например
Disallow: /forum/viewonline.php

[dusky]

Так и сделаю, посмотрим, что будет. Странно, все-таки в яндексе нет постов.
Спасибо!

[pehota]

Чтобы не создавать новую тему:

Поправьте меня, если я не прав. Отдельно взятый конкретный пост индексируется лишь в том случае, если поисковик берет ссылку на него из колонки "Последнее сообщение" и т.о. подавляющее число постов поисковый робот не видит, вернее видит, но лишь скопом, посредством индексации содержимого всего топика.

[VVVas]

Поисковик индексирует страницу, а не часть страницы, так что отдельно пост он никогда не проиндексирует.

PS Для извращенцев: писать о том чтоб отображать на одной странице одно сообщение не надо - я этот вариант знаю.

[pehota]

Да, пардон. Неправильно сформулировал и не до конца выразил мысль. Поисковик естественно индексирует всю страницу полностью. Вопрос вот в чем: для SEO можно использовать разные "примочки" к phpbb, котрые составляют карту форума (например: http://boastology.com/forum/archive.php). Будет ли разумным несколько изменить карту сайта т.о., чтобы после того, как поисковый робот "нажимал" на ссылку топика, происходил не переход в топик, а ему передовался набор ссылок на каждый отдельный пост (т.е. сделать такую выборку из БД); страница же сообщения представляла бы собой линк с приглашением перейти на полную версию топика, а ниже шел бы текст сообщения. Никакой графики, ничего. Только голый текст.

Это маразм или поисковики стали бы более качественно выдавать посетителям результат поиска?

[VVVas]

А такой принцип зависит от того насколько у тебя "грязный" по содержанию форум. На "грязном" может быть и будет слегка эффективней, а на "чистом", наоборот, твой рейтинг в этом случае упадет. Но это только если будет описанный механизм, а если будет ещё и просто форум доступный для поисковика, то однозначно твой рейтинг упадет.

[DeBugger]

Здравствуйте и простите за довольно тупой вопрос...

В общем, мне нужно найти php-скрипт с двумя функциями. Первая - для инвентаризации тем на форуме. Выходные данные должны представлять собой txt-файл структуры "Имя_темы (t=номер_темы)". Больше ничего не требуется. А вторая функция скрипта - сравнение текущих тем на форуме с содержимым этого txt-файла. Выходными данными в этом случае должно быть что-то вроде: "С момента последней проверки удалены следующие темы: Имя_темы (t=номер_темы)".

Сам я в php ноль, поэтому ничего не могу. Может кто подкинет линк на такой скрипт?