[DEV] AntiSpider

Сообщение **Siava** » 02.11.2005 15:57

Grohman
А я думал, что спайдеры ползают по всем ссылкам, которые встречаются в контенте, что если этот mln.php запихать поглубже, то всё-равно на него зайдут.

Grohman · Сообщение **Grohman** » 02.11.2005 15:59

зайти-то зайдут, но одно дело если они на него зайдут сразу после захода на сайт, другое если они успеют чего-нибудь с сайта стащить прежде чем зайдут на mln.php

Pr0fi · Сообщение **Pr0fi** » 16.10.2007 10:54

Столкнулся недавно с подобной проблемой. На мой взгляд проще реализовать запись блокированного ип напрямую в htaccess, не заморачиваясь с бд. Скрытую ссылку оформлять как комментарий. Браузеры комментарии игнорируют, а пауки читают всё подряд. Ну и поисковики лучше отсеивать по юзер-агенту, в дополнение к robots.txt, т.к., как показывает практика, они не всегда следуют его директивам.

PhoeNiXX · Сообщение **PhoeNiXX** » 19.12.2007 20:47

Pr0fi писал(а): Ну и поисковики лучше отсеивать по юзер-агенту, в дополнение к robots.txt, т.к., как показывает практика, они не всегда следуют его директивам.

а можно по-подробней - как это сделать?
И по поводу оформления скрытой ссылки как комментария - точно пауки ее будут читать, а поисковики нет?

Добавлено спустя 3 часа 46 минут 8 секунд:

Люди, я тут подумал, особо одаренные пользователи могут посмотреть исходный код вашего overall_header.tpl, (точнее не самого tpl, а код скомпиллированной страницы у них в браузере) найти там эту скрытую ссылку и потом постить ссылки на эту .php на вашем форуме - большая часть любопытных юзеров попадут в бан :wink:
Так что...как с таким бороться?

Сообщение **Siava** » 20.12.2007 0:03

PhoeNiXX писал(а):как с таким бороться?

Применять действие этой ссылки на тех, кто её постит + поменять название или путь к ней.