[DEV] AntiSpider

[DedPichto]

Нет, не так выглядит, вот этого не было: User-agent: *
Эко я притормозил. Сейчас добавлю.

[Егор Наклоняев]

(разглядывает банку с пауками) А вот и мой скромный улов:
208.223.208.181
61.30.127.5
213.182.163.11
195.5.54.38
195.38.22.163
213.147.57.194
217.20.167.145
194.237.11.66
64.110.93.105

Кто еще пользуется и что поймал?

[Conductor]

Спасибо, к своему стыду признаюсь, не знал об этом чисто русском изобретении - таги <noindex></noindex>.
Вопрос к Егору - с удовольствием возьму на вооружение Ваш трюк - мод, только сначала хотел бы спросить - стоит ли опасаться клизмы от не руских поисковиков, может ли такое квалифицироваться как скрытый от юзеров контент, линк?

[Егор Наклоняев]

Conductor
Согласно стандарту на поисковые машины, роботы не имеют право лазить по сайту в разделах, запрещенных robots.txt.
Именно на том и построен трюк, что для порядочных роботов этот файл запрещен к индексации.
Тэги <noindex></noindex> в данном случае использовать не советую, они не стандартны.
Что же касается "клизмы", то мы, на мой взгляд, ничего не нарушаем.

[Conductor]

Ко второй части мода - спрятать файл, капкан, действительно не придерёшься, всё по правилам. Не было бы вопросов и к первой части, если бы буржуи уважали русские таги, пропусти, не читай это место. Я потому и спрашивал о не русских поисковиках, пока этого нет, в принципе возможна придирка к конструкции самой страницы - hidden, invisible link.
Бережённого Бог бережёт или иначе, better to be safe then sorry. Может возможно как то хитрее сделать? Хотелось бы видеть безупречное решение, мод.
Спасибо!

[Siava]

Егор Наклоняев
Поставил себе, буду тестить

Вопросик, а на какой именно email высылается уведомление? На email админа(ов) или на тот, что в конфигурации форума?

[Егор Наклоняев]

Siava
Тот, что в конфигурации форума.

[Chemist]

На ELIST.WS была зафиксирована попытка скачать сайт:

Username: Anonymous
IP: 65.54.188.67
User agent: msnbot/1.0 (+http://search.msn.com/msnbot.htm)

robot.txt:

User-agent: *
Disallow: /nlm.php (поменял название, как и рекомендовал)

Вопрос: почему msn попал в отцтой и нужно ли его оттуда вытаскивать?

Добавлено спустя 36 минут 39 секунд:

Удалил msn из бана и конструкцию

Код: Выделить всё

<a href="nlm.php"></a>

заменил на

Код: Выделить всё

<noindex><a href="nlm.php"></a></noindex>

Теперь msn нормально шарит.

Остался вопрос - стоит ли msn оставлять в живых? Русские им не пользуются, а иностранцы мне неинтересны. А трафик он пожирает прилично!

[Siava]

Некоторые результаты есть

Код: Выделить всё

Username: Anonymous
IP: 65.19.169.230
User agent: OmniExplorer_Bot/1.07 (+http://www.omni-explorer.com) Internet Categorizer

Код: Выделить всё

Username: Anonymous
IP: 65.19.169.228
User agent: OmniExplorer_Bot/1.07 (+http://www.omni-explorer.com) Internet Categorizer

Код: Выделить всё

Username: Anonymous
IP: 62.133.170.72
User agent: Mozilla/4.0 (compatible; MSIE 5.0; Windows 98)

Добавлено спустя 39 секунд:

Что за бот такой OmniExplorer_Bot/1.07 ?

[Егор Наклоняев]

Siava
http://www.psychedelix.com/agents3.html

OmniExplorer car & shopping search (64.62.175.xxx) - based on YottaCars... (see there)

Думаю, Вы без него переживёте...
Mozilla/4.0 (compatible; MSIE 5.0; Windows 98) - скорее всего паук, собирающий е-почту. Очень много бегает их.

Что же касается MSN, то они и вправду нахально плюют на robots.txt.

[Chemist]

И я этот категоризёр поймал

Код: Выделить всё

Username: Anonymous 
IP: 65.19.150.228 
User agent: OmniExplorer_Bot/1.07 (+http://www.omni-explorer.com) Internet Categorizer

[ROM@N]

Сорки что поднимаю старую тему. Поставил этот мод, переименовал файл в cskill.php. Но у меня банит рамблер:

На .:csmania:. была зафиксирована попытка скачать сайт:

Username: Anonymous
IP: 81.19.66.39
User agent: StackRambler/2.0 (MSIE incompatible)

В робот:

User-agent: *
Disallow: /forum/cskill.php

В чем рабл ? =)

[Grohman]

Извините что поднимаю старую тему, но есть одна непонятка.
Я установил этот мод на свой форум, всё чудно работает, банит спайдеров, всё круто
Но вот сегодня мне пришло письмо от юзера, который просил его разбанить. Он сказал что нажал кнопку tab, а затем enter находясь в форме быстрого ответа. Таким образом он перешёл на страницу с автобаном.
Я проверил - это возмоно в IE и в Firefox. В Опере несмотрел.
Сейчас я вставил страничку между форумом и автобаном с просьбой для юзеров не ходить по этой ссылке, но это решение мне кажется неэффективным. Получится эффект лампочки в действии.
Можно было бы сделать кучу пустых ссылок в хедере, чтоб если юзер и нажмёт tab+enter из формы быстрого ответа, то всё равно баниться не будет. Но такое пережёвывание проблемы тоже кажется мне не очень подходящим.

Как вы думаете, каким образом можно было бы присечь подобные действия со стороны юзеров? Как запретить им тыкать кнопку tab?

[Siava]

Подтверждаю, только у меня после двух нажатий TAB и Enter.

Grohman
Наверно надо ссылку на mln.php в шапке форума переместить куда-нибудь подальше от начала.

[Grohman]

Если это не будет первой ссылкой в хедере, то это не будет первым местом на форуме куда будут попадать спайдеры...

сейчас решил остановиться на этом:
в хедер написал <a href="about:blank"></a><a href="about:blank"></a><a href="about:blank"></a><a href="mln.php"></a>

но было бы интересно узнать решил ли кто-нибудь эту проблему другими способами