[CKOTuHA]

Т. к. мой форум еще не столь популярен чтоб сделать его не публичным - сейчас на нем могут постить и гости, но есть большая проблемма - рекламные БОТЫ! Как от них избавиться?

Добавлено спустя 48 минут 12 секунд:

Все ботовские посты я не удалял а перемещал в форум-отстойник, доступ к которому только у админов - и вот я проанализировал последние:

IP 83.237.45.185
Прокси Без прокси
User-Agent Mozilla/3.0 (compatible; Indy Library)

IP 212.34.56.163
Прокси Без прокси
User-Agent Mozilla/3.0 (compatible; Indy Library)

IP 83.237.45.238
Прокси Без прокси
User-Agent Mozilla/3.0 (compatible; Indy Library)

IP 212.34.56.163
Прокси Без прокси
User-Agent Mozilla/3.0 (compatible; Indy Library)

IP 83.237.45.154
Прокси Без прокси
User-Agent Mozilla/3.0 (compatible; Indy Library)

IP 83.237.45.154
Прокси Без прокси
User-Agent Mozilla/3.0 (compatible; Indy Library)

IP 195.210.144.63
Прокси Без прокси
User-Agent Mozilla/3.0 (compatible; Indy Library)

IP 217.20.215.115
Прокси Без прокси
User-Agent Mozilla/3.0 (compatible; Indy Library)

А теперь вопрос для самых сообразительных и внимательных! Что общего вы видите?

[avm]

Вашу проблему легко решить посредством .htaccess
читайте документацию на Apache на предмет "BrowserMatch" и "SetEnvIf" директив.

[CKOTuHA]

да вы что!? это я только что сделал - ну а если в конфигах бота спамер сменит агента? здесь я ток выложил те логи где прописался клиент с Indy Library, а остальных море...

[avm]

ну дак если есть некие признаки, по которым их можно вычислить - сообщите, подумаем...

А в качестве общего варианта решения - закрыть постинг гостям и включить "визуальное подтверждение" при регистрации. И не морочить себе голову сложными решениями только для того чтобы оставить право голоса анонимам...

[CKOTuHA]

avm писал(а):ну дак если есть некие признаки, по которым их можно вычислить - сообщите, подумаем...

да никак! если бы я знал как это можно сделать я б тут не писал...

avm писал(а):А в качестве общего варианта решения - закрыть постинг гостям

Вы что то путаете, я ведь четко написал что не хочу отключать постинг для гостей!

avm писал(а):и включить "визуальное подтверждение" при регистрации

не внимательно Вы читаете - про зарегистрированных пользователей я и не упоминал, с ними проблем нет

avm писал(а):И не морочить себе голову сложными решениями только для того чтобы оставить право голоса анонимам...

Ну это мое личное дело, кому дать право голоса а кого его лишить, это решение самое простое... потому я и прошу раскинуть Вас мозгами для решения этой проблемы

[VVVas]

CKOTuHA писал(а):Вы что то путаете, я ведь четко написал что не хочу отключать постинг для гостей!

Тогда VC на каждый пост гостя. И Disable Spambots для всех. У меня стоит проблем не имею.

И ещё вопрос - а зачем в сотый раз обсасывать эту тему если всё уже обсосано?

[Siava]

Я у себя в .htaccess как-то добавил вот это, незнаю, насколько ли актуален этот список, но пусть будет =)

RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} ^BlackWidow [OR]
RewriteCond %{HTTP_USER_AGENT} ^Bot\ mailto:craftbot@yahoo.com [OR]
RewriteCond %{HTTP_USER_AGENT} ^ChinaClaw [OR]
RewriteCond %{HTTP_USER_AGENT} ^Custo [OR]
RewriteCond %{HTTP_USER_AGENT} ^DISCo [OR]
RewriteCond %{HTTP_USER_AGENT} ^Download\ Demon [OR]
RewriteCond %{HTTP_USER_AGENT} ^eCatch [OR]
RewriteCond %{HTTP_USER_AGENT} ^EirGrabber [OR]
RewriteCond %{HTTP_USER_AGENT} ^EmailSiphon [OR]
RewriteCond %{HTTP_USER_AGENT} ^EmailWolf [OR]
RewriteCond %{HTTP_USER_AGENT} ^Express\ WebPictures [OR]
RewriteCond %{HTTP_USER_AGENT} ^ExtractorPro [OR]
RewriteCond %{HTTP_USER_AGENT} ^EyeNetIE [OR]
RewriteCond %{HTTP_USER_AGENT} ^FlashGet [OR]
RewriteCond %{HTTP_USER_AGENT} ^GetRight [OR]
RewriteCond %{HTTP_USER_AGENT} ^GetWeb! [OR]
RewriteCond %{HTTP_USER_AGENT} ^Go!Zilla [OR]
RewriteCond %{HTTP_USER_AGENT} ^Go-Ahead-Got-It [OR]
RewriteCond %{HTTP_USER_AGENT} ^GrabNet [OR]
RewriteCond %{HTTP_USER_AGENT} ^Grafula [OR]
RewriteCond %{HTTP_USER_AGENT} ^HMView [OR]
RewriteCond %{HTTP_USER_AGENT} HTTrack [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^Image\ Stripper [OR]
RewriteCond %{HTTP_USER_AGENT} ^Image\ Sucker [OR]
RewriteCond %{HTTP_USER_AGENT} Indy\ Library [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^InterGET [OR]
RewriteCond %{HTTP_USER_AGENT} ^Internet\ Ninja [OR]
RewriteCond %{HTTP_USER_AGENT} ^JetCar [OR]
RewriteCond %{HTTP_USER_AGENT} ^JOC\ Web\ Spider [OR]
RewriteCond %{HTTP_USER_AGENT} ^larbin [OR]
RewriteCond %{HTTP_USER_AGENT} ^LeechFTP [OR]
RewriteCond %{HTTP_USER_AGENT} ^Mass\ Downloader [OR]
RewriteCond %{HTTP_USER_AGENT} ^MIDown\ tool [OR]
RewriteCond %{HTTP_USER_AGENT} ^Mister\ PiX [OR]
RewriteCond %{HTTP_USER_AGENT} ^Navroad [OR]
RewriteCond %{HTTP_USER_AGENT} ^NearSite [OR]
RewriteCond %{HTTP_USER_AGENT} ^NetAnts [OR]
RewriteCond %{HTTP_USER_AGENT} ^NetSpider [OR]
RewriteCond %{HTTP_USER_AGENT} ^Net\ Vampire [OR]
RewriteCond %{HTTP_USER_AGENT} ^NetZIP [OR]
RewriteCond %{HTTP_USER_AGENT} ^Octopus [OR]
RewriteCond %{HTTP_USER_AGENT} ^Offline\ Explorer [OR]
RewriteCond %{HTTP_USER_AGENT} ^Offline\ Navigator [OR]
RewriteCond %{HTTP_USER_AGENT} ^PageGrabber [OR]
RewriteCond %{HTTP_USER_AGENT} ^Papa\ Foto [OR]
RewriteCond %{HTTP_USER_AGENT} ^pavuk [OR]
RewriteCond %{HTTP_USER_AGENT} ^pcBrowser [OR]
RewriteCond %{HTTP_USER_AGENT} ^RealDownload [OR]
RewriteCond %{HTTP_USER_AGENT} ^ReGet [OR]
RewriteCond %{HTTP_USER_AGENT} ^SiteSnagger [OR]
RewriteCond %{HTTP_USER_AGENT} ^SmartDownload [OR]
RewriteCond %{HTTP_USER_AGENT} ^SuperBot [OR]
RewriteCond %{HTTP_USER_AGENT} ^SuperHTTP [OR]
RewriteCond %{HTTP_USER_AGENT} ^Surfbot [OR]
RewriteCond %{HTTP_USER_AGENT} ^tAkeOut [OR]
RewriteCond %{HTTP_USER_AGENT} ^Teleport\ Pro [OR]
RewriteCond %{HTTP_USER_AGENT} ^VoidEYE [OR]
RewriteCond %{HTTP_USER_AGENT} ^Web\ Image\ Collector [OR]
RewriteCond %{HTTP_USER_AGENT} ^Web\ Sucker [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebAuto [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebCopier [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebFetch [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebGo\ IS [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebLeacher [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebReaper [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebSauger [OR]
RewriteCond %{HTTP_USER_AGENT} ^Website\ eXtractor [OR]
RewriteCond %{HTTP_USER_AGENT} ^Website\ Quester [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebStripper [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebWhacker [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebZIP [OR]
RewriteCond %{HTTP_USER_AGENT} ^Wget [OR]
RewriteCond %{HTTP_USER_AGENT} ^Widow [OR]
RewriteCond %{HTTP_USER_AGENT} ^WWWOFFLE [OR]
RewriteCond %{HTTP_USER_AGENT} ^Xaldon\ WebSpider [OR]
RewriteCond %{HTTP_USER_AGENT} ^Zeus
RewriteRule ^.* - [F,L]

[CKOTuHA]

Siava, огромное спасибо! А кто в курсе что же это за библиотека такая Indy Library?

[Romiyo]

CKOTuHA, http://gruzoboz.fecity.ru/2004/03/02/1/

Китайские пауки
Только что прибегал быстрый и наглый паук.
Представился как Mozilla/3.0 (compatible; Indy Library)


Решил выяснить, что это за зверь. Оказалось, что под таким User-agent может зайти любой бот, написанный с использованием библиотеки Indy Library. Эта библиотека доступна по адресам http://www.nevrona.com/Indy или http://indy.torry.net. Распространяется на условиях Open Source license, существуют варианты для Borland Delphi 6, 7, C++Builder 6 и для всех версий Kylix (про такое я даже не слышал).

К сожалению, эта безобидная библиотека широко используется многими спам-ботами, особенно китайскими. По крайней мере, многие специалисты сообщают, что ВСЕ спам-боты, авторы которых не удосужились поменять User-agent Mozilla/3.0 (compatible; Indy Library), прописанный в библиотеке по умолчанию, имеют китайское происхождение.

Если верить такому источнику, как List of Bad Bots на Kloth.Net, паук, который заходил ко мне - это спам-бот, собирающий e-mail адреса для рассылки спама:
spam mail address harvesting bot, Beijing Gold, sina.com, CN. Sending spam for seekercenter.net, imagespool.com.
Правда та особь, что побывала у меня в сборе email-ов замечена не была. Еще этот бот известен тем, что он полностью игнорирует файл robots.txt. Он его даже не пытается искать, как это делают нормальные поисковые боты перед изучением сайта. Неудивительно. Спам-бот - он и есть спам-бот.

Придется занести этого паучка в черный список. Ибо нефиг email-ы тырить.

[CKOTuHA]

Один знающий человек предложил не извращаться с .htacces, а добавить в common.php следующее:

Код: Выделить всё

if ($_SERVER['HTTP_USER_AGENT'] == 'Mozilla/3.0 (compatible; Indy Library)') {die('Боты идут лесом!');}

проверено, работает

[avm]

а как же:

CKOTuHA писал(а):ну а если в конфигах бота спамер сменит агента?

чем решение:

VVVas писал(а):Тогда VC на каждый пост гостя.

не подошло?
http://phpbbguru.net/community/viewtopi ... sual#51860

CKOTuHA писал(а):Один знающий человек предложил

гы... видно сильно знающий, коль такое решение вместо .htaccess предложил...

[Romiyo]

Siava писал(а):Я у себя в .htaccess как-то добавил вот это

Подскажи, почему мой сервак ругается ошибкой 403 при добавлении этих строк? Замечал такую же байду (с RewriteEngine on), когда какой-то мод ставил...

[Siava]

Romiyo
А у тебя на хостинге модуль апача Rewrite включен? Спроси в суппорте =)

[Romiyo]

Siava писал(а):модуль апача Rewrite включен?

так точно, включён..

[okcorp]

http://www.phpbb.com/phpBB/viewtopic.php?t=354376
неплохой антиспамерский мод
если уж бот прорвался и зарегистрировался