Мод автоматической модерации

[SeBun]

Всем доброго времени суток!

Признаться, в phpBB работаю недавно, и пока не слишком глубоко знаком с ним. После установки сразу начался спам.

Я уже много лет занимаюсь программированием, поэтому знаком со спам-ботами, самому доводилось писать модули к ним, включая распознавание некогда популярной Re-Captcha. Однако сейчас, запустив несколько проектов на старом добром phpBB (когда то я перевел все свои форумы на vBulletin в силу большой дырявости phpBB, но сейчас это хороший форумный движок из тех, что с лицензией GNU GPL), я столкнулся с необходимостью защиты от спама.

Проведя собственные поиски, я нашел лишь один популярный сервис в русском сегменте, способный хоть немного противостоять боту, это - всем известный cleantalk, который довольно агрессивно сейчас рекламируется. Конечно, есть и другие, но речь не о них, и даже не о cleantalk. Созданный мод, заточенный под этот сервис, внедряется в новые сборки форума и активно распространяется. Однако, учитывая тот факт, что сервис платный, да и не слишком серьезный (некоторые боты способны выбрасывать на форум до полутора миллионов постов в сутки с разных прокси, есть и более высокие цифры, у cleantalk ограничение в 300 проверок в сутки), задумался над созданием бесплатного мода.

Суть любого сервиса, аналогичного cleantalk в том, что имеется база стоп-слов, база e-mail адресов, база доменов, база прочих элементов, имеющих отношение к определению бота. Ее объем довольно большой, и сервис работает зачастую именно от объема данных, загруженных в базу. Подключаясь к этому сервису, пользователь выигрывает, так как создать самому базу тех же стоп-слов на своем форуме не представляется возможным, не говоря уже о верификации сообщений.

Возможно кто-то, прочитав следующие строки, скажет, что я начитался фантастики. Возможно и так. Но, как человек, знакомый с кодингом, я уверен в возможности реализации этой затеи. Я лишь хочу спросить мнение сообщества и людей, которые не первый год пишут моды. Мне необходима ваша точка зрения, предложения, критика, замечания, все то, что может либо сдвинуть идею в сторону реализации, либо похоронить ее на корню. Итак, суть.

Мод автоматической модерации будет проверять регистрации и постинг на основе элементов, хранящихся в базе данных. Это самый приемлемый вариант, но не дающий возможности расширения за счет наработок других копий мода, которые будут хранить результаты анализов в своих базах. Однако, что бы сделать мод бесплатным и не выделять отдельный сервер под хранилище, я хочу соединить моды всех форумов в сеть на манер облачных технологий. Централизованная база данных, как таковая, отсутствует. Скрипт мода должен самостоятельно обмениваться данными со своими копиями, установленными на других форумах. Во время проведения операции проверки мод делает запрос в "облако", а не в собственную БД, которая является, по сути, лишь частью облака. Таким образом мы получаем довольно мощный мод с практически неограниченной "памятью". Облако располагается в базах данных копий мода и используется всеми другими копиями мода, которые, в свою очередь, имеют в своей базе часть этого облака.

Прежде, чем давать комментарий, прошу ознакомиться с облачными технологиями, если Вы с ними не знакомы, а так же учесть тот факт, что в любом облаке обмен данных идет централизованно между аккаунтами. У нас в этой роли выступает сам мод. Самой сложной частью этого мода считаю механизм распределения данных в этом облаке так, что бы не вызывать излишней нагрузки на сайты, а так же защищенность облака.

Прошу откликнуться всех, кто может дать совет в проектировании логики обмена данными и транзакциями синхронизации.

[Sheer]

Антибот 100500
И больше нечего обсуждать.
Да, и научитесь пользоваться Поиск по конференции: предотвращение спама, сэкономили бы время на написание простыней.

[SeBun]

Антибот 100500
И больше нечего обсуждать.

К сожалению, данный мод не является универсальным и вся его защита базируется на неумении простых ботов обрабатывать ява-скрипт. Однако библиотеки обработчика уже есть в сети и причем давно. Продвинутые боты уже давно понимают и фреймы, и яву, так что это дело времени. Почитайте про XRumer 12.0.5, это, кажется, последний релиз. Кроме того, на рынке будут работать сильные серверные системы, платные, которые в скором времени окажутся единственной панацеей. Если Вас сейчас такой продвинутый бот обходит стороной, это не значит, что он не заинтересуется вашим сайтом завтра. А когда это случиться, Вам придется лихорадочно искать альтернативу, которой окажется платный сервис. Поймите еще такой момент: я, допустим, держу такой платный сервис, и получаю с него ежемесячный доход. Часть дохода я пускаю на рекламу своего сервиса. Но могу бросить и на разработку спам-бота, ломающего любую защиту, что бы увеличить приток клиентов и, собственно, денег. У нас антибот-моды пишут, как правило, добровольцы, но если в бота будут вложены бабки и за дело возмется профи с какого нибудь фриланса, это будет как чума. И про все эти Антиботы народ быстро забудет, так как ни один не обеспечит нужной защиты, а на вашу голову свалится спам с десятков прокси-серверов одновременно... Пока сказка, хоть и страшная, но такое я уже видел...

[Sherlock]

Модификации на подобии cleantalk только пользователей отгоняют. Когда вижу такой форум с этим модом я сразу закрываю этот форум. Там чтобы зарегистрироваться нужно "туда зайти потом туда, а потом что-то еще сделать". Короче занимает много времени. Возможно это и эффективно но это не перспективно для форумов.

Пока, что Антибот 100500 защищает и мне этого хватает. У меня вообще отключены все средства от спама на форуме и никакого спама нет.

Продвинутые боты уже давно понимают и фреймы, и яву, так что это дело времени.

Я еще не видел таких ботов. Когда появятся кто-то что-то придумает, и улучшит этот мод. Но до этого еще далеко.
Жаль, что Nekstati не заходит сюда на Guru.

[Booker]

SeBun, а в чём проблема? Если у Вас есть опыт и желание написать бесплатный мод на эту тему, так Вам и карты в руки. Здесь же размещаются именно бесплатные разработки. Возможно, кто-то и захочет им воспользоваться.

[Sheer]

Пока, что Антибот 100500 защищает и мне этого хватает. У меня вообще отключены все средства от спама на форуме и никакого спама нет.

Плюс адын.

[SeBun]

Я еще не видел таких ботов. Когда появятся кто-то что-то придумает, и улучшит этот мод.

Суть плясок с бубном в том, что появляется какая-то наработка. Как только эта наработка становится сколько-нибудь популярной, к ней находится обходной путь. И приходится искать новую наработку. Яркий тому пример - капча, которая в настоящее время неактуальна (стандартную 3d-капчу форума умела ломать еще 5-я версия хрумера). Но давай в качестве примера посмотрим принцип работы моего предложения. Бесплатность мода обеспечит популярность. Допустим, облако хранит лишь домен сайта, который пытаются раскрутить через спам. Мод автоматом определяет спам по количеству однотипных постов и заносит домен этого сайта в облако. Все моды, установленные на других сайтах, тут же начинают блокировать все сообщения, в которых есть признаки рекламы этого домена, товара, услуг и т.д. И эти посты автоматом удаляются еще на стадии премодерации модом. Зачем изобретать хитрые алгоритмы авторизации, когда это только отбивает целевую аудиторию из за нежелания проходить сложную регистрацию, которую бот легко обойдет. Но когда по первым постам на одном сайте бота начнут блокировать на всех остальных, разработка такого бота становится нецелесобразной.

Если у Вас есть опыт и желание написать бесплатный мод на эту тему, так Вам и карты в руки..

Я это знаю, но здесь два момента, о которых в первом посте я писал. Первое - я пока плохо знаком с движком. Собственно это не проблема - за вечер, полистав чужой код, понять что к чему можно. Но вторая проблема - я не могу понять механизма взаимодействия модулей между собой.

Суть в следующем: допустим у тебя есть книга. Это само облако. В этой книге буквы - это отдельные модули, слова - модульные кластеры, предложения - группы кластеров. Одна страница текста - это как раз одна ячейка этого облака. Вот во всем этом и нужно как то наладить обмен данными и обеспечить продуманную защиту, так как, как я уже говорил, данная структура не имеет централизованной базы данных, не имеет точек входа, не имеет инструментов управления и так далее. Это система, похожая на интернет, где каждый отдельный компьютер может работать и сервером, и хранилищем и т.д.

[Sherlock]

Как только эта наработка становится сколько-нибудь популярной, к ней находится обходной путь.

Ну если ты сделаешь мод который будет очень популярен, то и для твоего мода также сделают обходной путь

И эти посты автоматом удаляются еще на стадии премодерации модом.

С ботами нужно бороться в начале регистрации, а не когда они уже зарегистрированы на форуме. Если ты хочешь выжить ботов с твоего форума то есть вот такой мод: [BETA]Find_Spammer - Поиск спаммеров
Каждый бот легко обходит премодерацию.

[SeBun]

Ну если ты сделаешь мод который будет очень популярен, то и для твоего мода также сделают обходной путь

Хорошо, давай рассуждать. В приведенном мной примере мод на стадии премодерации поста выясняет, что рекламируемый сайт в черном списке. При этом никаких средств влияния извне на решение мода нет. Какой обходной путь можно придумать? Пока я вижу лишь один - если я напичкаю базу своего мода адресами существующих нормальных сайтов, тем самым попытавшись нарушить работу всего облака в целом. Вот поэтому и встает вопрос защиты от подобных действий. Других способов обойти этот мод я не вижу. Даже если он пропустит посты, он потом их все равно удалит.

С ботами нужно бороться в начале регистрации, а не когда они уже зарегистрированы на форуме.

А это возможно? По каким признакам определить, человек регается или машина? Даже если эти признаки есть, насколько трудно их подделать? Ведь человек не предоставляет скан сетчатки глаза или отпечаток пальца, хотя и эти средства скорее пассивные. У нас на работе стоят вот такие штуки, но и то защита от доступа, украв системник можно получить любую инфу.

[Sherlock]

А это возможно?

Антибот с этим справляется.

[Sheer]

Ставим 10500 в связке с [BETA] Stop spammer register
Первый отсекает ботов, второй проверяет по базе stopforumspam.com, если это человек попавший в черный список stopforumspam.com - гудбай.

[SeBun]

Антибот с этим справляется.

Да, если это мыло ранее участвовало "в деле". Нет - во всех остальных случаях.

stopforumspam.com если не прикупит выделенные сервера, то в скором времени загнется. ИМХО. Но неправильность его подхода в обработке очень динамичных данных, из за которых база раздувается на глазах. На мой взгляд проект нерентабельный. Уже сейчас их ngix не пускает даже на сайт, а ведь вышла только бета. Представьте у себя на компьютере нестабильный антивирус....

Конечно, я не стану ни осуждать, ни обсуждать ваш выбор. Я изложил свою мысль, и просил не найти мне замену, а именно пораскинуть мозгами и подумать касательно реализации этой идеи. Все же коллективный разум и гранит стирает в порошок...

[Sheer]

Sherlock писал(а):
Антибот с этим справляется.

Да, если это мыло ранее участвовало "в деле".

Отнюдь! Мыло абсолютно ни причем.

[SeBun]

Отнюдь! Мыло абсолютно ни причем.

Тогда какие критерии участвуют в транзакции обработки данных? Ладно, попробую угадать. Первое, что можно обработь - ник, состоящий из мешанины букв. 2 - время заполнения формы (обычно оно нигде не учитывается, в случае бота время, прошедшее с момента отправки формы посетителю и времени получения заполненной формы = 0.01-0.09сек.), мыло и др.

В любом случае гарантий никаких, так как сейчас боты работают в паре с гуглом, совершенствуют алгоритмы... Ладно, не буду спорить. Sheer, на сайт меня не пускают - 403 Forbidden, не ты случаем автор или соавтор этого мода?

ЗЫ: Упс, не посмотрел сразу... <realname>Alex Sheer</realname>

[Пчелкин]

Так и есть.... гы...