Атака китайских ботов

[rxu]

Но там ведь вы не говорили придерживаться обсуждаемой темы!

Беспредметное обсуждение. Я просил придерживаться темы здесь.

[rxu]

Здесь тоже больше сотни ботов с адресами Амазон и китайских подсетей. Не уверен, надо ли их блочить, если сервер не падает.

[vit_pro]

Но там ведь вы не говорили придерживаться обсуждаемой темы!

Беспредметное обсуждение. Я просил придерживаться темы здесь.

Скину свой htaccess с блокировкой по AfriNIC, APNIC, LACNIC плюс блэк бот. Не претендую на идеал, но это cidr к ранее перечисленным странам, которые вряд ли вам нужны и не стоит вбивать огромные списки ip range:

Код: Выделить всё

Order Deny,Allow
# AfriNIC:
Deny from 41 102 105 197
# APNIC:
Deny from 1 14 27 36 39
Deny from 42.0.0.0/7
Deny from 49
Deny from 58.0.0.0/7
Deny from 60.0.0.0/7
Deny from 101 103 106
Deny from 110.0.0.0/7
Deny from 112.0.0.0/5
Deny from 120.0.0.0/6
Deny from 124.0.0.0/7
Deny from 126 133 175 180
Deny from 182.0.0.0/7
Deny from 202.0.0.0/7
Deny from 210.0.0.0/7
Deny from 218.0.0.0/7
Deny from 220.0.0.0/6
# LACNIC:
Deny from 177 179 181
Deny from 186.0.0.0/7
Deny from 189
Deny from 190.0.0.0/7
Deny from 200.0.0.0/7

SetEnvIfNoCase Referer "your-server.de|dediextern.your-server.de|hetzner.de|clients.your-server.de|static.clients.your-server.de|ip-51-75-146.eu|ovh.ie|ns3133399.ip-51-75-146.eu|hosted-by-vdsina.ru|v*.hosted-by-vdsina.ru" bad_referer
Order Allow,Deny
# БЛОК БОТ
Allow from ALL
Deny from env=bad_referer
SetEnvIfNoCase User-Agent "Abonti|AspiegelBot|aggregator|AhrefsBot|Aport|asterias|Baiduspider|Nimbostratus-Bot|BDCbot|Birubot|BLEXBot|BuiltBotTough|Bullseye|BunnySlippers|Butterfly|ca\-crawler|CamontSpider|CCBot|Cegbfeieh|CheeseBot|CherryPicker|coccoc|CopyRightCheck|cosmos|crawler|Crescent|CyotekWebCopy/1\.7|CyotekHTTP/2\.0|DeuSu|discobot|DittoSpyder|DnyzBot|DomainCrawler|DotBot|Download Ninja|EasouSpider|EmailCollector|EmailSiphon|EmailWolf|EroCrawler|Exabot|ExtractorPro|Ezooms|FairShare|Fasterfox|FeedBooster|Foobot|Genieo|GetIntent\ Crawler|Gigabot|gold\ crawler|GrapeshotCrawler|grub\-client|Harvest|hloader|httplib|HTTrack|humanlinks|HybridBot|ia_archiver|ieautodiscovery|Incutio|InfoNaviRobot|InternetSeer|IstellaBot|Java|Java/1\.|JamesBOT|JennyBot|JS-Kit|k2spider|Kenjin Spider|Keyword Density/0\.9|kmSearchBot|larbin|LexiBot|libWeb|libwww|Linguee|LinkExchanger|LinkextractorPro|linko|LinkScan/8\.1a Unix|LinkWalker|lmspider|LNSpiderguy|ltx71|lwp-trivial|lwp\-trivial|magpie|Mata Hari|MaxPointCrawler|MegaIndex|memoryBot|Microsoft URL Control|MIIxpc|Mippin|Missigua Locator|Mister PiX|MJ12bot|MLBot|moget|MSIECrawler|msnbot|msnbot-media|NetAnts|NICErsPRO|Niki\-Bot|NjuiceBot|NPBot|Nutch|Offline Explorer|OLEcrawler|Openfind|panscient\.com|PostRank|ProPowerBot/2\.14|ProWebWalker|ptd-crawler|Purebot|PycURL|Python\-urllib|QueryN Metasearch|RepoMonkey|Riddler|RMA|Scrapy|SemrushBot|serf|SeznamBot|SISTRIX|SiteBot|sitecheck\.Internetseer\.com|SiteSnagger|Serpstat|Slurp|SnapPreviewBot|Sogou|Soup|SpankBot|spanner|spbot|Spinn3r|SpyFu|suggybot|SurveyBot|suzuran|SWeb|Szukacz/1\.4|Teleport|Telesoft|The Intraformant|TheNomad|TightTwatBot|Titan|toCrawl/UrlDispatcher|True_Robot|ttCrawler|turingos|TurnitinBot|UbiCrawler|UnisterBot|Unknown|uptime files|URLy Warning|User-Agent|VCI|Vedma|Voyager|WBSearchBot|Web Downloader/6\.9|Web Image Collector|WebAuto|WebBandit|WebCopier|WebEnhancer|WebmasterWorldForumBot|WebReaper|WebSauger|Website Quester|Webster Pro|WebStripper|WebZip|Wget|Wotbox|wsr\-agent|WWW\-Collector\-E|Yeti|YottosBot|Zao|Zeus|ZyBORG|bidswitchbot|BUbiNG|DataForSeoBot|LinkpadBot|PetalBot|python-requests|sqlmap" bad_bot
<Limit GET POST HEAD>
Order Allow,Deny
Allow from all
Deny from env=bad_bot
</Limit>
<Files 403.shtml>
order allow,deny
allow from all
</Files>

Отправлено спустя 6 минут 13 секунд:
Опять же говорю, у меня по серверам стоят блокировки, и это лишь малая часть того, что вы в свой htaccess можете добавить или изменить. Но это на сегодня актуальные сиды и боты

Отправлено спустя 13 минут 3 секунды:

Здесь тоже больше сотни ботов с адресами Амазон и китайских подсетей. Не уверен, надо ли их блочить, если сервер не падает.

Я ничего не утверждаю, но даже крепкие падпют, а у большинства здесь не выделенки с бесграничьем. Амазаон на cidram как и все облачки блочатся еще не входе, не нагружая сервер. Я смотрю например на google облачные сервисы и вношу их в белый список. Суть в настройках под себя. Что тут скажешь, мы ведь пытаемся развиваться, что-то менять. Поэтому и пытаюсь. Тот же cidram у меня работает и на phpbb и на сервере с WP блогами. Нужно лишь смотреть на детали)

[Perfecthus]

это ты пишешь после вот этого В точку

Мне боты амазон не нужны. Тем более я не блокирую по IP, есть другие способы.

[Vlad__]

Меня сегодня начали долбить. С разных IP. Единственное, что всех объединяет, это Amazon.
Как их бы всех заблокировать?

Такая же херня недавно была. Amazon. Ноль влияния на скорость работы сервера, поэтому вообще забил. Неделю назад прекратилось.

[Leo Angel]

У меня тоже уже прекратилась.

[Leo Angel]

Сегодня вдруг пошла атака claudebot.
Один и тот же бот с разных адресов.
Сервер пока держится. Нагрузка увеличилась, но пока незначительно.
Нужно ли закрывать? И если да, то как бороться?
У меня nginx, если что...

[Perfecthus]

https://href.kz/blog/information-securi ... ov-v-nginx

[rxu]

claudebot

Пока добавил его здесь в список ботов, теперь у него 1 сессия, пока проблем не наблюдается. Хотя советуют блокировать на уровне сервера.

[Siava]

claudebot

Я его ещё в январе забанил у себя.

[Leo Angel]

Сегодня этот claudebot как с цепи сорвался. Грузит CPU на 100%.
Раньше я закрывал доступ в настройках сервера (во Frontend) через user_agent.
Вот такой строкой:
if ($http_user_agent ~* "zh-CN;OPPO.A33"){ return 403; }
И это помогало на 100500 процентов.
А подскажите, как таким же образом закрыть и этого claudebot?
Что написать в его user_agent?
Что-то я потерялся...

[Siava]

Что написать в его user_agent?

Так и пишите - ClaudeBot

[KEMnEP]

Сегодня этот бот абузов походу нахватался и само ликвидировался, больше не ходит.
Пс: посмотрел статистику, но его пики на nginx 70 пользователей конечно фигня для сервака, но всё равно было бы, что полезного. Уползло да и фиг с ним

[Leo Angel]

Что написать в его user_agent?

Так и пишите - ClaudeBot

Сделал, написал как рекомендовали, всё было нормально. А вчера вечером на сайт нельзя было зайти. Написал в поддержку. Они решили проблему и сказали, что это бот claudebot большим количеством запросов положил сайт. Они заблокировали этого бота и сейчас нормально.

[ksamochkin]

Поставил Antibot.Cloud и не парюсь