Атака китайских ботов

[Kuskow]

Мы тут вместе с Google-ИИ экспериментировали-экспериментировали, да и выэкспериментировали. Сделали два эшелона обороны. Сначала NGINX по некоторым критериям даёт отлуп 444, а затем fail2ban подхватывает из логов тех, кого дважды-трижды отлупили за последние 5 минут, и банит их по IP-адресу на двое суток. Изначально хотели на сутки, но потом подумали, что у них может быть суточная ротация, так что вот.

И вот нам результат за три часа, список забаненных с группировкой по сетям класса B:
awk '/ 444 0 / {print $1}' /var/log/nginx/domains/DOMAIN.log | cut -d. -f1,2 | sort | uniq -c | sort -nr | head -n 15
40382 47.82.x.x
13780 43.173.x.x
6136 95.173.x.x
5194 114.129.x.x
3714 149.88.x.x
754 2.56.x.x
571 43.163.x.x
558 18.225.x.x
558 18.175.x.x
558 13.39.x.x
499 185.162.x.x
479 45.148.x.x
351 57.129.x.x
301 84.37.x.x
298 94.154.x.x

47.82.x.x (Alibaba Cloud / США): Это огромная ферма ботов, арендованная в облаке Alibaba. Они генерируют основной мусор.
43.173.x.x (Tencent / Сингапур): Еще один азиатский гигант. Типичные облачные сканеры, которые ищут уязвимости или парсят контент.
18.225.x.x, 18.175.x.x, 13.39.x.x: Это всё Amazon (AWS). Они работают очень аккуратно, но методично.

По странам интересно, на первый взгляд, но практической пользы не вижу:
awk '/ 444 0 / {print $1}' /var/log/nginx/domains/navimba.com.log | sort -u | xargs -I% geoiplookup % | awk -F': ' '{print $2}' | sort | uniq -c | sort -nr
2976 US, United States
1769 SG, Singapore
668 VN, Vietnam
402 FR, France
372 BR, Brazil
342 CN, China
284 GB, United Kingdom
248 RU, Russian Federation
245 IN, India
174 CH, Switzerland
159 IQ, Iraq
143 BD, Bangladesh
131 DE, Germany
125 AR, Argentina
107 AT, Austria
106 NL, Netherlands