Поисковые боты

[Kuskow]

Код: Выделить всё

57.141.20.70
meta-externalagent/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler)

Интересно так ходит по форуму, таскает с собой все cookies, выполняет все java script. Зачем ему это?

[Michel]

Сегодня обнаружил множество записей в логах. по типу:

Код: Выделить всё

[Sun Sep 27 06:24:36.544118 2026] [cgid:error] [pid 2668694:tid 140019666568960] [client 52.141.4.134:0] AH01265: attempt to invoke directory as script: /var/www/cgi-bin/

Пообщавшись с ИИ, вот что он мне рассказал:

Это сообщение об ошибке (уровень [error]) веб-сервера Apache (модуля mod_cgid), которое означает, что сервер заблокировал попытку запустить целую директорию (папку) вместо исполняемого скрипта.Код AH01265: attempt to invoke directory as script дословно переводится как: «попытка вызвать каталог в качестве скрипта».
Почему возникла эта ошибка?
Некорректный запрос (поведение бота): Удаленный клиент с IP-адресом 52.141.4.134 (это IP-адрес облака Microsoft Azure) отправил запрос напрямую к cgi-директории /var/www/cgi-bin/, не указав имя конкретного файла скрипта (например, script.cgi или script.pl).
Сканирование уязвимостей: Боты часто проверяют стандартные папки серверов (вроде /cgi-bin/) в надежде найти там открытый список файлов или уязвимые старые скрипты. Ошибка в настройках Apache: Если вы сами пытались настроить работу CGI-скриптов и указали в браузере или в файле конфигурации (.htaccess / httpd.conf) путь к папке как к конечному исполняемому файлу, Apache выдаст эту ошибку.
Безопасно ли это?
Да, это хороший знак. Ошибка показывает, что механизмы безопасности Apache сработали правильно. Сервер понял, что ему подсовывают папку под видом исполняемого файла, отказал клиенту в доступе (обычно отдается статус 403 Forbidden или 404 Not Found) и сделал запись в лог, предотвратив потенциальный сбой или утечку структуры директорий.
Что делать?
Если это случайный лог от чужого бота: Ничего делать не нужно. Папка защищена, сервер в безопасности. При желании IP-адрес 52.141.4.134 можно заблокировать на уровне файрвола (iptables/ufw), если запросы от него идут слишком часто.

Раньше такого не замечал

[rxu]

Боты пытаются получить листинг директории с исполняемыми скриптами Apache, чтобы потом ломануть что-нибудь. Наверное, ИИ шалит.

[Michel]

Вот ещё, но уже другая запись:

Код: Выделить всё

[Sun Sep 27 05:03:26.248398 2026] [:error] [pid 2668126:tid 140019155072768] [client 34.77.137.207:0] [client 34.77.137.207] ModSecurity: Access denied with code 403 (phase 2). String match "/.env" at REQUEST_URI. [file "/etc/httpd/modsecurity.d/malware_expert_rules.conf"] [line "521"] [id "430057"] [msg "Malware.Expert - request_uri: .ENV Files"] [hostname "autodiscover.sitemaster.su"] [uri "/aws/.env"] [unique_id "arh5btFGAky7mLojyLIR2QAAAAo"]

И вот что на этот счёт рассказал ИИ:

Это запись об успешной блокировке атаки (уровень [:error]) защитным экраном ModSecurity на вашем веб-сервере Apache.Специальный модуль безопасности заблокировал подозрительный запрос и выдал клиенту ошибку 403 Forbidden (Доступ запрещен).Что именно произошло?
Кто атаковал: Сканирование шло с IP-адреса 34.77.137.207 (это облачный сервер Google Cloud, расположенный в Европе).
Что искали: Бот пытался обратиться к техническому поддомену автонастройки почты autodiscover.sitemaster.su и прочесть файл по адресу /aws/.env. Цель хакеров: Файлы конфигурации .env (Environment) часто используются в различных веб-приложениях и фреймворках для хранения секретных ключей, паролей от баз данных, доступов к AWS (Amazon Web Services) и других конфиденциальных настроек. Боты массово сканируют сайты в надежде найти небрежно оставленные или незащищенные файлы .env, чтобы угнать доступы. Что его остановило: Сработало правило безопасности под номером 430057 из коммерческого или специализированного набора правил Malware.Expert (malware_expert_rules.conf). Система обнаружила подстроку /.env в адресе запроса и мгновенно прервала его обработку во 2-й фазе (анализ заголовков и URI).
Критично ли это?
Абсолютно нет, ваш сервер сработал идеально. Это классический пример фонового «шума» в интернете — автоматизированного сканирования уязвимостей. Поскольку ModSecurity сразу заблокировал этот запрос, бот не смог даже проверить, существует ли такой файл на самом деле.
Что делать?
Ничего делать не нужно: Ваша защита (ModSecurity + правила Malware.Expert) работает корректно и полностью выполняет свою задачу.

Меня типо ломануть пытались что ли?