Боты грузят хостинг

[нахалтуру]

зато теперь получил письмо от гугла)
На сайте http://стало больше ошибок404

Веб-мастеру сайта http

На сайте http:// стало значительно больше URL, которые возвращают код404 (страница не найдена). Это может говорить о сбое или неправильной конфигурации, что ухудшает удобство работы с сайтом. Такие URL не будут появляться в результатах Google Поиска. Если страниц с такими URL не существует, от Вас не требуется дополнительных действий.

Совет

1
Определите страницы с ошибками
В Search Console откройте отчет об ошибках сканирования мобильной версии сайта и проверьте указанные там страницы.
Найти проблемные URL
2
Устраните проблему
Если по этим URL должны открываться страницы, измените конфигурацию сервера, чтобы он возвращал код200 (ОК). Для этого может потребоваться помощь администратора сервера или провайдера хостинга. Если URL недействительны или этих страниц нет, проверьте источник таких веб-адресов. Исправьте все ссылки на эти URL на своем сайте. Рекомендуем также связаться с владельцами других ресурсов, которые ссылаются на ваши проблемные URL. Также можно использовать переадресацию на существующие разделы Вашего сайта. Страницы, которые возвращают код404, не влияют на рейтинг сайта в Google Поиске.
3
Проверьте, устранена ли проблема
Убедитесь, что робот Googlebot может сканировать страницы и они возвращают верный код.

[ciiz1]

Создать нормальный robots.txt для удаления дублей страниц.
Добавить на форум распространенных ботов, кстати насколько я понял ботов форум может определять по части имени, исходя из этого я добавил вот таких ботов
bot, robot, crawler, favicon, detect, Ad, seo, online, scanner, аgent и.т.д, действительно посещают
Прописать права для ботов, для ограничения к некоторым страницам, например версия для печати, просмотр сведений о пользователях.
Может для гостей часть доступа для ограничить?
Создать карту сайта, что бы нормальные боты меньше шарахались.
Ограничите кол-во попыток регистрации, попыток входа, поставе Google капчу.
Может новостную ленту отключить?

Еще вариант ограничение нагрузки для ботов 3,4 строчка. Правда вторую не все понимают.

Код: Выделить всё

User-agent: *
Crawl-delay: 1
Request-rate: 1/2
Visit-time: 2005-0400

Как раз изучал автоматизацию работы в интернете, почему то во всех статьях упор был на то что бы работать через прокси сервер, и очень много примеров автоматической регистрации на сайтах. (заранее согласен уникальный способ защиты от регистрации будет самым надёжным). Вот попытался реализовать небольшой вариант защиты.
Идея защиты в том что если будут Заголовки HTTP proxy, нельзя будет зарегистрироваться. Может кто нибудь проверить данный код? RewriteCond %{HTTP_USER_AGENT} anonymous* [NC] вроде работает. Не понимаю насколько корректны в коде заголовки прокси (их списал из статьи Хабрахабр), коректны условия для прокси? Не понял что такое RewriteBase /. Вообще есть ли смысл в данном коде? Можно ли сделать так если срабатывает одно из условий например RewriteCond %{HTTP:HTTP_CLIENT_IP} !^$ то USER_AGENTу присваивается имя например anonymous, а бот anonymous будет ограничен в правах средствами форума (добавит на форуме бота anonymous)

в файле .htaccess прописал

Код: Выделить всё

<IfModule mod_rewrite.c>
RewriteEngine on
RewriteCond %{HTTP:CLIENT_IP} !^$ [OR]
RewriteCond %{HTTP:FORWARDED_FOR_IP} !^$ [OR]
RewriteCond %{HTTP:FORWARDED_FOR} !^$ [OR]
RewriteCond %{HTTP:FORWARDED} !^$ [OR]
RewriteCond %{HTTP:HTTP_CLIENT_IP} !^$
RewriteCond %{HTTP:HTTP_FORWARDED_FOR_IP} !^$ [OR]
RewriteCond %{HTTP:HTTP_FORWARDED_FOR} !^$ [OR]
RewriteCond %{HTTP:HTTP_FORWARDED} !^$ [OR]
RewriteCond %{HTTP:HTTP_PC_REMOTE_ADDR} !^$ [OR]
RewriteCond %{HTTP:HTTP_PROXY_CONNECTION} !^$ [OR]
RewriteCond %{HTTP:HTTP_VIA} !^$ [OR]
RewriteCond %{HTTP:HTTP_X_FORWARDED_FOR} !^$ [OR]
RewriteCond %{HTTP:HTTP_X_FORWARDED} !^$ [OR]
RewriteCond %{HTTP:PROXY_CONNECTION} !^$ [OR]
RewriteCond %{HTTP:USERAGENT_VIA} !^$ [OR]
RewriteCond %{HTTP:VIA} !^$ [OR]
RewriteCond %{HTTP:X_FORWARDED_FOR} !^$ [OR]
RewriteCond %{HTTP:X_FORWARDED} !^$ [OR]
RewriteCond %{HTTP:XPROXY_CONNECTION} !^$
RewriteRule ucp.php* - [F]

#deny domain access
RewriteEngine on
RewriteBase /
RewriteCond %{HTTP_USER_AGENT} anonymous* [NC]
RewriteRule ucp.php* - [F]
</IfModule>

[apollion]

Может кто нибудь проверить данный код?

в файле .htaccess прописал

Ну так проверили? И какой результат?

[ciiz1]

Я так понимаю если в каком то из заголовков например HTTP:FORWARDED_FOR_IP есть значение, значит пользователь пользуется прокси. Вот этот модуль вероятно не все эти заголовки определяет, <IfModule mod_rewrite.c> может вообще не одного. В описании этого модуля мало что похожего. А примеры в интернете похожего кода есть. По HTTP_USER_AGENT anonymous у меня срабатывает невозможно зарегистрироваться, войти как пользователь, очистить куки. Пробовал через Proxy не чего не получилось (не работает код).

[doremyka]

Запарил бот Synthesio Crawler. Заблокировала в htaccess и как Synthesio, и как Synthesio\ Crawler. Сейчас смотрю: сидит голубец, не вылезая - хоть бы что ему эта блокировка.
Что ещё можно сделать, чтобы навсегда отвадить? Уж очень он активный. (

[Warlock75]

Я у себя так сделал: Поисковая оптимизация форума

[doremyka]

Warlock75, я сделала, как вы подсказали, но возник вопрос.

В логах этот бот вот так определяется:

Код: Выделить всё

Mozilla/5.0 (compatible; AhrefsBot/5.2; +http://ahrefs.com/robot/)

Как надёжней заблокировать все его вариации: Ahrefs, AhrefsBot, AhrefsBot/ или AhrefsBot/5.2?
Можно ли поставить звёздочку? То есть юзер-агента прописать вот так: Ahrefs*

Ещё у меня постоянно пасутся вот эти:

Код: Выделить всё

compatible; um-CC/1.0; mailto: techinfo@ubermetrics-technologies.com
compatible; archive.org_bot +http://www.archive.org/details/archive.org_bot
okhttp/3.9.0

Насчёт okhttp - не понимаю, что это. Типа библиотеки для андроида. Но почему отображается в логах как "посетитель", причём висит постоянно.

[Warlock75]

*Ahrefs

[doremyka]

*Ahrefs

То есть для блокировки в данном случае звёздочка впереди ставится. Спасибо, буду знать!

А насчёт okhttp - не подскажете? Что с ним делать?

Отправлено спустя 9 минут 48 секунд:
Правило по совету Warlock75 заблокировало этого Ахрефа: отдает код 403.

Код: Выделить всё

SetEnvIfNoCase User-Agent ".*AhrefsBot" bad_bot
Deny from env=bad_bot

Нагрузка упала в 3 раза!

[Warlock75]

А насчёт okhttp - не подскажете? Что с ним делать?

А со вторым так: *um-CC

[angst66]

Тут резко стали одновременно заходить по 300-600 гостей с ай пи китая и африки . Сервак стал General ErrorSQL ERROR [ mysqli ]. Посмотрел я в логах, и выяснил, что по маске три четыре варианта. Прописал запрет в .htaccess в папке форума и нагрузка упала раза в три. Может кому пригодится

Код: Выделить всё

Order allow,deny
allow from all
Deny from 220.0.0.0/8 52.80.0.0/14 54.222.0.0/15 54.222.0.0/15 185.0.0.0/8

[apollion]

Это можно смело убрать

Код: Выделить всё

Order allow,deny
allow from all