Уважаемые пользователи!
C 7 ноября 2020 года phpBB Group прекратила выпуск обновлений и завершила дальнейшее развитие phpBB версии 3.2.
С 1 августа 2024 года phpBB Group прекращает поддержку phpBB 3.2 на официальном сайте.
Сайт официальной русской поддержки phpBB Guru продолжит поддержку phpBB 3.2 до 31 декабря 2024 года.
С учетом этого, настоятельно рекомендуется обновить конференции до версии 3.3.

Боты грузят хостинг

Вопросы без привязки к версии. Установлена авточистка (2 года).
Правила форума
Местная Конституция | Шаблон запроса | Документация (phpBB3) | Переход на 3.0.6 и выше | FAQ | Как задавать вопросы | Как устанавливать расширения

Ваш вопрос может быть удален без объяснения причин, если на него есть ответы по приведённым ссылкам (а вы рискуете получить предупреждение ;) ).
нахалтуру
phpBB 1.2.0
Сообщения: 15
Стаж: 6 лет 6 месяцев

Re: Боты грузят хостинг

Сообщение нахалтуру »

зато теперь получил письмо от гугла)
На сайте http://стало больше ошибок404

Веб-мастеру сайта http

На сайте http:// стало значительно больше URL, которые возвращают код404 (страница не найдена). Это может говорить о сбое или неправильной конфигурации, что ухудшает удобство работы с сайтом. Такие URL не будут появляться в результатах Google Поиска. Если страниц с такими URL не существует, от Вас не требуется дополнительных действий.

Совет

1
Определите страницы с ошибками
В Search Console откройте отчет об ошибках сканирования мобильной версии сайта и проверьте указанные там страницы.
Найти проблемные URL
2
Устраните проблему
Если по этим URL должны открываться страницы, измените конфигурацию сервера, чтобы он возвращал код200 (ОК). Для этого может потребоваться помощь администратора сервера или провайдера хостинга. Если URL недействительны или этих страниц нет, проверьте источник таких веб-адресов. Исправьте все ссылки на эти URL на своем сайте. Рекомендуем также связаться с владельцами других ресурсов, которые ссылаются на ваши проблемные URL. Также можно использовать переадресацию на существующие разделы Вашего сайта. Страницы, которые возвращают код404, не влияют на рейтинг сайта в Google Поиске.
3
Проверьте, устранена ли проблема
Убедитесь, что робот Googlebot может сканировать страницы и они возвращают верный код.
ciiz1
phpBB 2.0.4
Сообщения: 440
Стаж: 6 лет 7 месяцев
Благодарил (а): 100 раз
Поблагодарили: 30 раз

Re: Боты грузят хостинг

Сообщение ciiz1 »

Создать нормальный robots.txt для удаления дублей страниц.
Добавить на форум распространенных ботов, кстати насколько я понял ботов форум может определять по части имени, исходя из этого я добавил вот таких ботов
bot, robot, crawler, favicon, detect, Ad, seo, online, scanner, аgent и.т.д, действительно посещают
Прописать права для ботов, для ограничения к некоторым страницам, например версия для печати, просмотр сведений о пользователях.
Может для гостей часть доступа для ограничить?
Создать карту сайта, что бы нормальные боты меньше шарахались.
Ограничите кол-во попыток регистрации, попыток входа, поставе Google капчу.
Может новостную ленту отключить?

Еще вариант ограничение нагрузки для ботов 3,4 строчка. Правда вторую не все понимают.

Код: Выделить всё

User-agent: *
Crawl-delay: 1
Request-rate: 1/2
Visit-time: 2005-0400
Как раз изучал автоматизацию работы в интернете, почему то во всех статьях упор был на то что бы работать через прокси сервер, и очень много примеров автоматической регистрации на сайтах. (заранее согласен уникальный способ защиты от регистрации будет самым надёжным). Вот попытался реализовать небольшой вариант защиты.
Идея защиты в том что если будут Заголовки HTTP proxy, нельзя будет зарегистрироваться. Может кто нибудь проверить данный код? RewriteCond %{HTTP_USER_AGENT} anonymous* [NC] вроде работает. Не понимаю насколько корректны в коде заголовки прокси (их списал из статьи Хабрахабр), коректны условия для прокси? Не понял что такое RewriteBase /. Вообще есть ли смысл в данном коде? Можно ли сделать так если срабатывает одно из условий например RewriteCond %{HTTP:HTTP_CLIENT_IP} !^$ то USER_AGENTу присваивается имя например anonymous, а бот anonymous будет ограничен в правах средствами форума (добавит на форуме бота anonymous)

в файле .htaccess прописал

Код: Выделить всё

<IfModule mod_rewrite.c>
RewriteEngine on
RewriteCond %{HTTP:CLIENT_IP} !^$ [OR]
RewriteCond %{HTTP:FORWARDED_FOR_IP} !^$ [OR]
RewriteCond %{HTTP:FORWARDED_FOR} !^$ [OR]
RewriteCond %{HTTP:FORWARDED} !^$ [OR]
RewriteCond %{HTTP:HTTP_CLIENT_IP} !^$
RewriteCond %{HTTP:HTTP_FORWARDED_FOR_IP} !^$ [OR]
RewriteCond %{HTTP:HTTP_FORWARDED_FOR} !^$ [OR]
RewriteCond %{HTTP:HTTP_FORWARDED} !^$ [OR]
RewriteCond %{HTTP:HTTP_PC_REMOTE_ADDR} !^$ [OR]
RewriteCond %{HTTP:HTTP_PROXY_CONNECTION} !^$ [OR]
RewriteCond %{HTTP:HTTP_VIA} !^$ [OR]
RewriteCond %{HTTP:HTTP_X_FORWARDED_FOR} !^$ [OR]
RewriteCond %{HTTP:HTTP_X_FORWARDED} !^$ [OR]
RewriteCond %{HTTP:PROXY_CONNECTION} !^$ [OR]
RewriteCond %{HTTP:USERAGENT_VIA} !^$ [OR]
RewriteCond %{HTTP:VIA} !^$ [OR]
RewriteCond %{HTTP:X_FORWARDED_FOR} !^$ [OR]
RewriteCond %{HTTP:X_FORWARDED} !^$ [OR]
RewriteCond %{HTTP:XPROXY_CONNECTION} !^$
RewriteRule ucp.php* - [F]

#deny domain access
RewriteEngine on
RewriteBase /
RewriteCond %{HTTP_USER_AGENT} anonymous* [NC]
RewriteRule ucp.php* - [F]
</IfModule>
Аватара пользователя
apollion
phpBB 2.0.22
Сообщения: 1382
Стаж: 10 лет
Откуда: Юг Руси
Благодарил (а): 50 раз
Поблагодарили: 99 раз
Контактная информация:

Re: Боты грузят хостинг

Сообщение apollion »

ciiz1 писал(а): 06.11.2017 19:07Может кто нибудь проверить данный код?
ciiz1 писал(а): 06.11.2017 19:07в файле .htaccess прописал
Ну так проверили? И какой результат?
ciiz1
phpBB 2.0.4
Сообщения: 440
Стаж: 6 лет 7 месяцев
Благодарил (а): 100 раз
Поблагодарили: 30 раз

Re: Боты грузят хостинг

Сообщение ciiz1 »

Я так понимаю если в каком то из заголовков например HTTP:FORWARDED_FOR_IP есть значение, значит пользователь пользуется прокси. Вот этот модуль вероятно не все эти заголовки определяет, <IfModule mod_rewrite.c> может вообще не одного. В описании этого модуля мало что похожего. А примеры в интернете похожего кода есть. По HTTP_USER_AGENT anonymous у меня срабатывает невозможно зарегистрироваться, войти как пользователь, очистить куки. Пробовал через Proxy не чего не получилось (не работает код).
doremyka
phpBB 1.4.4
Сообщения: 159
Стаж: 6 лет 8 месяцев
Благодарил (а): 70 раз
Поблагодарили: 13 раз

Re: Боты грузят хостинг

Сообщение doremyka »

Запарил бот Synthesio Crawler. Заблокировала в htaccess и как Synthesio, и как Synthesio\ Crawler. Сейчас смотрю: сидит голубец, не вылезая - хоть бы что ему эта блокировка.
Что ещё можно сделать, чтобы навсегда отвадить? Уж очень он активный. (
Аватара пользователя
Warlock75
Former team member
Сообщения: 1428
Стаж: 16 лет 1 месяц
Откуда: Москва
Благодарил (а): 50 раз
Поблагодарили: 95 раз
Контактная информация:

Re: Боты грузят хостинг

Сообщение Warlock75 »

Я у себя так сделал: Поисковая оптимизация форума
Внимательно изучаем форум и чиаем FAQ. 95% всех ответов на возможные вопросы там уже есть!

Правила
Мини FAQ по phpBB 3.1.x/3.2.x/3.3.x
Как устанавливать расширения
doremyka
phpBB 1.4.4
Сообщения: 159
Стаж: 6 лет 8 месяцев
Благодарил (а): 70 раз
Поблагодарили: 13 раз

Re: Боты грузят хостинг

Сообщение doremyka »

Warlock75, я сделала, как вы подсказали, но возник вопрос.

В логах этот бот вот так определяется:

Код: Выделить всё

Mozilla/5.0 (compatible; AhrefsBot/5.2; +http://ahrefs.com/robot/)
Как надёжней заблокировать все его вариации: Ahrefs, AhrefsBot, AhrefsBot/ или AhrefsBot/5.2?
Можно ли поставить звёздочку? То есть юзер-агента прописать вот так: Ahrefs*

Ещё у меня постоянно пасутся вот эти:

Код: Выделить всё

compatible; um-CC/1.0; mailto: techinfo@ubermetrics-technologies.com
compatible; archive.org_bot +http://www.archive.org/details/archive.org_bot
okhttp/3.9.0
Насчёт okhttp - не понимаю, что это. Типа библиотеки для андроида. Но почему отображается в логах как "посетитель", причём висит постоянно.
Последний раз редактировалось doremyka 13.12.2017 17:56, всего редактировалось 1 раз.
Аватара пользователя
Warlock75
Former team member
Сообщения: 1428
Стаж: 16 лет 1 месяц
Откуда: Москва
Благодарил (а): 50 раз
Поблагодарили: 95 раз
Контактная информация:

Re: Боты грузят хостинг

Сообщение Warlock75 »

*Ahrefs
Внимательно изучаем форум и чиаем FAQ. 95% всех ответов на возможные вопросы там уже есть!

Правила
Мини FAQ по phpBB 3.1.x/3.2.x/3.3.x
Как устанавливать расширения
doremyka
phpBB 1.4.4
Сообщения: 159
Стаж: 6 лет 8 месяцев
Благодарил (а): 70 раз
Поблагодарили: 13 раз

Re: Боты грузят хостинг

Сообщение doremyka »

Warlock75 писал(а): 13.12.2017 17:55*Ahrefs
То есть для блокировки в данном случае звёздочка впереди ставится. Спасибо, буду знать!

А насчёт okhttp - не подскажете? Что с ним делать?

Отправлено спустя 9 минут 48 секунд:
Правило по совету Warlock75 заблокировало этого Ахрефа: отдает код 403.

Код: Выделить всё

SetEnvIfNoCase User-Agent ".*AhrefsBot" bad_bot
Deny from env=bad_bot
Нагрузка упала в 3 раза!
Аватара пользователя
Warlock75
Former team member
Сообщения: 1428
Стаж: 16 лет 1 месяц
Откуда: Москва
Благодарил (а): 50 раз
Поблагодарили: 95 раз
Контактная информация:

Re: Боты грузят хостинг

Сообщение Warlock75 »

doremyka писал(а): 13.12.2017 18:07А насчёт okhttp - не подскажете? Что с ним делать?
А со вторым так: *um-CC
Внимательно изучаем форум и чиаем FAQ. 95% всех ответов на возможные вопросы там уже есть!

Правила
Мини FAQ по phpBB 3.1.x/3.2.x/3.3.x
Как устанавливать расширения
Аватара пользователя
angst66
phpBB 3.0.0 RC1
Сообщения: 1469
Стаж: 12 лет 2 месяца
Благодарил (а): 86 раз
Поблагодарили: 149 раз

Re: Боты грузят хостинг

Сообщение angst66 »

Тут резко стали одновременно заходить по 300-600 гостей с ай пи китая и африки . Сервак стал General ErrorSQL ERROR [ mysqli ]. Посмотрел я в логах, и выяснил, что по маске три четыре варианта. Прописал запрет в .htaccess в папке форума и нагрузка упала раза в три. Может кому пригодится

Код: Выделить всё

Order allow,deny
allow from all
Deny from 220.0.0.0/8 52.80.0.0/14 54.222.0.0/15 54.222.0.0/15 185.0.0.0/8
Аватара пользователя
apollion
phpBB 2.0.22
Сообщения: 1382
Стаж: 10 лет
Откуда: Юг Руси
Благодарил (а): 50 раз
Поблагодарили: 99 раз
Контактная информация:

Re: Боты грузят хостинг

Сообщение apollion »

Это можно смело убрать

Код: Выделить всё

Order allow,deny
allow from all
Ответить

Вернуться в «phpBB-пространство»