Уважаемые пользователи!
C 7 ноября 2020 года phpBB Group прекратила выпуск обновлений и завершила дальнейшее развитие phpBB версии 3.2.
С 1 августа 2024 года phpBB Group прекращает поддержку phpBB 3.2 на официальном сайте.
Сайт официальной русской поддержки phpBB Guru продолжит поддержку phpBB 3.2 до 31 декабря 2024 года.
С учетом этого, настоятельно рекомендуется обновить конференции до версии 3.3.

Как уменьшить нагрузку от YandexBot

Проблемы с установкой или работой phpBB 3.1.x? Получите помощь здесь!
С 1 июля 2018 года phpBB Group прекращает поддержку phpBB версии 3.1.
Сайт официальной русской поддержки phpBB Guru продолжит поддержку phpBB 3.1 до 1 января 2019 года.
Подробнее: Окончание поддержки phpBB 3.1.
Правила форума
Местная Конституция | Шаблон запроса | Документация (phpBB3) | Мини [FAQ] по phpBB3.1.x | FAQ-3 (phpbb3) | Как задавать вопросы | Как устанавливать расширения

Ваш вопрос может быть удален без объяснения причин, если на него есть ответы по приведённым ссылкам (а вы рискуете получить предупреждение ;) ).
ArtTeam
phpBB 1.4.4
Сообщения: 194
Стаж: 13 лет 11 месяцев
Благодарил (а): 4 раза
Поблагодарили: 1 раз

Как уменьшить нагрузку от YandexBot

Сообщение ArtTeam »

Хостер написал что я много ресурсов расходую
Посещаемость не большая
Вот хостер дал логи и сказал что YandexBot агресивно сканит
141.8.147.24 - - [07/Dec/2014:21:04:36 +0200] "GET /search.php?a4dfae HTTP/1.0" 200 2849 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
141.8.147.24 - - [07/Dec/2014:21:04:39 +0200] "GET /search.php?a4dff7 HTTP/1.0" 200 2849 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
141.8.147.24 - - [07/Dec/2014:21:04:41 +0200] "GET /portal.php?3e82a8 HTTP/1.0" 404 2544 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
141.8.147.24 - - [07/Dec/2014:21:04:43 +0200] "GET /search.php?3d63a29a47 HTTP/1.0" 200 2849 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
141.8.147.24 - - [07/Dec/2014:21:04:45 +0200] "GET /search.php?fbdbeb HTTP/1.0" 200 2849 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
141.8.147.24 - - [07/Dec/2014:21:04:48 +0200] "GET /index.php?5f5bcd HTTP/1.0" 200 8417 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
141.8.147.24 - - [07/Dec/2014:21:04:50 +0200] "GET /search.php?812672 HTTP/1.0" 200 2849 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
141.8.147.24 - - [07/Dec/2014:21:04:53 +0200] "GET /index.php?913c90 HTTP/1.0" 200 8417 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
Anvar
Former team member
Сообщения: 1965
Стаж: 14 лет 1 месяц
Благодарил (а): 57 раз
Поблагодарили: 625 раз

Re: Как уменьшить нагрузку от YandexBot

Сообщение Anvar »

Первое это запретите ботам использовать поиск форума search.php ..

И дальше оформите правильно robots.txt
Аватара пользователя
Alecto
phpBB 3.0.12
Сообщения: 2857
Стаж: 14 лет 4 месяца
Откуда: Украина! Харьков
Благодарил (а): 68 раз
Поблагодарили: 241 раз

Re: Как уменьшить нагрузку от YandexBot

Сообщение Alecto »

у меня выставлена задержка между просмотрами страниц роботами Crawl-delay: 10
время можешь отредактировать сам.
ну и + то что Анвар тебе написал.
Аватара пользователя
apollion
phpBB 2.0.22
Сообщения: 1382
Стаж: 10 лет 1 месяц
Откуда: Юг Руси
Благодарил (а): 21 раз
Поблагодарили: 70 раз

Re: Как уменьшить нагрузку от YandexBot

Сообщение apollion »

Из-за агресивности Яндекс-бота возросла нагрузка? Хостер бредит.
Аватара пользователя
rxu
phpBB Guru
phpBB Guru
Сообщения: 16370
Стаж: 17 лет 11 месяцев
Откуда: Красноярск
Благодарил (а): 521 раз
Поблагодарили: 1745 раз

Re: Как уменьшить нагрузку от YandexBot

Сообщение rxu »

В список ботов его внесли?
Изображение
ArtTeam
phpBB 1.4.4
Сообщения: 194
Стаж: 13 лет 11 месяцев
Благодарил (а): 4 раза
Поблагодарили: 1 раз

Re: Как уменьшить нагрузку от YandexBot

Сообщение ArtTeam »

rxu писал(а):В список ботов его внесли?
да
Anvar писал(а):Первое это запретите ботам использовать поиск форума search.php ..

И дальше оформите правильно robots.txt
тоже сделано

но нагрузка у меня так и не спала
хостер просит сделать кеширование и оптимизацию

это как то поможет или нет ?
Аватара пользователя
xisp
phpBB 3.0.0 RC7
Сообщения: 1798
Стаж: 11 лет 11 месяцев
Благодарил (а): 101 раз
Поблагодарили: 91 раз
Забанен: Бессрочно

Re: Как уменьшить нагрузку от YandexBot

Сообщение xisp »

ArtTeam писал(а):это как то поможет или нет ?
Конечно поможет. Осталось узнать, как это сделать)))
ArtTeam писал(а):GET /index.php?913c90
Вообще стрёмный запрос, такого быть не должно. То ли кто- то разместил на вас 9000 ссылок с рандомными параметрами, то ли какой- то мод их за каким то фигом пишет в урлы, то ли вообще хостер. В общем поищите сначала по форуму, есть ли подобные ссылки, и если есть, то где.
phpBBex

Вернуться в «Поддержка phpBB 3.1.x»