Уважаемые пользователи!
C 7 ноября 2020 года phpBB Group прекратила выпуск обновлений и завершила дальнейшее развитие phpBB версии 3.2.
С 1 августа 2024 года phpBB Group прекращает поддержку phpBB 3.2 на официальном сайте.
Сайт официальной русской поддержки phpBB Guru продолжит поддержку phpBB 3.2 до 31 декабря 2024 года.
С учетом этого, настоятельно рекомендуется обновить конференции до версии 3.3.

Yandex bot и нагрузка на сервер

Проблемы с установкой или работой phpBB 3.2.x? Получите помощь здесь!
Внимание: с 7 ноября 2020 года phpBB Group завершено дальнейшее развитие phpBB версии 3.2, а с 1 августа 2024 года будет прекращена её поддержка.
Сайт официальной русской поддержки phpBB Guru продолжит поддержку phpBB 3.2 до 31 декабря 2024 года.

Правила форума
Местная Конституция | Шаблон запроса | Документация (phpBB3) | Мини [FAQ] по phpBB 3.1.x/3.2.x | FAQ | Как задавать вопросы | Как устанавливать расширения

Ваш вопрос может быть удален без объяснения причин, если на него есть ответы по приведённым ссылкам (а вы рискуете получить предупреждение ;) ).
Nick
phpBB 1.4.2
Сообщения: 64
Стаж: 14 лет 2 месяца
Откуда: СПб
Благодарил (а): 7 раз
Поблагодарили: 21 раз
Контактная информация:

Yandex bot и нагрузка на сервер

Сообщение Nick »

Описание проблемы:
Форум периодически встает колом, запрос любойп страницы может идти 10, 20 или 40 секунд, вплоть до таймаута.
Форум стоит на выделенном сервере проблем с ресурсами не должно быть.
После продолжительного исслелования проблемы выяснилось, что раз в какое-то время количество процессов апача становится 500+.
Большинство из них висит в состоянии "W" - waiting for reply. Запрашиваемый url - file.php, а ip клиента из сети descr: Yandex network.

Т.е. такое ощущение, что раз в какое-то время (раз в час-два) яндекс хочет переиндекировать форум включая все вложения, которых 161Гб. Причем делает он это в кучу потоков 500+ все это дело забивает всю память 16Гб ну и все запросы становятся в очередь, пока не скачается какой-нибудь файл.

Собственно вопрос, кто-нибудь с таким сталкивался? что делать?

Версия phpBB*: не самая новая
Версия PHP: 5.4.36
Используемая СУБД и её версия: mysql
Ссылка на конференцию: cnc-club.ru

Пара скриншотов из server-status и количество процессов апача и занятой ими памяти.
Вложения
Снимок экрана от 2019-01-30 01-04-17.png
Снимок экрана от 2019-01-30 01-05-52.png
Аватара пользователя
KEMnEP
phpBB 2.0.17
Сообщения: 1106
Стаж: 9 лет
Благодарил (а): 42 раза
Поблагодарили: 281 раз

Re: Yandex bot и нагрузка на сервер

Сообщение KEMnEP »

Аватара пользователя
Perfecthus
phpBB 2.0.10
Сообщения: 799
Стаж: 13 лет 5 месяцев
Откуда: Оттуда
Благодарил (а): 63 раза
Поблагодарили: 89 раз
Контактная информация:

Re: Yandex bot и нагрузка на сервер

Сообщение Perfecthus »

Nick, Коля, форум лежит, сегодня вообще зайти не смог, несколько раз пробовал.
В вэбмастере, в пункте Индексирование -> Скорость обхода что у тебя выставлено?

PS: И ещё, систематически разлогинивает при заходе на форум со смартфона (версия полная, не мобильная. Пробовал с разных браузеров - всё одно), с PC такого не наблюдается, как залогинился раз несколько лет назад, так и захожу. Возможно, куки надо настроить в админке форума.
Аватара пользователя
Татьяна5
Поддержка
Поддержка
Сообщения: 12372
Стаж: 12 лет 7 месяцев
Благодарил (а): 223 раза
Поблагодарили: 3517 раз
Контактная информация:

Re: Yandex bot и нагрузка на сервер

Сообщение Татьяна5 »

Добавьте бота яндекса в админке, а то он кучу сессий ещё вдобавок создаёт
Nick писал(а): 30.01.2019 1:49 Версия phpBB*: не самая новая
Если 3.1, то советую обновиться, та ветка одна из самых тяжёлых
Аватара пользователя
Perfecthus
phpBB 2.0.10
Сообщения: 799
Стаж: 13 лет 5 месяцев
Откуда: Оттуда
Благодарил (а): 63 раза
Поблагодарили: 89 раз
Контактная информация:

Re: Yandex bot и нагрузка на сервер

Сообщение Perfecthus »

Татьяна5 писал(а): 30.01.2019 10:04 Если 3.1, то советую обновиться, та ветка одна из самых тяжёлых
По-моему, ещё древней версия, с МОДами.
Nick
phpBB 1.4.2
Сообщения: 64
Стаж: 14 лет 2 месяца
Откуда: СПб
Благодарил (а): 7 раз
Поблагодарили: 21 раз
Контактная информация:

Re: Yandex bot и нагрузка на сервер

Сообщение Nick »

KEMnEP писал(а): 30.01.2019 3:50 https://yandex.ru/support/webmaster/con ... s-txt.html
Особенно пункт про Crawl-delay
Залез в вебмастер, там у них есть настройка частоты захода - сделал меньше, не помогло.
Сделал crawl-delay - пока не помогла (сделал пол часа назад)...
Татьяна5 писал(а): 30.01.2019 10:04 Если 3.1, то советую обновиться, та ветка одна из самых тяжёлых
Как правильно заметил предатор версия еще старее, все никак не могу обновиться - есть несколько ручных улучшений - придется заново переделывать, но чувствую скоро соберусь - за одно все лишнее уберу :)
Но сильно не поможет - яндекс начнет с новой энергией индексировать новый сайт :).
Ну и не поможет - т.к. сервера на обычную жизь хватает, на форуме максимум 300-400 человек сидит - а это ну от силы запрос в секунду (ну 10 запросов в секунду максимум). А тут 500 одновременных активных скачиваний это как бы в 500 раз больше нормальной активности!
Аватара пользователя
Perfecthus
phpBB 2.0.10
Сообщения: 799
Стаж: 13 лет 5 месяцев
Откуда: Оттуда
Благодарил (а): 63 раза
Поблагодарили: 89 раз
Контактная информация:

Re: Yandex bot и нагрузка на сервер

Сообщение Perfecthus »

Nick, Так вроде как, сейчас получше стало.
А обновиться, я тебе ещё года три тому рекомендовал.
Аватара пользователя
Perfecthus
phpBB 2.0.10
Сообщения: 799
Стаж: 13 лет 5 месяцев
Откуда: Оттуда
Благодарил (а): 63 раза
Поблагодарили: 89 раз
Контактная информация:

Re: Yandex bot и нагрузка на сервер

Сообщение Perfecthus »

Nick, Что-то снова тормоза начались.
Аватара пользователя
southklad
phpBB 3.1.0 RC2
Сообщения: 3232
Стаж: 12 лет 2 месяца
Благодарил (а): 797 раз
Поблагодарили: 175 раз

Re: Yandex bot и нагрузка на сервер

Сообщение southklad »

Что-то мне кажется вся дело не в яндексе, а в сервере или хостинге
Изображение
Аватара пользователя
Siava
Поддержка
Поддержка
Сообщения: 5270
Стаж: 19 лет 2 месяца
Откуда: Питер
Благодарил (а): 188 раз
Поблагодарили: 800 раз
Контактная информация:

Re: Yandex bot и нагрузка на сервер

Сообщение Siava »

Причём сервер этот очень дохлый.
Еще одно нарушение правил и будете забанены. © Mr. Anderson
Ты очистил кеш? © Sheer
https://siava.ru (phpbb 2.0.x 3.5.x)
Nick
phpBB 1.4.2
Сообщения: 64
Стаж: 14 лет 2 месяца
Откуда: СПб
Благодарил (а): 7 раз
Поблагодарили: 21 раз
Контактная информация:

Re: Yandex bot и нагрузка на сервер

Сообщение Nick »

В каком смысле дохлый? И как это соотносится с 500 активными загрузками?
Аватара пользователя
Siava
Поддержка
Поддержка
Сообщения: 5270
Стаж: 19 лет 2 месяца
Откуда: Питер
Благодарил (а): 188 раз
Поблагодарили: 800 раз
Контактная информация:

Re: Yandex bot и нагрузка на сервер

Сообщение Siava »

Nick, в смысле, что долго отдаёт контент, долго обрабатывает запросы.
Вероятно следует настроить keep alive, serverlimit.
Гляньте в сторону mod_evasive.
А ещё лучше отказаться от прожорливого apache.
Еще одно нарушение правил и будете забанены. © Mr. Anderson
Ты очистил кеш? © Sheer
https://siava.ru (phpbb 2.0.x 3.5.x)
Nick
phpBB 1.4.2
Сообщения: 64
Стаж: 14 лет 2 месяца
Откуда: СПб
Благодарил (а): 7 раз
Поблагодарили: 21 раз
Контактная информация:

Re: Yandex bot и нагрузка на сервер

Сообщение Nick »

В общем исседование проблемы пришо к следующему:
Запрос на загрузку файла (яндексом) может висеть несколько минут. (такое ощущение, что каждый запрос подвисает, ибо критическая масса запросов набирается за 40 секунд при среднем коичестве 2-4 запроса в секунду).
При этом, тупо скопировав запрос в браузер, получаем мгновенный ответ.
Ситуацию можно повторить например через wget с установленным пределос скорости загрузки. Тогда подвисает процесс мееедленно отдающий файл.

Да, все висящие процессы это запросы к downloads/file.php
Попробовал почистить скрипт от лишнего, для начала убрал условия по msie<7 - не помогло.

Сейчас думаю, может эли на это повлиять размер файла отдаваемый в header?

ЗЫ file.php в 3.2 не сильно отличается от моей версии.
Аватара пользователя
Pazh
Former team member
Сообщения: 2317
Стаж: 14 лет 4 месяца
Благодарил (а): 43 раза
Поблагодарили: 506 раз
Контактная информация:

Re: Yandex bot и нагрузка на сервер

Сообщение Pazh »

Nick, на первый взгляд возможно несколько причин: огромное кол-во вложений в одной папке files (но хотя если через браузер открывается сразу, то маловероятно), другая - настройка сервера на отдачу статики для каких-то критериев ограничена.
Помощь в ЛС/email только за WM или ЮMoney
Аватара пользователя
Perfecthus
phpBB 2.0.10
Сообщения: 799
Стаж: 13 лет 5 месяцев
Откуда: Оттуда
Благодарил (а): 63 раза
Поблагодарили: 89 раз
Контактная информация:

Re: Yandex bot и нагрузка на сервер

Сообщение Perfecthus »

Pazh, Файлов там - мама не горюй!
Ответить

Вернуться в «Поддержка phpBB 3.2.x»