Уважаемые пользователи!
C 7 ноября 2020 года phpBB Group прекратила выпуск обновлений и завершила дальнейшее развитие phpBB версии 3.2.
С 1 августа 2024 года phpBB Group прекращает поддержку phpBB 3.2 на официальном сайте.
Сайт официальной русской поддержки phpBB Guru продолжит поддержку phpBB 3.2 до 31 декабря 2024 года.
С учетом этого, настоятельно рекомендуется обновить конференции до версии 3.3.
C 7 ноября 2020 года phpBB Group прекратила выпуск обновлений и завершила дальнейшее развитие phpBB версии 3.2.
С 1 августа 2024 года phpBB Group прекращает поддержку phpBB 3.2 на официальном сайте.
Сайт официальной русской поддержки phpBB Guru продолжит поддержку phpBB 3.2 до 31 декабря 2024 года.
С учетом этого, настоятельно рекомендуется обновить конференции до версии 3.3.
Yandex bot и нагрузка на сервер
Правила форума
Местная Конституция | Шаблон запроса | Документация (phpBB3) | Мини [FAQ] по phpBB 3.1.x/3.2.x | FAQ | Как задавать вопросы | Как устанавливать расширения
Ваш вопрос может быть удален без объяснения причин, если на него есть ответы по приведённым ссылкам (а вы рискуете получить предупреждение ).
Местная Конституция | Шаблон запроса | Документация (phpBB3) | Мини [FAQ] по phpBB 3.1.x/3.2.x | FAQ | Как задавать вопросы | Как устанавливать расширения
Ваш вопрос может быть удален без объяснения причин, если на него есть ответы по приведённым ссылкам (а вы рискуете получить предупреждение ).
-
- phpBB 1.4.2
- Сообщения: 64
- Стаж: 14 лет 3 месяца
- Откуда: СПб
- Благодарил (а): 1 раз
Yandex bot и нагрузка на сервер
Описание проблемы:
Форум периодически встает колом, запрос любойп страницы может идти 10, 20 или 40 секунд, вплоть до таймаута.
Форум стоит на выделенном сервере проблем с ресурсами не должно быть.
После продолжительного исслелования проблемы выяснилось, что раз в какое-то время количество процессов апача становится 500+.
Большинство из них висит в состоянии "W" - waiting for reply. Запрашиваемый url - file.php, а ip клиента из сети descr: Yandex network.
Т.е. такое ощущение, что раз в какое-то время (раз в час-два) яндекс хочет переиндекировать форум включая все вложения, которых 161Гб. Причем делает он это в кучу потоков 500+ все это дело забивает всю память 16Гб ну и все запросы становятся в очередь, пока не скачается какой-нибудь файл.
Собственно вопрос, кто-нибудь с таким сталкивался? что делать?
Версия phpBB*: не самая новая
Версия PHP: 5.4.36
Используемая СУБД и её версия: mysql
Ссылка на конференцию: cnc-club.ru
Пара скриншотов из server-status и количество процессов апача и занятой ими памяти.
Форум периодически встает колом, запрос любойп страницы может идти 10, 20 или 40 секунд, вплоть до таймаута.
Форум стоит на выделенном сервере проблем с ресурсами не должно быть.
После продолжительного исслелования проблемы выяснилось, что раз в какое-то время количество процессов апача становится 500+.
Большинство из них висит в состоянии "W" - waiting for reply. Запрашиваемый url - file.php, а ip клиента из сети descr: Yandex network.
Т.е. такое ощущение, что раз в какое-то время (раз в час-два) яндекс хочет переиндекировать форум включая все вложения, которых 161Гб. Причем делает он это в кучу потоков 500+ все это дело забивает всю память 16Гб ну и все запросы становятся в очередь, пока не скачается какой-нибудь файл.
Собственно вопрос, кто-нибудь с таким сталкивался? что делать?
Версия phpBB*: не самая новая
Версия PHP: 5.4.36
Используемая СУБД и её версия: mysql
Ссылка на конференцию: cnc-club.ru
Пара скриншотов из server-status и количество процессов апача и занятой ими памяти.
У вас нет необходимых прав для просмотра вложений в этом сообщении.
-
- phpBB 2.0.11
- Сообщения: 805
- Стаж: 13 лет 6 месяцев
- Откуда: Оттуда
- Благодарил (а): 51 раз
- Поблагодарили: 86 раз
Re: Yandex bot и нагрузка на сервер
Nick, Коля, форум лежит, сегодня вообще зайти не смог, несколько раз пробовал.
В вэбмастере, в пункте Индексирование -> Скорость обхода что у тебя выставлено?
PS: И ещё, систематически разлогинивает при заходе на форум со смартфона (версия полная, не мобильная. Пробовал с разных браузеров - всё одно), с PC такого не наблюдается, как залогинился раз несколько лет назад, так и захожу. Возможно, куки надо настроить в админке форума.
В вэбмастере, в пункте Индексирование -> Скорость обхода что у тебя выставлено?
PS: И ещё, систематически разлогинивает при заходе на форум со смартфона (версия полная, не мобильная. Пробовал с разных браузеров - всё одно), с PC такого не наблюдается, как залогинился раз несколько лет назад, так и захожу. Возможно, куки надо настроить в админке форума.
-
- Поддержка
- Сообщения: 12453
- Стаж: 12 лет 9 месяцев
- Благодарил (а): 166 раз
- Поблагодарили: 2479 раз
Re: Yandex bot и нагрузка на сервер
Добавьте бота яндекса в админке, а то он кучу сессий ещё вдобавок создаёт
Если 3.1, то советую обновиться, та ветка одна из самых тяжёлых
-
- phpBB 2.0.11
- Сообщения: 805
- Стаж: 13 лет 6 месяцев
- Откуда: Оттуда
- Благодарил (а): 51 раз
- Поблагодарили: 86 раз
-
- phpBB 1.4.2
- Сообщения: 64
- Стаж: 14 лет 3 месяца
- Откуда: СПб
- Благодарил (а): 1 раз
Re: Yandex bot и нагрузка на сервер
Залез в вебмастер, там у них есть настройка частоты захода - сделал меньше, не помогло.KEMnEP писал(а): ↑30.01.2019 3:50 https://yandex.ru/support/webmaster/con ... s-txt.html
Особенно пункт про Crawl-delay
Сделал crawl-delay - пока не помогла (сделал пол часа назад)...
Как правильно заметил предатор версия еще старее, все никак не могу обновиться - есть несколько ручных улучшений - придется заново переделывать, но чувствую скоро соберусь - за одно все лишнее уберу
Но сильно не поможет - яндекс начнет с новой энергией индексировать новый сайт .
Ну и не поможет - т.к. сервера на обычную жизь хватает, на форуме максимум 300-400 человек сидит - а это ну от силы запрос в секунду (ну 10 запросов в секунду максимум). А тут 500 одновременных активных скачиваний это как бы в 500 раз больше нормальной активности!
-
- phpBB 2.0.11
- Сообщения: 805
- Стаж: 13 лет 6 месяцев
- Откуда: Оттуда
- Благодарил (а): 51 раз
- Поблагодарили: 86 раз
Re: Yandex bot и нагрузка на сервер
Nick, Так вроде как, сейчас получше стало.
А обновиться, я тебе ещё года три тому рекомендовал.
А обновиться, я тебе ещё года три тому рекомендовал.
-
- phpBB 2.0.11
- Сообщения: 805
- Стаж: 13 лет 6 месяцев
- Откуда: Оттуда
- Благодарил (а): 51 раз
- Поблагодарили: 86 раз
-
- phpBB 3.1.0 RC2
- Сообщения: 3236
- Стаж: 12 лет 4 месяца
- Благодарил (а): 704 раза
- Поблагодарили: 153 раза
Re: Yandex bot и нагрузка на сервер
Что-то мне кажется вся дело не в яндексе, а в сервере или хостинге
-
- Поддержка
- Сообщения: 5284
- Стаж: 19 лет 3 месяца
- Откуда: Питер
- Благодарил (а): 186 раз
- Поблагодарили: 793 раза
Re: Yandex bot и нагрузка на сервер
Причём сервер этот очень дохлый.
Еще одно нарушение правил и будете забанены. © Mr. Anderson
Ты очистил кеш? © Sheer
https://siava.ru (phpbb2.0.x 3.5.x)
Ты очистил кеш? © Sheer
https://siava.ru (phpbb
-
- phpBB 1.4.2
- Сообщения: 64
- Стаж: 14 лет 3 месяца
- Откуда: СПб
- Благодарил (а): 1 раз
Re: Yandex bot и нагрузка на сервер
В каком смысле дохлый? И как это соотносится с 500 активными загрузками?
-
- Поддержка
- Сообщения: 5284
- Стаж: 19 лет 3 месяца
- Откуда: Питер
- Благодарил (а): 186 раз
- Поблагодарили: 793 раза
Re: Yandex bot и нагрузка на сервер
Nick, в смысле, что долго отдаёт контент, долго обрабатывает запросы.
Вероятно следует настроить keep alive, serverlimit.
Гляньте в сторону mod_evasive.
А ещё лучше отказаться от прожорливого apache.
Вероятно следует настроить keep alive, serverlimit.
Гляньте в сторону mod_evasive.
А ещё лучше отказаться от прожорливого apache.
Еще одно нарушение правил и будете забанены. © Mr. Anderson
Ты очистил кеш? © Sheer
https://siava.ru (phpbb2.0.x 3.5.x)
Ты очистил кеш? © Sheer
https://siava.ru (phpbb
-
- phpBB 1.4.2
- Сообщения: 64
- Стаж: 14 лет 3 месяца
- Откуда: СПб
- Благодарил (а): 1 раз
Re: Yandex bot и нагрузка на сервер
В общем исседование проблемы пришо к следующему:
Запрос на загрузку файла (яндексом) может висеть несколько минут. (такое ощущение, что каждый запрос подвисает, ибо критическая масса запросов набирается за 40 секунд при среднем коичестве 2-4 запроса в секунду).
При этом, тупо скопировав запрос в браузер, получаем мгновенный ответ.
Ситуацию можно повторить например через wget с установленным пределос скорости загрузки. Тогда подвисает процесс мееедленно отдающий файл.
Да, все висящие процессы это запросы к downloads/file.php
Попробовал почистить скрипт от лишнего, для начала убрал условия по msie<7 - не помогло.
Сейчас думаю, может эли на это повлиять размер файла отдаваемый в header?
ЗЫ file.php в 3.2 не сильно отличается от моей версии.
Запрос на загрузку файла (яндексом) может висеть несколько минут. (такое ощущение, что каждый запрос подвисает, ибо критическая масса запросов набирается за 40 секунд при среднем коичестве 2-4 запроса в секунду).
При этом, тупо скопировав запрос в браузер, получаем мгновенный ответ.
Ситуацию можно повторить например через wget с установленным пределос скорости загрузки. Тогда подвисает процесс мееедленно отдающий файл.
Да, все висящие процессы это запросы к downloads/file.php
Попробовал почистить скрипт от лишнего, для начала убрал условия по msie<7 - не помогло.
Сейчас думаю, может эли на это повлиять размер файла отдаваемый в header?
ЗЫ file.php в 3.2 не сильно отличается от моей версии.
-
- Former team member
- Сообщения: 2317
- Стаж: 14 лет 6 месяцев
- Благодарил (а): 37 раз
- Поблагодарили: 261 раз
Re: Yandex bot и нагрузка на сервер
Nick, на первый взгляд возможно несколько причин: огромное кол-во вложений в одной папке files (но хотя если через браузер открывается сразу, то маловероятно), другая - настройка сервера на отдачу статики для каких-то критериев ограничена.
Помощь в ЛС/email только за WM или ЮMoney
-
- phpBB 2.0.11
- Сообщения: 805
- Стаж: 13 лет 6 месяцев
- Откуда: Оттуда
- Благодарил (а): 51 раз
- Поблагодарили: 86 раз