Внимание!
Не все расширения для phpBB 3.2 совместимы с phpBB 3.3, главным образом из-за неверного синтаксиса в определениях сервисов (отсутствия обрамляющих кавычек - '...').
Перед обновлением необходимо убедиться в совместимости всех расширений.
Рекомендуется предварительно тестировать обновление на копии конференции (локально или на сервере).

Yandex bot и нагрузка на сервер

Проблемы с установкой или работой phpBB 3.2.x? Получите помощь здесь!
Внимание: с 6 июля 2020 года phpBB Group прекращает поддержку phpBB версии 3.2.
Сайт официальной русской поддержки phpBB Guru продолжит поддержку phpBB 3.2 до 31 декабря 2020 года.

Правила форума
Местная Конституция | Шаблон запроса | Документация (phpBB3) | Мини [FAQ] по phpBB 3.1.x/3.2.x | FAQ | Как задавать вопросы | Как устанавливать расширения

Ваш вопрос может быть удален без объяснения причин, если на него есть ответы по приведённым ссылкам (а вы рискуете получить предупреждение ;) ).
Nick
phpBB 1.4.2
Сообщения: 64
Зарегистрирован: 20.01.2010 10:27
Откуда: СПб
Благодарил (а): 7 раз
Поблагодарили: 21 раз

Yandex bot и нагрузка на сервер

Сообщение Nick »

Описание проблемы:
Форум периодически встает колом, запрос любойп страницы может идти 10, 20 или 40 секунд, вплоть до таймаута.
Форум стоит на выделенном сервере проблем с ресурсами не должно быть.
После продолжительного исслелования проблемы выяснилось, что раз в какое-то время количество процессов апача становится 500+.
Большинство из них висит в состоянии "W" - waiting for reply. Запрашиваемый url - file.php, а ip клиента из сети descr: Yandex network.

Т.е. такое ощущение, что раз в какое-то время (раз в час-два) яндекс хочет переиндекировать форум включая все вложения, которых 161Гб. Причем делает он это в кучу потоков 500+ все это дело забивает всю память 16Гб ну и все запросы становятся в очередь, пока не скачается какой-нибудь файл.

Собственно вопрос, кто-нибудь с таким сталкивался? что делать?

Версия phpBB*: не самая новая
Версия PHP: 5.4.36
Используемая СУБД и её версия: mysql
Ссылка на конференцию: cnc-club.ru

Пара скриншотов из server-status и количество процессов апача и занятой ими памяти.
Вложения
Снимок экрана от 2019-01-30 01-04-17.png
Снимок экрана от 2019-01-30 01-05-52.png

Аватара пользователя
KEMnEP
phpBB 2.0.11
Сообщения: 805
Зарегистрирован: 22.03.2015 16:32
Благодарил (а): 35 раз
Поблагодарили: 189 раз

Re: Yandex bot и нагрузка на сервер

Сообщение KEMnEP »


Аватара пользователя
Perfecthus
phpBB 2.0.6
Сообщения: 523
Зарегистрирован: 21.10.2010 8:39
Откуда: Оттуда
Благодарил (а): 44 раза
Поблагодарили: 51 раз

Re: Yandex bot и нагрузка на сервер

Сообщение Perfecthus »

Nick, Коля, форум лежит, сегодня вообще зайти не смог, несколько раз пробовал.
В вэбмастере, в пункте Индексирование -> Скорость обхода что у тебя выставлено?

PS: И ещё, систематически разлогинивает при заходе на форум со смартфона (версия полная, не мобильная. Пробовал с разных браузеров - всё одно), с PC такого не наблюдается, как залогинился раз несколько лет назад, так и захожу. Возможно, куки надо настроить в админке форума.

Аватара пользователя
Татьяна5
Поддержка
Поддержка
Сообщения: 9866
Зарегистрирован: 08.08.2011 2:02
Благодарил (а): 176 раз
Поблагодарили: 2747 раз

Re: Yandex bot и нагрузка на сервер

Сообщение Татьяна5 »

Добавьте бота яндекса в админке, а то он кучу сессий ещё вдобавок создаёт
Nick писал(а):
30.01.2019 1:49
Версия phpBB*: не самая новая
Если 3.1, то советую обновиться, та ветка одна из самых тяжёлых

Аватара пользователя
Perfecthus
phpBB 2.0.6
Сообщения: 523
Зарегистрирован: 21.10.2010 8:39
Откуда: Оттуда
Благодарил (а): 44 раза
Поблагодарили: 51 раз

Re: Yandex bot и нагрузка на сервер

Сообщение Perfecthus »

Татьяна5 писал(а):
30.01.2019 10:04
Если 3.1, то советую обновиться, та ветка одна из самых тяжёлых
По-моему, ещё древней версия, с МОДами.

Nick
phpBB 1.4.2
Сообщения: 64
Зарегистрирован: 20.01.2010 10:27
Откуда: СПб
Благодарил (а): 7 раз
Поблагодарили: 21 раз

Re: Yandex bot и нагрузка на сервер

Сообщение Nick »

KEMnEP писал(а):
30.01.2019 3:50
https://yandex.ru/support/webmaster/con ... s-txt.html
Особенно пункт про Crawl-delay
Залез в вебмастер, там у них есть настройка частоты захода - сделал меньше, не помогло.
Сделал crawl-delay - пока не помогла (сделал пол часа назад)...
Татьяна5 писал(а):
30.01.2019 10:04
Если 3.1, то советую обновиться, та ветка одна из самых тяжёлых
Как правильно заметил предатор версия еще старее, все никак не могу обновиться - есть несколько ручных улучшений - придется заново переделывать, но чувствую скоро соберусь - за одно все лишнее уберу :)
Но сильно не поможет - яндекс начнет с новой энергией индексировать новый сайт :).
Ну и не поможет - т.к. сервера на обычную жизь хватает, на форуме максимум 300-400 человек сидит - а это ну от силы запрос в секунду (ну 10 запросов в секунду максимум). А тут 500 одновременных активных скачиваний это как бы в 500 раз больше нормальной активности!

Аватара пользователя
Perfecthus
phpBB 2.0.6
Сообщения: 523
Зарегистрирован: 21.10.2010 8:39
Откуда: Оттуда
Благодарил (а): 44 раза
Поблагодарили: 51 раз

Re: Yandex bot и нагрузка на сервер

Сообщение Perfecthus »

Nick, Так вроде как, сейчас получше стало.
А обновиться, я тебе ещё года три тому рекомендовал.

Аватара пользователя
Perfecthus
phpBB 2.0.6
Сообщения: 523
Зарегистрирован: 21.10.2010 8:39
Откуда: Оттуда
Благодарил (а): 44 раза
Поблагодарили: 51 раз

Re: Yandex bot и нагрузка на сервер

Сообщение Perfecthus »

Nick, Что-то снова тормоза начались.

Аватара пользователя
igorbond
phpBB 3.0.7-PL1
Сообщения: 2536
Зарегистрирован: 09.01.2012 3:34
Благодарил (а): 588 раз
Поблагодарили: 116 раз

Re: Yandex bot и нагрузка на сервер

Сообщение igorbond »

Что-то мне кажется вся дело не в яндексе, а в сервере или хостинге
Изображение

Аватара пользователя
Siava
Поддержка
Поддержка
Сообщения: 4268
Зарегистрирован: 11.01.2005 14:29
Откуда: Питер
Благодарил (а): 112 раз
Поблагодарили: 470 раз

Re: Yandex bot и нагрузка на сервер

Сообщение Siava »

Причём сервер этот очень дохлый.
Еще одно нарушение правил и будете забанены. © Mr. Anderson
https://siava.ru/forum/ (phpbb 2.0.x, 3.1.x 3.5.x)

Nick
phpBB 1.4.2
Сообщения: 64
Зарегистрирован: 20.01.2010 10:27
Откуда: СПб
Благодарил (а): 7 раз
Поблагодарили: 21 раз

Re: Yandex bot и нагрузка на сервер

Сообщение Nick »

В каком смысле дохлый? И как это соотносится с 500 активными загрузками?

Аватара пользователя
Siava
Поддержка
Поддержка
Сообщения: 4268
Зарегистрирован: 11.01.2005 14:29
Откуда: Питер
Благодарил (а): 112 раз
Поблагодарили: 470 раз

Re: Yandex bot и нагрузка на сервер

Сообщение Siava »

Nick, в смысле, что долго отдаёт контент, долго обрабатывает запросы.
Вероятно следует настроить keep alive, serverlimit.
Гляньте в сторону mod_evasive.
А ещё лучше отказаться от прожорливого apache.
Еще одно нарушение правил и будете забанены. © Mr. Anderson
https://siava.ru/forum/ (phpbb 2.0.x, 3.1.x 3.5.x)

Nick
phpBB 1.4.2
Сообщения: 64
Зарегистрирован: 20.01.2010 10:27
Откуда: СПб
Благодарил (а): 7 раз
Поблагодарили: 21 раз

Re: Yandex bot и нагрузка на сервер

Сообщение Nick »

В общем исседование проблемы пришо к следующему:
Запрос на загрузку файла (яндексом) может висеть несколько минут. (такое ощущение, что каждый запрос подвисает, ибо критическая масса запросов набирается за 40 секунд при среднем коичестве 2-4 запроса в секунду).
При этом, тупо скопировав запрос в браузер, получаем мгновенный ответ.
Ситуацию можно повторить например через wget с установленным пределос скорости загрузки. Тогда подвисает процесс мееедленно отдающий файл.

Да, все висящие процессы это запросы к downloads/file.php
Попробовал почистить скрипт от лишнего, для начала убрал условия по msie<7 - не помогло.

Сейчас думаю, может эли на это повлиять размер файла отдаваемый в header?

ЗЫ file.php в 3.2 не сильно отличается от моей версии.

Аватара пользователя
Pazh
Former team member
Сообщения: 2194
Зарегистрирован: 09.11.2009 17:46
Благодарил (а): 41 раз
Поблагодарили: 454 раза

Re: Yandex bot и нагрузка на сервер

Сообщение Pazh »

Nick, на первый взгляд возможно несколько причин: огромное кол-во вложений в одной папке files (но хотя если через браузер открывается сразу, то маловероятно), другая - настройка сервера на отдачу статики для каких-то критериев ограничена.
форум ЖК Вестердам Помощь в ЛС/email только за WM или ЯД

Аватара пользователя
Perfecthus
phpBB 2.0.6
Сообщения: 523
Зарегистрирован: 21.10.2010 8:39
Откуда: Оттуда
Благодарил (а): 44 раза
Поблагодарили: 51 раз

Re: Yandex bot и нагрузка на сервер

Сообщение Perfecthus »

Pazh, Файлов там - мама не горюй!

Вернуться в «Поддержка phpBB 3.2.x»