Yandex bot и нагрузка на сервер

Проблемы с установкой или работой phpBB 3.2.x? Получите помощь здесь!
Правила форума
Местная Конституция | Шаблон запроса | Документация (phpBB3) | Мини [FAQ] по phpBB3.1.x | FAQ-3 (phpbb3) | Как задавать вопросы | Как устанавливать расширения

Ваш вопрос может быть удален без объяснения причин, если на него есть ответы по приведённым ссылкам (а вы рискуете получить предупреждение ;) ).
Nick
phpBB 1.4.2
Сообщения: 64
Зарегистрирован: 20.01.2010 10:27
Откуда: СПб
Благодарил (а): 7 раз
Поблагодарили: 21 раз
Контактная информация:

Yandex bot и нагрузка на сервер

Сообщение Nick » 30.01.2019 1:49

Описание проблемы:
Форум периодически встает колом, запрос любойп страницы может идти 10, 20 или 40 секунд, вплоть до таймаута.
Форум стоит на выделенном сервере проблем с ресурсами не должно быть.
После продолжительного исслелования проблемы выяснилось, что раз в какое-то время количество процессов апача становится 500+.
Большинство из них висит в состоянии "W" - waiting for reply. Запрашиваемый url - file.php, а ip клиента из сети descr: Yandex network.

Т.е. такое ощущение, что раз в какое-то время (раз в час-два) яндекс хочет переиндекировать форум включая все вложения, которых 161Гб. Причем делает он это в кучу потоков 500+ все это дело забивает всю память 16Гб ну и все запросы становятся в очередь, пока не скачается какой-нибудь файл.

Собственно вопрос, кто-нибудь с таким сталкивался? что делать?

Версия phpBB*: не самая новая
Версия PHP: 5.4.36
Используемая СУБД и её версия: mysql
Ссылка на конференцию: cnc-club.ru

Пара скриншотов из server-status и количество процессов апача и занятой ими памяти.
Вложения
Снимок экрана от 2019-01-30 01-04-17.png
Снимок экрана от 2019-01-30 01-05-52.png

Аватара пользователя
KEMnEP
phpBB 2.0.10
Сообщения: 787
Зарегистрирован: 22.03.2015 16:32
Благодарил (а): 31 раз
Поблагодарили: 169 раз

Re: Yandex bot и нагрузка на сервер

Сообщение KEMnEP » 30.01.2019 3:50


Аватара пользователя
Perfecthus
phpBB 2.0.5
Сообщения: 475
Зарегистрирован: 21.10.2010 8:39
Благодарил (а): 41 раз
Поблагодарили: 41 раз
Контактная информация:

Re: Yandex bot и нагрузка на сервер

Сообщение Perfecthus » 30.01.2019 4:55

Nick, Коля, форум лежит, сегодня вообще зайти не смог, несколько раз пробовал.
В вэбмастере, в пункте Индексирование -> Скорость обхода что у тебя выставлено?

PS: И ещё, систематически разлогинивает при заходе на форум со смартфона (версия полная, не мобильная. Пробовал с разных браузеров - всё одно), с PC такого не наблюдается, как залогинился раз несколько лет назад, так и захожу. Возможно, куки надо настроить в админке форума.

Аватара пользователя
Татьяна5
Поддержка
Поддержка
Сообщения: 8884
Зарегистрирован: 08.08.2011 2:02
Благодарил (а): 158 раз
Поблагодарили: 2506 раз
Контактная информация:

Re: Yandex bot и нагрузка на сервер

Сообщение Татьяна5 » 30.01.2019 10:04

Добавьте бота яндекса в админке, а то он кучу сессий ещё вдобавок создаёт
Nick писал(а):
30.01.2019 1:49
Версия phpBB*: не самая новая
Если 3.1, то советую обновиться, та ветка одна из самых тяжёлых

Аватара пользователя
Perfecthus
phpBB 2.0.5
Сообщения: 475
Зарегистрирован: 21.10.2010 8:39
Благодарил (а): 41 раз
Поблагодарили: 41 раз
Контактная информация:

Re: Yandex bot и нагрузка на сервер

Сообщение Perfecthus » 31.01.2019 8:45

Татьяна5 писал(а):
30.01.2019 10:04
Если 3.1, то советую обновиться, та ветка одна из самых тяжёлых
По-моему, ещё древней версия, с МОДами.

Nick
phpBB 1.4.2
Сообщения: 64
Зарегистрирован: 20.01.2010 10:27
Откуда: СПб
Благодарил (а): 7 раз
Поблагодарили: 21 раз
Контактная информация:

Re: Yandex bot и нагрузка на сервер

Сообщение Nick » 01.02.2019 17:04

KEMnEP писал(а):
30.01.2019 3:50
https://yandex.ru/support/webmaster/con ... s-txt.html
Особенно пункт про Crawl-delay
Залез в вебмастер, там у них есть настройка частоты захода - сделал меньше, не помогло.
Сделал crawl-delay - пока не помогла (сделал пол часа назад)...
Татьяна5 писал(а):
30.01.2019 10:04
Если 3.1, то советую обновиться, та ветка одна из самых тяжёлых
Как правильно заметил предатор версия еще старее, все никак не могу обновиться - есть несколько ручных улучшений - придется заново переделывать, но чувствую скоро соберусь - за одно все лишнее уберу :)
Но сильно не поможет - яндекс начнет с новой энергией индексировать новый сайт :).
Ну и не поможет - т.к. сервера на обычную жизь хватает, на форуме максимум 300-400 человек сидит - а это ну от силы запрос в секунду (ну 10 запросов в секунду максимум). А тут 500 одновременных активных скачиваний это как бы в 500 раз больше нормальной активности!

Аватара пользователя
Perfecthus
phpBB 2.0.5
Сообщения: 475
Зарегистрирован: 21.10.2010 8:39
Благодарил (а): 41 раз
Поблагодарили: 41 раз
Контактная информация:

Re: Yandex bot и нагрузка на сервер

Сообщение Perfecthus » 02.02.2019 6:39

Nick, Так вроде как, сейчас получше стало.
А обновиться, я тебе ещё года три тому рекомендовал.

Аватара пользователя
Perfecthus
phpBB 2.0.5
Сообщения: 475
Зарегистрирован: 21.10.2010 8:39
Благодарил (а): 41 раз
Поблагодарили: 41 раз
Контактная информация:

Re: Yandex bot и нагрузка на сервер

Сообщение Perfecthus » 02.02.2019 9:47

Nick, Что-то снова тормоза начались.

Аватара пользователя
igorbond
phpBB 3.0.6
Сообщения: 2377
Зарегистрирован: 09.01.2012 3:34
Благодарил (а): 494 раза
Поблагодарили: 107 раз

Re: Yandex bot и нагрузка на сервер

Сообщение igorbond » 02.02.2019 12:35

Что-то мне кажется вся дело не в яндексе, а в сервере или хостинге
Изображение

Аватара пользователя
Siava
Поддержка
Поддержка
Сообщения: 3998
Зарегистрирован: 11.01.2005 14:29
Откуда: Питер
Благодарил (а): 97 раз
Поблагодарили: 385 раз
Контактная информация:

Re: Yandex bot и нагрузка на сервер

Сообщение Siava » 02.02.2019 13:24

Причём сервер этот очень дохлый.
Еще одно нарушение правил и будете забанены. © Mr. Anderson
https://siava.ru/forum/ (phpbb 2.0.x, 3.1.x 3.2.x)

Nick
phpBB 1.4.2
Сообщения: 64
Зарегистрирован: 20.01.2010 10:27
Откуда: СПб
Благодарил (а): 7 раз
Поблагодарили: 21 раз
Контактная информация:

Re: Yandex bot и нагрузка на сервер

Сообщение Nick » 04.02.2019 0:43

В каком смысле дохлый? И как это соотносится с 500 активными загрузками?

Аватара пользователя
Siava
Поддержка
Поддержка
Сообщения: 3998
Зарегистрирован: 11.01.2005 14:29
Откуда: Питер
Благодарил (а): 97 раз
Поблагодарили: 385 раз
Контактная информация:

Re: Yandex bot и нагрузка на сервер

Сообщение Siava » 05.02.2019 13:16

Nick, в смысле, что долго отдаёт контент, долго обрабатывает запросы.
Вероятно следует настроить keep alive, serverlimit.
Гляньте в сторону mod_evasive.
А ещё лучше отказаться от прожорливого apache.
Еще одно нарушение правил и будете забанены. © Mr. Anderson
https://siava.ru/forum/ (phpbb 2.0.x, 3.1.x 3.2.x)

Nick
phpBB 1.4.2
Сообщения: 64
Зарегистрирован: 20.01.2010 10:27
Откуда: СПб
Благодарил (а): 7 раз
Поблагодарили: 21 раз
Контактная информация:

Re: Yandex bot и нагрузка на сервер

Сообщение Nick » 07.02.2019 1:08

В общем исседование проблемы пришо к следующему:
Запрос на загрузку файла (яндексом) может висеть несколько минут. (такое ощущение, что каждый запрос подвисает, ибо критическая масса запросов набирается за 40 секунд при среднем коичестве 2-4 запроса в секунду).
При этом, тупо скопировав запрос в браузер, получаем мгновенный ответ.
Ситуацию можно повторить например через wget с установленным пределос скорости загрузки. Тогда подвисает процесс мееедленно отдающий файл.

Да, все висящие процессы это запросы к downloads/file.php
Попробовал почистить скрипт от лишнего, для начала убрал условия по msie<7 - не помогло.

Сейчас думаю, может эли на это повлиять размер файла отдаваемый в header?

ЗЫ file.php в 3.2 не сильно отличается от моей версии.

Аватара пользователя
Pazh
Former team member
Сообщения: 1992
Зарегистрирован: 09.11.2009 17:46
Благодарил (а): 34 раза
Поблагодарили: 394 раза
Контактная информация:

Re: Yandex bot и нагрузка на сервер

Сообщение Pazh » 07.02.2019 9:53

Nick, на первый взгляд возможно несколько причин: огромное кол-во вложений в одной папке files (но хотя если через браузер открывается сразу, то маловероятно), другая - настройка сервера на отдачу статики для каких-то критериев ограничена.
форум ЖК Пироговская ривьера Помощь в ЛС/email только за WM или ЯД

Аватара пользователя
Perfecthus
phpBB 2.0.5
Сообщения: 475
Зарегистрирован: 21.10.2010 8:39
Благодарил (а): 41 раз
Поблагодарили: 41 раз
Контактная информация:

Re: Yandex bot и нагрузка на сервер

Сообщение Perfecthus » 07.02.2019 10:33

Pazh, Файлов там - мама не горюй!

Ответить

Вернуться в «Поддержка phpBB 3.2.x»