Нагрузка на сервер от phpbb3

[nissin]

Попросите дать расшифровку нагрузки на процессор, какие хосты, какие скрипты, в какое время.
Возможно кто-то из поисковых роботов решил пройтись.

[clubnewmen]

Попросите дать расшифровку нагрузки на процессор, какие хосты, какие скрипты, в какое время.
Возможно кто-то из поисковых роботов решил пройтись.

Хостер сказал такие данные не предоставляет. Надо как то самому выкручиваться.

А сильно влияет на загрузку сервера включенная функция "Маркировка тем на сервере"? При посещении 300 человек в день и постоянно 10-20 онлайн.

[nissin]

Это плохо, тогда нужно сидеть и вручную анализировать файл лога, либо поискать утилиту для этого дела.
Но как правило большая загрузка, если это конечно не DOS/DDOS часто исходит именно от поисковых роботов.

[Alek$]

ОТ поисковых ботов (некоторых) помогает директива Crawl-Delay в robots.txt

[redroot]

Да, кстати как вариант (сталкивался в свое время что бот Вебалты почти ложил простенький vds)
----
Роботы обычно поддерживают дробные значения Crawl-Delay, например, 0.5. Это не гарантирует, что поисковый робот будет заходить на ваш сайт каждые полсекунды, но дает роботу больше свободы и позволяет ускорить обход сайта.
Примеры:

User-agent: Yandex
Crawl-delay: 2 # задает таймут в 2 секунды

User-agent: *
Disallow: /search
Crawl-delay: 4.5 # задает таймут в 4.5 секунды

[Gisher]

если задать след. образом

Код: Выделить всё

User-agent: *
Disallow: /adm
Disallow: /cache
Disallow: /CVS
Disallow: /develop
Disallow: /docs
Disallow: /files
Disallow: /includes
Disallow: /install
Disallow: /language
Disallow: /store
Disallow: /styles
Disallow: /common.php
Disallow: /config.php
Disallow: /cron.php
Disallow: /download.php
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewonline.php
Disallow: /memberlist.php
Disallow: /search.php
Disallow: /go.php
Disallow: /reputation.php
Disallow: /viewreputation.php
Disallow: /ajax.php
Crawl-delay: 4.5 #

то это создаст таймаут в 4,5 сек. для всех "понимающих" ботов, я правильно Вас понял?

[Alek$]

Gisher
правильно.

[Gisher]

спасибо за ответ, есть необходимость создавать для каждого бота отдельно?
какой таймаут посоветуете поставить?

[Alek$]

Gisher
Подходящий тайм-аут подбирается экспериментально. Отталкиваться можно от 2 секунд. Одного тайм-аута на всех ботов вполне достаточно, имхо.

[Thanx]

А у меня на форумах Yahoo! Slurp игнорирует Crawl-delay. Чихать на него хотел. Я меняю параметры. Ставлю или убираю вообще - частота заходов робота не меняется абсолютно.

[Alek$]

Thanx
Это "фитча" бота яху. Привет его разработчикам.

[Thanx]

Привет можно и так передать:

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} Yahoo [NC]
RewriteRule (.*) - [G,L]

[Gisher]

секунды указывть вместо * ?

[Alek$]

Gisher
нет, этот код попросту запрещает индексацию сайта ботом yahoo.

[The-eBook]

Столкнулся с проблемой ограничения нагрузки на сервер со стороны хостера. При увеличении нагрузки хостер включает режим CPU Quota, то есть вместо форума сообщение хостера. Таким образом хостер ограничивает нагрузку на сервер. Максимально возможная квота 240 CPU, в то время как логи показывают:

Fri Oct 10 05:19:37 2008: used 419.00 seconds of cpu time for [[mysql query]]
Fri Oct 10 03:09:45 2008: used 763.00 seconds of cpu time for [[mysql query]]
Fri Oct 10 01:05:17 2008: used 411.00 seconds of cpu time for [[mysql query]]

То есть форум практически ежечастно в дауне.

Вопрос: как ограничить нагрузку на запросы в MySQL средствами phpbb3? Встроенное ограничение практически не меняет ситуацию. Может phpbb3 использует постоянное подключение?