[cyber_punk]

Mr. Anderson писал(а):Тут нужна детализация - и по самой статистике и по времени её сбора.

rxu писал(а):Вопрос слишком общий. Неясно, о каких конкретно таблицах и запросах идет речь. Скорее, относится к настройке сервера, нежели к работе phpBB.

Я уже не знаю что и как настраивать.
Настраивал my.cnf и по мануалам из интернета и с помощью скриптов MySQLTuner и Tuning Primer.

Хостинг менял. На последнем сначала, полгода, было все в порядке, но как начинает расти посещаемость начинаются тормоза.
А если видимых тормозов нет, то пользователи постоянно жалуются на 502 ошибку.
Осенью перешел на два тарифа выше. При том что посещаемость выросла НЕ в 2 раза.

Сейчас ситуация такая, посещаемость 10 тыс в сутки. Одновременное пребывание по статистике форума (5 мин) 150-250 пользователей. В часы пик до 300.
Сервер ВПС Intel Xeon CPU E5645 @ 2.40GHz Оперативка 3 гига.
ОС Дебиан
установлен nginx
кеширование в майскуэле включено.

Вот состояние майскуэла за сегодняшний день:
MySQL сервер работает 0 дней, 11 часов
Статистика запросов: со времени запуска, на сервер было отослано запросов - 1,965,317
в секунду - 49.63

Вот какие переменные отмечены красным:
Slow_queries 1,233 (long_query_time=30)
Innodb_buffer_pool_reads 12
Handler_read_rnd 16 M
Handler_read_rnd_next 1,043 M
Slow_launch_threads 22
Created_tmp_disk_tables 4,477
Select_full_join 60 k
Table_locks_waited 43 k

Какие ещё данные нужны?

Сразу говорю, в администрировании сервера я мало что понимаю, может я упускаю из вида какие то очевидные вещи?
Просто не очень верится что такой конфигурации сервера не хватает для посещаемости в 10 тыщ. Какие же тогда сервера у сайтов со 100 тыс. посещаемостью.

[rxu]

cyber_punk писал(а):Slow_queries 1,233

А лог медленных запросов есть?

[cyber_punk]

Есть, подавляющее большинство запросов в нем вот такого типа:

Код: Выделить всё

# Query_time: 40  Lock_time: 0  Rows_sent: 5701  Rows_examined: 5721
SELECT DISTINCT t.poster_id, t.post_id, t.user_id FROM (phpbb_thanks t, phpbb_posts p) WHERE t.poster_id = p.poster_id AND (p.post_id = 43350 OR p.post_id = 43352 OR p.post_id = 43963 OR p.post_id = 43966 OR p.post_id = 43967 OR p.post_id = 43979 OR p.post_id = 43980 OR p.post_id = 44686 OR p.post_id = 44737 OR p.post_id = 45604 OR p.post_id = 45735 OR p.post_id = 45745 OR p.post_id = 46063 OR p.post_id = 47975 OR p.post_id = 49921 OR p.post_id = 49975 OR p.post_id = 50234 OR p.post_id = 50772 OR p.post_id = 52165 OR p.post_id = 52260);

Ещё встречаются такие, но их процента 2 от общего числа:

Код: Выделить всё

# Query_time: 47  Lock_time: 0  Rows_sent: 8  Rows_examined: 4970
SELECT t.*, i.icons_url, i.icons_width, i.icons_height, tp.topic_posted, f.forum_name, f.forum_type, f.forum_flags
	FROM phpbb_topics t
	LEFT JOIN phpbb_topics_posted tp
		ON (t.topic_id = tp.topic_id
			AND tp.user_id = 13721)
	LEFT JOIN phpbb_forums f
		ON f.forum_id = t.forum_id
	LEFT JOIN phpbb_icons i
		ON t.icon_id = i.icons_id
	WHERE ( f.forum_recent_topics = 1
			
			
			AND t.forum_id IN (3, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 16, 17, 18, 19, 20, 21, 22, 23, 24, 25, 26, 27, 28, 29, 30, 31, 32, 33, 34, 35, 36, 37, 38, 39, 40, 42, 44, 45, 46, 47, 48, 49, 50, 51, 52, 53, 54, 55, 56, 57, 58, 59, 60, 61, 62, 63, 64) )
		OR t.topic_type IN (3)
	GROUP BY t.topic_last_post_id
	ORDER BY t.topic_last_post_time DESC
 LIMIT 8;

[mih_io]

У меня посещаемость примерно такая же. Проблема была такая же, большая загрузка СУБД MySQL.

Конкретно этот ваш медленный запрос делает обращение к таблице, на память не помню, phpbb_thanks, ключом этой таблицы являются два атрибута и для них делается один индекс. Сделайте еще отдельно для каждого этого атрибута по индексу и запросы буду выполняться нормально. У меня записей в таблице "спасибо", было 79к

Так я нашел у себя еще запросы из других модов, например, мод "медалей". Там тоже не было индексов к ключевым атрибутам, по которым делался отбор. Там настроил. И в итоге всё заработало нормально.

upd

еще бы советовал установить что-то типа xcache, нагрузку на сервер тоже уменьшает. Но конечно, если запросы в СУБД долго отрабатываются, эту проблему оно не решает.

[Mr. Anderson]

cyber_punk писал(а):и по мануалам из интернета и с помощью скриптов MySQLTuner и Tuning Primer

И мануалы, и сабжевые тюнилки - они очень общего плана, тут конкретика не помешала бы. Можно в ЛС.

cyber_punk писал(а):Сервер ВПС Intel Xeon CPU E5645 @ 2.40GHz

VPS? То есть у вас на нем виртуалка, не все его ресурсы ваши?
А конкретнее?

cyber_punk писал(а):установлен nginx

Его недостаточно просто поставить, его не мешает хорошо настроить и подтюнить еще. Это немного не касается темы, но грамотная настройка энджи дает нефиговое освобождение IO-очереди на харде. Что, кстати, при интенсивной на него нагрузке, дает некислый буст тому же мускулу. Особенно если хард небыстрый и при этом один (или массив один).
Соответственно, хотелось бы узнать что у вас там по части хардов.

cyber_punk писал(а):кеширование в майскуэле включено

Тут тоже конкретные цифры не помешали бы.

cyber_punk писал(а):Есть, подавляющее большинство запросов в нем вот такого типа:

Это не спасибки ли? Напоминает какую-то из старых версий, в новых это вроде пофиксили.
Уже было что-то подобное на форуме, где стоял мод "все посты на одной странице", вот там мускул порой колом вставал Но варианты решения есть.

[rxu]

cyber_punk
Вам в тему мода: Thanks for post (Rating edition)

[cyber_punk]

rxu писал(а):Вам в тему мода: Thanks for post (Rating edition)

Прочитал половину темы, я так понял там была проблема с версией 1.2.8.
А у меня стоит старая 1.2.3 по ней вроде жалоб не было.
Отключил отображение благодарностей в сообщениях - результата не дало, нагрузка осталась прежней.
Можно конечно попробовать обновить мод, только не понятно на какую версию, и не будет ли хуже так как мод стал намного сложней из-за системы рейтинга.

mih_io писал(а):ключом этой таблицы являются два атрибута и для них делается один индекс. Сделайте еще отдельно для каждого этого атрибута по индексу и запросы буду выполняться нормально.

А подробней можно как эти индексы делать?
В phpMyAdmin открываю таблицу phpbb_thanks в ней 3 поля, справа от них 4 кнопки первичный, уникальный, индекс, полнотекстовый. Это оно? Какой из четырех ставить?
Внизу индекс PRIMARY для двух полей.

Mr. Anderson писал(а):тут конкретика не помешала бы

Сейчас настройки my.cnf такие

Код: Выделить всё

skip-locking
low-priority-updates
key_buffer = 1024M
max_connections=500
max_allowed_packet = 1M
table_cache = 1024
sort_buffer_size = 32M
record_buffer=8M
read_buffer_size = 4M
read_rnd_buffer_size = 8M
join_buffer_size = 8M
max_join_size=1000000
max_sort_length=20
thread_cache_size = 96
myisam_sort_buffer_size = 512M
net_read_timeout=12
net_write_timeout=15
wait_timeout=30
interactive_timeout=600
long_query_time=30
query_cache_size = 256M (знаю что много, буду уменьшать)
query_cache_limit = 16M
thread_concurrency = 6

Mr. Anderson писал(а):То есть у вас на нем виртуалка, не все его ресурсы ваши?

Память по топу Mem: 3145728k total, 2371304k used, 774424k free,
А если смотреть cat /proc/user_beancounters то вот:

Код: Выделить всё

 resource                     held              maxheld              barrier                         limit              
kmemsize                 30404302             38958303            193273527                     214748364                 
lockedpages                     0                    5                 2059                          2059                   
privvmpages                685396               787550               786432                        786432                
shmpages                      784                 1488               131072                        131072                   

Получается 2 гига что ли?
А как смотреть сколько выделено процессора я не знаю.

[mih_io]

cyber_punk писал(а):В phpMyAdmin открываю таблицу phpbb_thanks в ней 3 поля, справа от них 4 кнопки первичный, уникальный, индекс, полнотекстовый. Это оно? Какой из четырех ставить?
Внизу индекс PRIMARY для двух полей.

ага, оно. на кнопочки индекс надо нажимать напротив нужного атрибута

Thanks for post (Rating edition)

[cyber_punk]

mih_io
Большое спасибо!
Вчера создал всем трем полям которые там были по индексу т.к. они все участвуют в запросе, стало намного лучше, но все равно пока далеко от идеала. Буду дальше разбираться какие ещё индексы создавать.
А какая у вас стоит версия мода?

Все же пока решил перейти на более дорогой тариф - стало совсем нормально.

Mr. Anderson писал(а):Его недостаточно просто поставить, его не мешает хорошо настроить и подтюнить еще.

nginx ставил хостер. Я его не настраивал. Может подскажете как его хорошо настроить?
Ещё слышал, что вроде как если установлен nginx то нужно ставить "php как CGI", у меня включен "php как модуль apache"
Или это не то?

[mih_io]

cyber_punk
Кажется у меня 1.2.8 версия, там еще был небольшой баг, в вашей версии его нет.

Также, как я уже писал, очень, просто очень рекомендую установить xcache. Мне ставили хостеры, в форуме ничего настраивать и менять не надо, оно само начинает работать и фурычить. Попросите их.

[Палыч]

cyber_punk писал(а):В phpMyAdmin открываю таблицу phpbb_thanks в ней 3 поля

Какая то очень старая версия мода у вас.
Обновите. Текущая 1.3.3

[владимир1983]

Добрый день, уважаемые гуру. Возникла у меня проблема со скачкообразным повышением потребления форумом трафика.


Как видно, форум стал потреблять почти в 2.5 больше начиная с 6 марта.

До этого, начиная с 4 марта, проводилось обновление форума до последней версии и обновление установленных модов.



Непосредственно перед самым 6 числом устанавливались только 2 мода: topic image и Double Account Preventer. До этого стояла предыдущая версия topic image, использующая в своей работе phpbb gallery, т.е. раньше миниатюры возле названия тем тоже выводились и при них потреблялось в разы меньше трафика.

Собственно вопрос, как и чем можно отследить, что так сильно начало отжирать трафик? Просто теряюсь в догадка :( а хостер уже обрадовал, что с текущим потреблением работать пару дней осталось...

[МайскийЖук]

Скриншоты посмотреть невозможно, не отображаются. Залейте на нормальный хостинг.

[Vityas]

[МайскийЖук]

Клево. Второй скриншот даже увеличить нельзя.