Удаление под-форумов при большой базе данных

[Mr. Anderson]

на freebsd

Ой, еще "лучше" - вал своих особенностей.
Я с фрюшей с 8.х не работал толком, но если правильно помню, то по дефолту конфиг мускула лежит вроде здесь - /var/db/mysql/my.cnf

заодно попросили поправить форум с mysql-базой

Зря вы взялись за это, коли не разбираетесь.

PS:
Это конечно немного рукозадая и неоднозначная тулза, но тоже довольно немало инфы дает - mysqltuner.pl (это и линк, и имя)

[Flector]

Попросили - я делаю. Хотя, конечно, да - это совершенно не моя специализация. Но никогда не поздно учиться.

Починить упавшую базу удалось через

Код: Выделить всё

myisamchk -r phpbb_posts

А вот вроде бы пустяковая просьба - грохнуть ненужный под-форум оказалась с подвохом - 2500+ топиков, полтора ляма постов. Удаляется это со скрипом и только небольшие по объему топики. Вручную все удалить - ну никак. Особенно, если учесть, что при удалении больших топиков накрывается таблица phpbb_posts и приходится ее чинить заново.

Код: Выделить всё

ps -aux|grep mysql

выдает:

Код: Выделить всё

mysql    99525 28.5  1.5 526280 124984  ??  SJ   10:36PM   0:10.18 /usr/local/libexec/mysqld --defaults-extra-file=/var/db/mysql/my.cnf --basedir=/usr/local --datadir=/var/db/mysql --log-error=/var/db/mysql/forum.com.err --pid-file=/var/db/mysql/forum.com.pid --socket=/tmp/mysql.sock --port=3306
mysql    99409  0.0  0.0  8348  1516  ??  IsJ  10:36PM   0:00.01 /bin/sh /usr/local/bin/mysqld_safe --defaults-extra-file=/var/db/mysql/my.cnf --user=mysql --datadir=/var/db/mysql --pid-file=/var/db/mysql/forum.com.pid

но файла /var/db/mysql/my.cnf на сервере нет.
создал его через команду:

Код: Выделить всё

cp /usr/local/share/mysql/my-large.cnf /var/db/mysql/my.cnf

и в итоге сейчас содержимое такое:

my.cnf 

# Example MySQL config file for large systems.
#
# This is for a large system with memory = 512M where the system runs mainly
# MySQL.
#
# MySQL programs look for option files in a set of
# locations which depend on the deployment platform.
# You can copy this option file to one of those
# locations. For information about these locations, see:
# http://dev.mysql.com/doc/mysql/en/option-files.html
#
# In this file, you can use all long options that a program supports.
# If you want to know which options a program supports, run the program
# with the "--help" option.

# The following options will be passed to all MySQL clients
[client]
#password = your_password
port = 3306
socket = /tmp/mysql.sock

# Here follows entries for some specific programs

# The MySQL server
[mysqld]
port = 3306
socket = /tmp/mysql.sock
skip-locking
key_buffer_size = 256M
max_allowed_packet = 1M
table_open_cache = 256
sort_buffer_size = 1M
read_buffer_size = 1M
read_rnd_buffer_size = 4M
myisam_sort_buffer_size = 64M
thread_cache_size = 8
query_cache_size= 16M
# Try number of CPU's*2 for thread_concurrency
thread_concurrency = 8

# Don't listen on a TCP/IP port at all. This can be a security enhancement,
# if all processes that need to connect to mysqld run on the same host.
# All interaction with mysqld must be made via Unix sockets or named pipes.
# Note that using this option without enabling named pipes on Windows
# (via the "enable-named-pipe" option) will render mysqld useless!
#
#skip-networking

# Replication Master Server (default)
# binary logging is required for replication
log-bin=mysql-bin

# binary logging format - mixed recommended
binlog_format=mixed

# required unique id between 1 and 2^32 - 1
# defaults to 1 if master-host is not set
# but will not function as a master if omitted
server-id = 1

# Replication Slave (comment out master section to use this)
#
# To configure this host as a replication slave, you can choose between
# two methods :
#
# 1) Use the CHANGE MASTER TO command (fully described in our manual) -
# the syntax is:
#
# CHANGE MASTER TO MASTER_HOST=<host>, MASTER_PORT=<port>,
# MASTER_USER=<user>, MASTER_PASSWORD=<password> ;
#
# where you replace <host>, <user>, <password> by quoted strings and
# <port> by the master's port number (3306 by default).
#
# Example:
#
# CHANGE MASTER TO MASTER_HOST='125.564.12.1', MASTER_PORT=3306,
# MASTER_USER='joe', MASTER_PASSWORD='secret';
#
# OR
#
# 2) Set the variables below. However, in case you choose this method, then
# start replication for the first time (even unsuccessfully, for example
# if you mistyped the password in master-password and the slave fails to
# connect), the slave will create a master.info file, and any later
# change in this file to the variables' values below will be ignored and
# overridden by the content of the master.info file, unless you shutdown
# the slave server, delete master.info and restart the slaver server.
# For that reason, you may want to leave the lines below untouched
# (commented) and instead use CHANGE MASTER TO (see above)
#
# required unique id between 2 and 2^32 - 1
# (and different from the master)
# defaults to 2 if master-host is set
# but will not function as a slave if omitted
#server-id = 2
#
# The replication master for this slave - required
#master-host = <hostname>
#
# The username the slave will use for authentication when connecting
# to the master - required
#master-user = <username>
#
# The password the slave will authenticate with when connecting to
# the master - required
#master-password = <password>
#
# The port the master is listening on.
# optional - defaults to 3306
#master-port = <port>
#
# binary logging - not required for slaves, but recommended
#log-bin=mysql-bin

# Uncomment the following if you are using InnoDB tables
#innodb_data_home_dir = /var/db/mysql
#innodb_data_file_path = ibdata1:10M:autoextend
#innodb_log_group_home_dir = /var/db/mysql
# You can set .._buffer_pool_size up to 50 - 80 %
# of RAM but beware of setting memory usage too high
#innodb_buffer_pool_size = 256M
#innodb_additional_mem_pool_size = 20M
# Set .._log_file_size to 25 % of buffer pool size
#innodb_log_file_size = 64M
#innodb_log_buffer_size = 8M
#innodb_flush_log_at_trx_commit = 1
#innodb_lock_wait_timeout = 50

[mysqldump]
quick
max_allowed_packet = 16M

[mysql]
no-auto-rehash
# Remove the next comment character if you are not familiar with SQL
#safe-updates

[myisamchk]
key_buffer_size = 128M
sort_buffer_size = 128M
read_buffer = 2M
write_buffer = 2M

[mysqlhotcopy]
interactive-timeout

[Mr. Anderson]

но файла /var/db/mysql/my.cnf на сервере нет

Значит работает с настройками по дефолту (аля то, что вы ранее привели)

/var/db/mysql/forum.com.err

А этот есть?

создал его

Теперь рестартаните СУБД, дайте поработать часик-другой и запустите mysqltuner.pl (а его вывод - можно сюда, можно - мне). Посмотрим что за чудеса у вас там...

[Flector]

А этот есть?

есть, размером в 136690292 байт.

[Mr. Anderson]

есть

Чудеса, да и только (с)
Да и 136Мб - немало для простого эррор-лога СУБД...

[Flector]

да там десятки тысяч строчек типа:

160522 11:55:39 [ERROR] /usr/local/libexec/mysqld: Table './user2787_inc@002dforum/phpbb_posts' is marked as crashed and last (automatic?) repair failed
160522 11:55:42 [ERROR] /usr/local/libexec/mysqld: Table './user2787_inc@002dforum/phpbb_posts' is marked as crashed and last (automatic?) repair failed
160522 11:55:43 [ERROR] /usr/local/libexec/mysqld: Table './user2787_inc@002dforum/phpbb_posts' is marked as crashed and last (automatic?) repair failed

то есть ничего странного.

Отправлено спустя 2 часа 5 минут 2 секунды:

mysqltuner.pl 

>> MySQLTuner 1.2.0 - Major Hayden <major@mhtx.net>
>> Bug reports, feature requests, and downloads at http://mysqltuner.com/
>> Run with '--help' for additional options and output filtering
Please enter your MySQL administrative login: xxx
Please enter your MySQL administrative password: xxx

-------- General Statistics --------------------------------------------------
[--] Skipped version check for MySQLTuner script
[OK] Currently running supported MySQL version 5.1.71-log
[OK] Operating on 64-bit architecture

-------- Storage Engine Statistics -------------------------------------------
[--] Status: +Archive -BDB -Federated -InnoDB -ISAM -NDBCluster
[--] Data in MyISAM tables: 3G (Tables: 63)
[!!] Total fragmented tables: 12

-------- Security Recommendations -------------------------------------------
ERROR 1142 (42000) at line 1: SELECT command denied to user 'user2787_forum'@'lo calhost' for table 'user'
[OK] All database users have passwords assigned

-------- Performance Metrics -------------------------------------------------
[--] Up for: 2h 38m 18s (558K q [58.851 qps], 22K conn, TX: 2B, RX: 77M)
[--] Reads / Writes: 81% / 19%
[--] Total buffers: 288.0M global + 6.4M per thread (151 max threads)
[OK] Maximum possible memory usage: 1.2G (14% of installed RAM)
[OK] Slow queries: 0% (303/558K)
[OK] Highest usage of available connections: 37% (57/151)
[OK] Key buffer size / total MyISAM indexes: 256.0M/4.6G
[OK] Key buffer hit rate: 99.8% (63M cached / 123K reads)
[OK] Query cache efficiency: 57.6% (242K cached / 420K selects)
[!!] Query cache prunes per day: 322476
[OK] Sorts requiring temporary tables: 0% (2 temp sorts / 34K sorts)
[!!] Joins performed without indexes: 39
[!!] Temporary tables created on disk: 29% (10K on disk / 36K total)
[OK] Thread cache hit rate: 98% (397 created / 22K connections)
[OK] Table cache hit rate: 36% (256 open / 696 opened)
[OK] Open file limit used: 1% (467/24K)
[OK] Table locks acquired immediately: 99% (259K immediate / 260K locks)

-------- Recommendations -----------------------------------------------------
General recommendations:
Run OPTIMIZE TABLE to defragment tables for better performance
MySQL started within last 24 hours - recommendations may be inaccurate
Enable the slow query log to troubleshoot bad queries
Adjust your join queries to always utilize indexes
When making adjustments, make tmp_table_size/max_heap_table_size equal
Reduce your SELECT DISTINCT queries without LIMIT clauses
Variables to adjust:
query_cache_size (> 16M)
join_buffer_size (> 128.0K, or always use indexes with joins)
tmp_table_size (> 16M)
max_heap_table_size (> 16M)

К сожалению, мне это ни о чем не говорит.
Оптимизацию таблиц (по крайней мере через phpoMyAdmin) сделать не удается - виснит все с 502 ошибкой.

[Siava]

Да... при таком супер-VDS проще было бы утянуть БД и форум на localhost, сделать всё необходимое и развернуть обратно. Меньше бы времени ушло, чем тюнить там чего-то.

[Flector]

Плин, а ведь точно.
Развернул сайт на локальном сервере, попробую локально все удалить, оптимизировать и прочее.
Правда, запущенная 15 минут назад оптимизации базы данных в phpMyAdmin до сих пор работает и сколько это продлится хз.

[Flector]

Все-таки, проблема именно в большой базе данных. Сейчас вот в админке попробовал удалить форум - уже час пытается удалить и все еще никак. Я даже не знаю, не повисло ли удаление - ползунок на вкладке крутится и все. А домашний комп у меня не чета слабенькому VDS..

[Mr. Anderson]

А домашний комп

вы думаете, что не надо настраивать? На дефолтных настройках всяких ЛАМП-сборок - хоть кластер дай, все одно выше установленных лимитов не прыгнет.

Отправлено спустя 6 минут 9 секунд:
Ну и так на досуге полюбопытствуйте
http://www.thebiggestboards.com

Особенно я люблю второй пункт рейтинга - Гайа Онлайн. Причем с момента последней аггрегации юзеров приросло на 2 млн, а постов - на 250 млн. Чисто для справки - до 2014-го года это вертелось на кластере из 4-х серверов на древних Оптеронах (БД и скрипты) и десктопе на Целероне (отдача статики).
"Выводы делать только вам" (с)

[Flector]

У меня XAMPP с достаточно нормальным профилем "huge" для высокопроизводительного сервера.
Я реально не понимаю - неужели ни у кого тут нет достаточно объемных форумов?
В какие-то "хитрые" настройки я уже не верю.
5Gb это не тот объем, на котором все должно виснуть.
В конце концов, форумы phpBB были еще тогда, когда нынешние слабенькие VDS были сверх-производительными серверами.

Я подозреваю, что изъян в самих таблицах базы данных - постоянная их починка что-то в них испортила. Имхо.

[Siava]

неужели ни у кого тут нет достаточно объемных форумов?

У меня таблица posts немногим больше 0.8Гб, но работает шустро. Да и не требует оптимизаций, так как несколько месяцев назад ушёл с myisam на innodb. Насколько я помню, конвертилась она минут 7-9. Больше я эту таблицу ничем не напрягал.. тем более удалением форумов. И кстати, innodb вроде с записью/удалением быстрее работает, чем myisam, но требует настроек my.cnf (не дефолтных).

[Mr. Anderson]

профилем "huge" для высокопроизводительного сервера

Это который может скушать целых 2Гб оперативки? Очень высокопроизводительно
Не базой единой - все начинается со скриптов, ими все и заканчивается.

неужели ни у кого тут нет достаточно объемных форумов?

Есть, только что это дает?

В какие-то "хитрые" настройки я уже не верю.

Вопросы веры - это к богословам.
Если, допустим, у вас явная нехватка кешей, то хоть какой профиль поставьте. Если у вас макс_пакет лилипутский, то "умрет" все даже на суперкомпьютере. И так далее. Я уже говорил о количестве параметров у мускула, да...

5Gb это не тот объем, на котором все должно виснуть.

Ага. Не забываем о среднем объеме поста. Вспоминаем в какие далекие дали падает производительность любого типа хардов при операциях с малыми блоками данных (4К-). Делаем выводы.

форумы phpBB были еще тогда, когда нынешние слабенькие VDS были сверх-производительными серверами

И, как видите, супер-монстры обходились довольно заурядными мощностями. Тонкая настройка - дело.... эм... тонкое

Я подозреваю

Тоже что-то из области теологии.
К слову - делайте не только repair но и optimize (только не через phpMyAdmin - шелл вам в помощь), думаю фрагментация в этой таблице уже просто запредельная.

PS:
Включайте дебаг, удаляйте не форум, а крупную тему, смотрите эксплейн. Делайте выводы.

Отправлено спустя 2 минуты 37 секунд:

вроде с записью/удалением быстрее работает, чем myisam

Теоретически и при множественных одновременных обращениях - да, ибо не делает блокировок.

не дефолтных

Очень и очень не дефолтных. И очень индивидуальных.

PS:
В свое время видел конфиг торрентсру ака рутрахер Вот там у меня челюстя в первый раз в жизни "упала на асфальт и разбилась"

[Flector]

Ну вот, опять все свелось к "волшебным" настройкам, пример которых никто тут привести не может.

[Mr. Anderson]

пример которых никто тут привести не может

Я уже говорил, что телепаты сокращены?
Не зная причины затыка - лекарство не прописать.
Хотя пару советов я вам дал. Вы их выполнили? Пока, как вижу, нет.