Уважаемые пользователи!
C 7 ноября 2020 года phpBB Group прекратила выпуск обновлений и завершила дальнейшее развитие phpBB версии 3.2.
С 1 августа 2024 года phpBB Group прекращает поддержку phpBB 3.2 на официальном сайте.
Сайт официальной русской поддержки phpBB Guru продолжит поддержку phpBB 3.2 до 31 декабря 2024 года.
С учетом этого, настоятельно рекомендуется обновить конференции до версии 3.3.

Тестирование MySQL дамперов...

Проблемы с установкой или работой phpBB 2.0.x? Ищите ответы здесь!
Аватара пользователя
Бродяга
phpBB 1.4.3
Сообщения: 79
Стаж: 18 лет 2 месяца
Откуда: Минск
Контактная информация:

Тестирование MySQL дамперов...

Сообщение Бродяга »

В параллельной теме зашел спор о том какой MySQL Dumper лучше... Я пообещал протестить и объявить результаты... Итак,

Наконец-то завершены недельные полигонные испытния дамперов MySQL!!!
Условия тестирования: скрипты установлены на localhost. Во время прогонов никакие другие программы не запускались (поэтому и тестил так долго). Лимит времени выполнения скриптов (в php.ini) выставлен 86400 сек., в скриптах - без ограничений (если предусмотрено) либо 86400 сек.
В качестве тестовой БД был взят архив служебной БД (MS Access) за прошлый год. К сожалению, из-за слишком большого объема базы узким местом стал винчестер :) поэтому пришлось раза в три уменьшить число полей, сократив таким образом нагрузку на него.

База SQL: 224.73 MB
Всего записей: 1'958'552

Apache Version: 1.3.27
PHP Version: 4.3.0
MySQL Server: 3.23.47
MySQL Client: 3.23.49

Windows XP Pro SP2 v5.1
CPU: Celeron 1700 MHz
RAM: 256 MB
HDD: Seagate ST340810A

Здесь приведу только общие результаты. Подробнее (с комментариями) можно посмотреть в сводной таблице (см. аттачмент).

Код: Выделить всё

1 = Sypex Dumper Lite 1.0.7
2 = backupDB() 1.1.32
3 = phpMyAdmin 2.8.0.2
4 = MySQLDumper 1.21b
5 = phpMyBackupPro v.1.8

        +-----------+--------------+---+--------------+---+
        |     1     |       2      | 3 |       4      | 5 |
+-------+-----------+--------------+---+--------------+---+
|                 Создание дампа, сек                     |
+-------+-----------+--------------+---+--------------+---+
|  sql  |  486(+0%) | 1005(+106.9%)| x |  705(+45.1%) | x |
+-------+-----------+--------------+---+--------------+---+
|  gz   |  578(+0%) | 1010(+74.6%) | x |       x      | x |
+-------+-----------+--------------+---+--------------+---+
|  bz2  |  706(+0%) |       -      | x |       -      | - |
+-------+-----------+--------------+---+--------------+---+
|                 Восстановление, сек                     |
+-------+-----------+--------------+---+--------------+---+
|  sql  |  483(+0%) |       -      | ? |5492(+1036.1%)| ? |
+-------+-----------+--------------+---+--------------+---+
|  gz   |  466(+0%) |       -      | ? |       ?      | ? |
+-------+-----------+--------------+---+--------------+---+
|  bz2  |  509(+0%) |       -      | ? |       -      | - |
+-------+-----------+--------------+---+--------------+---+
|                  Размер дампа, МБ                       |
+-------+-----------+--------------+---+--------------+---+
|  sql  |191.33(+0%)|265.13(+38.6%)| x |259.53(+35.6%)| x |
+-------+-----------+--------------+---+--------------+---+
|  gz   |   19.30   |     20.55    | x |       x      | x |
+-------+-----------+--------------+---+--------------+---+
|  bz2  |   13.87   |       -      | x |       -      | - |
+-------+-----------+--------------+---+--------------+---+

- : не реализовано в скрипте
x : не смог выполнить работу за 3600(!) секунд, либо выполнил с ошибкой
? : не тестил, т.к. родной дамп не был создан
Как видно, результаты боевых испытаний неутешительны - в живых остались лишь немногие.

phpMyAdmin в принципе отказался работать более 300 секунд, хотя ограничения были убраны (сначала пробовал 0="без ограничений", затем 86400), при этом успевая сохранить 16-18% данных.

phpMyBackupPro работал заметно дольше (целый час :!:), затем принудительно(?) прерывался сохранив аж 53% данных. При включенном архивировании (gz) работал "всего" полчаса, после чего завершал работу сообщив, что БД ему не по зубам...

MySQLDumper... На установках по умолчанию долго "разогревается" выбирая данные по 100-300 строк. Если минимум поставить тысяч так 10, тогда и кончал быстрее. Однако у него проявилась другая беда: не захотел работать с gzip библиотекой, ссылаясь на какой-то баг в ней. Сам он с тараканами в голове - другие-то работали, не жаловались... Чтобы довести испытания до конца, установил я его на реальный хостинг и погонял там. Результат: в 4 раза медленнее чем Sypex Dumper Lite на БД 8,5 МБ с 210тыс.записей. Это максимум производительности, что я смог из него выжать... Про восстановление БД из бэкапа я вообще молчу - после полутора часов ожидания (восстановит или все-таки загнется?) повторно запускать тест не было никакого желания! И так все ясно...

На третьем месте оказался backupDB(). Учитывая, что это всего один файлик (как и Sypex Dumper Lite, только размером побольше ;)), который только и умеет, что слить базу, проиграл в скорости практически в 2 раза.

Восстановление БД не удалось толком потестить т.к. большинство скриптов загнулось и родных дампов не удалось получить... Быть может (ЕСЛИ БУДЕТ ЖЕЛАНИЕ И ВРЕМЯ) прогоню еще раз на базе поменьше...
Согласен, если бы я взял другую базу, например где много-много мелких таблиц, результаты могли бы быть несколько отличными от этих, хотя, я считаю, не на много, и общая картина сохранится.

Делайте выводы, господа :) Однако кто б что теперь ни говорил, но переубедить меня теперь уже невозможно: лучший бэкапер - Sypex Dumper Lite.
Вложения
test_sql_dumpers_results.zip
Сводная таблица результатов тестирования SQL-дамперов. С комментариями...
(9.14 КБ) 752 скачивания
Думал, в сказку попал??? Нее... ты в жизнь вляпался!
Авторские проекты: www.tuning.by | www.blume.by
Аватара пользователя
crash
Former team member
Сообщения: 6517
Стаж: 19 лет 8 месяцев
Откуда: Бердск
Поблагодарили: 15 раз
Контактная информация:

Сообщение crash »

Бродяга
спор начался со мной, и поэтому был тест этот, как я понимаю.
я никого не переубеждаю, это не мне делать, но про то что я говорил в этом тесте нет.
так что каждый будет пользоваться тем чем захочет)).
Как правильно задавать вопросы
Для особо одаренных: поиск - это есть круто.
FAQ v.2 | FAQ v.3 | Шаблон запроса
Аватара пользователя
Nemo1987
phpBB 2.0.7
Сообщения: 560
Стаж: 18 лет 1 месяц

Сообщение Nemo1987 »

Очень интересно... а как это phpMyAdmin 2.8.0.2 не справился с собственными дампами, да еще и за час????? :((((( Судя по результатам, он вообще ничего немможет :)))))))))))))))))))))
Аватара пользователя
crash
Former team member
Сообщения: 6517
Стаж: 19 лет 8 месяцев
Откуда: Бердск
Поблагодарили: 15 раз
Контактная информация:

Сообщение crash »

Бродяга
[crash@voip ~]$ time mysqldump --all --add-drop-table -u name -ppassword --lock-tables --opt pcp >123.sql

real 0m29.044s
user 0m8.570s
sys 0m2.550s

[crash@voip ~]$ ls -l 123.sql
-rw-rw-r-- 1 crash crash 358640065 Мар 25 16:30 123.sql
[crash@voip ~]$

[crash@voip ~]$ time gzip -9 123.sql

real 0m53.598s
user 0m52.880s
sys 0m0.520s
[crash@voip ~]$ ls -l 123.sql.gz
-rw-rw-r-- 1 crash crash 55029010 Мар 25 16:30 123.sql.gz
[crash@voip ~]$
сам бэкап меньше минуты, ну и жзип пусть 1 минуту (но это при самом сильном сжатие). если взять самое слабое то
[crash@voip ~]$ time gzip -1 123.sql

real 0m8.687s
user 0m8.290s
sys 0m0.360s
[crash@voip ~]$ ls -l 123.sql.gz
-rw-rw-r-- 1 crash crash 72220794 Мар 25 16:30 123.sql.gz
[crash@voip ~]$
ну мне больше нравится уже ясно что)))
Бродяга писал(а):Делайте выводы,
вот и я говорю делайте. восстановить не могу на этой машине, все таки рабочая. а в понедельник на работу выйду и могу восстановить на другой машине.
хотя если надо восстановлю на пне2-500, 128 метров памяти.
Как правильно задавать вопросы
Для особо одаренных: поиск - это есть круто.
FAQ v.2 | FAQ v.3 | Шаблон запроса
Аватара пользователя
Бродяга
phpBB 1.4.3
Сообщения: 79
Стаж: 18 лет 2 месяца
Откуда: Минск
Контактная информация:

Сообщение Бродяга »

crash
а каких размеров БД? и сколько записей?
Думал, в сказку попал??? Нее... ты в жизнь вляпался!
Авторские проекты: www.tuning.by | www.blume.by
Аватара пользователя
crash
Former team member
Сообщения: 6517
Стаж: 19 лет 8 месяцев
Откуда: Бердск
Поблагодарили: 15 раз
Контактная информация:

Сообщение crash »

Бродяга
записей точно не скажу, каждую таблицу в лом смотреть, да еще по диалапу... но две первый таблицы глянул получается около 2 тыс. записей.
Как правильно задавать вопросы
Для особо одаренных: поиск - это есть круто.
FAQ v.2 | FAQ v.3 | Шаблон запроса
Аватара пользователя
Бродяга
phpBB 1.4.3
Сообщения: 79
Стаж: 18 лет 2 месяца
Откуда: Минск
Контактная информация:

Сообщение Бродяга »

угу... а у меня 2 миллиона... в 1000 раз больше! умножь 8сек на 1000 и получишь 2 часа с "копейками"... :)
я сознательно брал офигенно большую БД т.к. в этом случае острее проявляются различия в быстродействии. Плюс, большая БД не всем по зубам! ;)
и еще вопрос: я что-то не понял, ваш mysqldump это не мой MySQLDumper?
Думал, в сказку попал??? Нее... ты в жизнь вляпался!
Авторские проекты: www.tuning.by | www.blume.by
Аватара пользователя
crash
Former team member
Сообщения: 6517
Стаж: 19 лет 8 месяцев
Откуда: Бердск
Поблагодарили: 15 раз
Контактная информация:

Сообщение crash »

Бродяга
извиняюсь)))
не досмотрел.. в одной таблице 1463773, а во второй 563945, третья 104703. ну остальные по идее должны быть поменьше.

то есть уже получается больше 2 млн. записей))
Бродяга писал(а):и еще вопрос: я что-то не понял, ваш mysqldump это не мой MySQLDumper?
я дампер не смотрел, и что он использует тоже
Как правильно задавать вопросы
Для особо одаренных: поиск - это есть круто.
FAQ v.2 | FAQ v.3 | Шаблон запроса
Аватара пользователя
Бродяга
phpBB 1.4.3
Сообщения: 79
Стаж: 18 лет 2 месяца
Откуда: Минск
Контактная информация:

Сообщение Бродяга »

Nemo1987 писал(а):Очень интересно... а как это phpMyAdmin 2.8.0.2 не справился с собственными дампами, да еще и за час????? :((((( Судя по результатам, он вообще ничего немможет :)))))))))))))))))))))
ну почему ничего не может!? подсунь кому хочешь перелопатить 220 мегов... где гарантия, что не загнется? :D уверен, дай БД поменьше - справится! ну, пускай не так быстро, как другие, но все же! ;)

Добавлено спустя 7 минут 23 секунды:

crash
Linux?
Думал, в сказку попал??? Нее... ты в жизнь вляпался!
Авторские проекты: www.tuning.by | www.blume.by
Аватара пользователя
crash
Former team member
Сообщения: 6517
Стаж: 19 лет 8 месяцев
Откуда: Бердск
Поблагодарили: 15 раз
Контактная информация:

Сообщение crash »

Бродяга писал(а):crash
Linux?
угу
Как правильно задавать вопросы
Для особо одаренных: поиск - это есть круто.
FAQ v.2 | FAQ v.3 | Шаблон запроса
Аватара пользователя
Бродяга
phpBB 1.4.3
Сообщения: 79
Стаж: 18 лет 2 месяца
Откуда: Минск
Контактная информация:

Сообщение Бродяга »

crash писал(а):
Бродяга писал(а):crash
Linux?
угу
:mrgreen: ну ты даешь, парень! тогда их вообще некорректно сравнивать! да я и без этих тестов знал, что линух шибче видовз ;)
Думал, в сказку попал??? Нее... ты в жизнь вляпался!
Авторские проекты: www.tuning.by | www.blume.by
Аватара пользователя
crash
Former team member
Сообщения: 6517
Стаж: 19 лет 8 месяцев
Откуда: Бердск
Поблагодарили: 15 раз
Контактная информация:

Сообщение crash »

Бродяга
не ну началось.. шла речь о бэкапе.. об операционках речи не было. если бы мы спорили об операционках, то там бы наверное и речи о дампах не было.
просто родное mysql'ное всетаки круче))

Добавлено спустя 6 минут 3 секунды:

но делал из под винды и по диалапу))))) :roll:
Как правильно задавать вопросы
Для особо одаренных: поиск - это есть круто.
FAQ v.2 | FAQ v.3 | Шаблон запроса
Аватара пользователя
Бродяга
phpBB 1.4.3
Сообщения: 79
Стаж: 18 лет 2 месяца
Откуда: Минск
Контактная информация:

Сообщение Бродяга »

crash писал(а):но делал из под винды и по диалапу
да хоть с мобильного телефона! :lol: главное - запустить, а уж все остальное будет выполняться на серваке. Кстати, поэтому не надо говорить: "а я свой сайт (на сервере) сохраняю за 15 секунд"... Во-первых, это все-таки на серваке, во-вторых, БД наверняка будет меньше объемом (по количеству записей и, особенно, в МБ (млн записей, состоящих из 3 чисел - не то же самое, что млн записей из 15 непустых текстовых полей в среднем по 115 символов))... Другими словами, условия тестирования должны быть одинаковы для всех испытуемых. Т.е. если локально, значит, локально, если на серваке, значит, не серваке. Да, результаты (в этих двух случаях) будут различны, но расстановка сил сохранится.
Думал, в сказку попал??? Нее... ты в жизнь вляпался!
Авторские проекты: www.tuning.by | www.blume.by
Аватара пользователя
crash
Former team member
Сообщения: 6517
Стаж: 19 лет 8 месяцев
Откуда: Бердск
Поблагодарили: 15 раз
Контактная информация:

Сообщение crash »

Бродяга то есть думаете сервер, который биллингует айпителефонию содержит всего по 3 числа в поле?
Как правильно задавать вопросы
Для особо одаренных: поиск - это есть круто.
FAQ v.2 | FAQ v.3 | Шаблон запроса
Jovani
phpBB 2.0.5
Сообщения: 477
Стаж: 19 лет 11 месяцев
Контактная информация:

Сообщение Jovani »

Бродяга
Протестируй еще Site Keeper Dumper
http://www.zapimir.net/

У меня он дает неплохие результаты
Закрыто

Вернуться в «Поддержка phpBB 2.0.x»