проблемы смены хостинга

[Olej]

Один из старейших сохранившихся форумов, работающий на phpBB, >10 лет: Linux-ru.
И, пожалуй, лучший форум по программированию и программному обеспечению под Linux.
За время своей жизни форум сменил 4 или 5 хостингов, и, естественно, несколько раз возникала задача обновления версии phpBB (что сложнее, естественно, чем раскрутить с начала). Последнее обновление 2-3 месяца назад до phpBB 3.2.8.

Но возникла экстренная проблема смены хостинга. Перенесли на VPS с Debian 10.
1-я проблема: в стандартном репозитории Debian 10 есть только свежая версия PHP 7.3, несовместимая с phpBB.
Проблема разрешилась благодаря любезной подсказке здесь в форуме - проблема в форуме:

Можно php 7.2 (и ниже) установить на Buster, используя репозиторий https://packages.sury.org/php/

Установили 7.2, форум подняли.

2-я проблема ... после того как залили БД их бэкапов работающего форума на предыдущем хостинге: некоторые ссылки форума (внутренние и внешние) работают как надо, но некоторые (достаточно много, до 25-30%) вызывают ошибку:

Сайт linux-ru.ru пока не может обработать этот запрос.
HTTP ERROR 500

Доходит до смешного:
- тема форума объёмная, с несколькими страницами...
- попытка открытия 1-й страницы http://linux-ru.ru/viewtopic.php?f=4&t=4570 вызывает ошибку 500;
- та же тема, но её 3-я страница http://linux-ru.ru/viewtopic.php?f=4&t=4570&start=20 замечательно открывается;
- обратите внимание: URL этих 2-х страниц отличается только параметром HTTP запроса.

На старом хостинге форум phpBB 3.2.8 работал (совершенно корректно) с версией PHP: 5.4.45
Здесь же, как уже названо, версия PHP 7.2

Какие будут соображения?
Возможно кто-то видел что-то подобное?
В какую сторону копать?

P.S. Я так много описал в новую тему, потому что проблемы на новом хостинге на этом не закончатся, думаю, буду их здесь дополнять.
И, возможно, они кому-то окажутся тоже полезными ... (и послужат уроком ).

[Siava]

Olej, проверьте соответствие всем системным требованиям: phpBB 3.2.x - системные требования
Также хорошо глянуть именно лог веб-сервера, где появляется ошибка 500. Возможно там будут подробности.

[Olej]

проверьте соответствие всем системным требованиям: phpBB 3.2.x - системные требования

Уже глянул. Обязательно.
По вашему же совету в другой теме...

Также хорошо глянуть именно лог веб-сервера, где появляется ошибка 500. Возможно там будут подробности.

Будут.
В /var/log/apache2/error.log (залезаю по SSH на хост) сообщения такого вида:

[Mon Dec 23 21:18:07.102851 2019] [php7:error] [pid 13036] [client 193.28.177.118:36854] PHP Fatal error: Uncaught Error: Class 'DOMDocument' not found in /var/www/linux-ru.ru/vendor/s9e/text-formatter/src/Renderer.php:19\nStack trace:\n#0 /var/www/linux-ru.ru/vendor/s9e/text-formatter/src/Renderers/PHP.php(127): s9e\\TextFormatter\\Renderer->loadXML('<r>\\xD0\\x9F\\xD0\\xBE\\xD1\\x81\\xD0\\xBA\\xD0\\xBE\\xD0\\xBB...')\n#1 /var/www/linux-ru.ru/vendor/s9e/text-formatter/src/Renderer.php(31): s9e\\TextFormatter\\Renderers\\PHP->renderRichText('<r>\\xD0\\x9F\\xD0\\xBE\\xD1\\x81\\xD0\\xBA\\xD0\\xBE\\xD0\\xBB...')\n#2 /var/www/linux-ru.ru/phpbb/textformatter/s9e/renderer.php(250): s9e\\TextFormatter\\Renderer->render('<r>\\xD0\\x9F\\xD0\\xBE\\xD1\\x81\\xD0\\xBA\\xD0\\xBE\\xD0\\xBB...')\n#3 /var/www/linux-ru.ru/includes/functions_content.php(600): phpbb\\textformatter\\s9e\\renderer->render('<r>\\xD0\\x9F\\xD0\\xBE\\xD1\\x81\\xD0\\xBA\\xD0\\xBE\\xD0\\xBB...')\n#4 /var/www/linux-ru.ru/viewtopic.php(1764): generate_text_for_display('<r>\\xD0\\x9F\\xD0\\xBE\\xD1\\x81\\xD0\\xBA\\xD0\\xBE\\xD0\\xBB...', '2gfvdz2b', 'mA==', 3, true)\n#5 {main}\n thrown in /var/www/linux-ru.ru/vendor/s9e/text-formatter/src/Renderer.php on line 19, referer: http://linux-ru.ru/viewforum.php?f=4

Или так:

[Mon Dec 23 21:18:33.711567 2019] [php7:error] [pid 12835] [client 46.229.168.135:65492] PHP Fatal error: Uncaught Error: Class 'DOMDocument' not found in /var/www/linux-ru.ru/vendor/s9e/text-formatter/src/Renderer.php:19\nStack trace:\n#0 /var/www/linux-ru.ru/vendor/s9e/text-formatter/src/Renderers/PHP.php(127): s9e\\TextFormatter\\Renderer->loadXML('<r><QUOTE autho...')\n#1 /var/www/linux-ru.ru/vendor/s9e/text-formatter/src/Renderer.php(31): s9e\\TextFormatter\\Renderers\\PHP->renderRichText('<r><QUOTE autho...')\n#2 /var/www/linux-ru.ru/phpbb/textformatter/s9e/renderer.php(250): s9e\\TextFormatter\\Renderer->render('<r><QUOTE autho...')\n#3 /var/www/linux-ru.ru/includes/functions_content.php(600): phpbb\\textformatter\\s9e\\renderer->render('<r><QUOTE autho...')\n#4 /var/www/linux-ru.ru/viewtopic.php(1764): generate_text_for_display('<r><QUOTE autho...', '8oaul69v', 'yA==', 3, true)\n#5 {main}\n thrown in /var/www/linux-ru.ru/vendor/s9e/text-formatter/src/Renderer.php on line 19

Обращаю внимание на изобилие \\xD0 - как я помню, это в кодировке UTF-8, в 2-х байтовом русском тексте - 1-й байт.

Отправлено спустя 22 минуты 13 секунд:

На старом хостинге форум phpBB 3.2.8 работал (совершенно корректно) с версией PHP: 5.4.45
Здесь же, как уже названо, версия PHP 7.2

Ошибка, по логу, в PHP.
Может это быть связано с какими-то эффектами смены PHP с 5.4.45 на 7.2 ?

[Siava]

PHP Fatal error: Uncaught Error: Class 'DOMDocument' not found

Судя по всему у вас нет xml-модуля php. Возможно и json. А пишете, что глянули системки..
Выполните
apt install php7.2-xml php7.2-json
Проверьте ещё php7.2-mbstring

[Olej]

Судя по всему у вас нет xml-модуля php. Возможно и json. А пишете, что глянули системки..

Проверил, это всё я поставил:

Код: Выделить всё

root@277938:~# apt install php7.2-xml php7.2-json
Reading package lists... Done
Building dependency tree       
Reading state information... Done
php7.2-json is already the newest version (7.2.26-1+0~20191218.33+debian10~1.gbpb5a34b).
php7.2-json set to manually installed.
php7.2-xml is already the newest version (7.2.26-1+0~20191218.33+debian10~1.gbpb5a34b).
The following packages were automatically installed and are no longer required:
  imagemagick-6-common libc-client2007e libde265-0 libfftw3-double3 libgd3 libgomp1 libheif1 libldb1 liblqr-1-0 libltdl7 libmagickcore-6.q16-6 libmagickwand-6.q16-6 libnuma1 libpython2.7 libsass1
  libsmbclient libtalloc2 libtdb1 libtevent0 libwbclient0 libwebpmux3 libx265-165 libxpm4 libzip4 mlock pslib1 python-talloc samba-libs ttf-dejavu-core
Use 'apt autoremove' to remove them.
0 upgraded, 0 newly installed, 0 to remove and 10 not upgraded.

Но вот что интересно... - http://ask.imagetube.xyz/601/php-error- ... d-как-быть:

Класс DOMDocument определён в PHP расширении dom. Если этого класса не найдено, то очевидно, что данное расширение не подключено и его надо подключить. Для этого в конфигурационном файле PHP (под названием php.ini) в секции подключения расширений дописываем подключение расширения dom:

Код: Выделить всё

extension=dom.so

Код: Выделить всё

root@277938:~# aptitude search php | grep dom
v  php-dom - 
p  php-dompdf - HTML to PDF converter
p  php-fdomdocument - extension to PHP's standard DOM
p  php-net-idna2 - PHP Pear module for handling international domain names
p  php-net-publicsuffix - PHP module for detecting registered domains and public suffixes
v  php-phpseclib-crypt-random - 
p  php-random-compat - PHP 5.x polyfill for random_bytes() and random_int() from PHP 7
p  php-symfony-dom-crawler - ease DOM navigation for HTML and XML documents
v  php5.6-dom - 
v  php7.0-dom - 
v  php7.1-dom - 
v  php7.2-dom - 
v  php7.3-dom - 
v  php7.4-dom - 

Код: Выделить всё

root@277938:~# apt install php7.2-dom
Reading package lists... Done
Building dependency tree       
Reading state information... Done
Note, selecting 'php7.2-xml' instead of 'php7.2-dom'
The following packages were automatically installed and are no longer required:
  imagemagick-6-common libc-client2007e libde265-0 libfftw3-double3 libgd3 libgomp1 libheif1 libldb1 liblqr-1-0 libltdl7 libmagickcore-6.q16-6 libmagickwand-6.q16-6 libnuma1 libpython2.7 libsass1
  libsmbclient libtalloc2 libtdb1 libtevent0 libwbclient0 libwebpmux3 libx265-165 libxpm4 libzip4 mlock pslib1 python-talloc samba-libs ttf-dejavu-core
Use 'apt autoremove' to remove them.
The following NEW packages will be installed:
  php7.2-xml
0 upgraded, 1 newly installed, 0 to remove and 10 not upgraded.
Need to get 111 kB of archives.
After this operation, 505 kB of additional disk space will be used.
Get:1 https://packages.sury.org/php buster/main amd64 php7.2-xml amd64 7.2.26-1+0~20191218.33+debian10~1.gbpb5a34b [111 kB]
Fetched 111 kB in 0s (1,056 kB/s)
Selecting previously unselected package php7.2-xml.
(Reading database ... 39113 files and directories currently installed.)
Preparing to unpack .../php7.2-xml_7.2.26-1+0~20191218.33+debian10~1.gbpb5a34b_amd64.deb ...
Unpacking php7.2-xml (7.2.26-1+0~20191218.33+debian10~1.gbpb5a34b) ...
Setting up php7.2-xml (7.2.26-1+0~20191218.33+debian10~1.gbpb5a34b) ...

Creating config file /etc/php/7.2/mods-available/dom.ini with new version

Creating config file /etc/php/7.2/mods-available/simplexml.ini with new version

Creating config file /etc/php/7.2/mods-available/wddx.ini with new version

Creating config file /etc/php/7.2/mods-available/xml.ini with new version

Creating config file /etc/php/7.2/mods-available/xmlreader.ini with new version

Creating config file /etc/php/7.2/mods-available/xmlwriter.ini with new version

Creating config file /etc/php/7.2/mods-available/xsl.ini with new version
Processing triggers for libapache2-mod-php7.2 (7.2.26-1+0~20191218.33+debian10~1.gbpb5a34b) ...

И после этого характер ошибки по неразрешённой ссылке поменялся...

Отправлено спустя 7 минут 59 секунд:

И после этого характер ошибки по неразрешённой ссылке поменялся...

Хм...
После перезапуска apache2 (может это и не критично было) не открывавшиеся ссылки стали открываться.
Тестирую далее...

Отправлено спустя 15 минут 10 секунд:

2-я проблема ...

Но выявилась/осталась 3-я проблема:

Тестирую работу форума:

Потерялась кое-где связь с вложениями-картинками (прикреплённые файлы .png, .jpg и т.д.).
Для конкретности тема Viber

Здесь вложения отображаются нормально:
http://linux-ru.ru/viewtopic.php?f=28&p=23087#p22997
http://linux-ru.ru/viewtopic.php?f=28&p=23087#p23037
http://linux-ru.ru/viewtopic.php?f=28&p=23087#p23045

Но на этой же странице, вложения отображаются как потерянные, в сообщениях:
http://linux-ru.ru/viewtopic.php?f=28&p=23087#p23087
http://linux-ru.ru/viewtopic.php?f=28&p=23087#p22284

Отправлено спустя 51 минуту 52 секунды:

проверьте соответствие всем системным требованиям: phpBB 3.2.x - системные требования

Ещё раз прошёлся по требованиям ... с основными всё ясно, всё установлено.
А вот это:

Наличие следующих модулей PHP позволит получить дополнительные возможности (не обязательны):
Поддержка сжатия zlib
Поддержка удаленного доступа к FTP
Imagemagick
Модуль GD

zlib, ftp - всё ясно...
Imagemagick ... для него ж обязательно иметь установленный проект Imagemagick:

Код: Выделить всё

root@277938:~# sudo apt install ImageMagick
...

Код: Выделить всё

root@277938:~# sudo apt install php-imagick
...
Setting up php-imagick (3.4.4-1+0~20191119.13+debian10~1.gbpc5da26) ...

А вот кто такой GD???

Код: Выделить всё

root@277938:~# aptitude show php-gd
Package: php-gd                   
Version: 2:7.4+71+0~20191219.19+debian10~1.gbpefc769
State: not installed
Priority: optional
Section: php
Maintainer: Debian PHP Maintainers <team+pkg-php@tracker.debian.org>
Architecture: all
Uncompressed Size: 13.3 k
Depends: php-common, php7.4-gd
Provided by: php5.6-gd (5.6.40-14+0~20191128.24+debian10~1.gbpa5b195), php5.6-gd (5.6.40-15+0~20191218.25+debian8~1.gbp0eb140), php7.0-gd (7.0.33-14+0~20191218.25+debian10~1.gbpae1889), php7.0-gd
             (7.0.33-14+0~20191218.25+debian8~1.gbpae1889), php7.1-gd (7.1.33-3+0~20191218.29+debian10~1.gbp18b07c), php7.1-gd (7.1.33-3+0~20191218.29+debian8~1.gbp18b07c), php7.2-gd
             (7.2.26-1+0~20191218.33+debian10~1.gbpb5a34b), php7.2-gd (7.2.26-1+0~20191218.33+debian8~1.gbpb5a34b), php7.3-gd (7.3.11-1~deb10u1), php7.3-gd (7.3.13-1+0~20191218.50+debian10~1.gbp23c2da),
             php7.3-gd (7.3.13-1+0~20191218.50+debian8~1.gbp23c2da), php7.4-gd (7.4.1-1+0~20191218.8+debian10~1.gbp21c50e), php7.4-gd (7.4.1-1+0~20191218.8+debian8~1.gbp21c50e)
Description: GD module for PHP [default]
 This package provides a GD module for PHP. 
 
 PHP (recursive acronym for PHP: Hypertext Preprocessor) is a widely-used open source general-purpose scripting language that is especially suited for web development and can be embedded into HTML. 
 
 This package is a dependency package, which depends on Debian's default PHP version (currently 7.4).

Не вносит ясности!

[Siava]

После перезапуска apache2 (может это и не критично было) не открывавшиеся ссылки стали открываться.

Семён Семёныч)) ну это обязательно надо делать после изменения модулей php. Бывает само не перезапускается как надо.

С картинками-вложениями снова смотрите лог. Может там памяти для php надо больше. В логе все ответы.
И не мешает проверить на месте ли физически файлы вложений, которых "нет". Это непростой процесс.
Например http://linux-ru.ru/download/file.php?id=3838&mode=view
Ищите в БД phpbb_attachments вложение с id=3838
Смотрите какое ему сопоставлено physical_filename.
Ищите это physical_filename в /files внутри форума.
Если его там нет, то нет вложения и php тут не при чём.

[Olej]

С картинками-вложениями снова смотрите лог.

В лог, при обращении к "несуществующему" вложению, при открытии его отдельно в новой вкладке браузера - строк не добавляется.
Какой user:group должны быть у каталогов/файлов, в корневом каталоге сайта (/var/www/linux-ru.ru в моём случае), которые заливаются с переносимого бэкапа?
В частности у каталога files где хранятся файлы вложений?
У меня это:

Код: Выделить всё

root@277938:/var/www/linux-ru.ru# ls -ld /var/www/linux-ru.ru/files/
drwxr-xr-x 2 maks maks 417792 Dec 22 01:26 /var/www/linux-ru.ru/files/

... ну и все остальные, соответственно.
maks:maks - это администратор который переносил бэкапы, предполагаю что это в корне неправильно, root:root?
Более того, в админке phpBB, в "Настройки вложений" горит красным:

Внимание
Запись в папку «files» запрещена.

Отправлено спустя 2 минуты 36 секунд:

И не мешает проверить на месте ли физически файлы вложений, которых "нет". Это непростой процесс.
Например http://linux-ru.ru/download/file.php?id=3838&mode=view
Ищите в БД phpbb_attachments вложение с id=3838
Смотрите какое ему сопоставлено physical_filename.
Ищите это physical_filename в /files внутри форума.
Если его там нет, то нет вложения и php тут не при чём.

Вот это сильно полезная подсказка, по технологии поиска соответствия...
Файлы должны быть физически на месте, поскольку это полная копия бэкапа, и на источнике они все отображаются.

Отправлено спустя 2 минуты 39 секунд:

Смотрите какое ему сопоставлено physical_filename.

Вот только вопрос: как и где смотреть соответствие? я пока этого не умею..

Отправлено спустя 13 минут 29 секунд:

maks:maks - это администратор который переносил бэкапы, предполагаю что это в корне неправильно, root:root?

Здесь в форуме у вас нашёл Пропал доступ к загружаемым данным, где вся файловая структура сайта имеет владельцем www:www. В моей инсталляции таких имён нет:

Код: Выделить всё

root@277938:/var/www/linux-ru.ru# cat /etc/passwd | grep www
www-data:x:33:33:www-data:/var/www:/usr/sbin/nologin

root@277938:/var/www/linux-ru.ru# cat /etc/group | grep www
www-data:x:33:

Может вот это то что надо?

[Siava]

Olej, да, на вложения и на директории, куда будет идти запись необходимо сменить владельца на того, от имени которого выполняется php. Но это не решит вопрос с чтением тех вложений, которые не читаются.
Смотрите пример поиска, который я вам набросал. Возможно для навигации по базе данных будет удобно установить phpmyadmin.

[Olej]

да, на вложения и на директории, куда будет идти запись необходимо сменить владельца на того, от имени которого выполняется php. Но это не решит вопрос с чтением тех вложений, которые не читаются.

Код: Выделить всё

root@277938:/var/www# pwd
/var/www

root@277938:/var/www# chown -R www-data:www-data linux-ru.ru/

Как ни странно, после этого практически все изображения рисуются.
Кроме одного, добавленного практически в дни переезда в спешке, и это хорошо - есть на ком попрактиковаться в поиске.
Другие вложения, а там множество файлов программного кода, пока не проверял.

Смотрите пример поиска, который я вам набросал.

Это - обязательно, попробую. За это спасибо.

Возможно для навигации по базе данных будет удобно установить phpmyadmin.

Ткните ссылкой что оно, как и откуда ставится...

Отправлено спустя 41 минуту 38 секунд:

необходимо сменить владельца на того, от имени которого выполняется php.

Как определить (где определяется, конфиг файл) то, под каким именем:группой выполняется PHP-скрипт в конкретном случае выполнения его под apache2?

[Siava]

Ткните ссылкой

Так apt install ...

Отправлено спустя 4 минуты 50 секунд:

Как определить (где определяется, конфиг файл) то, под каким именем:группой выполняется PHP-скрипт в конкретном случае выполнения его под apache2?

Ну.. вы же линуксоид))
Да и в /etc/apache2/envvars у вас наверняка значится

Код: Выделить всё

export APACHE_RUN_USER=www-data
export APACHE_RUN_GROUP=www-data

А так как php у вас работает как модуль apache, то и привилегии те же.
Или посмотреть вывод <? phpinfo(); ?>

[Olej]

Так apt install ...

Не-е-е-е...
Я apt-аю только то, о чём предварительно обстоятельно почитаю.

Отправлено спустя 5 минут 6 секунд:

Да и в /etc/apache2/envvars у вас наверняка значится

Вот это именно то, о чём я просил - путь и файл:

Код: Выделить всё

root@277938:/etc/apache2# cat /etc/apache2/envvars | grep APACHE_RUN_
export APACHE_RUN_USER=www-data
export APACHE_RUN_GROUP=www-data
export APACHE_RUN_DIR=/var/run/apache2$SUFFIX

[Olej]

Но возникла экстренная проблема смены хостинга. Перенесли на VPS с Debian 10.

Ещё такой вопрос: субъективно после переноса хостинга форум стал заметно быстрее, быстрее реагирует на переходы между темами... При том, что хостеры, прежний и нынешний, примерно равны, кажется, по характеристикам, и территориально расположены в одном регионе.
Хотелось бы на будущее понимать с чем это могло бы быть связано:
- со сменой PHP с версии 5.4.45 на 7.2;
- с тем, что на предыдущем хостинге форум был установлен по тарифу "виртуальный хостинг", а теперь на отдельном виртуальном VDS;
Или это вообще только кажущийся эффект?

[KEMnEP]

- со сменой PHP с версии 5.4.45 на 7.2;

7.2 Для современного движка равнозначно большому плюсу в скорости.

[Olej]

7.2 Для современного движка равнозначно большому плюсу в скорости.

Интересно...

Отправлено спустя 5 минут 45 секунд:
В /var/log/apache2/error.log активно работающего форума мелькают такие сообщения:

Код: Выделить всё

root@277938:/var/log/apache2# cat error.log | grep script
[Wed Dec 25 02:16:28.730032 2019] [php7:error] [pid 30912] [client 188.116.21.92:57851] script '/var/www/linux-ru.ru/nlib.php' not found or unable to stat, referer: http://linux-ru.ru/nlib.php?name=/MyLDP/algol/gdb/otladka-s-gdb.html
[Wed Dec 25 02:26:15.976125 2019] [php7:error] [pid 30911] [client 5.62.57.126:4118] script '/var/www/linux-ru.ru/xmlrpc.php' not found or unable to stat
[Wed Dec 25 11:11:15.025296 2019] [php7:error] [pid 5064] [client 104.155.115.130:34854] script '/var/www/linux-ru.ru/external.php' not found or unable to stat
[Wed Dec 25 15:47:47.698791 2019] [php7:error] [pid 6922] [client 106.54.195.119:59122] script '/var/www/linux-ru.ru/elrekt.php' not found or unable to stat

Как видите, их разделяют очень существенные промежутки времени.
Что это может означать и что это за скрипты?

[Siava]

Что это может означать и что это за скрипты?

Боты сканируют возможные лазейки.