Кэширование форума для гостей и ботов

[Pazh]

1. задание для форумного cron выполняется только одно, т.е. при запуске задания cron он блокируется до окончания выполнения задания. У каждого задания есть время последнего запуска и интервал запуска, т.е. если текущая дата >= время последнего запуска + интервал, то задание запуститься. В твоем случае крон повторно срабатывать не будет
2. да есть если у метода кеширования, который выставлен в config.php есть метод tidy ну и при выполнении 1-го пункта по времени устаревания кеша

[Kot]

2. да есть если у метода кеширования, который выставлен в config.php есть метод tidy ну и при выполнении 1-го пункта по времени устаревания кеша

Охо-хо, а вот тут может быть проблема, как я вижу. Если у нас будет слишком большой кэш (тысячи файлов, гигабайты данных), то как бы этот крон-таск по проверке устаревшего кеша не вешал всю систему, перебирая весь список...

В итоге может получиться, что для конечного пользователя страницы будут на долю секунды :) отдаваться быстрее, а вот сам сервер будет нагружаться на порядок сильнее...

[Pazh]

Ну это как Вы напишите в своей функции tidy так и будет. Зайдите в папку includes\acm\ и посмотрите в разных файлах как реализована функция tidy

[Kot]

Да, вижу, что скорее всего для кеширования придётся писать свой класс, наследник от ACM File Based Caching.

Во-первых, можно будет каталогизировать кэш, снизив количество файлов в одном каталоге (отдельно темы, отдельно профили пользователей и так далее).

Во-вторых, можно будет для использовать смешанное кеширование -- для форума тот же xcache, для хранения гостевых страниц -- file cache.

[Kot]

Поделюсь немного информацией о том, что сделано в этом направлении, и как. Возможно, услышу ещё дельные предложения и замечания.

Если кто-то ждёт скорого релиза -- прошу извинить, времени недостаточно, я этим занимаюсь практически только в метро по дороге на работу и с работы. :)

Демо

Сейчас на сайте http://scooterclub.by/nforum установлена альфа-версия мода кеширования страниц для гостей и ботов. Можете зайти и оценить, если кому-то интересно.

На сайте включен дебаг, можно посмотреть время генерации страниц. Учтите, то, что показывается в стандартном футере -- это время генерации оригинальной незакешированной страницы! Если же ваша страница поднялась из кеша, то в самом-самом низу можно увидеть дополнительную информацию о времени генерации и количестве запросов на странице. Очень познавательно, когда хочется сравнить, сколько времени эта страница генерилась без кеширования, и сколько времени с кешированием.

Что кешируется

Кешируется главная страница форума, она же Board3 Portal. По понятным причинам это самая ресурсоёмкая страница форума. Кешируется на 5 минут (lazy cache). Выигрыш от кеширования получается в 30-60 раз.

Кешируются страницы форумов (страницы со списками тем). Точно так же кешируются на 5 минут, lazy cache. При попадании в кеш генерится быстрее в 10-20 раз.

Кешируются топики, постранично. Кешируются на 6 часов, но уже с помощью write-through cache, т.е. если в теме появится новое сообщение, удалится или отредактируется старое -- все закешированные страницы темы удаляются.

Преимущества

С учётом того, что 80% посетителей моего форума -- гости и боты, введение дополнительного кеширования должно заметно снизить нагрузку на сервер. Подтверждённых данных пока не имею, нужно подождать несколько дней для сбора статистики.

Недостатки

Недостатки попробую расположить в порядке приоритетности.

Самый большой и очевидный недостаток -- размер кеша. По моим грубым прикидкам, кеш может распухнуть до нескольких гигабайт, примерный размер вычисляется по формуле [количество сообщений форума] / 40 000 = [кеш] Гб (формула будет меняться, сильно зависит от активности гостей и стратегии кеширования).

Маркировка тем для гостей должна быть отключена, что страницы для каждого гостя выглядели одинаково.

Список тем и форумов обновляется только раз в 5 минут. В принципе, а ещё этот момент посмотрю, возможно, будет иметь смысл удалять эти страницы при появлении новых сообщений на форуме (сделать тоже write-through cache). Но на активно обновляемых форумах эффект от кэша списка тем и форумов в таком случае значительно снизится -- кэш будет чаще удаляться, чем в него будут попадать. В любом случае, тут нужны дополнительные исследования -- на активных форумах, я полагаю, и количество гостей на порядок больше.

Быстрый ответ для гостей пришлось отключить -- капча не работает, потому что поднимается закешированный confirm_id.

[Пчелкин]

стоит ли вообще браться.

Возрадуйся, уже готово ... - https://www.phpbb.com/community/viewtop ... &t=2171266

[Kot]

М-даааа... Я бы возрадовался, если бы этот мод появился не вчера, а неделю назад... А так у меня самого практически готов мой вариант, осталось только хорошенько оттестировать и сделать админ-страницу... :(

Ладно, в любом случае на первый взгляд тот мод выглядит понавороченнее моего. Я, к примеру, о 304 Not Modified задумывался, но в текущую реализацию ещё не включал. В общем, поставлю, буду сравнивать. Если что, поделюсь с автором своими наработками.

[Пчелкин]

На Денвере на голом движке все нормально...На денвере на копии основного форума глюки -
https://www.phpbb.com/community/viewtop ... #p13235812

Исправить пока не получается...

[МайскийЖук]

Пчелкин, опять жжошь. Скриншоты на русском языке для чувака, который не говорит по-русски.

[Пчелкин]

Еще как говорит...Скриншот для показа вала ошибок за время...
Жгу...

[Kot]

Я проверил его изменения, насколько я понимаю, мы стремимся к одной цели, только несколько разными путями. :) Он использует кеширование заголовков (если я правильно понял, быстро пробежавшись по его коду), я физически кеширую контент страниц.

Так что немного отлегло от сердца, работа была сделана не зря, мне имеет смысл доделывать свою модификацию. Пожалуй, на следующей неделе погоняю её ещё на своём сервере вживую, а там посмотрю, как делать админ-страницы, и как готовить изменения для авто-мода (MODX, правильно?).

[МайскийЖук]

На сайте включен дебаг, можно посмотреть время генерации страниц.

Время генерации главной страницы твоего портала — 0.297s. У меня без всякого кэширования портала для гостей время генерации главной страницы моего портала — 0.220s.

Вопрос: где выигрыш от кэширования? Может я чего-то не заметил или недопонял?

[rxu]

МайскийЖук
Кэшируется вся страница, в т.ч. текст со временем ее генерации.

[МайскийЖук]

Тогда как мне — гостю — определить, что страница была выдана мне быстрее, чем предполагалось? Где те цифры, которые мне нужны для сравнения?

[Татьяна5]

как готовить изменения для авто-мода

MODX Creator