File Attachment Mod - для огромного кол-ва файлов

[blazch]

Поднимаю снова тему т.к. она было погребена под массой общих вопросов.

у меня 3 вопроса:
1. сделал у себя так что картинка вложения открывается по ссылке в окне http://site.ru/download.php..... где редактировать окно чтобы туда можно было вставить допустим банер?
2. сейчас у меня на серваке в папочке лежат 2000 фалов картинок.... пока нагрузки на сервак я не чувствую, да и не знаю как посмотреть, но.. а что будет когда в этой папочке будет лежать 10-20к картинок? Думаю будет нагрузка Arrow тормоза.... как решить данную проблему? может как то разбивать их по папкам... по времени?
3. покупаю доп место на 50 гигов на серваке хочу дать пользователям возможность постить маленькие клмпчики по 1-2 мб, т.е. в папке будет лежать не 10-20к а все 50-к файликов.... нагрузка будет уже капитальная... также если расширить.. возьмем предельный случай... у меня места 500гигов... это более 500к файлов...
как это все разбивать по папкам как то складировать... иерархировать..

[Y™]

ты знаеш - у меня сейчас около 20 гигабайт разных файлов - и никакой разницы (с тем, когда было 500мегабайт файлов) я не замечаю, думаю что и не появится она в дальнейшем

[blazch]

хм... я знаю данная трабла была у админа секснарода когда кол-во фалов вложения перерасло все мыслимые значения просто все начало нереально тормозить... ну и так представить... попробуйте скинуть в одну папку 10000000 файлов.. а потом открыть ее (конечно пример не очень верен но дает намек)...
Т.е. есть 100% гарантия того что если колв-о файлов вложения в папочку file перевалит за миллиард то все будет так же классно работать, вот не поверю...
Опять же представим что надо удалить какую-то часть файлов или как то просмотеть их через фтп, какая-то еще работа... просто нереально что-то находить и прочее.. ведь по сути так же и сам движок форума можно свалить все в корень правильно пути прописать и работать с ним....

[Y™]

ну смотря какая файловая система... если операционка винда - то может и будут проблеммы, а если линух - то сомневаюсь

[blazch]

но все таки вы согласны или нет, что не есть хорошо хранить все файлы при их большом кол-ве в одной папочке и для удобства администрирования и работы?

[Y™]

но все таки вы согласны или нет, что не есть хорошо хранить все файлы при их большом кол-ве в одной папочке и для удобства администрирования и работы?

мне кажется это просто предвзятое мнение навеянное MS (fat32 например) хотя я могу и ошибаться

[Siava]

Код: Выделить всё

Кол-во вложений:  	10108
Общий размер: 	5129,36 MB
Квота: 	30000 MB
Кол-во сообщений с вложениями: 	6923
Кол-во вложений в личных сообщениях: 	753
Кол-во тем с вложениями: 	1253
Кол-во пользователей сделавших вложения: 	228

Ничуть не тормозит.
Файловая система Reiserfs
ОС Linux Slackware 10.2

[blazch]

хм... ну не знаю... у меня такая просто проблема.. открываю доступ на закачку видео и картинок.. на гигов 30-50 пока... вот и подумал.. закачают все по самые не хочу.. начнет тормозить.. а как потом сортировать когда уже все в общую кучу свалено.. а вдруг надо будет проверять... все посты не просмотришь... может прийдется и папку просмотреть на поиск ДП, рэйпа и прочего запрещенного.. а будет поздняк...
Да и как все-таки я сомневаюсь... к сожалению ничем аргументировать не могу возможность проблемы, чисто на интуитивном уровне

[Xpert]

Могу разработать хак, который вам поможет, но не бесплатно...

[blazch]

1. сделал у себя так что картинка вложения открывается по ссылке в окне http://site.ru/download.php..... где редактировать окно чтобы туда можно было вставить допустим банер?

а что на счет этого?

Могу разработать хак, который вам поможет, но не бесплатно...

отписался но безрезультатно

[Jovani]

blazch
Действительно, проблема может возникнуть ...
Тут, думаю есть несколько вариантов.

Сейчас посмотрел в скрипты.
Директория для файлов, там определена переменной $upload_dir, которая берется из БД.

Если проблема уже есть, то можешь быстро создать новую директорию, например files2, после именить настройки в админ-панели, а в скрипте download.php, для того, что-бы скачивались старые файлы, поставить условие, например:
Найди код:

Код: Выделить всё

$filename = ($upload_dir == '') ? $attachment['physical_filename'] : $upload_dir . '/' . $attachment['physical_filename']; 

Добавь:

Код: Выделить всё

if ( $filename == '' ) 
   { 
      $filename = 'files/' . $attachment['physical_filename']; 
   } 

Пробуй ...

[[R: R@m$e$ :U]]

Jovani
однако... скачивать старое будет пытаться из новой директории...
так что... я думаю, что надо просто добавлять категории... иль подсчет файлов... причем по значению в бд, а не физически.. имхо...

[Jovani]

Это не мод, это намек кратковременный выход из положения, если возникла проблема.
Если не охота, чтобы система сканировала две директории, условие можно "привязать" к $file_id, например

Код: Выделить всё

if ( $file_id > 9999999 ) 
   { 
      $filename = 'files2/' . $attachment['physical_filename']; 
   }

Это типа идейки ...
Все зависит от хозяина-барина, подумает и сделает сам, думаю, что больших сложностей там возникнуть не должно ...

[blazch]

но все-таки мне кажется должно быть более кардинальное рещение а не попытки просто переназначть новую папку.... может можно создавать отдельные директории для каждого подфорума?

[Jovani]

но все-таки мне кажется должно быть более кардинальное рещение а не попытки просто переназначть новую папку.... может можно создавать отдельные директории для каждого подфорума?

Об этом нужно было позаботиться заранее.
А сейчас как ты будешь сортировать уже закачанные файлы? Вручную?

Привязать можно хоть к чему - хоть к расширению файла, хоть к id юзера, хоть к дате или еще чему-нибудь.
Я тебе указал основное - тот участок кода, после которого можно сделать условие. Его, ты уже должен выбрать на свое усмотрение, и тщательно проверить остальной код, явно еще где-нибудь потребуется изменить.

Если не можешь сам, почитай что тебе ответил Xpert.