Тюним поиск

[Macks]

Почему индексация происходит так медленно.
С модемом это делать не реально!?
Мне пишет про несколько часов ...

Дело не в модеме, а в ПХП и в не оптимальности алгоритма.

Я уверен что если все это выкинуть в файлы текстовые, то на перле такая задача выполнится за 40 секунд не больше(есть опыт).

[VVVas]

mixer
Странно, вот посмотри мой форум, примерно аналогичный твоему, я сегодня затратил 15 минут.

[Siava]

Macks
если сделать на перле, то это убьёт сервер, на котором будет выполняться такая турбо-переиндексация

[Macks]

mixer
Странно, вот посмотри мой форум, примерно аналогичный твоему, я сегодня затратил 15 минут.

Наши пользователи оставили сообщений: 4370

Вы про этот форум?

При вставке слов в таблицу, делается запрос.

Код: Выделить всё

$sql = "INSERT DELAYED INTO " . SEARCH_MATCH_TABLE . " (post_id, word_id, title_match) SELECT $post_id, word_id, $title_match FROM " . SEARCH_WORD_TABLE . " WHERE word_text IN ($match_sql)"; 

При 400 000 слов и больше 1 000 000 постов, каждый пост обрабатывается > 0.1 секунды.

Добавлено спустя 5 минут 45 секунд:

Macks
если сделать на перле, то это убьёт сервер, на котором будет выполняться такая турбо-переиндексация

Займет 40 секунд. Никто и не заметит.

[VVVas]

Наши пользователи оставили сообщений: 4370

Вы про этот форум?

да, но я писал mixer

[Macks]

Наши пользователи оставили сообщений: 4370

Вы про этот форум?

да, но я писал mixer

Помоги советом или ссылкой.

Как сделать чтобы если слово присутствует больше чем в 200 постах оно не индексировалось?

[VVVas]

Macks
Не помогу, я не так крут как вам кажеться.

Добавлено спустя 3 минуты 13 секунд:

К тому же как это сделать? сначала надо посчитать слово, а потом от него отказаться. Хотя можно взять из индексной таблицы базы статистику слов, а потом внести нужные слова в список stop-слов, а потом опять переиндексить.

[OMus-VeNuS]

Слушай а в чем проблема? загрузи форум с текущей базой на другой хост - там все сделай и бекап базу на старом!

[VVVas]

OMus-VeNuS
проблема в том что форум очень посещаемый, поэтому переиндексить нужно быстро, чтоб никого не обломать, например ночью с 3 до 4, это единственный час когда народу очень мало. А так как ты предлагаешь, потеряеться индексация того что отпостят пока он дудет на другом хосте индексить базу.

[OMus-VeNuS]

Закрыть на время форум, написать что по тех причинам...
Просто пока мы тут будем разбираться - он быстрее переиндексит ее на другом хосте...

[VVVas]

Macks
Кстати, а что если вы попробуете прикрутить к этому моду пакетный режим, и будет плавно индексить по ночам?

[Macks]

Macks
Кстати, а что если вы попробуете прикрутить к этому моду пакетный режим, и будет плавно индексить по ночам?

Проблемма в том что у меня нет шела на это сервер по ряду причин.

И к крону тоже. А ПХП в сейвмоде, работает на больше 30 секунд за один вызов из апача.

Кто будет по ночам его вызывать?

[Mr. Anderson]

Macks
Я не понимаю в чем проблема оставить реиндексацию на пару (да хоть на 10) дней (если у вас есть постоянное подключение к сети, конечно).
Долго? Зато все реиндексирует.

[Macks]

Слушай а в чем проблема? загрузи форум с текущей базой на другой хост - там все сделай и бекап базу на старом!

Если бы у меня был доступ, я бы просто перловым скриптом сделал бы все за пару минут.

Фишка в том что бы это сделать средствами форума.

[OMus-VeNuS]

Я же тебе сказал, НА ДРУГОЙ СЕРВЕР... Не хочешь слушаться дельного совета - не надо... Только не надо потом орать типа помоги, я те сказал че делать!