Тюним поиск

[VVVas]

Admin_777
ё-мод установлен?

Вопрос: Можно ли проводить создание поисковых таблиц с включенным форумом? Сам МОД выключает форум на время индексации.

Если выключает - значит нельзя.

[Admin_777]

ё-мод установлен?

Пока нет. Как я понял, он только для правильной подстветки поисковых слов. Или я чего не понял?

Если выключает - значит нельзя.

Я читал сообщения на форуме, что народ не выключает во время создания таблиц форум. Вот и хотел узнать насколько это критично? Предыдущий МОД reindex не выключал.
Мне крайне нежелательно отключать форум даже на несколько часов.

[VVVas]

Пока нет. Как я понял, он только для правильной подстветки поисковых слов. Или я чего не понял?

Теперь уже я сомневаюсь. Мне казалось что он при занесении в поисковые таблицы не делает разницу между е и ё. Ну и при поиске тоже.

Добавлено спустя 1 минуту 56 секунд:

Мне крайне нежелательно отключать форум даже на несколько часов.

За пару часов пользователи у тебя не разбегутся, а вот потерпев пару часов потом скажут большое спасибо.

[Admin_777]

Продолжаю тюнить свой ПОИСК. Поскольку наличие стоп-листов помогло, то пробежался по таблице search_wordlist. Возникло несколько вопросов:
1. Можно ли узнать количество ссылок по каждому слову, чтобы исключить заведомо те слова (типа "мне"), которые не вносят смысла и вряд ли будут использоваться пользователями, но ссылок на которые немеряно? Как это можно посмотреть?
2. Не обнаружил слов с буквой ё, значит МОД ё наверное и не нужен?
3. Возвращаясь к вопросу о закрытии форума. Мне интересно все-таки (тем более, что закрывать придется не на пару часов, а на 6-7), насколько чревато это последствиями? Если во время создания поисковых таблиц будут добавляться новые темы, то они ведь автоматически попадут в поиск?

[Crow]

к предыдущим сообшениям о обьеме базы..

*****_search_wordlist 135,176 5.4 MB
*****_search_wordmatch 757,151 17.1 MB

к-во записей и обьем таблиц сответственно
форум из 30000 постов индексило минут 15..

[Admin_777]

Ну я немного уже поднабрался опыта и вот мне непонятно совершенно, как может быть на 30 тыс. сообщений всего 135 тыс. слов? Какой у Вас стоп-лист?
У меня сейчас на тестовой базе идет сборка таблиц для поиска. Обработано 30% - это 4 тыс. сообщений и уже 150 тыс. слов. Соответственно 4.7 млн. (100 Мб) search_wordmatch. Что гораздо лучше, чем раньше.
search_wordlist как я понял заполняется просто словами из форума. Причем, я раньше думал, что если в сообщениях есть 50 слов "база", то в search_wordlist будет одно слово, а в search_wordmatch будет 50 ссылок. Как я ошибался. Оказывается в search_wordlist собираются все 50 слов "база". Или это и есть основная проблема? Или это у меня одного так? Поясните пожалуйста.

Добавлено спустя 20 минут 56 секунд:

Убедительная просьба проверить свою таблицу командой:

SELECT *
FROM `phpbb_search_wordlist`
ORDER BY `word_text` ASC

Будут ли там повторы слов?

[Crow]

ну это я только вкчкром скажу...с работы не могу зайти к базе..

[VVVas]

Будут ли там повторы слов?

Там не может быть повторов слов, хотя бы потому что там могут быть только слова и ид слова

[Admin_777]

Если просто смотреть таблицу, то можно и не понять есть ли повторы. Но если применить сортировку по алфавиту
ORDER BY `word_text` ASC
то хорошо видно.
Вот у меня закралось сомнение. А может в этом и дело, что слова по какой-то причине повторяются?
Если у Вас есть возможность проверить таблицу слов, проверьте как у Вас? В phpMyAdmin это легко можно посмотреть, только надо обязательно указать сортировку.
У меня слова одинаковые, а ID разные:
word_text word_id word_common
галочку 3181698 0
галочку 3190708 0
галочку 3191902 0
галочку 3195453 0
галочку 3202747 0
и т.д.
Может в этом причина моих проблем? Если да, то где ковырять?

Добавлено спустя 6 минут 28 секунд:

Получается, что ошибка в МОДе создания поисковых слов?

[Siava]

Admin_777
У меня повторов нет, проверил оба форума.

[VVVas]

Получается, что ошибка в МОДе создания поисковых слов?

мод использует механизм форума, он просто перенаправляет заново сообщения в этот механизм. Так что ошибка может быть у вас в этом механизме, и почему - я не знаю. У меня повторов нет.

[Admin_777]

Спасибо, уже яснее куда двигаться. Пока буду проверять движок форума.
Может кто подскажет, какой файл отвечает за правильность создания поисковых таблиц? Чтобы search_wordlist не было повторов...

[Jovani]

Вместо мода "Ё", я уже давно, для аналогичной процедуры, просто добавил к массивам в functions_search.php:

Код: Выделить всё

static $drop_char_match =   array('Ё','ё', ........
static $drop_char_replace = array('е','е', ........

Работает нормально, не жалуюсь ...

[Admin_777]

Напишите пожалуйста, какие файлы отвечают за формирование таблиц поиска? В какой модуль закралась ошибка, что одинаковым словам присваивается разный ID? Я пробовал 3-мя разными МОД-ами - везде результат один:

word_text word_id word_common
галочку 3181698 0
галочку 3190708 0
галочку 3191902 0
галочку 3195453 0
галочку 3202747 0

Посмотрел базу, созданную еще более старыми версиями движка - там таблица корректная.

Проверил functions_search.php - там "родной" файл из 2.0.18...

[Xpert]

Может все-таки неверная кодировка работы форума с базой? Того что вы написали быть не должно...