В таблицу search_wordlist попадают "недопустимые"

[Jovani]

Заметил, что уменя, в таблицу search_wordlist попадают "недопускаемые" слова, например: s, а, ....
Они запрещены для занесения в эту таблицу, имеется ввиду слова не более двух символов, но иногда, каким-то образом, туда пролазят
В чем причина, не понял

На хостинге, из русской локали, только KOI8, пробовал включать и выключать ее, не помогло

search.php проверил, все OK, менял заведомо исправный - из дистрибутива, не помогло

Куда еще ткнуться?

[Xpert]

А тут ведь не search влияет, а functions_search.php. Насколько я понимаю, там за это отвечает следующий кусок кода:

Код: Выделить всё

if ( $mode == 'post' )
	{
		$entry = str_replace('*', ' ', $entry);

		// 'words' that consist of <3 or >20 characters are removed.
		$entry = preg_replace('/[ ]([\S]{1,2}|[\S]{21,})[ ]/',' ', $entry);
	}

Что самое интересное, у меня в таблице тоже есть короткие слова, например "не". Спрошу завтра товарища насчет правильности данного кода.

[Hellraiser]

Ждемс

[Jovani]

Xpert
да, именно его я имел ввиду, да забыл как обзывается, написал search.php

Менял я functions_search.php ...

[Jovani]

Тут еще такой прикол обнаружил - заносятся с разным регистром

То есть - "Слово", "слово", "СЛОВО", ....

[Xpert]

Jovani
Да, вот потому база столько и весит

[Jovani]

Xpert это понятно ...
как фиксить ?
Все таки похоже проблема именно в локали, на localhost-e сделал переиндексацию - все OK. На сервере - траблы

[Jovani]

По идее, можно попробовать создать SQL-запрос, который вычистит таблицы search_wordmatch и search_wordlist от таких "ошибочно занесенных" слов.
То есть, из search_wordlist, удалить по условию - WHERE length(word_text)<2, и соответственно скорректировать search_wordmatch.
Ждем совета гуру

Кстати, обнаружился и несколько другой глюк в поиске - по каким-то причинам, некоторые допустимые слова не попадают в базу!
Замечено на русских словах и английских с цифрами. Вот уж воистину глючный поиск

Вызывает опасение нагрузка на базу при поиске. Чего только стоят запросы по маске, например "c*" или "а*".
Пока база была относительно небольшой, я не обращал внимание на ЭТО, но сейчас, такой запрос, это почти катастрофа

Есть и другие косяки, о которых сообщу позже ...
К сожалению, пока нет ни времени, ни достаточных знаний, что-бы все это пофиксить.

Какие будут предложения и соображения по этому поводу?

[Jovani]

ок, если никто не читает, удалил нах свое сообщение.

[Xpert]

Jovani
Все читают, но решение проблемы пока не найдено.

[Jovani]

Xpert
вот уже четыре скрипта наваял для фиксирования этой проблемы, но не знаю, насколько они хороши.

А вообщем, изменил код, пока вроде не пролазят.
Буду тестить дальше ...

[Jovani]

Похоже неправильно работает с русскими символами, функция strtolower.
Заменил аналогом в functions_search.php - перестали пролазить.
Может совпадение?

[Xpert]

Jovani
Возможно. А если обратно поменять?

[romutis]

Похоже неправильно работает с русскими символами, функция strtolower.

Может совпадение?

После обновления PHP с версии 4.3.5 до 4.3.8 - PHP перестал воспринимать значение локали заданное в переменных окружения. Соотв. strtolower ничерта не переводит заглавные русские буквы в прописные.
Почитал оффсайт РНР - вроде как написано, что это known bug.

Спасает, конечно, установка setlocale в lang-файле, но всё равно глюк неприятный. пока заметил - уже куча левых слов набилась в таблицу search_words.

[MiTrI]

У меня проблемс.
При поиске например слова - "Реферат" поиск выдает что нету таких тем с такими сообщениями. А если искать "реферат" то находит.
Вообщем с заглавными буквами проблемс.

Не подскажите что сделать?