Тюним поиск

[Admin_777]

Спасибо за напоминание. Но МОД сам чистит старые базы.
После установки локали, после часа работы прогресс есть. Вместо 3 млн. записей стало 2 млн. Тюнинг однако!
Но до такого:

Кол-во сообщений 166306
Объём БД 170,46 MB

пока еще далеко. Думаю достигну 170 Мб через пару часов. Что-то еще можно протюнинговать?

[Admin_777]

Не помогла локаль. Реиндексация шла 14 часов. В результате было обработано 36%. phpbb_search_wordmatch распух до 22 млн. записей = 500 Мб. Посмотрел слова phpbb_search_wordlist: 251 тыс. слов. Все в принципе нормальные. Таких как "привет" и "Привет" нету. Правда есть "и", "не", "к" и пр. Может они дают такой прирост?
Объясните пожалуйста как так может быть? На одном движке - у меня 18 версия. У одних:

Кол-во сообщений 166306
Объём БД 170,46 MB

А у меня:
Кол-во сообщений 15000
Объём словарей выше 500 MB (думаю реально около 800-900 будет). Но времени ждать еще 30 часов нет. Да и выложить этот словарь к хостеру нельзя будет. Платить в два-три раза больше только за ПОИСК???

В общем, вывод один. Либо у вас протюнинговые программы реиндексаци словаря, либо я ничего не понимаю.

[Xpert]

Если форум у вас в интернете, киньте ссылку. Хочу посмотреть что там за сообщения такие, что они дают такую базу.

Кстати, какая у вас версия MySQL?

[Jovani]

Admin_777
У меня тоже более 100.000 сообщений. Размер search_wordmatch 35Mb, записей 1.500.000.
То, что влетают одно и двух-символьные слова, это косяк разработчиков - я уже об этом сообщал, но все мои сообщения, увы, игнорируются.
Поработай тщательно с functions_search.php, и все поймешь.

[Admin_777]

Поработай тщательно с functions_search.php, и все поймешь.

К сожалению, с php очень на ВЫ, т.е. не знаю ее совершенно.

Кстати, какая у вас версия MySQL?

Версия мускуля 4.1.9

Если форум у вас в интернете, киньте ссылку.

Кину в привате.
Но хочу заметить, что проблема не на одном моем форуме. Кроме рабочего форума, я помогал друзьям ставить phpbb. В итоге напомогал еще 6 форумов. Практически везде ПОИСК пришлось отключить, т.к. база слишком быстро распухает выше 100 Мб, что чревато переходом в другую ценовую категорию у провайдера. Хотелось бы конечно разобраться где и что не так. Хаков практически нет, кроме "Версий для печати" (на некоторых сайтах), и некоторыми админскими фичами: Список пользователей и Реиндексация поиска.

[Xpert]

Вроде посты не огромные...

Версия мускуля 4.1.9

Какая кодировка работы с БД?

[Admin_777]

Я не знаю какой именно параметр интересует. Поэтому на всякий случай из phpMyAdmin скопировал некоторые переменные:
Переменная Значение сессии Глобальное значение
character set client utf8 cp1251
character set connection utf8 cp1251
character set database cp1251 cp1251
character set results utf8 cp1251
character set server cp1251 cp1251
character set system utf8 utf8
collation connection utf8_general_ci cp1251_general_ci
collation database cp1251_general_ci cp1251_general_ci
collation server cp1251_general_ci cp1251_general_ci

[VVVas]

Admin_777
Списки синонимов и списки пустых слов есть? У меня сократило в первый раз заметно. Буквы е и ё считаются за одну или за разные буквы?

Добавлено спустя 50 секунд:

И пусть Jovani напомнит для чего я по его предложению делал это с поиском

Код: Выделить всё

functions_search.php

[find]
$entry = str_replace(' ' . trim($stopword) . ' ', ' ', $entry);

[replace]
$entry = str_replace(' ' . trim(strtolower($stopword)) . ' ', ' ', $entry);

[find]
$entry = str_replace(' ' . trim($match_synonym) . ' ', ' ' . trim($replace_synonym) . ' ', $entry);

[replace]
$entry = str_replace(' ' . trim(strtolower($match_synonym)) . ' ', ' ' . trim(strtolower($replace_synonym)) . ' ', $entry);

[Admin_777]

Списков синонимов и пустых слов пока не делал. Вот я и пытаюсь понять это обычный форум так работает:

Кол-во сообщений 166306
Объём БД 170,46 MB

Или тюнинговый?
Если тюнинговый, то чего именно там так нитюнено. Я тоже такое хочу. Пока же имею стандартный 2.0.18 и на 14 тыс. сообщений поисковые таблицы за 600 Мегов.

И пусть Jovani напомнит для чего я по его предложению делал это с поиском

Скажите пожалуйста, это изменение влияет на создание поисковых таблиц, т.е. после изменения functions_search.php надо заново создавать поисковые таблицы?

[VVVas]

14 тыс. сообщений поисковые таблицы за 600 Мегов.

это много однозначно

Скажите пожалуйста, это изменение влияет на создание поисковых таблиц, т.е. после изменения functions_search.php надо заново создавать поисковые таблицы?

да, и после

Списки синонимов и списки пустых слов

тоже нужно

[Admin_777]

В оригинальной версии такого:

[find]
$entry = str_replace(' ' . trim($match_synonym) . ' ', ' ' . trim($replace_synonym) . ' ', $entry);

нет.

[Siava]

Admin_777
Нет, обычный пряморучный форум
MySQL 4.1.15, работающий на кодировке по умолчанию Latin1.

[Admin_777]

Не думаю, что тут дело в версии, у меня 4.1.9.
А что значит фраза "обычный пряморучный форум" ?
Чем он отличается от 2.0.18 ?

[VVVas]

Не думаю, что тут дело в версии, у меня 4.1.9.

а у меня 4.0.23, и ничего.

А что значит фраза "обычный пряморучный форум" ?
Чем он отличается от 2.0.18 ?

Тем что при настройке этого форума нигде не накосячили, а так - ничем.

[Admin_777]

У меня накосячить трудно, т.к. файлы практически все родные. Изменена только шапка форума и добавлены несколько функций в админку.
Судя по тому, что файл phpbb_search_wordmatch пухнет сам по себе слишком быстро, что-то надо подкрутить.
Закинул файлы стоп- и синонимов. Пробую создать таблицы заново.

Добавлено спустя 1 час 2 минуты 35 секунд:

Прошел час, обработано 20%, 2 млн. записей в phpbb_search_wordmatch (против 6.5 как раньше)=50Мегов.
С "родным" файлом functions_search.php.
Ну это гораздо лучше. Еще бы знать чего в functions_search.php подкрутить, совсем хорошо будет.

Добавлено спустя 9 минут 13 секунд:

Вопрос: Можно ли проводить создание поисковых таблиц с включенным форумом? Сам МОД выключает форум на время индексации.