Настройка поискового механизма Sphinx Fulltext в debian

[Vlad__]

При добавлении поста(ов) эти данные пишутся в дельта индекс и ожидают индексации сфнксом в основной индекс(только после этого данные станут доступны для поиска), как только прошла задача крона и демон сфинкса сделал выборку из дельта индекса в основной индекс данные из таблицы удаляются и таблица ждет новых данных. Т.е мы ставим крон задачу:

А вот тут неверно.
Команда indexer --rotate --all обновляет ВСЕ индексы и получится, что каждые 5 минут дёргается вся база форума.
А для обновления дельта-индекса команда должна быть следующая:

Вот тут у меня пробел. Как добавляются данные из дельта в основной? Какой командой? Я поставил по совету Siava в крон команду индексации дельта индексов каждые пять минут. Последние сообщения туда попадают, а промежуточные (между последней общей индексацией и индексации дельты) удаляются. Т.е. в поиске их нет. Что я делаю не так?

Отправлено спустя 1 час 8 минут 44 секунды:
По логике должно браться последнее сообщения в общем индексе, а от него и дальше все размещается в дельта. Сейчас ищу эту настройку, phpBB генерирует конфиг видимо без нее.

Отправлено спустя 2 часа 20 минут 43 секунды:
Получается при каждом обновлении дельта индекса max_doc_id в phpbb_sphinx меняется на последнее сообщение форума. Следующая индексация дельты опять идет от последнего сообщения. По идее же max_doc_id должен менятся только при индексации майн-индекса, чтобы в дельту попадали все новые сообщения от последней общей индексации. Думаем дальше )))

Отправлено спустя 2 часа 58 минут 5 секунд:
В общем, разобрался. Нужно, чтобы мухи отдельно, котлеты отдельно. В конфиге, генерируемом phpbb дельта-индекс наследует настройки основного, в т.ч. и счетчик последнего сообщения. Нужно убрать наследование и будет все ок!

[rxu]

Siava, как к практику вопрос, все вроде бы настроил, в конфиге listen = localhost:9312, indexer --all отрабатывает:

Код: Выделить всё

    [0] => Sphinx 2.2.11-id64-release (95ae9a6)
    [1] => Copyright (c) 2001-2016, Andrew Aksyonoff
    [2] => Copyright (c) 2008-2016, Sphinx Technologies Inc (http://sphinxsearch.com)
    [3] => 
    [4] => using config file '/etc/sphinxsearch/sphinx.conf'...
    [5] => indexing index 'index_phpbb_saw9zf2fdhp1goue_main'...
    [6] => collected 76 docs, 0.0 MB
    [7] => sorted 0.0 Mhits, 100.0% done
    [8] => total 76 docs, 6720 bytes
    [9] => total 0.100 sec, 67036 bytes/sec, 758.15 docs/sec
    [10] => indexing index 'index_phpbb_saw9zf2fdhp1goue_delta'...
    [11] => collected 1 docs, 0.0 MB
    [12] => sorted 0.0 Mhits, 100.0% done
    [13] => total 1 docs, 88 bytes
    [14] => total 0.001 sec, 60564 bytes/sec, 688.23 docs/sec
    [15] => total 89 reads, 0.000 sec, 0.2 kb/call avg, 0.0 msec/call avg
    [16] => total 24 writes, 0.000 sec, 1.1 kb/call avg, 0.0 msec/call avg

Однако при попытке поиска через phpBB получаю

Sphinx Error
» connection to localhost:9312 failed (errno=111, msg=Connection refused)

Пробовал добавить правило в файрволл sudo iptables -A INPUT -p tcp --destination-port 9312 -j ACCEPT - не помогает.

В чем может быть дело? Ubuntu 18.04.

[Siava]

в конфиге listen = localhost:9312

Попробуй оставить только лишь

Код: Выделить всё

listen = 9312

внутри секции searchd { ... } конфига, - будет слушать на всех IP адресах.
После чего перезапустить демон searchd.

Код: Выделить всё

service sphinxsearch restart

И можно попробовать вовсе временно очистить все правила iptables, разрешив всё:

Код: Выделить всё

iptables -F
iptables -X
iptables -t nat -F
iptables -t nat -X
iptables -P INPUT ACCEPT
iptables -P FORWARD ACCEPT
iptables -P OUTPUT ACCEPT

P.S.
В конфиге самого форума заполнять сервер и порт не надо, если поисковик и форум на одном и том же сервере.

[rxu]

Siava, попробовал, тот же результат. Может, с самим сервисом что-то не то?
Делаю так

Код: Выделить всё

sudo sed -i "s/START=no/START=yes/g" "/etc/default/sphinxsearch"
sudo service sphinxsearch start
sudo service sphinxsearch status

Вывод получаю такой

Код: Выделить всё

● sphinxsearch.service - LSB: Fast standalone full-text SQL search engine
   Loaded: loaded (/etc/init.d/sphinxsearch; generated)
   Active: active (exited) since Sun 2021-12-12 17:09:53 UTC; 1min 52s ago
     Docs: man:systemd-sysv-generator(8)
  Process: 1128 ExecStart=/etc/init.d/sphinxsearch start (code=exited, status=0/SUCCESS)

Dec 12 17:09:53 fv-az281-701 systemd[1]: Starting LSB: Fast standalone full-text SQL search engine...
Dec 12 17:09:53 fv-az281-701 sphinxsearch[1128]: To enable sphinxsearch, edit /etc/default/sphinxsearch and set START=yes
Dec 12 17:09:53 fv-az281-701 systemd[1]: Started LSB: Fast standalone full-text SQL search engine.

На всякий случай, конфиг такой

Код: Выделить всё

source source_phpbb_saw9zf2fdhp1goue_main 
{
	type = mysql # mysql or pgsql
	sql_host =  0.0.0.0
	sql_user = root
	sql_pass = 
	sql_db = phpbb_tests
	sql_port =
	sql_query_pre = SET NAMES '\''utf8'\''
	sql_query_pre = UPDATE phpbb_sphinx SET max_doc_id = (SELECT MAX(post_id) FROM phpbb_posts) WHERE counter_id = 1
	sql_query_range = SELECT MIN(post_id), MAX(post_id) FROM phpbb_posts
	sql_range_step = 5000
	sql_query = SELECT 						p.post_id AS id, 						p.forum_id, 						p.topic_id, 						p.poster_id, 						p.post_visibility, 						CASE WHEN p.post_id = t.topic_first_post_id THEN 1 ELSE 0 END as topic_first_post, 						p.post_time, 						p.post_subject, 						p.post_subject as title, 						p.post_text as data, 						t.topic_last_post_time, 						0 as deleted 					FROM phpbb_posts p, phpbb_topics t 					WHERE 						p.topic_id = t.topic_id 						AND p.post_id >= $start AND p.post_id <= $end
	sql_query_post =
	sql_query_post_index = UPDATE phpbb_sphinx SET max_doc_id = $maxid WHERE counter_id = 1
	sql_attr_uint = forum_id
	sql_attr_uint = topic_id
	sql_attr_uint = poster_id
	sql_attr_uint = post_visibility
	sql_attr_bool = topic_first_post
	sql_attr_bool = deleted
	sql_attr_timestamp = post_time
	sql_attr_timestamp = topic_last_post_time
	sql_attr_string = post_subject
}
source source_phpbb_saw9zf2fdhp1goue_delta : source_phpbb_saw9zf2fdhp1goue_main
{
	sql_query_pre = SET NAMES '\''utf8'\''
	sql_query_range =
	sql_range_step =
	sql_query = SELECT 						p.post_id AS id, 						p.forum_id, 						p.topic_id, 						p.poster_id, 						p.post_visibility, 						CASE WHEN p.post_id = t.topic_first_post_id THEN 1 ELSE 0 END as topic_first_post, 						p.post_time, 						p.post_subject, 						p.post_subject as title, 						p.post_text as data, 						t.topic_last_post_time, 						0 as deleted 					FROM phpbb_posts p, phpbb_topics t 					WHERE 						p.topic_id = t.topic_id 						AND p.post_id >=  ( SELECT max_doc_id FROM phpbb_sphinx WHERE counter_id=1 )
	sql_query_post_index =
}
index index_phpbb_saw9zf2fdhp1goue_main
{
	path = /var/run/sphinxsearch/index_phpbb_saw9zf2fdhp1goue_main
	source = source_phpbb_saw9zf2fdhp1goue_main
	docinfo = extern
	morphology = none
	stopwords =
	wordforms =
	exceptions =
	min_word_len = 2
	charset_table = U+FF10..U+FF19->0..9, 0..9, U+FF41..U+FF5A->a..z, U+FF21..U+FF3A->a..z, A..Z->a..z, a..z, U+0149, U+017F, U+0138, U+00DF, U+00FF, U+00C0..U+00D6->U+00E0..U+00F6, U+00E0..U+00F6, U+00D8..U+00DE->U+00F8..U+00FE, U+00F8..U+00FE, U+0100->U+0101, U+0101, U+0102->U+0103, U+0103, U+0104->U+0105, U+0105, U+0106->U+0107, U+0107, U+0108->U+0109, U+0109, U+010A->U+010B, U+010B, U+010C->U+010D, U+010D, U+010E->U+010F, U+010F, U+0110->U+0111, U+0111, U+0112->U+0113, U+0113, U+0114->U+0115, U+0115, U+0116->U+0117, U+0117, U+0118->U+0119, U+0119, U+011A->U+011B, U+011B, U+011C->U+011D, U+011D, U+011E->U+011F, U+011F, U+0130->U+0131, U+0131, U+0132->U+0133, U+0133, U+0134->U+0135, U+0135, U+0136->U+0137, U+0137, U+0139->U+013A, U+013A, U+013B->U+013C, U+013C, U+013D->U+013E, U+013E, U+013F->U+0140, U+0140, U+0141->U+0142, U+0142, U+0143->U+0144, U+0144, U+0145->U+0146, U+0146, U+0147->U+0148, U+0148, U+014A->U+014B, U+014B, U+014C->U+014D, U+014D, U+014E->U+014F, U+014F, U+0150->U+0151, U+0151, U+0152->U+0153, U+0153, U+0154->U+0155, U+0155, U+0156->U+0157, U+0157, U+0158->U+0159, U+0159, U+015A->U+015B, U+015B, U+015C->U+015D, U+015D, U+015E->U+015F, U+015F, U+0160->U+0161, U+0161, U+0162->U+0163, U+0163, U+0164->U+0165, U+0165, U+0166->U+0167, U+0167, U+0168->U+0169, U+0169, U+016A->U+016B, U+016B, U+016C->U+016D, U+016D, U+016E->U+016F, U+016F, U+0170->U+0171, U+0171, U+0172->U+0173, U+0173, U+0174->U+0175, U+0175, U+0176->U+0177, U+0177, U+0178->U+00FF, U+00FF, U+0179->U+017A, U+017A, U+017B->U+017C, U+017C, U+017D->U+017E, U+017E, U+0410..U+042F->U+0430..U+044F, U+0430..U+044F, U+4E00..U+9FFF
	ignore_chars = U+0027, U+002C
	min_prefix_len = 3
	min_infix_len = 0
	html_strip = 1
	index_exact_words = 0
	blend_chars = U+23, U+24, U+25, U+26, U+40
}
index index_phpbb_saw9zf2fdhp1goue_delta : index_phpbb_saw9zf2fdhp1goue_main
{
	path = /var/run/sphinxsearch/index_phpbb_saw9zf2fdhp1goue_delta
	source = source_phpbb_saw9zf2fdhp1goue_delta
}
indexer
{
	mem_limit = 512M
}
searchd
{
	listen = 9312
	log = /var/run/sphinxsearch/log/searchd.log
	query_log = /var/run/sphinxsearch/log/sphinx-query.log
	read_timeout = 5
	max_children = 30
	pid_file = /var/run/sphinxsearch/searchd.pid
	binlog_path = /var/run/sphinxsearch/
}

[Siava]

rxu, что выдаёт ли команда?

Код: Выделить всё

netstat -tulpn | grep searchd

или если запустить

Код: Выделить всё

netstat -tulpn | grep LISTEN

то есть ли процесс searchd на порте 9312 в списке?

[rxu]

есть ли процесс searchd на порте 9312 в списке?

Нет, сейчас вывод такой:

Код: Выделить всё

+ sudo service sphinxsearch status
● sphinxsearch.service - LSB: Fast standalone full-text SQL search engine
   Loaded: loaded (/etc/init.d/sphinxsearch; generated)
   Active: active (exited) since Sun 2021-12-12 18:30:14 UTC; 16ms ago
     Docs: man:systemd-sysv-generator(8)
  Process: 5617 ExecStop=/etc/init.d/sphinxsearch stop (code=exited, status=0/SUCCESS)
  Process: 5690 ExecStart=/etc/init.d/sphinxsearch start (code=exited, status=0/SUCCESS)

Dec 12 18:30:13 fv-az72-814 sphinxsearch[5690]: Copyright (c) 2001-2016, Andrew Aksyonoff
Dec 12 18:30:13 fv-az72-814 sphinxsearch[5690]: Copyright (c) 2008-2016, Sphinx Technologies Inc (http://sphinxsearch.com)
Dec 12 18:30:13 fv-az72-814 sphinxsearch[5690]: Sphinx 2.2.11-id64-release (95ae9a6)
Dec 12 18:30:13 fv-az72-814 sphinxsearch[5690]: Copyright (c) 2001-2016, Andrew Aksyonoff
Dec 12 18:30:13 fv-az72-814 sphinxsearch[5690]: Copyright (c) 2008-2016, Sphinx Technologies Inc (http://sphinxsearch.com)
Dec 12 18:30:13 fv-az72-814 sphinxsearch[5690]: Sphinx 2.2.11-id64-release (95ae9a6)
Dec 12 18:30:13 fv-az72-814 sphinxsearch[5690]: Copyright (c) 2001-2016, Andrew Aksyonoff
Dec 12 18:30:13 fv-az72-814 sphinxsearch[5690]: Copyright (c) 2008-2016, Sphinx Technologies Inc (http://sphinxsearch.com)
Dec 12 18:30:14 fv-az72-814 sphinxsearch[5690]:  ERROR.
Dec 12 18:30:14 fv-az72-814 systemd[1]: Started LSB: Fast standalone full-text SQL search engine.
+ sudo netstat -tulpn
+ grep LISTEN
tcp        0      0 127.0.0.1:40673         0.0.0.0:*               LISTEN      1218/containerd     
tcp        0      0 0.0.0.0:3306            0.0.0.0:*               LISTEN      2366/docker-proxy   
tcp        0      0 0.0.0.0:6379            0.0.0.0:*               LISTEN      2750/docker-proxy   
tcp        0      0 0.0.0.0:80              0.0.0.0:*               LISTEN      4354/nginx: master  
tcp        0      0 127.0.0.53:53           0.0.0.0:*               LISTEN      861/systemd-resolve 
tcp        0      0 0.0.0.0:22              0.0.0.0:*               LISTEN      1230/sshd           
tcp6       0      0 :::3306                 :::*                    LISTEN      2371/docker-proxy   
tcp6       0      0 :::6379                 :::*                    LISTEN      2756/docker-proxy   
tcp6       0      0 :::80                   :::*                    LISTEN      4354/nginx: master  
tcp6       0      0 :::22                   :::*                    LISTEN      1230/sshd    

[Siava]

rxu, процесс searchd не запущен. Надо в логах искать причину.. вот тут: /var/run/sphinxsearch/log/searchd.log

[rxu]

Надо в логах искать причину.. вот тут: /var/run/sphinxsearch/log/searchd.log

Вот это там есть:

Код: Выделить всё

[Mon Dec 13 13:15:08.117 2021] [5915] watchdog: main process 5916 forked ok
[Mon Dec 13 13:15:08.117 2021] [5916] FATAL: failed to create pid file '/var/run/sphinxsearch/searchd.pid': Permission denied
[Mon Dec 13 13:15:08.150 2021] [5915] watchdog: main process 5916 exited cleanly (exit code 1), shutting down

[Siava]

rxu, а если сделать

Код: Выделить всё

chmod 777 /var/run/sphinxsearch

Отправлено спустя 2 минуты 32 секунды:
или

Код: Выделить всё

chown sphinxsearch:sphinxsearch /var/run/sphinxsearch

если конечно sphinxsearch - это пользователь, под которым запускается процесс, а sphinxsearch - его группа.

[rxu]

chmod 777 /var/run/sphinxsearch

Теперь так

Код: Выделить всё

[Mon Dec 13 13:31:29.184 2021] [5829] watchdog: main process 5830 forked ok
[Mon Dec 13 13:31:29.186 2021] [5830] listening on all interfaces, port=9312
[Mon Dec 13 13:31:29.200 2021] [5830] WARNING: index 'index_phpbb_saw9zf2fdhp1goue_main': preload: failed to open /var/run/sphinxsearch/index_phpbb_saw9zf2fdhp1goue_main.sph: No such file or directory; NOT SERVING
[Mon Dec 13 13:31:29.200 2021] [5830] WARNING: index 'index_phpbb_saw9zf2fdhp1goue_delta': preload: failed to open /var/run/sphinxsearch/index_phpbb_saw9zf2fdhp1goue_delta.sph: No such file or directory; NOT SERVING
[Mon Dec 13 13:31:29.200 2021] [5830] FATAL: no valid indexes to serve
[Mon Dec 13 13:31:29.204 2021] [5829] watchdog: main process 5830 exited cleanly (exit code 1), shutting down

[Siava]

rxu, тогда всё же правильней было сделать так:

Код: Выделить всё

chown -R sphinxsearch:sphinxsearch /var/run/sphinxsearch/

Вероятно индексы созданы от другого пользователя, а внутри /var/run/sphinxsearch/ (включая саму директорию) всё должно принадлежать пользователю, от имени которого запускается демон searchd. sphinxsearch:sphinxsearch же у тебя там?

[rxu]

Siava, у меня просто индексер был закомментирован, теперь на стороне сервера всё ок
Зато phpBB сообщает такое:

Код: Выделить всё

Search failed: unknown local index 'index_phpbb_p7rq3faby19ln8k5_delta' in search request

[Siava]

unknown local index 'index_phpbb_p7rq3faby19ln8k5_delta' in search request

Потому что в конфиге название индекса другое:

Код: Выделить всё

    source source_phpbb_saw9zf2fdhp1goue_delta : source_phpbb_saw9zf2fdhp1goue_main
    {

По ходу придётся актуализировать названия индексов в конфиге и снова сделать переиндексацию. Проверить права доступа (владельца) новых индексов не забыть)

[rxu]

Siava, большой респект, заработало

[rxu]

Siava, а на 3.x не сталкивался с тем, что не индексируется новое содержимое отредактированных постов или заголовки/содержимое новых разделенных тем?