Сегодня 2 часа трепались с сэром Аксёновым, чего можно улучшить в русском поиске сфинкса. Самое веселое, что он сказал, что из нашего разговора вынес для себя что-то полезное. А мне казалось, что процесс был исключительно односторонний. В смысле, он учил меня уму-разуму.
В общем, смысл такой, что в итоге куча проблем упирается в базы (всякие словари). Которых нет. Причем для natural language search базы слепить почти нереально, но для более узких задач можно обойтись словарями попроще. Хотя нарабатывать их все равно понадобится.
Чисто условно, процесс можно поделить на 2 части - индексирование и ранжирование. Для хорошей индексации надо хотя бы правильно разбирать фразы на слова. Причем, если учесть, что у нас Savage пишут как савадж, и еще склоняют - получается весело. Есть тонны нюансов с дробными числами, которые пишут то через точку, то через запятую. И вообще много интересного и противоречивого.
В общем, завел на гитхабе репозиторий, куда скинул статистику запросов за год. Сделал по ней несколько базовых сортировок, и написал там на бамажке типовые косяки, которые надо прорабатывать. Адрес тут:
С ранжированием, как ни смешно, несколько проще. Надо сделать оценку результатов по паре-тройке сотен запросов - это вполне быстро, силами нескольких человек. А потом начинаем крутить ранкеры, и скриптом смотрим, как у нас сместилась эталонная выдача. Fuzzi logic такой 😃 . Несмотря на кажущуюся сложность, процесс очень легко автоматизируется. С ранкерами в новом сфинксе стало посвободнее - можно быстро заколачивать свои, почти произвольные алгоритмы.
Пока договорились о небольшом таймауте, потому что надо предварительно обработать мои выборки, и оценить чего не хватает в сфинксе.
а всякие aspell’овские словари не годятся?
хотя бы как сырьё для нужных?
там и некоторая разметка есть…
Стандартные лебедевские словари - это уровень какбэ пожЫже 😃 . Они не решают проблем со спецтерминами, числительными, названиями товаров, и кучей других моментов, связанных с качественным разбором фраз.
Да, но спецтерминов, числительных и товаров какбэ существенно меньше остальных слов.
А корректно определённый контекст, поди, лишним не будет.
Во фразе “продам дюжину красных флаперонов” - половина слов “общегражданские”…
Впрочем, я в запросы не смотрел, да.
Во-во. Запросы не просто так лежат. В репозитории тонны ценной информации для людей в теме.
{"assets_hash":"a8b26fa7f6e768b07a72c8c9aadb9422","page_data":{"users":{"39c21abc3df9550077797d18":{"_id":"39c21abc3df9550077797d18","hid":349,"name":"Vitaly","nick":"Vitaly","avatar_id":null,"css":""}},"settings":{"blogs_can_create":false,"blogs_mod_can_delete":false,"blogs_mod_can_hard_delete":false,"blogs_mod_can_add_infractions":false,"can_report_abuse":false,"can_vote":false,"can_see_ip":false,"blogs_edit_comments_max_time":30,"blogs_show_ignored":false,"blogs_reply_old_comment_threshold":30,"votes_add_max_time":168},"entry":{"_id":"4e680ab19970730077103f43","hid":12449,"title":"Встал на извилистую тропинку \"русификации\" поиска","html":"<p>Сегодня 2 часа трепались с сэром Аксёновым, чего можно улучшить в русском поиске <a href=\"http://sphinxsearch.com/\" class=\"link link-ext\" data-nd-link-orig=\"http://sphinxsearch.com/\" target=\"_blank\" rel=\"nofollow noopener\">сфинкса</a>. Самое веселое, что он сказал, что из нашего разговора вынес для себя что-то полезное. А мне казалось, что процесс был исключительно односторонний. В смысле, он учил меня уму-разуму.</p>\n<p>В общем, смысл такой, что в итоге куча проблем упирается в базы (всякие словари). Которых нет. Причем для natural language search базы слепить почти нереально, но для более узких задач можно обойтись словарями попроще. Хотя нарабатывать их все равно понадобится.</p>\n<p>Чисто условно, процесс можно поделить на 2 части - индексирование и ранжирование. Для хорошей индексации надо хотя бы правильно разбирать фразы на слова. Причем, если учесть, что у нас Savage пишут как савадж, и еще склоняют - получается весело. Есть тонны нюансов с дробными числами, которые пишут то через точку, то через запятую. И вообще много интересного и противоречивого.</p>\n<p>В общем, завел на гитхабе репозиторий, куда скинул статистику запросов за год. Сделал по ней несколько базовых сортировок, и написал там на бамажке типовые косяки, которые надо прорабатывать. Адрес тут:</p>\n<p><a href=\"https://github.com/rcdesign/search-tune/\" class=\"link link-ext link-auto\" data-nd-link-type=\"autolink\" data-nd-link-orig=\"https://github.com/rcdesign/search-tune/\" target=\"_blank\" rel=\"nofollow noopener\">github.com/rcdesign/search-tune/</a></p>\n<!--cut-->\n<p>С ранжированием, как ни смешно, несколько проще. Надо сделать оценку результатов по паре-тройке сотен запросов - это вполне быстро, силами нескольких человек. А потом начинаем крутить ранкеры, и скриптом смотрим, как у нас сместилась эталонная выдача. Fuzzi logic такой <span class=\"emoji emoji-smiley\" data-nd-emoji-src=\":smiley:\">😃</span> . Несмотря на кажущуюся сложность, процесс очень легко автоматизируется. С ранкерами в новом сфинксе стало посвободнее - можно быстро заколачивать свои, почти произвольные алгоритмы.</p>\n<p>Пока договорились о небольшом таймауте, потому что надо предварительно обработать мои выборки, и оценить чего не хватает в сфинксе.</p>\n","user":"39c21abc3df9550077797d18","ts":"2011-09-08T00:22:09.000Z","st":1,"cache":{"comment_count":4,"last_comment":"4e68cd6f99707300771604f3","last_comment_hid":4,"last_ts":"2011-09-08T14:13:03.000Z","last_user":"39c21abc3df9550077797d18"},"views":1068,"bookmarks":0,"votes":0},"subscription":null},"locale":"en-US","user_id":"000000000000000000000000","user_hid":0,"user_name":"","user_nick":"","user_avatar":null,"is_member":false,"settings":{"can_access_acp":false,"can_use_dialogs":false,"hide_heavy_content":false},"unread_dialogs":false,"footer":{"rules":{"to":"common.rules"},"contacts":{"to":"rco-nodeca.contacts"}},"navbar":{"tracker":{"to":"users.tracker","autoselect":false,"priority":10},"forum":{"to":"forum.index"},"blogs":{"to":"blogs.index"},"clubs":{"to":"clubs.index"},"market":{"to":"market.index.buy"}},"recaptcha":{"public_key":"6LcyTs0dAAAAADW_1wxPfl0IHuXxBG7vMSSX26Z4"},"layout":"common.layout"}
