Комплекс мер по переходу на другой режим поиска.

[miklenew]

Ищу "thread and потоки"

[mazzy]

Цитата:

Сообщение от miklenew

Ищу "thread and потоки"

угу. что-то с настройками.
у меня получается вот так.


обратите внимание на то, как отображаются ключевые слова.
у вас ищется фраза, у меня два отдельных слова.

Мы с вами отличаемся группами, а значит правами.
Скорее всего я где-то напортачил с настройками групп.

Ок. ночером буду пробовать настройки.
Спасибо.

[mazzy]

Цитата:

Сообщение от miklenew

Ищу "thread and потоки"

угу. что-то с настройками.
у меня получается вот так.
Вложение 3261

обратите внимание на то, как отображаются ключевые слова.
у вас ищется фраза, у меня два отдельных слова.

Мы с вами отличаемся группами, а значит правами.
Скорее всего я где-то напортачил с настройками групп.

Ок. ночером буду пробовать настройки.
Спасибо.

[mazzy]

по настоятельной просьбе провайдера полнотекстовый поиск выключен.
ночером или будет восстановлен старый поиск, или будет изменен запрос, на который указал провайдер.
в данный момент поиск вообще не работает.

[mazzy]

после продолжительных консультанций с провайдером, поиск был переведен в старый режим.
При этом была выполнена оптимизация алгоритма поиска границ слова (повышена производительность и уменьшено занимаемое поисковыми данными место на диске).

Кроме того, случилось давно планируемое "чудо".
Теперь поиск учитывает слова от 2х букв и больше (за редким исключением).

Раньше поиск шел по словам длиннее трех букв ПЛЮС был явно заданный список трехбуквенных слов.
см. Поиск по форуму - список слов менее 4х букв, по которым надо осуществять поиск

Сейчас исключены из поиска слова: на что по как это из для или за же еще от вот вы ли его мне ну ее мы во она со.

В данный момент поисковый индекс перестраивается.
Утром можно будет тестрировать результаты изменения алгоритма.

Операторы AND OR NOT по прежнему работают.

[miklenew]

Щас вроде похоже.
Только если задать два слова то поиск ищет эти два слова в одном сообщении и если такое сообщение есть он показывает тему этого сообщения.
А нельзя ли так сделать незнаю может дополнительной галочкой какой-нибудь.
Чтоб он искал эти два слова не в сообщениях, а в темах.
Потому что иногда бывает.
В первом сообщение кто сказал thread.
Во втором кто-то сказал поток.

[mazzy]

Цитата:

Сообщение от miklenew

Щас вроде похоже.
Только если задать два слова то поиск ищет эти два слова в одном сообщении и если такое сообщение есть он показывает тему этого сообщения.
А нельзя ли так сделать незнаю может дополнительной галочкой какой-нибудь.
Чтоб он искал эти два слова не в сообщениях, а в темах.
Потому что иногда бывает.
В первом сообщение кто сказал thread.
Во втором кто-то сказал поток.

Используйте оператор OR: "tread* OR поток*".

А также обратите внимание на:

Цитата:

Сообщение от mazzy

А также есть замечательная возможность в расширенном поиске, которая позволяет выводить не темы, а сообщения. Так вы увидите непосредственно сообщения, которые подходят под критерии поиска.


Попробуйте.

[miklenew]

Цитата:

Сообщение от mazzy

Используйте оператор OR: "tread* OR поток*".

Не я не это имел ввиду.
Эта комбинация выводит все темы, в которых есть сообщения, в которых есть слово thred и поток.
Т.е. если в теме есть сообщение со словом "threаd", то тема полюбому выводится не зависимо от того есть в этой теме ещё одно сообщение в котором есть "поток".
Т.е. их получается больше чем хотелось бы.
А комбинация and выводит меньше чем хотелось бы. Т.к. выводит темы в которых есть сообщение с участием слов thread и поток. И если они в соседних сообщениях, но в одной теме, то эта тема не попадает.
Ну это просто предложение, конечно если с производительностью всё ок будет.

Цитата:

Сообщение от mazzy

А также обратите внимание на:

Обратил.

[mazzy]

Цитата:

Сообщение от miklenew

Т.е. если в теме есть сообщение со словом "threаd", то тема полюбому выводится не зависимо от того есть в этой теме ещё одно сообщение в котором есть "поток".

Ага. Понял.
Не знаю такой фичи.
Не думаю, что будем делать.

[mazzy]

попробую подвести предварительные итоги.

1. форум стал работать быстрее.
В основном сказались усилия провайдера по перенестройке сервера, но и наши запросы стали лучше. А самое главное почти не используется временные таблицы, как было при fulltext-поиске. В течение дня среднее время выполнения одного запроса не превышало 20-30 тиков (раньше доходило до 500-600).

2. за счет улучшенного определения границы слов поисковые индексы уменьшились, хотя количество индексируемых слов увеличилось (теперь индексируются 2х-буквенные слова). Сейчас поисковые данные больше контента всего в 1.7 раз (до работы над поиском размер поисковых данных превышал контент в 2.4 раза).

3. за счет улучшенного определения границы слов теперь появилась возможность получить нормальную статистику частоты использования слов. Среди хитов держится слово "не" - использовалось 75391 раз. Вторым является слово "то" - 40888 раз. Третьим является слово "если" - 32342 раза.

4. По результатам анализа уточнен список запрещенных к индексированию слов. Теперь список выглядит так:

Цитата:

на кто что до по во со то но как это этот этого того том там тут здесь из за для при про или даже же еще раз от вот ну ли мне меня вы вам вас мы они их его ее он она всех изначально бы просто там быть будет например случае конечно forums

Новый список запрещенных слов будет учтен ночью при выполенении очередных регламентных работ.

5. Хотелось бы спросить у вас, уважаемые участники? Можно ли запретить индексировать слово "не"?
Часто ли вы включаете частичу "не" в свои поисковые запросы?

[Gustav]

Что-то опять тэг XPP капризничает: Gustav: Unsorted, или Записки DAX-дилетанта - II
(в версии для печати видно нормально)

[mazzy]

Цитата:

Сообщение от Gustav

Что-то опять тэг XPP капризничает: Gustav: Unsorted, или Записки DAX-дилетанта - II
(в версии для печати видно нормально)

это не бага, а фича
после закрывающего тега надо какой-нибудь пробел или разделитель слов оставить.
иначе парсер считает квадратную закрывающую скобку частью слова.

[mazzy]

Цитата:

Сообщение от mazzy

Новый список запрещенных слов будет учтен ночью при выполенении очередных регламентных работ.

5. Хотелось бы спросить у вас, уважаемые участники? Можно ли запретить индексировать слово "не"?
Часто ли вы включаете частичу "не" в свои поисковые запросы?

По результатам опроса Часто ли вы включаете частичу "не" в свои поисковые запросы?
попробую выключить частицу "не". Только на этом сэкономим на этом около 1% от индексных данных, около 2.5 Мегабайт.

Список запрещенных к индексированию слов сейчас такой:

Цитата:

не на кто что до по во со то но как это этот этого того том там тут здесь из за для при про или даже же еще раз от вот ну ли мне меня вы вам вас мы они их его ее он она всех изначально бы просто там быть будет например случае конечно forums

[Gustav]

Цитата:

Сообщение от mazzy

это не бага, а фича
после закрывающего тега надо какой-нибудь пробел или разделитель слов оставить.
иначе парсер считает квадратную закрывающую скобку частью слова.

A! Понял. Спасибо. Грешу. Согласен. Буду оба (и откр., и закр.) писать в отдельной строке. А то мне всё казалось, что лишний перенос строки образуется - да и фиг-то с ним

[Артем Enot Грунин]

Блин, а я думал только у меня с поиском проблемы. Почаще надо из своего раздела вылезать!
У меня вопрос: я, конечно, не сильно понимаю в веб технологиях и поисковых механизмах, но на многих сайтах есть такая фитча: "искать на этом сайте при помощи Google". Такой поиск и поисковые конструкции понимает и словоформы отличает и пр. пр. Этот поход, кажется обсуждался, но к чему пришли и почему сразу в этом направлении не капали?

[mazzy]

Цитата:

Сообщение от Enot Poloskun

но к чему пришли и почему сразу в этом направлении не капали?

докладываю: "капали"
1. Максим Белугин организовал axSearch - поиск по избранных Аксаптовским сайтам, форумам и блогам.
axSearch: Поиск по ax-сайтам
Ссылка этот поиск идет:
1.1 с первой страницы,
1.2. последним пунктом в выпадающего меню Поиск,
1.3. ссылкой в расширенном поиске.
Если кто-то возьмется следить за сайтами по CRM и организовать подобный поиск по CRM, то с удовольствием добавим.

2. Вадим Гончаренко раскопал, организовал и настоял, чтобы реализовали на сайте, Гугловский поиск по axforum'у в IE7, FF и Opera

См. скриншоты Комплекс мер по переходу на другой режим поиска.
Вложение 3232
Вложение 3233

3. Про встроенный движок поисковика с русской морфологией (например, Яндекс) думаем давно. Но пока он требует слишком много оплачиваемых ресурсов. Однако, рано или поздно таковой появится.

[mazzy]

думаю, что пора подвести итоги.
Создал опрос Как вы оцениваете качество поиска после перенастройки?