Профессиональный поиск в Интернете - Алексей Кутовенко

Из программных дополнений Ixquick оснащен поисковым плагином для браузеров, а также полнофункциональной панелью инструментов для Internet Explorer и Firefox.

Выводы и рекомендации

Ценность метапоиска состоит в широком охвате ресурсов. Именно они позволяют наглядно убедиться, что обращаясь к одному, пусть даже самому лучшему «обычному» поисковику, вы рискуете пройти мимо ресурсов в альтернативных базах данных. Особый интерес представляют метапоисковики, поддерживающие кластерные технологии обработки результатов.

Как нетрудно заметить, прелесть кластерных технологий в полной мере ощущается при поиске по широким запросам. Благодаря возможности уточнять свой запрос по подсказке системы вы найдете искомый результат гораздо быстрее, чем при работе с традиционными поисковиками. На выходе получается не просто список ссылок, а набор тематических разделов, позволяющий быстро составить мнение о предмете поиска. Появляется шанс познакомиться с ресурсами, которые в другом случае вы бы, скорее всего, никогда не увидели. Есть у кластеризации и несколько побочных эффектов. Например, это возможность отследить ассоциативные связи между различными темами, а также в определенной степени обработать синонимы естественного языка – кластерный поисковик не спутает естествоиспытателя. Дарвина с одноименным австралийским портом.

Безусловным лидером в сфере метапоиска русских ресурсов является система Nigma. Хороший охват, достаточно качественная кластеризация, большое количество вспомогательных функций – вот сильные стороны этого метапоисковика.

При поиске зарубежных ресурсов такого однозначного лидера среди современных метапоисковиков нет. Весьма удобна в работе система Yippy. Она оснащена качественными алгоритмами кластеризации и хорошим набором инструментов уточнения запроса. Метапоисковик Ixquick позволят вести поиск в хорошей подборке альтернативных поисковых баз, а также предлагает любопытные инструменты повышения приватности серфинга. Таким образом, выбирать метапоисковик в данном случае следует исходя из особенностей конкретного запроса.

Глава 4

Семантические и визуальные интернет-поисковики

Фрэнсис. Бэкон в свое время заметил, что правильная постановка вопроса свидетельствует о некотором знакомстве с делом. Этот афоризм четырехвековой давности можно применить и к процессу составления поисковых запросов. Для перевода сложного, комплексного вопроса в подходящий набор ключевых слов иногда приходится здорово поломать голову. Вот если бы поисковик мог прямо отвечать на задаваемые вопросы!. Хорошая новость: такие поисковые машины уже существуют и называются «семантическими», или же «поисковиками с обработкой запросов на естественном языке». В этой главе мы познакомимся с лучшими представителями этого класса интернет-поисковиков, реализующими семантические технологии разбора запросов на русском языке.

Прежде чем начинать рассказ о конкретных машинах, разберемся в некоторых характеристиках, отличающих семантические поисковики, и самых общих принципах их работы с точки зрения пользователя. Это позволит в дальнейшем избежать ненужных повторов.

Техническая реализация поиска по прямым вопросам с последующей выдачей на них осмысленных ответов в общем случае такова: поисковая машина принимает заданную пользователем поисковую фразу, после чего пытается автоматически выделить в ее составе ключевые слова и определить их взаимоотношения. Одновременно отбрасывается информационный шум, то есть слова, не несущие смысловой нагрузки. Другими словами, на данном этапе происходит автоматическая формализация поискового запроса и генерирование на его основе четкого поискового образа. Затем он передается более или менее стандартному алгоритму поиска в базе проиндексированных документов.

Следующая важная особенность семантических поисковиков – результаты поиска. Если обычные поисковики в основном предоставляют пользователю ссылки на веб-сайты, где предположительно находится необходимая информация, то семантические поисковики пытаются давать прямые ответы, самостоятельно выделяя в проиндексированных документах нужные фрагменты. В результате страница выдачи подобного поисковика выглядит несколько необычно. Вместо списка релевантных запросу ссылок пользователю предлагается список прямых ответов на заданный пользователем вопрос. Другими словами, главным режимом работы семантического поисковика является режим фактографического поиска.

Практически все современные семантические поисковики в настоящее время находятся в стадии бета-тестирования. В их работе еще встречается немало ограничений. Для эффективного использования таких машин в повседневной работе необходимо не только обладать сведениями об их возможностях, но и представлять себе сферу их применения, то есть ту область, в которой они обладают преимуществами по сравнению с обычными поисковиками.

Dialogus

Система Dialogus реализует только режим простого поиска, не предусматривая каких-либо дополнительных фильтров или инструментов составления запроса. Пользовательские запросы принимаются только в виде прямых вопросов. После отправки запроса Dialogus демонстрирует интересную особенность своего интерфейса: поисковая машина с помощью флэш-ролика иллюстрирует процесс обработки запроса в режиме реального времени. Пусть эта опция и не несет практической нагрузки, однако любопытно видеть, как запрос проходит фазы разбора и формализации, нормализации терминов, синтаксического и морфологического анализа, предварительного поиска в собственной базе Dialogus и Сети в целом, поиска стоп-слов и собственно выдачи текстового ответа. Страница выдачи Dialogus разделена на две главные зоны: рабочую область, содержащую основной список результатов, и боковую вспомогательную панель (рис. 4.1). В ней выводится список запросов, поступивших в систему от других пользователей и тематически похожих на заданный вами, а также, что особенно интересно, проводится поиск изображений, подходящих, по мнению поисковика, под тематику вашего запроса. Правда, эффективность поиска изображений пока невысока, равно как и релевантность предлагаемых картинок.

Рис. 4.1. Семантическая поисковая система Dialogus

Ответы Dialogus представляют собой краткие текстовые выдержки, в которых, по мнению системы, находится ответ на заданный вопрос. Каждый фрагмент сопровождается несколькими вспомогательными кнопками. С их помощью можно просмотреть более крупный фрагмент текста ответа или перейти на содержащую его веб-страницу. Для повышения точности работы системы применена обратная связь. Пользователям предлагается оценить ответ по пятибалльной шкале. Кроме того, предусмотрена кнопка, позволяющая пометить ответ как спам.

Заметим, что семантическая подсистема данного проекта действительно работает. Если при разборе вопросов могут происходить сбои в ходе формализации запроса, то выдаваемые прямые ответы, как правило, действительно полезны и сокращают время поиска конкретной информации.

AskNet

Система AskNet Global Search предлагает режим простого поиска по заданному пользователем вопросу. Отличие данной системы от конкурентов проявляется в возможности вести поиск в нескольких вертикальных базах, доступ к которым можно получить с помощью вкладок над полем запроса. Предлагается шесть таких баз, а также режим поиска во всех доступных источниках. При переходе к поиску в вертикальной базе под полем поиска предлагается выбрать источники, на которые будет отправлен запрос. Для поиска новостей предлагаются ресурсы Lenta.ru, Газета. ру, CNews и РБК. Выбор из трех-четырех источников возможен и в других вертикальных базах: «Энциклопедии», «Словари», «Магазины», «Медицина» и «Адреса».

AskNet лучше всего понимает только определенные типы вопросов. Перечень поддерживаемых в настоящее время конструкций на русском и английском языках подробно разобран в справочной системе проекта. Корректная работа алгоритма разбора запроса в форме свободно сформулированного вопросительного предложения гарантируется, если в нем содержится не более двух сказуемых или трех других однородных членов. Вопрос также должен быть грамматически верным и синтаксически согласованным. В принципе, AskNet может обработать и предложение с ошибками, однако ждать в таком случае достойного результата сложно. Если система не сможет обработать ваш запрос с учетом семантики, поиск будет проведен в обычном режиме, то есть только по ключевым словам.

При поступлении запроса система самостоятельно определяет наиболее вероятный объект поиска. При поиске учитываются синонимы, обрабатываются аббревиатуры и словесная запись цифр и дат. Семантические технологии в AskNet также работают на этапе выдачи результатов – связи между словами в поисковой фразе учитываются при сортировке результатов. Скорость работы данной системы не отличается быстротой, от принятия запроса до выдачи ответа может пройти около десяти секунд.