
Cite: Goncharov M. V., Kolosov K. A. Relevance in processing search queries to bibliographic and fulltext databases in the modern models of scientific research support through open archives / M. V. Goncharov, K. A. Kolosov // Scientific and technical libraries. 2022. No. 11. P. 120–134. https://doi.org/10.33186/1027-3689-2022-11-120-134


    Проблема релевантности результатов обработки поисковых запросов пользователей библиотек возникла с момента появления автоматизированных библиотечных информационных систем (АБИС) и остаётся по-прежнему актуальной, особенно при комбинированном поиске по библиографическим базам данных (БД) и по индексированным массивам полнотекстовых документов. Сложность заключается в различии представления о понятии «релевантность» у разработчиков программных решений, библиотекарей и читателей. 
    Согласно Оксфордскому словарю английского языка, термин relevant (релевантный, относящийся к рассматриваемому вопросу, связанный с ним) появился в XVI в., но до 1800 г. употреблялся редко. Relevancy (релевантность) также впервые фиксируется в XVI в., но со временем слово стало вытесняться другим – relevance, изначальное упоминание которого в Оксфордском словаре датируется 1733 г. [1] Развитие компьютерной обработки информации привело к широкому использованию термина «релевантность» при анализе результатов информационного поиска. 
    Современные читатели активно пользуются информационными ресурсами интернета, включая поисковые машины, Википедию и средства гипертекстовой навигации, которые позволяют получить ответ на практически любой введённый запрос. Библиотекари используют классификационные системы, такие как УДК, ББК, ГРНТИ и т. п., могут подбирать литературу и информацию по любой тематике, руководствуюсь собственным опытом. Результаты поиска литературы, полученные читателем с помощью интернета и библиотекарем, использующим средства АБИС, по одному и тому же тематическому запросу могут существенно различаться. Программист же оперирует математическими моделями и алгоритмами, и для него релевантность выражается в численных коэффициентах, не связанных с реальными ожиданиями пользователей. 
    Как отмечается в [1], разработчики программных решений и библиотекари по-разному определяют термин «рейтинг релевантности». Для программистов это вычисление на основе статистических методов с использованием различных абстрактных моделей, тогда как для библиотекаря интерес представляют результаты поиска, заданного реальным пользователем, соответствие ответов его ожиданиям. Наиболее сложным фактором при составлении рейтинга релевантности или формировании численных коэффициентов релевантности являются формулы и алгоритмы, используемые разработчиками программных решений полнотекстовых БД, поскольку они являются интеллектуальной собственностью их создателей. Программное обеспечение сопоставляет поисковое выражение с содержимым документов, используя комбинацию ряда критериев [Там же], таких как:
    ширина совпадения (чем больше разных терминов из поискового выражения встречается в документе, тем выше вес релевантности);
    обратная частота документа (найденные в документе, но редко встречаемые в БД термины получают более высокий вес релевантности);
    частота (определяется количеством повторений терминов из запроса в документе);
    плотность (сопоставляется объём найденных документов).
    Использование комбинации вышеперечисленных критериев формирует вероятность того, что найденные записи соответствуют намерению пользователя, создавшего поисковый запрос. Но, как подчёркивается  [Там же], при программном подходе к релевантности пользователь со своими вопросами, намерениями и желаниями остаётся в стороне, а релевантность определяется строго на основании анализа распределения и частоты совпадений поисковых терминов в том виде, 
в каком они существуют в БД. Реальный пользователь может считать полученные результаты релевантными, но с таким же успехом может сделать и обратный вывод. 
    Если речь идёт об интегрированном поиске по библиографическим БД и полным текстам документов, то следует учитывать, что абстрактный пользователь может набрать в поисковой строке как элемент библиографического описания, например, фамилию автора и начало заглавия или только начало заглавия, так и фразу, относящуюся к теме, когда он хочет найти все материалы по интересующей его проблематике. Кроме того, возможны запросы, когда читатель ищет все публикации конкретного автора, в которых рассматриваются определённые вопросы. На практике это означает, что использование только полнотекстового поиска при обработке пользовательских запросов недостаточно в силу нескольких причин:
    оцифрованных документов в полнотекстовой БД существенно меньше, чем записей в библиографической БД;
    даже при точном написании фамилии автора и начала заглавия полнотекстовый поиск не всегда показывает в начале списка результатов поиска искомый документ в силу особенностей алгоритма, неточностей при оцифровке или особенностей документа;
    библиографические описания документов, сделанные библиотекарем, содержат ключевые слова, аннотации, предметные рубрики и т. д., которые во многих случаях обеспечивают лучшую релевантность при поиске, поскольку учитывают специфику документа, конкретной библиотеки или БД.
    Согласно исследованию авторов [2], использование только полнотекстового поиска недостаточно для обработки запросов пользователей. К примеру, целые группы материалов могут опускаться в конец списка извлечённых документов, независимо от их релевантности: более старые материалы или издания на других языках, в которых термины из поискового запроса были найдены в аннотации или в примерах.
    Полнота поиска может быть улучшена в результате использования словарей контролируемой лексики, которые особенно необходимы в больших базах данных, охватывающих множество тем, а также в мультимедийных БД, например, музейных объектов, где нельзя обойтись только средствами полнотекстового поиска.
    
Тематический поиск на естественном языке является очень распространённым среди читателей, использующих веб-порталы библиотек. В то же время он является самым сложным из-за фразеологической неоднозначности. Для решения этой проблемы информационные системы могут задействовать термины из контролируемых словарей, таких как тезаурусы или предметные рубрики, предлагая читателю на этапе ввода запроса или после вывода первой порции найденных документов потенциальные варианты с использованием контролируемой лексики. Дополнительными возможностями для повышения релевантности формирования результатов поиска являются: 
    уточнение результатов поиска путём изменения критериев поиска; 
    сохранение истории поиска и возможность комбинировать/
модифицировать более ранние сеансы поиска/просмотра; 
    поддержка функций поиска/просмотра с использованием синонимов, авторитетных файлов, альтернативных и связанных терминов; 
    фасетный поиск; 
    выделение ключевых слов из поискового запроса в результатах поиска.
    В [3. С. 202] указывается, что для веб-поиска одним из способов расширения (переформулирования) запроса являются анализ лог-файлов и использование предыдущих запросов пользователей в качестве подсказки. Для этого требуется изучить огромное количество вариантов. Пути решения проблемы рассматривались в публикациях [4–6].
    Ещё одним вариантом расширения поискового запроса является использование тезауруса. Как отмечается в [7], средства расширения запроса позволяют уточнять требование пользователя с помощью подсказок, сужая поле поиска с помощью дескрипторов тезаурусов, и привлекать имеющиеся связи терминов (синонимов, аббревиатур и т. д.), тем самым увеличивая поле поиска и получая дополнительный информационный шум. Эти два процесса находятся в противоречии, но в итоге приводят к получению результата, удовлетворяющего информационный запрос пользователя. Постановка и решение задачи автоматического учёта семантических связей возможны при наличии соответствующего тематике тезауруса. Особенную трудность уточнения и расширения информационного запроса представляет процесс поиска научной информации, поскольку основу для поиска составляет использование специальной терминологии и связей, задаваемых логикой программного обеспечения. Сложности создаёт также иерархическая система представления научных данных, когда появляется проблема установления горизонтальных связей между понятиями. Помимо использования синонимов, авторы публикации [7] предлагают дополнительные методы расширения поискового запроса, основанные на использовании тезауруса:
    поиск и использование семантических связей с другими словами, например, антонимами, меронимами (частями слов), гипонимами (видовыми понятиями), гиперонимами (родовыми понятиями);
    поиск и использование всех различных морфологических форм слов из поискового запроса;
    фиксация ошибок правописания и автоматический поиск исправленной или предложенной словоформы;
    переназначение смысловой нагрузки слов в оригинальном запросе.
    В публикации [8] приводятся результаты эксперимента по расширению поискового запроса с использованием Общественно-политического тезауруса. Каждый запрос был сформулирован дважды: один раз как поиск по словам, второй раз – как поиск по понятиям тезауруса с расширением по дереву, то есть запрос распространялся на все понятия тезауруса, иерархически нижестоящие к исходному понятию. Полнота поиска с использованием деревьев тезауруса значительно возросла. При этом авторы эксперимента отмечают, что средняя точность результатов поиска с использованием тезауруса выше (0,62), чем при простом поиске по словам (0,44). Однако на практике могут возникнуть дополнительные сложности. Так, запрос может быть очень коротким (например, содержать отдельное многозначное слово, смысл которого без диалога с пользователем выяснить невозможно); запрос может содержать некоторую совокупность слов, в которой не найдены термины тезауруса; запрос может быть достаточно длинным, и одна часть запроса ограничивает контекст расширения для другой части и др.
    По мнению авторов статьи [9], эксперименты по автоматическому индексированию документов и запросов на базе информационно-поисковых тезаурусов не привели к их практическому использованию; информационно-поисковые тезаурусы пока не могут быть использованы в полной мере для задач семантического поиска. В то же время исследователями предложена собственная модель семантического поиска и продемонстрирована полезность тезаурусов типа WordNet.
    На основании проведённого анализа публикаций по проблемам релевантности при формировании результатов обработки пользовательских запросов были выделены следующие группы вопросов, представляющие интерес для изучения:
    Какие виды поисковых запросов поступают на веб-порталы библиотек? Какова среди них доля запросов, поступивших от реальных пользователей (не от поисковых машин или ботов)?
    Достаточно ли возможностей интерфейса веб-портала для ввода поискового запроса и представления результатов поиска в соответствии с ожиданиями пользователя?
    Рассмотрение вышеперечисленных вопросов проводилось на базе двух крупных информационных систем: Единого открытого архива информации ГПНТБ России (ЕОАИ) [10] и Портала электронной библиотеки (ПЭБ) Парламентской библиотеки Федерального собрания Российской Федерации. Обе информационные системы используют программные решения САБ ИРБИС и включают как библиографические, так и полнотекстовые БД. 
    Информационная система ЕОАИ в качестве одного из источников библиографических данных использует электронный каталог (ЭК) ГПНТБ России. В 2021 г. к нему поступило более 2 млн 340 тыс. поисковых запросов, среди которых зафиксировано 408 649 уникальных, пришедших от всех внешних источников. Проведённый расширенный анализ по технологии, описанной в [4], показал, что доля физических пользователей составляет 15%, тогда как численность запросов от роботов и ботов достигает 85%.
    Изучение поисковых запросов, поступивших от всех источников, показало, что поиск по автору является преобладающим видом поиска (86% запросов), а остальные варианты применялись значительно реже. Например, запросы в формате поисковой фразы составляют лишь 6% запросов. Детальный анализ показал, что преобладающее число запросов по автору приходит от ботов, причем опрос идёт перебором по алфавиту. 
    Если рассмотреть запросы, поступившие от физических пользователей, распределение видов выглядит иначе, как следует из результатов, представленных на рис. 1. Преобладают запросы в свободном формате (поисковая фраза), на второй позиции по популярности находится поиск по автору. Незначительная доля запросов только по заглавию связана с тем, что подобная опция предлагается читателю в дополнительном интерфейсе, тогда как на главной странице предлагается ввести поисковую фразу в свободной форме.

Рис. 1. Распределение видов поисковых запросов, поступивших 
к ЭК ГПНТБ России в 2021 г. от физических пользователей
    В поисковой фразе может быть задан вопрос, относящийся к различным типам поиска, например:
    по началу заглавия;
    по автору;
    по автору и заглавию;
    по тематике;
    по ключевым словам;
    по заглавию периодического издания;
    по фразе из полного текста.

Рис. 2. Распределение видов поисковых запросов, 
поступивших к ЭК ПЭБ в 2021 г.
    Исследование обращений к ЭК ПЭБ проводилось для запросов, поступивших от внутренних пользователей во внутреннем контуре информационной системы. Результаты его приведены на рис. 2. Наиболее востребованными видами поиска у читателей является поиск по заглавию (названию документа) и поиск по тематике, что связано с характером деятельности библиотеки.
    Анализ длины поисковых запросов позволяет оценить приблизительное соотношение простых и комплексных поисковых запросов. Результаты анализа, приведённые в табл. 1, позволяют сделать вывод, что преобладающими являются запросы, длина которых превышает 
15 символов. Обработка таких запросов связана с разбором поисковой фразы и формированием комплексного поискового выражения на языке запросов информационной системы. Релевантность результатов поиска зависит от используемого алгоритма.
Таблица 1 
Соотношение длин поисковых запросов
Запросы
Длина запроса (число символов), %

менее 15
от 15 до 30
более 30
К ЭК ГПНТБ России
18
26
56
К ЭК ПБ
38
31
31
    
    Изучение повторяемости поисковых запросов позволяет составить рейтинг пользовательских запросов. Данный аспект рассматривался в публикациях [5, 6]. Кроме того, сохранение запросов авторизованных пользователей позволяет построить семантические связи между одинаковыми запросами, которые используются для формирования рекомендаций типа: «Пользователи с аналогичными запросами искали также…» Результаты анализа повторяемости запросов представлены в табл. 2.
Таблица 2
Соотношение повторяемости поисковых запросов
Запросы
Число повторений, %

2 и менее 
от 3 до 5 
от 5 до 10 
более 10 
К ЭК ГПНТБ России
68
13
13
6
К ЭК ПБ
86
9
4
1
    
    На основании результатов проведённого анализа можно сделать следующие выводы:
    Виды поисковых запросов к ЭК библиотек могут сильно варьироваться в зависимости от направленности библиотеки и читательского контингента, но для современных веб-интерфейсов основным вариантом ввода запроса является единая строка, что усложняет работу используемых алгоритмов. Релевантность выдачи результатов поиска зависит от корректности преобразования поисковой фразы, введённой пользователем, в запрос на языке информационной системы.
    Алгоритмы обработки поисковых запросов систем автоматизации библиотек успешно преобразуют запрос, сформулированный в свободной форме, в формат поискового запроса с использованием комбинации поисковых атрибутов, но проблемой при выводе результатов поиска является формирование релевантной последовательности, особенно в случае параллельного поиска по нескольким библиографическим БД или поиска по библиографической БД и массиву полных текстов документов. Данная проблема связана со сложностью получения от информационных систем численных коэффициентов релевантности по причине непрозрачности используемых поисковых алгоритмов, прежде всего при полнотекстовом поиске.
    Дальнейшее исследование будет направлено на реализацию алгоритма обработки поисковых запросов для системы ЕОАИ ГПНТБ России. Кроме того, будут проанализированы вопросы использования тезаурусов в перспективных разработках ГПНТБ России и Ассоциации ЭБНИТ для расширения поисковых запросов пользователей с целью улучшения релевантности получаемых результатов.
