
Cite: Zemskov A. I., Telitsyna A. Y. The review of advanced methods and techniques for estimating research output in bibliometrics. (Part 1) // Scientific and technical libraries. 2024. No. 10, pp. 84–101. https://doi.org/10.33186/10-27-3689-2024-10-84-101

    
Введение
    Библиометрия – это приложение математических и статистических методов к измерениям, оценкам и изучению производства и распространения книг, журнальных статей и других публикаций. Библиометрия предлагает индикаторы, которые в настоящее время используются для оценки исследований на самых различных уровнях – от отдельных учёных, научных групп и до лабораторий, институтов, стран и континентов. 
    Не существует единой базы данных, в которой содержались бы все публикации всех учёных. Наиболее широко используемые для оценки научных исследований базы имеют ограничения на доступ (подписку или авторизацию): Web of Science (Clarivate), Journal Citation Report (Clarivate), Scopus (Elsevier), SIGAPS. Некоторые базы доступны бесплатно: Google Scholar, CiteseerX, Citebase, SCImago Journal & Country Rank и др. 
    В некоторых дисциплинах, в особенности в гуманитарных и общественных науках, научные журналы не индексируются библиометрическими базами данных. Разные результаты библиометрического анализа одних и тех же журнальных массивов, полученные иными инструментами (например, Scopus или Google Scholar), порождают сомнения в надёжности таких оценок. 
    Предполагаемая значимость статьи определяется величиной импакт-фактора того журнала, в котором она публикуется. В этом случае ценность самой статьи не имеет первостепенного значения. Обзорная статья с описанием положения дел в какой-то научной области будет цитироваться активнее, чем инновационная работа в очень узкоспециализированной области. Ограничения, связанные с учётом только публикаций за последние два года, активно критикуются. К концу этого периода статья в журнале Nature будет на пике цитирования, а статья в каком-то другом журнале, с более неспешным распространением, будет на пике цитирования только после трёх или четырёх лет. Существует разница и между дисциплинами: статья в журнале по общественным наукам может иметь столько же цитирований, но растянутых на более длительный период времени по сравнению со статьёй в журнале о науках о Земле. 	В результате некоторые научные области фактически целиком остаются без библиометрического анализа. 
    
    1.  Импакт-фактор превратился в важный коммерческий аргумент в руках издателей, которые используют его для оправдания очень высокой стоимости подписки на их издания. Производители основных библиографических баз данных также эксплуатируют добавление библиографических индикаторов и ранжировку для того, чтобы дороже продавать свою продукцию научным институтам. Влиятельность статьи можно также оценить по количеству комментариев, репостов, лайков и упоминаний в соцсетях. Эти метрики позволяют оценить не только академическую релевантность публикации, но и её воздействие на общественную дискуссию и внимание к исследовательской теме.
    
    
2.  Развитие системы открытых исследований.
    Количество репозиториев открытого доступа в мире неуклонно растёт.
    Отметим, что Россия не спешит регистрировать свои репозитории в мировых списках, хотя по языковому наполнению мы занимаем 
9-е место (рис. 1). Всего 50 репозиториев используют программу открытого доступа DSpace.

Рис. 1. Языковое наполнение репозиториев
    В 2019 г. был создан Национальный агрегатор открытых репозиториев (НОРА) – пространство для сбора информации о результатах исследований, опубликованных в открытом доступе (на данный момент прекратил свою деятельность). Среди его партнёров были Казанский (Приволжский) федеральный университет, Сибирский федеральный университет и Национальный исследовательский Томский государственный университет. 
    В 2018 г. европейские исследователи и грантодатели запустили План S, который поддерживается cOAlition S – международным консорциумом спонсоров исследований. Задача: с 2021 г. научные публикации, являющиеся результатом исследований, финансируемых за счёт государственных грантов, должны публиковаться в соответствующих журналах или на платформах открытого доступа. В Плане S отрицательно характеризуется гибридная модель, при которой уважаемые и имеющие высокий авторитет подписные журналы готовы за дополнительную плату разрешить самоархивацию отдельных статей. 

Изменения в функционировании научного сектора в результате введения Плана S будут значительными.
    В США подход государства реализован в меморандуме Нельсона. Управление научно-технической политики (OSTP The Office of Science and Technology Policy) входит в состав Администрации президента США. Решения этого управления имеют важное значение при определении объектов государственного финансирования. Бесплатный, немедленный и равный доступ к исследованиям, финансируемым из федерального бюджета, часто называют меморандумом Нельсона (по имени руководителя OSTP Dr. Alondra Nelson). Проект закона предусматривает, что все исследования, выполненные за государственный счёт, должны публиковаться в открытом доступе. Финансирующие агентства и другие учреждения приняли аналогичные правила. 
    
    3.  Системы открытого доступа к научным данным (Research Data). 
    Достаточно новой разновидностью открытого доступа является создание системы открытого доступа не только к научным статьям, но и к научным данным (Research Data). Если вспомнить, что для многих библиотек, в первую очередь научно-технических, традиционные форматы обслуживания – журналы, книги, труды конференций – как правило, публикуются во многих экземплярах, то сбор уникальных, единичных наборов документов сближает научно-технические библиотеки с архивами. 
    Под научными данными понимается любая информация, которую можно собрать, или сформировать с целью проверки оригинальных научных результатов. Она может существовать как в цифровом формате, так и в нецифровом (лабораторные журнальные записи либо дневники). Типология научных данных (по материалам репозитория Университета Лидса – Research Data Leeds): 
    документы и таблицы; 
    методологии и рабочие процессы; 
    лабораторные журнальные записи, полевые записки, дневники;
    анкеты, кодовые книги, тестовые ответы;
    фотографии, фильмы, слайды;
    артефакты, образцы, модели, алгоритмы, скрипты;
    коллекции цифровых результатов, файлы данных;
    содержимое баз данных (видео, аудио, текст, изображения);
    содержимое приложения (ввод, вывод, лог-файлы, программное обеспечение для моделирования (симулирования), схемы);
    стандартные рабочие процедуры и технологические протоколы.
    Нецифровые данные – лабораторные тетради, альбомы зарисовок и набросков – часто уникальны. Следует оценить долгосрочную ценность любых нецифровых данных и спланировать, как вы будете их описывать и сохранять. Требования к нецифровым данным полезно обсудить с командой репозитория Университета Лидса. Данные наблюдений фиксируются в режиме реального времени и обычно незаменимы (неповторяемы); например, данные сенсорных датчиков, данные обследований, данные выборки и нейроизображения. Экспериментальные данные получаются с помощью лабораторного оборудования. Чаще всего их можно воспроизвести (повторить), но это может быть дорогостоящим процессом. Примерами экспериментальных данных являются последовательности генов, хроматограммы или значения величины тороидального магнитного поля. Результаты моделирования генерируются на тестовых моделях, например, климатических и экономических. Производные (вторичные) данные – на основе ранее существовавших результатов. Примерами могут быть результаты интеллектуального анализа данных (data mining), скомпилированные базы данных (compiled databases) или 3D-модели. Справочные или канонические данные – это конгломерация или коллекция небольших (прошедших экспертную оценку) наборов данных. Например, банки данных генных последовательностей, химические структуры или геопорталы. 
    Разумная технология организации работы с данными: увеличивает прозрачность получения результатов, улучшает доступ к данным; экономит время при написании отчётов, снижает риск потери данных; упрощает повторное использование и/или совместное использование в будущем. 
    Данные FAIR – это данные, которые соответствуют принципам открытости, доступности, функциональной совместимости и возможности повторного использования. Акроним и принципы были формулированы в статье 2016 г. в журнале Scientific Data консорциумом учёных и организаций (Wilkinson, M. D. et al. The FAIR Guiding Principles for scientific data management and stewardship. Sci. Data 3:160018. DOI 10.1038/sdata.2016.18 (2016)). Всего у статьи 54 автора, скорее 

это декларация. Принципы исходят из безусловной пригодности данных к машинной обработке (machine-actionability). 
    Марк Ханель, генеральный директор компании Figshare, пишет: 
«В 2022 г. исполняется 10 лет компании Figshare и 7 лет Отчёту “Состояние открытых данных”. За 10 лет мы стали свидетелями того, как данные стали приоритетом для академических заинтересованных сторон, включая правительства, спонсоров, издателей и учреждения по всему миру и в различных областях исследований». 
    
    4.  Умное цитирование.
    Использование данных цитирования базируется на том предположении, что при достаточно большом количестве найденных ссылок различные мотивации, служащие стимулом для цитирования той или иной статьи, взаимно нейтрализуются, и то, что остаётся – это сам факт внимания к указанной статье. В различных отраслях науки сложились очень разные обычаи цитирования. Статьи о результатах основных биомедицинских исследований цитируются в шесть раз чаще, чем статьи по математике. В журнале Quantitative Science Studies (2021) 2 (3): 882–898 опубликована статья «Scite: интеллектуальный индекс цитирования, который отображает контекст цитат и классифицирует их намерения с помощью глубокого обучения» (Scite: A smart citation index that displays the context of citations and classifies their intent using deep learning), авторы Джош М. Николсон (Josh M. Nicholson) et al. 
    Smart Citations – цитаты, которые отображают контекст цитирования и определяют, предоставляет ли статья подтверждающие или противоречащие доказательства. Для создания Smart Citations требуется доступ к полным текстам научных статей. Используя 11 моделей машинного обучения с 30 функциями, сайт сопоставляет цитаты в тексте с соответствующей ссылкой в разделе ссылок, затем берёт строку ссылки и сопоставляет её с метаданными из систем CrossRef и DataCite. Программа извлекает текст, в котором делается ссылка на цитату, также даются предложения до и после этого текста. При этом модель глубокого обучения на основе более чем 40 тыс. аннотированных вручную утверждений о цитировании классифицирует, предоставляет ли утверждение подтверждающие или противоречащие приведённому цитированию доказательства. 
    
    Интеллектуальные цитаты создаются путём извлечения и анализа цитат из полнотекстовых научных статей. Этот процесс разбит на четыре основных этапа:
    1. Поиск научных статей.
    2. Идентификация и сопоставление цитат и ссылок в тексте научной статьи.
    3. Сопоставление ссылок с библиографической базой данных.
    4. Классификация цитируемых утверждений по типам цитирования с использованием глубокого обучения. 
    Приводятся оценки среднего распределения цитируемых утверждений: 92,6% упоминаний, 6,5% подтверждающих и 0,8% противопоставляющих утверждений. 
Новое в библиометрии. Лучевые диаграммы 
    В 2014 г. Лутц Борнманн и Вернер Маркс из Общества Макса Планка предложили beamplot-диаграммы для отображения наукометрических данных (Bornmann & Marx 2014a, 2014b; Bornmann & Haunschild, 2018, Haunschild et al., 2019). Beamplot используют нормированные по полю показатели цитирования. Этот новый инструмент оценки исследователей, визуализация диаграммы направленности – отличная альтернатива одно- точечному показателю, такому как индекс Хирша, потому что он показывает динамику цитирования и влияние публикации отдельного человека. 
    На наш взгляд, русский перевод этого названия (диаграмма направленности, диаграмма размаха, лучевая диаграмма и др.) не вполне удачен. Намного понятнее и ближе к сути формирования этого показателя было бы, например, название «Ежегодная ранжировка публикации» (ЕРП). На рис. 2 и 3 приведены примеры лучевых диаграмм.


Рис. 2. Beamplot-диаграмма. 
Источник: Plots for visualizing paper impact and journal impact of single researchers in a single graph (Bornmann and Haunschild, 2018) 
    На диаграмме (рис. 2) по вертикали указан год публикации, по горизонтали – позиция публикации в процентилях. Красные треугольники обозначают медианное значение за текущий год, красная штриховая вертикаль – медианное значение перцентилей за все годы, чёрная штриховая вертикаль – 50-й перцентиль. 

Рис. 3. Ещё один пример beamplot-диаграммы. 
Источник: Белая Книга «Отчёт компании Clarivate Analytics» 
(«Interpreting the citation performance of individual researchers with beamplots». 
By Martin Szomszor and David A. Pendlebury)
Развитие систем веб-метрик. 
Библиотечная статистика 
    Всё более широкое распространение электронных документов и сетевых технологий формирует базу для наблюдений за использованием документов, будь это внутрибиблиотечный мониторинг и анализ данных, сгенерированных электронным каталогом библиотеки или схожими устройствами, или же сбор и анализ данных об использовании материалов, полученных с использованием доступа в интернет. 
В дополнение к знанию того, что люди читают, и на что ссылаются, появляется возможность проследить и за тем, что они запрашивают в библиотеке от интегрированной системы автоматизации, и о чём говорят в чатах, блогах, иксах (ранее твиты). Изучение востребованности публикаций на основе библиотечной статистики может служить хорошим подспорьем в библиометрическом анализе и оценке качества публикаций. На интуитивном уровне понятны прочная связь, родство мотиваций цитирования с мотивацией заказа в библиотеке той или иной публикации. 
    Обращение человека к библиотечным фондам – начальная фаза будущих исследований и отражение процесса обучения. В процессе библиотечного обслуживания накапливаются большие массивы данных, возникающие в ходе работы электронного каталога. Ещё внушительнее выглядят массивы лог-файлов серверов системы теледоступа и веб-сайта библиотеки. Всё это даёт возможность организовать дополнительный канал поступления библиометрической информации. Можно получить данные ежедневной статистики сайта и распределение активности по часам. Представляет интерес статистика продолжительности визитов.
    Технологические аспекты развития веб-метрик во многом связаны с активной ролью сетевой торговли, в частности такими сетевыми магазинами, как Amazon, eBay и др. Очень показательна разница в поведении сетевых библиотек (сетевых архивов) и сетевой книготорговли. Архивы и библиотеки заботятся о пополнении, обеспечении сохранности и доступности фондов, то есть фонды для них на первом месте. Это традиционная парадигма библиотечной работы. Сетевые магазины полностью используют особенности и возможности сетевых технологий и оборудования для сбора сведений о людях, тщательного и всестороннего изучения всех групп посетителей веб-сайта, превращении их в клиентов, покупателей, постоянных покупателей.
    Роль «простых людей» в оценках научных исследований и научных публикаций повышается, касается ли это суждения об открытом доступе, комментариев к сетевым публикациям, участия в реферировании и т. п. В зарубежных библиотеках непосредственное участие широкого круга лиц в каталогизации или обновлении словарей предметных рубрик выдвигается на первый план – как стремление обеспечить устойчивое развитие и демонстрация политкорректности. При этом мнение квалифицированных специалистов по данному вопросу становится менее значимым. Хорошо это или плохо – будем судить через какое-то время.
    Можно выделить две категории веб-аналитики. Офлайновая – оценка потенциальной аудитории веб-сайта, его заметности, комментарии в интернете. Более распространена аналитика своего веб-сайта, изучение поведения пользователей на сайте, мотивации, привлекательность различных страниц и, наконец, оценки производительности сайта (базовые показатели производительности – key performance indicators, KPI). Данные для анализа поступают от собственного сервера путём обработки ваших данных в специализированной организации с помощью небольшой встроенной программы Java Script.
    Анализ поведения пользователей с помощью лог-файлов – это количественный метод оценок. Наиболее простой способ анализа – статистика захода на определённые страницы сайта. Важный аспект: сколько посещений явилось результатом работы поисковой машины. Ввиду того, что поисковые машины и роботы нельзя считать аналогом визита реального физического пользователя, то резонно будет исключать такого рода заходы на сайт из общего числа посещений либо учитывать их особо. 
    Лог-файл представляет собой текстовый файл в общем или расширенном формате записи. 
    Тема взаимовлияния и взаимосвязи библиотек и библиометрии многогранна. 	Библиотека как организация – отличная площадка для проведения соответствующих наблюдений за цитированием, методической и разъяснительной работы, распространения информации о возможностях библиометрии. 	В то же время библиотечная технология формирует неплохую базу данных для проведения библиометрических обследований, будь то анализ бибцитирования, о котором расскажем чуть позже, анализ динамики спроса на издания, совершенствование процесса комплектования на базе библиометрических рекомендаций, наблюдения за статистикой востребованности публикаций и т. п.
     Как отметил на конференции в Юлихе доктор Р. Болл: «Специалисты по информации сегодня оказались центральным элементом той системы, в которой накапливаются колоссальные объёмы данных, полученных в ходе научных исследований по всему миру. Их профессиональная обязанность – обрабатывать эти массивы данных и выцеживать из них надёжную и качественную информацию. Кто ещё в научном сообществе, помимо библиотекарей и специалистов по обработке информации, согласится взять на себя поставку библиометрических данных, необходимых для управления наукой? Кто ещё может это сделать вне зависимости от ведомственной принадлежности и вне зависимости от собственных научных интересов? Именно библиотеки и информационные центры являются независимыми и междисциплинарными учреждениями, способными предоставить такого рода услуги».
    
    5.  Статистика работы интегрированной системы автоматизации и веб-сайта библиотеки на примере ГПНТБ России. 
    Отметим, что поиск в интернете из помещений библиотеки 
(20 тыс. сеансов в год) сейчас значительно (в 70 раз) уступает количеству обращений удалённых пользователей к серверам библиотеки 
(1,4 млн сеансов в год). Иными словами, наращивая свои технологические возможности, библиотека «устраняет» ряд мотивов для её посещения. Количество файлов и объём информации, предоставляемой ежегодно с веб-сайтов библиотеки, сопоставимы с объёмом содержания всех печатных коллекций. Ежегодно производятся анкетирование и анализ популярности изданий по тематическим разделам, по видам изданий во всех читальных залах. Число уникальных запросов, поступивших по прямым обращениям пользователей, составляет 15% от общего числа поисковых запросов. После окончания анализа лог-файла и заполнения таблиц базы данных осуществляется следующий этап обработки – анализ и интерпретация полученных результатов.
    Читатели активно обращаются к электронным ресурсам ГПНТБ России: Научной электронной библиотеке ГПНТБ России, журналу «Научные и технические библиотеки», материалам тематических коллекций, сборникам научных трудов сотрудников ГПНТБ России, материалам крымских конференций. 
    Используемые в настоящее время системы автоматизации библиотек позволяют аккумулировать весьма интересные данные о востребованности изданий, анализировать поведение пользователей, устанавливать семантические связи. Покажем это на ряде примеров. 
    В отчёте ГПНТБ России по Открытому архиву за 2021 г. К. А. Колосов назвал процессы обработки лог-файлов веб-серверов при их углублённом (или интеллектуальном) анализе. Статистический анализ лог-файлов позволяет получить количество посещений и просмотров страниц, количество уникальных и повторяющихся посетителей, среднее время просмотра страниц, типы используемых браузеров, обзор ключевых слов в поисковых системах, используемых при переходе к сайту.
Выводы 
    1. Библиотечное обслуживание формирует массивы данных, касающиеся востребованности научно-технической литературы, как находящейся в собственных коллекциях библиотеки, так и лицензированных. Сбор данных не представляет дополнительных сложностей.
    2. Запросы читателей библиотеки к серверам системы теледоступа, запросы удалённых пользователей к веб-сайту библиотеки формируют огромные массивы данных лог-файлов соответствующих серверов. Эти данные пригодны для статистической обработки, такой же, что применяется при анализе поведения пользователей.
    3. Анализ статистики обращений к онлайновому электронному каталогу позволяет извлекать информацию о востребованности публикаций, отдельных журналов и авторов, то есть обычные для библиометрии сведения. 
    4. Мотивация более осмысленна, хотя при этом не столь формальна, как печатные ссылки. Мотивация обращений во многом близка к мотивации цитирования и при этом свободна от формальных элементов. 
    5. Время реакции несколько меньше, чем при цитировании.
    6. Круг пользователей шире, чем круг авторов статей и 
монографий.
    7. Этот метод имеет отличные перспективы роста – как по причине увеличения доли электронных изданий в библиотечных фондах, так и при совмещении работы библиотек с Википедией.
