
Cite: Zemskov A. I., Telitsyna A. Y. The review of advanced methods and techniques for estimating research output in bibliometrics. (Part 2) // Scientific and technical libraries. 2024. No. 11, pp. 48–61. https://doi.org/10.33186/10-27-3689-2024-11-48-61

    

    В последние годы наблюдается создание множества библиометрических показателей, а также зарождение вебметрик (webometrics) 
на основе алгоритмов сравнения сетевых страниц («PageRank» algorithms 1998). Данные лог-журнала могут быть обработаны и визуализированы с помощью таких инструментов, как Webalizer, AWStats и Tableau. Последний особенно полезен для анализа лог-журнала, группировки и визуализации. В Google Analytics есть функции лонгитюдного анализа, показывающие крупномасштабные тенденции в трафике и пользовании. 
    
Альтметрика – количественное измерение воздействия научных исследований на общественность за счёт анализа онлайн-активности (например, упоминаний в соцсетях, блогах, новостных источниках). 
Это наблюдение заметности сетевого документа, изучение воздействия данного произведения на широкую аудиторию. Элементы альтметрики: просмотры, выгрузки документов, обсуждения-комментарии в журналах, в научных блогах, в Wikipedia, X (ранее Twitter), Facebook и других соцсетях; сохранения в системах – CiteULike и других социальных закладках; цитирование в научных изданиях, которые входят в коллекции и иные системы учёта цитирований; рекомендации, например, 
в системе F1000Prime. Кроме показателей, основанных на использовании данных традиционных систем, альтметрики также учитывают цитирования во вторичных документах и других источниках знания. Например, система ImpactStory подсчитывает, сколько раз на статью ссылаются. 
    В отличие от методики JIF, альтметрики отражают воздействие самой статьи, а не её местоположения. Разница с цитированием заключается в том, что альтметрики отслеживают влияние статьи вне круга вузовского сообщества, фиксируют воздействие важных, но не попавших в цитирование произведений и воздержание от публикаций 
в журналах, не практикующих научное реферирование.
    Статистика использования – это загрузки, просмотры страниц, продолжительность сеанса и другой журнал сервера. Данные, которые могут сказать нам, сколько людей посетили вывод онлайн и как часто они его посещали.
    Метрики на уровне статьи – это любые метрики для части исследования в статье. Они могут включать альтметрики, данные об использовании и даже цитаты, но их не следует путать с агрегированными показателями внимания, такими как импакт-фактор журнала и индекс Хирша.
    Для лучшего понимания сути альтметрики рассмотрим этот показатель на примере темы «Изменение климата на уровне моря за последние 2 тыс. лет». Суммарный показатель влиятельности 167, указанный в центре «баранки», включает обычные библиометрические данные, а дополнительные к традиционным составляющие альтметрики приведены ниже: 6 упоминаний в новостях, 11 в блогах, 50 твитов, 6 пользователей системы Google+, 1 видеоролик. С каким весом следует учитывать новые метрики – вопрос дискуссионный. 
Ранжировка
    Данные библиометрии широко используются при формировании мировых рейтингов научных организаций, в том числе университетов, активно участвующих в научных исследованиях (по материалам сайта allrankings.ru/index.php/leiden-ranking).
    Существует более 20 международных рейтингов и классификаций университетов, научных организаций и образовательных систем. Назовём наиболее известные.
       
Academic Ranking of World Universities (ARWU), известный также как «шанхайский рейтинг» 
    Первая редакция рейтинга вышла в 2003 г. Оператор рейтинга Center for World – Class Universities в составе Школы образования Шанхайского университета. Сайт рейтинга: методология ARWU. На 60% состоит из библиометрических показателей, в том числе:
    Alumni (10%) – количество Нобелевских премий и премий Филдса у выпускников данного университета; 
    Award (20%) – общее число сотрудников университета, работавших в нём на момент присуждения премии и получивших Нобелевскую премию или Филдсовскую премию (математика); 
    HiCi (20%) – количество высокоцитируемых учёных по 21 научной области; 
    N&S (20%) – публикации типа Article, опубликованные в журналах «Nature» и «Science» за последние 5 лет; 
    PUB (20%) N&S – количество статей, опубликованных в журналах «Nature» и «Science» авторами из числа сотрудников университета; 
    PCP (10%) – сумма пяти вышеприведённых критериев, поделенная на FTE (Full time equivalent) Преимущество в шанхайском рейтинге имеют крупные и старые вузы. 
Международный рейтинг университетов QS World University Rankings 
    Сайт рейтинга: методология QS. Отражает: академическую репутацию (40%), репутацию среди работодателей (10%), отношение количества преподавателей к количеству студентов (20%), долю иностранных студентов (5%), долю иностранных преподавателей (5%), цитирование в расчёте на одного сотрудника (20%). 

Рейтинг университетов 
Times Higher Education World University Rankings
    Впервые опубликован в 2004 г. Учитываются только публикации типа Article, Review и Proceeding Paper, данные собираются из Web of Science Core Collection. Ключевой индикатор системы THE Rankings – нормализированное цитирование с региональным коэффициентом Citations (30%).
Лейденский рейтинг университетов CWTS Leiden Ranking
    Относится к типу наукометрических, представляет собой девять отдельных рейтингов, результаты вузов по отдельным индикаторам не агрегируются в общий балл.
Рейтинг экологичности вузов UI Green Metrics 
    Участвуют восемь университетов из России. Структура: инфраструктура (15%), энергия и изменение климата (21%), отходы (18%), вода (10%), транспорт (18%), образование (18%). 
Snowball Metrics 
    Набор из десяти рекомендаций под названием «Книга рецептов метрик ”снежного кома”» (Snowball Metrics Recipe Book). Проект приобрёл глобальную поддержку, эффект «снежного кома» состоялся. 
    Входные показатели (Input Metrics): объём выигранных заявок (Awards Volume) – объём полученных грантов, которые можно израсходовать. 
    Показатели процесса (Process Metrics): объём доходов (Income Volume) – объём научного дохода, который был потрачен. 
    Выходные показатели (Output Metrics): количество цитирований (Citation Count) – число цитирований, полученных научным выходом института; индекс Хирша (h-index). Взвешенный по дисциплине импакт-фактор цитирования (Field-Weighted Citation Impact) – фактическое количество цитирований, отнесённое к ожидаемому по мировому уровню. Выход на передовые позиции (Outputs in Top Percentiles) – показатели порогов цитирования в мировом потоке данных. Сотрудничество (Collaboration) – объём и доля национального и международного соавторства в научных результатах. 

Искусственный интеллект (ИИ)
    Генеративный текст. В 2023 г. наблюдался переломный момент в распространении больших языковых моделей (LLM) и генеративного предварительно обученного текста (GPT). Люди часто используют термин «искусственный интеллект», но не всегда понимают разницу между различными его аспектами, такими как машинное обучение (МО), технологии обработки естественного языка (Natural Language Processing, NLP) и т. д. 
    1.  ИИ (AI): общий термин, описывающий способность компьютерных систем выполнять задачи, которые обычно требуют интеллекта человека: обучение, решение проблем, планирование, принятие решений.
    2.  Машинное обучение (МО): подраздел ИИ, который фокусируется на разработке алгоритмов и моделей, позволяющих компьютерам обучаться на основе данных и делать прогнозы или принимать решения без явного программирования.
    3.  Технология обработки естественного языка (NLP): область исследования в ИИ, которая занимается обработкой и анализом текста и речи на естественных языках людей. Включает в себя такие задачи, как распознавание речи, автоматический перевод, извлечение информации и мн. др.
    По нашему мнению, перевод английского generative как «генеративный» не совсем точно передаёт суть: текст формируется на основе обработки больших объёмов информации, глубокого обучения и последующей реакции на запрос, что скорее можно охарактеризовать как сгенерированный текст. Однако определение «генеративный» уже стало устоявшимся и его изменение затруднительно. Несмотря на то, что в прошлом году всё, связанное с ИИ, развивалось взрывным образом, методика оптического распознавания символов (OCR) старше, чем вы думаете. Оптическое распознавание символов – это процесс преобразования изображений напечатанного, рукописного или печатного текста в текст, закодированный машиной. Эта концепция восходит к концу 1920-х гг., когда австрийский инженер Густав Таушек получил первый патент на свою «читающую машину». Читающая машина Таушека была оснащена шестернями, механизмами и фотодетекторами, которые использовали для ввода/вывода текста, напечатанного на бумаге.
    Услуги OCR стали массовыми, а программное обеспечение, Adobe Acrobat, автоматически применяет распознавание OCR к документу. Однако ранние системы оптического распознавания символов нужно было обучать изображениям каждого символа и работать с одним шрифтом. По своей сути OCR является ранним примером машинного обучения.
Системы прогнозирования. Генеративные изображения
    Созданная с использованием DALL-E и Adobe Express графика экономит время и ресурсы, которые обычно требуются для поиска изображений и их последующего редактирования. Смешение реальной фотографии с генеративным заполнением на основе ИИ создаёт сцену, которая на самом деле не существовала.
Политика использования ИИ
    Разработка методов использования ИИ является важной практикой по нескольким причинам: во-первых, она обеспечивает чёткое понимание правил и ограничений для технологий ИИ. Это помогает предотвратить неправомерное или неэтичное использование ИИ и минимизировать риски для компании. Во-вторых, политика приемлемого использования ИИ обеспечивает соблюдение законодательства и регулирований в области защиты данных, конфиденциальности и безопасности. Обучение сотрудников правильному использованию ИИ помогает повысить эффективность работы и улучшить качество принимаемых решений.
    ChatGPT и Bard представляют собой инновационные технологии ИИ, способные генерировать тексты, ответы и прогнозы на основе введённой информации или контекста. Эти системы используют методы глубокого обучения и нейронных сетей для создания в высокой степени реалистичного и подобного написанному человеком текста. В последнее время они стали особенно популярными благодаря своей способности генерировать качественный и информативный контент, что имеет потенциал применения в различных областях, таких как образование, научные исследования, медиа, маркетинг, библиотечное дело и др.
    В компании DCL используют компьютерное зрение (Computer Vision, CV) с момента основания в 1981 г. CV – это тип ИИ, позволяющий машинам интерпретировать и принимать решения на основе визуальных данных и использовать алгоритмы и модели для извлечения значимой информации из изображений или видео. Он включает в себя такие задачи, как распознавание изображений, обнаружение объектов и понимание сцены, что позволяет компьютерам «видеть» и понимать визуальное содержимое своего окружения. Люди, вероятно, знакомы с резюме по таким приложениям, как распознавание лиц, беспилотные автомобили и анализ текста. Анализ текста – это тот момент, когда DCL использует CV. «Когда мы конвертируем PDF-файлы в XML, используется форма CV для сканирования PDF-файлов на основе изображений, разделения страницы, а наши алгоритмы берут эти данные и преобразуют их в целевую структуру XML», говорит Майк Гросс (Mike Gross), технический директор DCL.
Прорывные технологии ИИ 
    1.  Анализ и обработка данных: ИИ может эффективно обрабатывать огромные объёмы данных, выявлять закономерности и проводить статистические анализы.
    2.  Обработка естественного языка (Natural Language Processing, NLP) позволяет компьютерам понимать, интерпретировать и генерировать естественный язык, что открывает новые возможности в области общения между человеком и машиной и упрощает анализ научных статей, составление обзоров литературы и автоматизацию процессов написания и рецензирования научных работ. 
    3.  Метод машинного обучения, использующий многоуровневые нейронные сети для обработки и анализа данных, позволяет извлекать сложные закономерности и обучаться на больших объёмах информации. Это может быть полезно для прогнозирования результатов экспериментов, обработки медицинских изображений или анализа геномных данных.
    4.  Рекомендательные системы: используя алгоритмы машинного обучения, ИИ может предлагать персонализированные рекомендации для учёных, включая статьи, книги, конференции и даже коллег, основываясь на их предпочтениях и интересах. 
    5.  Создание ИИ: генеративные языковые модели могут создавать текст, изображения и музыку, что может быть полезно для генерации идей, проведения экспериментов или исследования креативных концепций.
    6.  Автоматическое машинное зрение: системы, способные анализировать и понимать изображения и видео, что позволяет им распознавать объекты, лица, сцены и выполнять различные задачи визуального анализа.
    Технологии ИИ применяются в различных отраслях, включая медицину, финансы, маркетинг, науку, они играют ключевую роль в преобразовании способов работы и взаимодействия в современном мире. Например, существует прототип инструмента для просмотра видео, который анализировал видеозаписи и показывал эмоциональное состояние человека и частоту сердечных сокращений. В контексте научных исследований эти технологии позволяют обрабатывать и анализировать огромные объёмы данных, выявлять скрытые закономерности и создавать новые гипотезы. Системы глубокого обучения могут анализировать большие наборы данных для выявления тенденций и паттернов в научных публикациях, а технологии обработки естественного языка позволяют автоматически извлекать информацию из научных статей и создавать сводки и обзоры литературы.
    В библиотечном деле технологии ИИ могут быть использованы для улучшения доступа к информации, организации библиотечных ресурсов и оптимизации библиотечных услуг. Системы автоматического индексирования и каталогизации могут помочь библиотекам эффективно классифицировать и описывать свои коллекции, а инструменты машинного обучения – персонализировать рекомендации для пользователей на основе их предпочтений и интересов.
    1.  Рекомендательные системы. Используя методы машинного обучения, библиотечные системы могут предлагать персонализированные рекомендации по книгам, статьям, журналам и другим информационным ресурсам.
    2.  Обработка и классификация информации с помощью ИИ – автоматическая обработка и классификации документов, а также поиск релевантной информации в больших коллекциях текстовых данных.
    3.  Виртуальные ассистенты и чат-боты в библиотеках на основе ИИ: предоставление помощи пользователям, ответы на часто задаваемые вопросы, помощь в поиске информации и т. д.
    4.  Анализ данных и статистика. ИИ может использоваться для анализа статистических данных о пользовании библиотечными ресурсами, оценки эффективности услуг, выявления трендов и т. д.
    5.  Оптимизация работы библиотечных систем: управление коллекциями, автоматизация каталогизации и индексации, повышение эффективности работы персонала.
ИИ и поиск информации
    Существует много программ и платформ ИИ, которые можно использовать при написании литературных обзоров академических статей. 
    ChatGPT, разработанный OpenAI, и другие языковые модели могут генерировать тексты на основе введённых данных. Они могут использоваться для автоматического создания обзоров литературы на заданную тему (промпты для поиска, чат-боты Bard, Perplexity, OpenAI, ora.ai).
    CiteThisForMe (ранее RefME) – онлайн-инструмент для создания библиографических списков и цитат использует ИИ для автоматического распознавания источников и подбора цитат.
    Программы и платформы могут помочь исследователям и авторам в написании литературных обзоров (Semantic Scholar, SciSpace), облегчая процесс организации и анализа литературных данных (Scite, SciSpace, Eclite, Iris.ai), а также создания библиографических списков и цитирования источников (чат-боты SciSpace, Scholarcy, 300ya, chatPDF, Quillbot). 
    Программы для продвинутого поиска – Scite, Eclite, Research Rabbit, Consensus, Inciteful (Literature Connector предназначен для междисциплинарных исследований и позволяет установить связь между несколькими областями).
    Оценка цитирований: оценка релевантности на основе социтирований и совпадения списков литературы, оценка влиятельности публикаций на основе анализа цитирования: Paper Discovery строит сеть статей, предоставляет информацию для быстрого освоения темы и позволяет найти похожие работы. 
Выводы
    1.  ИИ играет всё более значимую роль в оценке результативности научных исследований, обеспечивая более точные и быстрые аналитические методы.
    
2.  Автоматизированные системы анализа данных позволяют эффективно обрабатывать большие объёмы информации и выявлять важные тенденции и закономерности.
    3.  Технологии и алгоритмы глубокого обучения способствуют точному прогнозированию результатов научных исследований на основе имеющихся данных.
    4.  Развиваются интегрированные аналитические инструменты: аналитические платформы, способные анализировать библиометрические данные, включая цитирования, авторские показатели, сетевой анализ и т. д.
    6.  Кроме традиционных библиометрических показателей всё большее внимание уделяется разработке и применению альтернативных метрик, которые учитывают социальные и контекстуальные аспекты влияния научных публикаций.
