
Cite: Stepanov V. K., Madzhumder M. S., Begunova D. D. Application of the big language model – ChatGPT in the librarianship and bibliographical work // Scientific and technical libraries. 2024. No. 4, pp. 86–108. https://doi.org/10.33186/1027-3689-2024-4-86-108

       
       
Введение
    Стремительное развитие систем искусственного интеллекта (ИИ) вынуждает внимательно изучать возможности их применения для решения своих специфических задач представителей всех сфер деятельности. Один из наиболее масштабных проектов последних лет – большая языковая модель ChatGPT (Generative Pre-trained Transformer), разработанная специализирующейся на ИИ и машинном обучении компанией OpenAI [1]. ChatGPT – генеративная ИИ-система, созданная с помощью свёрточных нейронных сетей в 2021 г. Языковая модель обучена на гигантском объёме текстов, включая произведения художественной литературы, научные статьи, блоги, соцсети и прочие текстовые массивы [2. С. 9]. Анализируя синтаксические и семантические структуры предложений в процессе обучения, модель получила представление о естественном языке. Открытая для пользования в ноябре 2022 г. версия ChatGPT-3.5 имеет впечатляющие параметры – она обладает 175 млрд весовых коэффициентов [Там же. С. 8], которые используются для определения связей между словами, помогая модели понимать структуру текста и генерировать осмысленные ответы.
    На момент написания данного текста ChatGPT являлся одним из наиболее мощных ИИ-модулей, способных модифицировать различные отрасли человеческой деятельности [3. С. 10]. Цель данной работы – описать оптимальные способы использования ChatGPT1 в библиотечно-библиографической деятельности при выполнении различного рода задач: от рутинных до творческих.
Ограничения языковой модели ChatGPT 
и фактчекинг
    Главное ограничение ChatGPT заключается в том, что модель не имеет полных знаний о событиях, произошедших после её предварительного обучения, которое закончилось в сентябре 2021 г. [Там же. 
С. 10]. Это означает, что чат не владеет информацией о новейших технологических или научных достижениях, политических или социальных событиях, произошедших после этой даты. При оценке ответов модели следует учитывать её ограничения, особенно в задачах, требующих высокой надёжности и точности. 
    Компания OpenAI пытается устранить данное ограничение, создавая всевозможные плагины и расширения с помощью внешних разработчиков. В частности, с помощью плагинов планируется решение таких общих для больших языковых моделей проблем, как «галлюцинации» – невозможность отслеживания последних новостей и отсутствие доступа к закрытым источникам информации [4].
    «Галлюцинации» – внешне весьма правдоподобные, но абсолютно или частично ложные утверждения. Этот пока не устранимый порок системы потенциально может иметь самые негативные последствия, поскольку ИИ-модели, становясь всё более разумными и оттого убедительными, вызывают чрезмерное доверие пользователей, которые, не убедившись в правильности результата, могут полагаться на него как на истину. 
    Склонность к «галлюцинациям» – ключевой фактор, приводящий к ухудшению общего качества информации, дальнейшему снижению достоверности предоставляемых различными генеративными ИИ-моделями сведений и, как следствие, падению доверия к ним со стороны пользователей [7. С. 11]. Именно поэтому при использовании систем ИИ крайне важен фактчекинг.
    Фактчекинг – процесс проверки степени достоверности информации, включающий поиск дополнительных источников информации, которые могут подтвердить или опровергнуть анализируемые данные [8. С. 81]. Пользователь также имеет возможность задавать уточняющие вопросы самому чату, чтобы более точно определить, соответствует ли ответ реальному положению дел.
    Сегодня фактчекинг является обязательным элементом работы с ChatGPT, так как позволяет выявлять ошибки и неточности в ответах. Это может быть особенно актуальным в случаях, когда точность ответов является критически важной, например в области медицины или права. Фактчекинг не является идеальным методом, так как занимает дополнительное время и может потребовать привлечения вспомогательных ресурсов. Оптимальным подходом является сочетание тщательной формулировки запроса с последующей проверкой выданной ИИ-системой информации.
    Ещё один недостаток заключается в ощутимой вариативности ответов ChatGPT. Это связано со стохастической природой моделей семейства GPT, которые даже при идентичных входных данных и условиях могут выбирать разные пути генерации текста и, соответственно, принимать различные решения на каждом шаге, поскольку внутри них задействовано вероятностное распределение выбора следующего слова в генерируемом тексте. Именно эта особенность препятствует достижению полной консистентности ответов и затрудняет разработку универсального метода работы с ChatGPT.
    Вариативность ответов ИИ-модели проявляется и при работе на разных языках. Согласно данным OpenAI, достоверность ответов ChatGPT-3.5 на английском языке по шкале MMLU (Multi-task Language Understanding – комплекс из 14 тыс. задач с множественным выбором, состоящий из 57 предметов) равна 70,1%. Информация о других языках в версии GPT-3.5 в техническом отчёте не представлена, но можно предположить, что для данной версии показатель надёжности предоставляемой информации на русском языке ниже. Достоверность GPT-4 превосходит предыдущую англоязычную версию на 24 из 26 протестированных языков (рис. 1). 

Рис. 1. Показатели GPT-4 на различных языках 
в сравнении с предшествовавшей моделью по MMLU [3. С. 8]
Общие правила формулировки запроса
    Важнейший аспект работы с ChatGPT – формулировка запроса, или «промта»: именно этот момент является определяющим для получения точного и полного ответа. В настоящее время нет доказанного объяснения того, почему некоторые методы формулировки запросов более действенны, нежели другие, однако в исследовании «A Theory of Emergent In-Context Learning as Implicit Structure Induction»2 было изучено влияние композиционной структуры и локальных зависимостей в обучающих данных на эффективность работы чата [9]. Исследователи предполагают наличие информационно-теоретического ограничения, которое объясняет способность к обучению в контексте, возникающую из простого предсказания следующей лексической единицы. Это означает, что, когда модель имеет представление об ожиданиях 
в рамках конкретной задачи, она способна генерировать наиболее полезные и соответствующие ответы на основе контекста запроса. 
В связи с этим при составлении запроса следует учитывать несколько общих рекомендаций: 
    1. Описание ожидаемого результата с помощью инструкций, примеров или комбинации этих двух подходов. Например, для составления подборки литературы не стоит формулировать запрос как «Составь список книг в жанре фэнтези», лучше написать: «Составь список из 
10 произведений в жанре фэнтези, который должен включать название, автора, год первой публикации, а также сопровождаться кратким описанием каждой книги. Например, “Дюна” Ф. Герберта 1965 г. рассказывает о политических интригах, религиозных пророчествах и эпической борьбе за власть на пустынной планете Арракис».
    2. Предоставление качественных данных и достаточного количества примеров. Важно проверить свои примеры на наличие ошибок – модель обычно достаточно умна, чтобы «увидеть» очевидные орфографические ошибки и дать корректный ответ, но она может предположить, что ошибка отсутствует, и это повлияет на результат.
    3. Определение идентичности чата: следует объяснить ChatGPT, в каком качестве он выступает, и дать чёткие инструкции по взаимодействию с пользователем. Например, написать: «Ты опытный библиограф. Ты рассудительный, креативный и доброжелательный». Без таких инструкций чат может начать копировать поведение пользователя и проявить сарказм или другое нежелательное поведение. Кроме того, подобная инструкция позволяет ИИ «соответствовать» указанной роли и давать более точные ответы.
    При обучении ChatGPT библиотечным процессам следует воспользоваться методом Reinforcement Learning from Human Feedback (RLHF)3 и fine-tuning4, то есть адаптировать модель к библиотечной работе, используя обучающие примеры и обратную связь. Уровень точности выполнения чатом задач без предварительного обучения (zero-shot learning), с предоставлением нескольких примеров (few-shot learning) и с обучением методом RLHF показан на рис. 2. 

Рис. 2. Сравнение результатов работы моделей GPT при zero-shot learning, 
few-shot learning и после RLHF fine-tuning [3. С. 11]
    Таким образом, при обучении с нуля ChatGPT показывает самые низкие показатели своей деятельности, в двух других случаях продуктивность работы чата возрастает. Однако и после тщательного и идентичного обучения в разных вкладках некоторая погрешность в генерации ответов может сохраняться.
    После обучения можно воспользоваться функцией, добавленной компанией OpenAI в последнем обновлении ChatGPT от 24 мая 2023 г. [10], позволяющей делиться вкладками с другими пользователями чата. Скопировать URL-адрес вкладки можно, нажав на диалог, которым необходимо поделиться, и выбрав опцию «Копировать ссылку» из контекстного меню. 
    Подобный обмен предоставляет возможность просматривать и продолжать диалог с чатом, уже обученным выполнению конкретной задачи, при том, что такая вкладка не будет показывать сообщения, добавленные в беседу после создания ссылки. Эта функция позволяет сотрудникам разных библиотек, использующих в работе ChatGPT, наладить эффективное взаимодействие, обмениваясь собственными наработками, которые представляют собой, по сути, готовые для выполнения отдельных операций инструменты.
Подготовка заявки на комплектование
    Возможности ChatGPT могут быть с успехом использованы для формирования предварительной заявки на комплектование фонда. Непреложным требованием, как и всегда, являются максимальная конкретизация и детализация запроса с использованием терминов, наиболее точно описывающих пользовательское требование. Многозначные формулировки или общие фразы приводят к неправильной трактовке запроса и, как следствие, к неудовлетворительному результату.
    Для составления заявки на комплектование ChatGPT нужна информация о профиле библиотеки и указания на все дополнительные допущения или ограничения. Включающий максимальное число критериев для отбора запрос помогает ChatGPT конкретизировать область поиска и предоставить наиболее релевантный ответ. Например, запрос «Составить список книг по истории искусств» является чрезмерно общим, ответ чата в таком случае тоже будет поверхностным: подборка будет содержать лишь самые известные работы по теме. Гораздо более результативным является запрос вида: «Представь, что ты комплектатор библиотеки. Составь список десяти гарантированно востребованных книг по истории искусств для комплектования общедоступной библиотеки. Книги должны быть 2018–2021 гг. издания и не должны попадать в списки запрещённой к распространению в РФ литературы. Библиографические описания должны быть снабжены краткой аннотацией». Для получения более детальной информации (например, ISBN, наличие в продаже у определённого поставщика, текущая минимальная стоимость каждого издания, а также литература, изданная после сентября 2021 г.) можно использовать плагин для доступа в интернет. Естественно, что полученные результаты можно легко корректировать в процессе диалога. Так, слишком общую подборку можно сузить просьбой предоставить книги, изданные, например, определённым издательством или имеющиеся у конкретного поставщика.
Составление библиографического описания 
    Составление библиографического описания (БО) требует предварительного обучения. OpenAI для решения подобных задач предлагает использовать few-shot learning (FSL), то есть предоставление чату 
ряда примеров для тренировки выполнения аналогичных задач 
[3. С. 6]. FSL позволяет модели быстро и эффективно обучаться на новых задачах, используя ограниченное число примеров, и в дальнейшем применять новые умения для решения новых аналогичных заданий длительное время. Для этого необходимо воспользоваться общими рекомендациями [3. С. 7–8] и адаптировать их следующим образом:
    1. Определение идентичности чата: помимо указания роли библиографа необходимо определить вид его деятельности, в данном случае – составление библиографического описания согласно действующему российскому стандарту. 
    2. Предоставление примеров из ГОСТ Р 7.0.100–2018: исходя из ограниченного количества символов5 при запросе рекомендуется отправлять чату несколько записей (1–3) каждого вида изданий (монографические издания, периодические издания, интернет-сайты и др.). В зависимости от профиля библиотеки и характера выполняемых конкретным сотрудником задач можно обучить чат составлению БО только источников определённого вида, добавляя другие лишь при необходимости. 
    3. Обозначение критериев, необходимых при ответе: основываясь на классических правилах расстановки знаков препинания, ChatGPT может не учитывать специфику пунктуации в БО, поэтому необходимо акцентировать его внимание на важности соблюдения правил ГОСТ.
    4. Постановка задачи: в конце запроса необходимо дать чату задание по составлению БО, иначе он будет выполнять «вымышленное» задание (например, начнёт переводить запрос на английский язык). Для описания ресурсов ChatGPT требуются выходные данные. 
    Оптимальный пример запроса: «Привет! Ты опытный библиограф, который занимается составлением библиографического описания согласно ГОСТ Р 7.0.100–2018. Вот некоторые примеры из этого ГОСТ: *Ваши примеры*. В составлении библиографического описания очень важно соблюдение пунктуации, во всех примерах, которые мы прислали, пунктуация верна и указана по правилам, которые ты должен соблюдать. Твое задание: *Ваш запрос с обозначением выходных данных издания*».
    В случае, если ChatGPT предоставляет некорректный ответ, рекомендуется указать на ошибку, не исправляя её. Например: «Эта запись неверна, ты не учёл правила пунктуации». При повторении ошибок следует самостоятельно их исправить и предоставить чату корректный пример. Кроме того, важно помнить о таком недостатке ChatGPT, как «галлюцинации», и реагировать на него непосредственно в ходе работы: при возникновении подобного результата следует указать на нереалистичность ответа, упомянуть, что он не соответствует определённым правилам или содержит логическую ошибку. «Пристыжённая» таким образом языковая модель зачастую корректирует свою дальнейшую работу в сторону улучшения.
    По окончании обучения составлению библиографической записи 
с достижением качественного результата можно использовать функцию обмена ссылками, предоставив другим пользователям доступ к обученной вкладке.
Индексирование
    ChatGPT может быть эффективно задействован в процессе координатного индексирования поступающих в фонд документов. Языковая модель способна анализировать поступающие тексты с целью выделения из них ключевых слов и определения предметных рубрик. Чат также предварительно обучен на основе классификационных систем (УДК, ББК, классификация Дьюи) и знает категории, подкатегории и соответствующие коды, используемые для индексирования документов. Это позволяет ему сформировать полный поисковый образ документа. При необходимости можно обучить чат на соответствующих примерах (аналогично обучению по составлению библиографического описания): ГОСТ 7.59 – для более точного определения предметных рубрик, ГОСТ 7.0.66 – для ключевых слов, ГОСТ 7.0.99 и ГОСТ 7.86 – для аннотирования и реферирования соответственно.
