
Cite: Beskaravainaya E. V., Mitroshin I. A. The modern methods of data preservation in libraries. The key aspects and solutions // Scientific and technical libraries. 2024. No. 8, pp. 78–97. https://doi.org/10.33186/1027-3689-2024-8-78-97

    
    
В современном мире научная информация является одним из наиболее ценных для человечества ресурсов: каждое научное открытие или полученные в ходе исследований данные потенциально способны изменить наше восприятие мира и содействовать решению мировых проблем. Так как объём данных постоянно растёт, а достижения в науке во многом основаны на предыдущих исследованиях, представленных в научных документах, обеспечение долгосрочного хранения информации – критически важная задача, которую предстоит решать современной библиотеке. 
    Актуальность темы обусловлена непрерывным развитием технологий (в том числе и информационных) и программного обеспечения, требующих постоянной адаптации к условиям функционирования библиотек с целью оптимизации их услуг.
    Цель нашей работы – рассмотрение основных методов и способов хранения, отбора и обработки информации, обсуждение роли информационных технологий в обеспечении хранения научной информации.
    В качестве метода исследования мы применяли метод наблюдения, основанный на собственном опыте многолетней работы в академической библиотеке, и метод обобщения, основанный на изучении публикаций сотрудников отечественных и зарубежных библиотек и специалистов, обслуживающих программное обеспечение в них. Публикации собирались с помощью поисковой системы Google Scholar и информационно-аналитического портала eLIBRARY.RU, по ключевым словам: «хранение в библиотеках», «цифровое архивирование в библиотеках», «цифровая сохранность в библиотеках», «хранение данных в репозиториях», «цифровизация фондов библиотек», «миграция данных», «применение интеллектуального анализа в библиотеках» на русском и английском языках. Критериями отбора литературы являлись: 1) хронологический период не старше 20 лет; 2) применение результатов описанных исследований на практике в библиотеках или информационных центрах. 
    Хотя в существующей литературе предлагаются различные составляющие организации новых сервисов, учитывающие различия в типах библиотек, целевой аудитории и финансовых возможностях, можно выделить некоторые общие предварительные задачи и проблемы, встающие перед библиотекарями на начальном этапе организации хранения. Это определение понятия «данные» применительно к библиотечному делу, стратегия сбора литературы для хранения, оценки наборов данных при отборе на долговременное хранение.
    Сохранение данных, включая цифровой контент, всё ещё является относительно молодой областью, непрерывно развивающейся и требующей выработки единых терминов и определений. Анализ понятия «данные» применительно к библиотечному делу провели M. Zhan & G. Widén (2019) [1] по статьям из баз Library, Information Science & Technology Abstract (EBSCO) и Web of Science, Scimago Journal & Country Ranking. Они пришли к выводу о существовании двух способов определения больших данных в библиотечном деле: ориентированных на данные (большой, быстро увеличивающийся объём) и ориентированные на возможности (технология обработки). Поскольку G. Bellinger с соавторами [2] рассматривают информацию как «данные, которые обрабатываются для использования», можно предположить, что данными может являться и информация, расширяя таким образом область применения этого понятия. Объединив эти два определения, приходим к выводу, что в библиотечном деле это данные или информация, подлежащие обработке с помощью развитых технологий.
    Одним из вопросов является стратегия сбора литературы. Для статей из академических баз данных и журналов J. Frizzo-Barker [3] предлагает метод перекрёстного поиска литературы, когда статьи проверяются на наличие в разных источниках для обеспечения полноты поиска. Briner R. с соавторами советует использовать систематические обзоры и отталкиваться от конкретной тематики [4]. Основываясь на принципах «находимость», «доступность», «взаимодействие» и «повторное использование», M. Martone с коллегами [5] уделяют особое внимание расширению возможностей находить и использовать данные автоматически, а также поддерживать их повторное использование через применение различных утилит. При этом критерии отбора данных [6] для обеспечения научных исследований остаются неизменными: типология, статистика использования, библиометрическая оценка, экспертная система комплектования и др. [7–9].
    Методы оценки наборов данных при отборе на долговременное хранение – ещё одна насущная задача. Австралийская национальная служба предлагает семь общих критериев: соответствие миссии, научная или историческая ценность, уникальность, потенциал для перераспределения, невоспроизводимость, экономическое обоснование, полнота документации [10]. Ключевыми концепциями Службы данных 
Великобритании являются: соответствие компетенции стандартам государства, научная или историческая ценность, новые источники или типы данных, международная ценность, уникальность/риск потери, удобство использования/перераспределение, эксплуатационные преимущества, репликация [11]. Digital Curation Centre (DCC) в своём руководстве по отбору данных предлагает включить: потенциальные цели для повторного использования, риски, связанные с соблюдением законодательства или политики, долгосрочная ценность, завершённость оценки данных [12]. Учёные из США, Испании, Нидерландов на начальном этапе выделяют четыре составляющих для отбора метаданных: «находимость», «доступность», «взаимодействие» и «повторное использование» [13]. Итак, как отмечает большинство исследователей, основными критериями являются целостность, воспроизводимость (наличие данных, подтверждающих результаты исследования), возможность повторного использования (доступность данных для обмена с другими пользователями) [14].
    На данный момент общей концепции по сохранению цифровых данных, которая включала бы сразу все проблемные точки: финансовые и кадровые вопросы, вопросы интеллектуальной собственности, соответствие стандартам, стратегию хранения носителя, сертифицирование, аудит, оценку рисков и пр., не существует. Политику сохранения цифровых данных библиотеки чаще всего разрабатывают с помощью служб курирования, например, Digital Curation Centre, Jisc и др. (Великобритания), Roper Center for Public Opinion Research и др. (США), LinguaManga и др. (Китай), Библиотека для открытой науки (Россия); либо используют собственную службу, направленную на эту деятельность, как в Библиотечной системе Массачусетского технологического института, Национальном научном фонде в Великобритании, Ассоциации европейских исследовательских библиотек LIBER в Нидерландах.
    Привлекая инновационные технологии для решения собственных задач и меняющихся потребностей пользователей, библиотекам необходимо решить вопросы хранения как традиционных фондов, так и цифровых материалов. 
    В большинстве библиотек основной объём информации пока представлен на бумаге: книги, журналы, газеты, рукописи и другие печатные издания. На первый взгляд, надёжность хранения информации на бумажных и фотографических носителях не вызывает сомнений. Однако следует учитывать ряд важных аспектов. Во-первых, качество бумаги может варьироваться в зависимости от времени её изготовления: бумага XIX в. и XXI в. – это два разных типа бумаги [15]. 
Во-вторых, даже в пределах одного столетия бумага может быть разной: «финской», «писчей» и т. д. Кроме того, материалы представления информации на бумаге также меняются: чернила, тушь, карандаши, пишущие машинки, лазерные принтеры и т. д. Утверждение о том, 
что бумага способна храниться тысячу лет, является достаточно условным. Недостатками традиционных фондов следует считать физический износ, зависимость от пожаров и влажности. Таким образом, методом хранения традиционных документов является консервация, направленная на обеспечение долговременной защиты от неблагоприятных воздействий окружающей среды (ГОСТ 7.50-2002 «СИБИД. Консервация документов. Общие требования»). Сложность консервации заключаются в нарастающем объёме материала и ежедневном контроле за внешними условиями и частично решается оцифровкой. 
    Итак, вторым методом хранения библиотечных фондов является перевод документов в цифровой формат, позволяющий представить ресурсы в более компактном виде, сделать их удобнее для автоматического поиска, снять вопрос физической доступности.
    При этом актуальной задачей становится выбор документов для первоочередного перевода в цифровой формат. Оцифровка библиотечных фондов ГПНТБ России ведётся на базе специально созданного для этих целей подразделения «Центр сканирования» и включает все категории документов, подлежащих оцифровке. Национальная библиотека Беларуси заключила договор с Национальным центром интеллектуальной собственности на передачу авторских неимущественных прав для оцифровки музыкальных коллекций, позволяющий разрешить одну из сложнейших проблем – поиск автора произведения. Приоритетными документами для оцифровки в Вологодской областной универсальной научной библиотеке, Архангельской областной научной библиотеке, национальной библиотеке Республики Саха являются издания, представляющие интерес для фольклористов, языковедов, краеведов. Центральная научная сельскохозяйственная библиотека при создании цифровых документов отдаёт предпочтение книжным памятникам и наиболее востребованным экземплярам изданий в плохом физическом состоянии. Российская государственная библиотека искусств переводит в цифровой формат гравюры, театральные эскизы, открытки, уникальные коллекции оригинальных фотографий, театральных программок и др. В Библиотеке по естественным наукам РАН, кроме планового перевода фондов в цифровой формат, пользователи могут предложить для оцифровки интересующее их издание. 
    Среди крупных отечественных проектов по цифровизации, предполагающих тесное взаимодействие различных организаций, следует упомянуть Национальную электронную библиотеку – НЭБ (https://rusneb.ru/), электронную библиотеку «Научное наследие России» (http://e-heritage.ru/Catalog/About); Научную электронную библиотеку eLIBRARY.RU (https://elibrary.ru/defaultx.asp) и др., источниками комплектования которых являются библиотечные, архивные, музейные фонды академических организаций. 
    При переводе фондов в цифровой формат появляются совершенно новые задачи по обеспечению хранения уже цифровых фондов [16]:
    сохранение подлинности и цельности данных в течение всего периода хранения; 
    поддержание возможности интерпретации (воспроизведения формата цифровой информации) в течение всего периода хранения; 
    обеспечение надёжности носителя или системы хранения цифровой информации.
    Хранение цифровой информации в библиотеках подразумевает использование физических носителей: перфокарт, магнитных лент, магнитных дисков (жёсткие диски HDD и дискеты), оптических накопителей (CD, DVD, Blu-ray Discs) твёрдотельных накопителей (SSD, флеш-память) и технических устройств, обслуживающих их работу. Для применения в библиотеках мы рекомендуем использовать диски SSD и HDD. Со временем их скорость и производительность уменьшаются, а гарантия на работу составляет не более 10 лет. Но, на наш взгляд, этот выбор пока оптимален по стоимости и надёжности.
    На данный момент в мире нет опыта действительно долгого сохранения цифровых данных, отсюда некоторая иллюзорность предсказания спектра возможных проблем. Именно поэтому одним из методов хранения и цифровых, и бумажных фондов является консервация – сохранение материалов в оригинальных форматах и на оригинальных носителях (включая микрофильмы, микрофиши, оптические диски). 
    Нерешённой проблемой, с которой сталкиваются все библиотеки при цифровизации, является обилие разнообразных форматов данных (текст, изображения, видео, статистические таблицы, ценные ресурсы), подразумевающие различные подходы к их обработке и архивированию [17–19]. Данные, записанные несколько десятков лет назад на цифровые носители, даже при надлежащем хранении становятся недоступными не только из-за устаревания носителей, но и из-за способов записи, а также прекращения поддержки со стороны производителей программного обеспечения и операционных систем. Методом хранения, позволяющим сгладить эту проблему, является эмуляция – создание совокупности программных и технических средств, позволяющих воспроизводить функциональность исходной аппаратно-программной среды. 
    Опираясь на собственный опыт, хочется обратить внимание на возможную потерю информации как при хранении, так и при переносе с одного носителя на другой, в связи с чем важнейшими методами сохранения цифровых данных становятся резервное копирование (сохранение информации на отдельном сервере) и репликация (хранение данных в нескольких местах). 
    В качестве варианта цифрового хранения для больших тематических коллекций [20–22] наиболее распространённым и приемлемым, в том числе для российских библиотек [23], на сегодняшний день являются репозитории, такие как OpenDOAR (глобальный каталог репозиториев открытого доступа – https://v2.sherpa.ac.uk/opendoar/), bioRxiv.org (бесплатный электронный архив научных статей и препринтов по биологии – https://www.biorxiv.org/), The World Bank Open Knowledge Repository (официальное хранилище результатов исследований Всемирного банка – https://openknowledge.worldbank.org/home), НОРА (Национальный агрегатор открытых репозиториев российских университетов – https://openrepository.ru/) и мн. др. Наиболее полная информация и уникальные данные, собранные в одном месте, актуальны для пользователей, работающих в узких областях или имеющих специфические потребности. Посетителям обеспечивается экономия времени, а библиотеки получают возможность осуществлять контроль за данными, отслеживать использование материалов, определять потребности читателей, оптимизировать процессы приобретения новых изданий и т. д. Кроме того, поддержка репозиториев позволяет перераспределить фонд библиотек и перенести фокус внимания с хранения коллекций и покупки материалов на курирование контента, в том числе открытого доступа [24–26]. 
    В будущем именно библиотечные репозитории с качественно отобранными и структурированными данными могут стать основой для машинного анализа – процесса исследования и интерпретации данных с помощью специализированного программного обеспечения и алгоритмов, которые изначально применялись для анализа текста в поисковых системах, чат-ботах и при переводах. Уже сегодня отечественные и зарубежные авторы, описывая аналитику данных в библиотечном контексте при переходе к цифровым ресурсам, цифровому хранению, онлайн-сервисам с акцентом на открытый доступ, говорят о новых возможностях по улучшению функционирования библиотек при использовании искусственного интеллекта для сбора данных и их дальнейшей обработки [27–32]. Мы согласны с тем, что машинный анализ является одним из перспективных направлений в библиотеках, где содержатся и обрабатываются большие и разнообразные объёмы данных, включающие в себя информацию о публикациях, авторах, темах исследований, патентах, экспериментальных данных, пользовательской активности и других аспектах научной деятельности. Опираясь на хранимую в библиотеке информацию, машинный анализ может использоваться для разработки, например, собственных рекомендательных систем, интегрированных в «личные кабинеты учёных» [33; 34], основываясь на анализе доступных ресурсов, поведении пользователей, их предпочтениях и предыдущих запросах [35]; изучать и прогнозировать спрос на определённые книги, журналы и др. материалы; анализировать тренды в использовании фондов библиотеки для нахождения наиболее популярных тем и направлений исследований; проводить анализ качества переводов [36–41]. 
    Ещё одним методом хранения, позволяющим решить проблему износа и устаревания, является регулярное обновление – перенос информации с одного физического носителя на идентичный. Несмотря на то, что обновление не считается долговременным способом архивирования, оно позволяет сохранить информацию для более сложного процесса – миграции данных (преобразование данных на другие носители или операционную систему) [42; 43]. Миграция данных в библиотеках – самый сложный процесс хранения: требуется учитывать не только различие в технологиях (могут иметься цифровые копии, полученные на разных этапах развития техники, запакованные в различные форматы), но и специфику перехода от одной АБИС к другой (перенос каталогов и коллекций книг, журналов, электронных ресурсов, патентов, информации о читателях, электронных ресурсов и других данных, необходимых для работы библиотеки). Миграция данных, начиная от этапа планирования и заканчивая проверкой целостности сохранённой информации, потребует установки программного обеспечения и привлечения в работу библиотек программистов-специалистов.
    Перевод традиционных фондов в цифровые и обеспечение их сохранности затрагивает принципиальные вопросы безопасности, связанные с управлением правами с течением времени. Например, каков механизм предоставления доступа для различных групп пользователей при взаимодействии с метаданными архива, как будут обновляться права доступа при изменении статуса авторских прав или уровня безопасности материала [44–46]. Эталонные модели архивирования как стандарты цифровых архивов с защитой цифровых сведений, устройств и ресурсов были разработаны ещё в начале XXI в. (CCSDS 2001 [47], OAIS [48] и др.) и сегодня используются в большинстве крупных библиотек Австралии, Великобритании, Нидерландов и США. На их основе существуют крупные проекты по сохранности данных [49]: Cedars – консорциум университетских исследовательских библиотек, Kulturaw3 – Королевская библиотека Швеции, NEDLIB – сеть европейских депозитных библиотек, LOCKSS – библиотеки Стэнфордского университета, PANDORA – Национальная библиотека Австралии, SPAR – Национальная библиотека Франции [50], EVA – Национальная библиотека Финляндии при Хельсинкском университете [51]. 
    Серьёзную задачу для сбора, анализа, визуализации, обработки данных и их воспроизводимости [52] в библиотечных системах представляет собой разработка программного обеспечения, включающего в себя как исходный код, так и исполняемые файлы, используемые в процессе сохранности данных. Примерами поставщиков этой категории [53], обеспечивающих программное сохранение, являются CLOCKSS, Internet Archive, HathiTrust и Portico. Кроме того, существуют сторонние платформы сохранения с собственными технологиями (APTrust, Archivematica, Arkivum, Islandora, LIBNOVA, MetaArchive, Samvera и Preservica), которые используются отдельными организациями, и, как правило, не бесплатно.
Выводы
    В настоящее время перед библиотеками стоят четыре глобальные задачи по сохранению фондов:
    1.  Создание условий для сохранения традиционного фонда.
    2.  Перевод документов в цифровой формат.
    3.  Поддержка сохранности документов в любом формате.
    4.  Обеспечение безопасности данных на всех этапах хранения.
    Основными этапами при подготовке к хранению данных любых форматов должны оставаться: фильтрация данных (удаление шума, дубликатов, ошибок, пропусков и т. д.); масштабирование данных для облегчения сравнения (нормализация и стандартизация); преобразование и адаптация к конкретному аналитическому инструменту; агрегирование и интеграция данных, объединение информации из разных источников и преобразование её в единую систему.
    Следует отметить, что невозможно выбрать и использовать какой-то один метод для хранения, они не являются взаимозаменяемыми и требуют совокупного применения. Методами хранения информации в библиотеках и информационных центрах, объединяющими программные средства и технологии, являются:
    консервация, 
    перевод документов в цифровой формат, 
    эмуляция,
    резервное копирование, 
    репликация, 
    регулярное обновление,
    миграции данных, 
    облачное хранение.
    Одной из основных проблем, связанных с переносом данных и их хранением, является выбор носителя для хранения цифровых данных. Следует учитывать его стабильность, надёжность и совместимость с существующими системами хранения. 
    Разработка процессов миграции данных – важная задача, включающая в себя поиск специальных алгоритмов, которые позволяли бы не только эффективно переносить данные на цифровой носитель, но и сохранять их целостность после переноса. 
    
Хочется подчеркнуть, что затронутые в статье вопросы разработки и проверки новых алгоритмов хранения, их стандартизации должны решаться при взаимодействии библиотек с архивами, музеями, научными лабораториями, технологическими и исследовательскими компаниями. Такая работа потребует экономических, юридических, финансовых, организационных усилий не только со стороны библиотек и институтов памяти.
