
Cite: Beskaravainaya E. V. Analyzing criteria for selecting data intended for long-term preservation at the scientific library // Scientific and technical libraries. 2025. No. 7, pp. 102–121. https://doi.org/10.33186/1027-3689-2025-7-102-121

    

    Объём цифрового контента растёт, а его хранение, включая резервное копирование, требует увеличения объёмов памяти и дополнительных расходов. Хранение всех поступающих данных не выгодно как экономически, так и с точки зрения обнаружения полезных сведений при поиске (сопутствующий шум). Поэтому задачей библиотек становится поиск возможностей дифференциации поступающей информации для организации её хранения.
    Организация хранения цифровой информации в библиотеках подразумевает археологию уже имеющихся данных, обнаружение, отбор и обработку новых, извлечение из них знаний. Работа с большим объёмом информации уже на начальном этапе создаёт проблемы при выборе соответствующих и значимых данных для определения их на хранение. На практике многие критерии отбора оказываются либо слишком расплывчатыми для прямого принятия решений, либо слишком конкретными для применения в научной библиотеке. 
    Цель нашего исследования – формирование группы критериев и включение их в практику принятия решений по отбору данных, предназначающихся для длительного хранения. Важно не просто определить критерии, необходимо выработать алгоритм сбора данных и технологические опции, которые гармонично сосуществовали бы в библиотеке с другими технологиями, были совместимы со сторонними системами, базами данных, определяли задачи для специалистов и учитывали возникающие проблемы.
    В качестве источников информации использовались отечественные и зарубежные публикации: до 2000 г. – для изучения принципов формирования традиционных фондов; с 2015 г. до настоящего времени – для отбора и анализа цифровых данных. В качестве ключевых выражений для поиска использовались: критерии отбора документов, критерии отбора изданий, оценка научной информации, оценка цифровых данных, сохранение цифровых данных на русском и английском языках. Для работы были отобраны статьи, описывающие анализ входящего потока информации, либо опыт такой практической работы в научных организациях, библиотеках, аналитических центрах, архивах. 
    На основе обзора отечественной и зарубежной литературы, её тематического анализа, а также личного опыта и опроса экспертов мы определили основу для выбора критериев по принципу «необходимо и достаточно». 
    Результаты этого исследования могут использоваться в качестве руководства при работе библиотек с большими данными на этапе сбора информации и организации её длительного хранения.
    Заполнение площадей, высокая стоимость поддержания надлежащих условий хранения, обеспечение пожаробезопасности и др. привели к пониманию нецелесообразности хранения всего массива и определили принципы отбора изданий уже на начальном этапе наполнения фонда [1]. Универсальными критериями, обосновывающими выбор, являлись соответствие тематике, спрос на издание, экспертная оценка издания учёными и специалистами, библиометрические критерии [2] (показатель цитирования, импакт-фактор и др.), стоимость [3]. Они и сегодня остаются совокупным набором критериев, на основании которого определяется научная ценность издания независимо от формы его предоставления – бумажной, цифровой или гибридной [4, 5].
    Активная цифровизация обусловила включение в фонд научной библиотеки цифровых источников, их структурирование, организацию, определение сроков хранения и ценности, юридическую оценку. Согласно действующему ГОСТу 7.0.102-2018, технологии комплектования библиотечных фондов определены методикой отбора документов (отбор по формальным и содержательным критериям), выводами на основе экспертных заключений и возможностями комплексных технологий по организации процессов комплектования и по методике отбора документов. В свою очередь расширились требования к критериям, которые должны сегодня не только отвечать всем условиям отбора научной документации, но и быть достаточно универсальными, чтобы применяться к таким форматам входного потока, как гипертексты, аудио- и видеоформаты, материалы экспериментов, наборы данных специализированных баз и др. Поэтому для библиотек и архивов вопрос критериев оценки данных при отборе на долговременное хранение крайне актуален. 
    Как правило, эксперты [6] сходятся на выделении четырёх основных критериев: научная или историческая ценность, уникальность, риск потери. Далее мнения разделяются, специалисты по цифровым данным предлагают включить в список, кроме перечисленных критериев новизну источника или типа данных, эксплуатационные преимущества, возможность репликации [7], невоспроизводимость, полноту документации, завершённость оценки данных [8], «находимость», доступность, возможность повторного использования [9].
    Сложный вопрос выбора цифровых данных для длительного хранения требует тщательного рассмотрения критериев отбора по нескольким направлениям.
1.  Критерии для отбора источников информации
    На первом этапе необходимо определить систему критериев отбора источников информации [10], данные из которых в дальнейшем будут исследованы на предмет организации хранения. Основным критерием для рассмотрения ресурса является его информативность, то есть способность предоставлять полезную, точную и актуальную информацию, будь то журнал, интернет-портал, база данных, мультимедийный ресурс или онлайн-коллекция. Для научных ресурсов оценка информативности включает совокупность нескольких специфичных аспектов [11]: количественных (цитирование в тематических источниках, импакт-факторы журналов, контент-анализ и др.) и качественных (отзывы и рекомендации авторитетных экспертов в данной области, мнения учёных и др.). Мы определили область оценки в критериях, отобранных под задачи извлечения информации для хранения в научной библиотеке (табл. 1).
Таблица 1 
Критерии для оценки ресурсов
Критерии
Область оценки
Ответственный
Соответствие тематике 
(научная 
ценность)
Изучить соответствие содержания ресурса тематике (особенно важно для мультидисциплинарных и новых ресурсов); рассмотреть свидетельства упоминания ресурса в публикациях или отчётах, представляющих дисциплину данных
Библиографы, эксперты, 
учёные
Актуальность ресурса
Сопоставить соответствие информации на представленном ресурсе текущим исследованиям и тенденциям в данной области, а также проанализировать частоту обновлений для включения новых данных и исследований
Библиографы, эксперты, 
учёные
Релевантность
Провести опрос, насколько информация на ресурсе соответствует потребностям и интересам пользователей, подтверждена ли другими источниками или исследованиями
Эксперты, 
учёные
Репутация 
Изучить текущую информацию о цитировании из источников научного и образовательного характера, опубликованных в рецензируемых научных журналах или отчётах, полученных от учёных, представляющих данную дисциплину; для изданий – проверить рецензирование, присутствие авторитетных рецензентов
Библиографы
Законность и конфиденциальность 
ресурса-кандидата
Проверить ресурс на содержание информации, распространение которой запрещено законом (дискриминация, политические лозунги и др.) и ограничения (авторское право, личные данные) 
Юрисконсульт
Стабильность
Оценить время существования ресурса, полноту выпусков, наличие недостающих выпусков (для электронных изданий)
Библиографы
Доступность
Выяснить, насколько легко пользователи могут получить доступ к ресурсу и использовать его
Сотрудник 
IT-отдела
Наглядность
Определить чёткость и доходчивость изложения информация на сайте; наличие интерактивных элементов, графиков, таблиц, видео
Учёные, сотрудник IT-отдела
Технологическая 
доступность 
Проверить формат ресурса на соответствие техническим критериям долгосрочного хранения: полноту гиперссылок, мультимедиа, документации, необходимых для облегчения будущего обнаружения, доступа и использования
Сотрудник 
IT-отдела
    Основным ресурсом для наших целей остаются тематические базы данных и специализированные поисковые системы [12, 13] по физико-химической биологии, математике, физике, астрономии и др., такие как: Medline (https://pubmed.ncbi.nlm.nih.gov/), Medlib (https://www.
medlib.ru/), Math-Net (https://www.mathnet.ru/), MathSciNet (https://
mathscinet.ams.org/mathscinet), zbMATH (https://zbmath.org/), MatWeb (https://www.matweb.com/), Math.ru (ww.math.ru), GeoNames (www.
geonames.org), MedBioWorld (https://www.medbioworld.com/), AGRIS (https://www.fao.org/agris/ru), Worldmapper (worldmapper.org), ExPASy (www.expasy.org), KEGG (https://www.genome.jp/kegg/), NCBI databases (www.ncbi.nlm.nih.gov), Pathway Commons (pathwaycommons.org), Protein Information Resource (proteininformationresource.org/), UniProt (www.uniprot.org), ZOOINT (zin.ru/projects/zooint_r/index.html) и др. 
    Новый ресурс попадает в поле зрения, как правило, по рекомендации учёных, но на поверку часто не проходит тест на дублетность при сравнении с проверенными ресурсами. Тем не менее, если он соответствует критериям отбора, то остаётся в работе, и в дальнейшем исследуется на наличие уникальной информации. 
    Одним из важнейших элементов развития фондов научной библиотеки остаётся централизованная подписка на базы данных, обеспечивающая доступ к актуальным и проверенным информационным ресурсам. Среди преимуществ, включающих экономическую выгоду от пользования единой подпиской, присутствуют неявные, но очень важные стратегии информационного обслуживания в научных библиотеках, например, единая платформа доступа ко множеству ресурсов; возможность работы с редкими/специализированными источниками, недоступными для отдельных пользователей или учреждений; контроль за правами доступа и соблюдением лицензионных соглашений и др. К сожалению, недостаток финансирования ограничивает возможность подписки на все необходимые ресурсы, а стоимость подписки на научные базы данных сильно варьируется из года в год. Участие в библиотечных консорциумах (АРБИКОН, НЭИКОН, Консорциум российских научных библиотек) для совместного приобретения подписок уже много лет становится выходом из сложной экономической ситуации.
    Отметим возникающие при отборе ресурсов трудности: дублирование информации на различных ресурсах, сложность привлечения экспертов, изменение финансовой политики держателей ресурсов с ограничением доступа, устаревание данных. Отметим, что ресурс – это площадка для сбора данных. Для дальнейшей работы она должна отвечать основным критериям: соответствие тематике (научная ценность), актуальность, релевантность, законность и конфиденциальность, и, по возможности, отвечать условиям стабильности, доступности и наглядности.
2.  Критерии отбора данных (оценка)
    Исходя из того, что деятельность по поиску, отбору и сохранению информации регламентируется разными нормативными актами и исполняется сотрудниками разных служб, следует разделять критерии для отбора данных на хранение и критерии для включения их в базу. 
В первом случае работу выполняют библиографы и специалисты информационно-аналитических служб, их квалификация должна позволять выделить данные по тематике, провести экспертизу ценности документов, библиометрический анализ, определить репутацию издания. Для обеспечения идентификации записей, проверки их полноты и принятия мер по их сохранению необходимы навыки IT-специалистов. Такой сложный процесс, как отбор и оценка видео- и аудиоформатов, потребует последовательной работы библиографов, IT-специалистов, иногда юрисконсультов. А решение по таким критериям, как, например, приоритетные данные или потенциальное использование, невозможно без привлечения экспертного мнения. 
    Методология отбора данных может варьироваться в зависимости от типа учреждения и его специфических задач; применение критериев, представленных в табл. 2, поможет организовать отбор, соответствующий миссии и политике научной библиотеки. 
Таблица 2 
Критерии отбора информации, предназначенной 
для хранения в библиотеке
Критерии
Область проверки
Научная ценность/
тематика
Изучить текущие свидетельства цитирования (исследовательское или образовательное использование), опубликованные в рецензируемых научных публикациях или отчётах, полученных от признанного сообщества учёных, представляющих данную дисциплину; проверить, являются ли наборы данных новыми или уникальными
    

Продолжение таблицы 2 
Критерии
Область проверки
Актуальность 
данных
Сопоставить, насколько информация соответствует текущим 
исследованиям и тенденциям в данной области (цитат-анализ, быстроцитируемые работы, поддержка грантами)
Полнота
Проверить, насколько данные охватывают все возможные сценарии для выполнения определённой задачи или включения в дальнейший анализ
Целостность
Проверить, не включают ли данные пропуски или недостающие значения; целесообразно одновременно подвергать оценке не отдельную запись, а идентичные документы из различных источников
Дублетность
Необходимо выявить документы, в которых присутствует повторение информации (например, копирование, тиражирование, частичное воспроизведение), оставив наиболее полный документ; при оценке дубликатов необходимо учитывать подлинность, копий – сохранность и способность выдержать длительные сроки хранения.
При переводе в цифровую среду бумажных документов среди идентичных вариантов учитываются физическое состояние и степень сохранности (чем меньше сохранился подлинный документ, тем ценнее он для определения на хранение)
Историческая 
ценность
Критерий отрабатывается в двух направлениях. Ценность происхождения: организационный и функциональный контекст, в котором они были созданы, и ценность содержания (например, фиксирование события в момент, когда оно происходит, видеозапись выступления)
Уникальность 
данных 
(риск потери)
Проверить, будет ли потеряна информация, если данные не сохранены (то есть потеря сведений о фактах, которые никогда не повторятся, например, геоданные или фото с археологических раскопок); обратить внимание на наличие факторов (палеографических, художественных и др.), повышающих ценность документов 
Потенциальное использование 
и применение 
Оценка включает в себя вывод о предполагаемом будущем использовании на основе данных текущей исследовательской и образовательной ценности, например, потенциальное участие их в статистике/анализе. Необходимо обосновать, оправдывает ли потенциал будущего использования данных затраты на их долгосрочное архивирование (эту информацию можно получить из ссылок на публикации, в которых использовались данные, или из авторитетных источников), проверить не являются ли они частью набора данных, участвующих в комплексном анализе
    

Окончание таблицы 2 
Критерии
Область проверки
Невоспроизводимость 
(стоимость 
замещения) 
Проверить, насколько воспроизводство данных невозможно или чрезмерно дорогостояще (отсутствие достаточных контекстных материалов для повторного использования, значительные ресурсы для преобразования, или ресурсы, которые невозможно восстановить)
Юридическая 
оценка
Проверить, содержит ли документ конфиденциальную информацию или информацию, разглашающую личности отдельных людей, не нарушает ли авторское право (незаконное использование, копирование и распространение произведения); требуется ли разрешение правообладателя на весь документ или его части (в том числе для видео- и аудиоконтента). Необходимо проверять временные рамки для авторского права на произведения и патенты 
    
    Разработка иерархии критериев при оценке и выборе данных – процесс сложный и неоднозначный. Часто возникает ситуация, когда документ соответствует приоритетному критерию подлинности, но не проходит по критерию полноты (текст в нём не читается или утрачен). В этом случае на длительное хранение направляется более качественная копия после проверки наличия подписей и печатей. Таким образом, выбор данных происходит на основе: а) значимости критериев; 
б) оценки документов. 
    В литературе, рассматривающей оценку документов, предназначенных для хранения, нам встретились различные принципы ранжирования критериев [14]. На практике чаще всего используются три основные методики [15, 16]:
    метод одиночного критерия: каждому из критериев на основе субъективной оценки присваивается балл, а затем выводится средний балл для отдельного критерия; 
    метод парного сравнения: сравниваются два критерия и определяется приоритетный по мнению респондента [17]; следует заметить, что данный метод может быть использован для сравнения таких сложных категорий, как качество изображений и видео [18];
    метод экспертных суждений [19]: незаменим при анализе сложных проблем или оценке новых технологий, для которых не установлены контрольные показатели или отсутствуют объективные данные; выводы делаются путём объединения экспертных суждений как совокупности количественных оценок.
    Очевидно, что нельзя принимать решение по единому критерию, отсюда сложность создания их иерархии. Приоритетность часто зависит от специфики библиотек [20]: для исторических библиотек важны критерии подлинности, времени и места создания, позволяющие оценивать документ как свидетельство о существенных событиях [21]; для национальных библиотек в первую очередь ценны документы, представляющие интерес для фольклористов, языковедов, краеведов [22, 23], для традиционных библиотек – документы, обладающие научной и художественной ценностью, уникальностью, сохранностью издания [24], а для научных библиотек первостепенными являются научная значимость и потенциальное использование [25]. 
3.  Критерии для включения данных в базу
    Итак, документы прошли первичный отбор и были определены на хранение. Они существенно различаются по типу данных (экспериментальные, данные наблюдений, вторичные, справочные, коллекции, изображения, видео, программное обеспечение для визуализации специфических данных или создания моделей, патенты и др.), по уровню внутренней организации (обработанные, необработанные, вспомогательные), по происхождению (результат исследования, побочный продукт исследования, рабочий процесс и др.). Более того, собранные данные относятся к разным технологическим периодам, а, следовательно, отличаются форматом. Анализ данных для включения в базу хранения требует совокупного учёта критериев, обеспечивающего не только сохранность информации, но и её целостность, безопасность и эффективность дальнейшего использования (табл. 3).
Таблица 3 
Критерии для включения данных в базу хранения
Критерии
для отбора
Область проверки
Законность и конфиденциальность 
Проверить соблюдение правовых норм и защиту личных данных при сборе, хранении и обработке; ограничения или требования по сохранению и будущему доступу. Возможно, следует получить явное конкретное и добровольное согласие пользователя на сбор и обработку материалов или своих данных
Окончание таблицы 3 
Критерии
для отбора
Область проверки
Качество данных
Данные должны быть точными и полными, проверяться на ошибки и наличие опечаток, неверных значений, дублирования и др.
Технологическая 
осуществимость
Проверить формат на соответствие техническим критериям уровня обслуживания долгосрочного архива и программному обеспечению для доступа и просмотра; при возникновении технологических проблем следует использовать записи, содержащие похожую документацию или другой формат
Полнота данных 
Все необходимые поля данных должны быть заполнены, недостающие данные могут привести к неполному анализу или неправильным выводам
Согласованность
Данные должны быть согласованы между собой, если они хранятся в таблицах, таблицы должны быть везде одинаковыми 
Достоверность
Данные должны соответствовать определённым правилам или форматам, например, даты – в правильном формате, а числовые значения – в допустимом диапазоне
Уникальность
Каждая запись должна быть уникальной во избежание дублирования данных, что может быть достигнуто с помощью уникальных идентификаторов
Соблюдение норм 
и стандартов
Данные должны соответствовать регуляторным требованиям, таким как GDPR, HIPAA и др., что может повлечь необходимость их хранения в определённых условиях
Происхождение
Предусмотреть возможность отследить происхождение данных, чтобы понять, откуда они были получены и как обработаны (ссылки на данные будут большим показателем их ценности, 
чем цитаты)
Производительность
Организация данных должна обеспечить высокую производительность при выполнении запросов и операций
Удобство 
использования
Данные важно сохранять в формате, позволяющем другим использовать его без затрат или других ограничений; необходимо проверить, достаточно ли метаданных и документации для того, чтобы набор данных можно было легко использовать и понимать вне его исходного контекста
    
    Важнейшими критериями отбора данных на включение в базу являются законность, конфиденциальность, соблюдение норм и стандартов. Только после установления соответствия этим критериям документы могут быть оценены на полноту, качество, уникальность и др. 
    На практике приём данных реализуется в виде пакетов (например, ETL), эффективных с точки зрения масштабирования, сохранности и точного анализа, потока (например, Apache Kafka, Spark Streaming, Elasticsearch и др.), способного анализировать большие данные в реальном времени, либо гибридов (например, Apache Flink. Lambda, Kappa), сочетающих обе парадигмы в одном решении. Выбор технологии приёма данных зависит от их типов и объёмов, совместимости с установленными системами и наличием квалифицированной поддержки.
    Основными задачами, связанными с автоматизированным приёмом данных, являются их очистка, интеграция, синхронизация, проверка дублирования и пропущенных значений. 
    В литературе, кроме упомянутых, нам встретились такие критерии, как удобство использования набора данных, полнота метаданных, организация доступа, шифрование данных, производительность базы, масштабируемость, резервное копирование и др., которые мы сознательно не рассматриваем, так как считаем, что эти критерии описывают организацию хранения, а не оценку данных.
    Чтобы раскрыть потенциальные проблемы, вытекающие из процесса отбора и оценки данных, необходимо участвовать в практических экспериментах. Хочется сказать несколько слов о затруднениях, возникших перед сотрудниками нашей библиотеки на этапе анализа/отбора цифровой информации для организации её на хранение, и возможных путях их решения:
    1.  Определение круга ядерных изданий по тематике по таким показателям, как репутация издания, цитирование и др., – обычная работа библиографа или сотрудника информационно-аналитического отдела. Однако сегодня появилась масса онлайн-изданий, срок жизни которых не позволяет сделать выводы о цитируемости, импакт-факторе или репутации ресурса. Возможное решение – библиометрический анализ авторов из таких изданий, поиск и привлечение экспертов для оценки наличия принципиально новых направлений. 
    2.  Отбор видео- и аудиоформатов требует оборудования и специальной подготовки для определения качества изображения и звука, совместимости с устройствами, эффективности сжатия и иных характеристик. Возможное решение – применение метода парного сравнения.
    
3.  Один из самых сложных вопросов – оценка потенциального использования. Данные, которые могут быть неактуальны для первоначальной цели, станут ценными для исторического исследования или статистического анализа. Возможное решение – сохранение данных, по которым нет однозначного вывода, путём архивирования.
    4.  Собранные данные становятся менее актуальными из-за эволюции современных систем, прекращения поддержки, изменения требований пользователей, физической совместимости с оборудованием и др. Возможное решение – конвертация данных из устаревших форматов (миграция) и сохранение в открытых форматах (PDF, CSV, XML, JSON), менее подверженных устареванию по сравнению с проприетарными форматами уже на стадии организации данных на хранение.
    5.  Идентификация похожей информации из различных источников и выявление повторяемости части информации в других требует значительных усилий на очистку и подготовку данных для анализа (разбивка текста на токены, удаление стоп-слов и др.). Возможные решения – применение методов машинного анализа (косинусное сходство и TF-IDF) – для текстов; кластеризация и корреляционный анализ для численных данных; свёрточные нейронные сети и методы хеширования (pHash или dHash) для быстрого сравнения изображений; динамическое временное выравнивание (DTW) и автокорреляция – для выявления повторяющихся паттернов в данных.
    6.  Оценка данных наблюдений является сложной задачей, поскольку они состоят из первичных и вторичных данных, каждые из которых, в свою очередь, включают совокупность необработанных и обработанных данных. Возможное решение: для вторичных данных сохранять только обработанные варианты, для первичных – всю информацию. 
Выводы
    Данные на хранение в научной библиотеке принимаются только после тщательного анализа по совокупности критериев. Если подтверждена их научная или историческая ценность (данные, имеющие отношение к приоритетным исследованиям, национальные коллекции, данные высокого спроса), они поступают на хранение, как бы трудозатратна ни была их обработка. Напротив, если данные «не прошли» по критерию ценности, они, скорее всего, не будут оцениваться и по таким критериям, как потребности пользователей, аналитическая ценность, удобство, доступность и др. Таким образом, основным критерием является научная или историческая ценность, затем следует юридическая оценка, остальные критерии вспомогательные и, как правило, применяются совокупно (см. рисунок). 

Поэтапная работа с критериями по отбору данных, 
предназначенных на хранение
    Работа по отбору и анализу данных с использованием изложенных критериев проводится в БЕН РАН. На сегодняшний день имеется два типа данных:
    1. Данные, соответствующие разработанным критериям и отобранные для долгосрочного хранения. Собранные из авторитетных источников и соответствующие критериям оценки, они имеют долгосрочный потенциал хранения и вторичного анализа. 
    2. Необработанные данные (шумные, неполные данные, промежуточные результаты исследований, ранние резервные копии и др.) после обработки направят на длительное хранение или удалят. 
    Приём данных требует планирования и организации, задействуя время, людей, оборудование, инфраструктуру, технологии для анализа. И это только на начальном этапе, до организации хранения и предоставления доступа к данным. Так, сортировка входящего потока с гетерогенными данными различных размеров, типов и форматов пока не осуществляется без участия сотрудников с привлечением программных инструментов; для обработки шумных и неполных данных на помощь сотрудникам всё чаще приходят методы машинного обучения и интеллектуального анализа; а такие сложные процессы, как обработка динамических данных, требующие глобального пересчёта каждый раз, когда одна из входных схем модифицируется, могут осуществляться только с использованием технологий с высокой пропускной способностью.
    Организацию хранения данных в течение длительного времени следует рассматривать ещё по одному критерию – экономической эффективности. Увеличение объёма данных потребует дополнительных затрат на более мощное оборудование, программное обеспечение, обслуживание и управление, смену выбранных технологий и поставщиков услуг. 
    Технологии хранения данных быстро развиваются и систематический анализ затрат поможет определить, насколько жизнеспособно текущее решение. Хочется надеяться, что хорошо продуманные и организованные приём, оценка и анализ данных на начальном этапе помогут съэкономить деньги библиотеки за счёт дальнейшей автоматизации дорогостоящих и трудоёмких процессов.
