
Cite: Smirnov A. A. The problems of national and foreign web-archiving in libraries. Web-archiving as a functional area / A. A. Smirnov // Scientific and technical libraries. 2022. No. 12. P. 104–123. https://doi.org/10.33186/1027-3689-2022-12-104-123

Acknowledgements: the author thanks and expresses profound gratitude to his thesis adviser Tatiana V. Zakharchuk, Dr. Sc. in Pedagogy, Professor of St. Petersburg State Institute of Culture, and Irina V. Eidemiller, Head of Collection Studies Sector of the Research and Instruction Department of the National Library of Russia, for their advice and insightful comments on this article. 

  
    Международный консорциум по архивированию Интернета (IIPC) определяет веб-архивирование как совокупность процессов сбора частей Всемирной паутины, сохранения коллекций в архивном формате и последующего предоставления архивов для доступа и использования [1]. В сфере мирового регулирования подобного рода процессов 
на данный момент используется международный стандарт 
ISO 14721:2012 (Space data and information transfer systems – Open archival information system (OAIS) – Reference model). Этот стандарт регулярно пересматривается и обновляется. Согласно техническому отчёту ISO/TR 14873:2013, веб-архивирование относится к действиям по выбору, сбору, хранению и управлению доступом к исполняемым копиям интернет-ресурсов за определённый промежуток времени [2].
    В зависимости от масштаба и цели сбора различают два основных способа веб-архивирования: систематический сплошной автоматический сбор и архивирование (харвестинг) и избирательное архивирование (глубокий, или выборочный харвестинг). Харвестинг национального домена предназначен для получения содержательно-структурной копии всего домена (или его части). Данный подход характерен для национальных библиотек Ирландии, Хорватии, Финляндии, Австралии, Канады, Китая, Бельгии, Германии, Израиля и других стран. 
    Для проведения харвестинга, как правило, используется открытое программное обеспечение. Наиболее распространённым в национальных библиотеках и других организациях, занимающихся веб-архивированием, является открытое ПО Heritrix (табл. 3). Веб-краулер компании IA Heritrix делает «моментальный снимок» (англ. snapshot) или копию сайта (файл в формате WARC). Данный файл может содержать контент всех уровней: от сайта целиком, как комплексного документа, связанного гипертекстовыми отношениями, до отдельных объектов, размещённых на нём. Масштаб сбора доменов делает невозможным проведение любой экспертной оценки, которая является распространённым методом обеспечения качества при выборочном харвестинге. 
    Выборочный харвестинг выполняется в гораздо меньших масштабах, он более целенаправлен. Отбор производится исходя из определённых критериев: в центре внимания может быть событие, имеющее особое социально-культурное или историческое значение для страны, тема, персоналия, материалы одного формата (например, аудио-, видеофайлы), или в основе – соглашение с владельцами контента. Ключевое различие между двумя стратегиями заключается в уровне контроля качества, когда собранные веб-сайты оцениваются на предмет соответствия заранее определённым стандартам.
    В зависимости от стратегической важности, имеющихся средств, а иногда и требований законодательства, были предприняты разнообразные подходы к архивированию интернет-ресурсов: от записи отдельных веб-страниц до копирования целых доменов верхнего уровня. 
    Основная цель веб-архивирования состоит в том, чтобы навсегда сохранить записи об Интернете, максимально приближенные к их первоначальной форме, для различных научных, исследовательских, образовательных, профессиональных и других целей.

Стандартизация и координация процессов 
создания веб-архивов
    За рубежом в большинстве случаев веб-архивирование национального домена осуществляется по единым международным стандартам с использованием открытого программного обеспечения Heritrix в WARC-формате. С организационной точки зрения процессы находятся на разных уровнях зрелости. В то время как в одних структурах веб-архивирование стало обычным делом, другие только составили экспериментальные программы для изучения темы.
    Ежегодно Международный консорциум сохранения Интернета проводит конференцию Web Archiving Conference (WAC), на которой звучат доклады по разработке технологий для общего и избирательного веб-архивирования, а также по проблемам национального законодательства по авторскому праву в цифровой среде. 
    Среди основных проблем, которые стоят перед национальными библиотеками, формирующими веб-архивы, на первом месте стоит сложность согласования копирования и сохранения данных с правообладателями. По данным консорциума, частные организации предпочитают не отвечать на запросы библиотек о копировании интернет-ресурсов [3].
    К наиболее известным организациям, занимающимся большими объёмами архивируемых веб-данных, относится некоммерческая организация Internet Archive (Архив Интернета), основанная в 1996 г. Одноимённый проект аккумулирует копии веб-страниц, графические материалы, видео-, аудиозаписи и программное обеспечение, гарантируя долгосрочное архивирование собранного материала и бесплатный доступ к своим БД для широкой публики. Размер архива на 2019 г. – более 45 петабайт; еженедельно добавляется около 20 терабайт. Основной веб-сервис архива – The Wayback Machine. Содержание веб-страниц фиксируется с определённым временны́м промежутком c помощью бота. Таким образом, можно посмотреть, как выглядела та или иная страница раньше, даже если она больше не существует по старому адресу [Там же].
    
Учреждения, занимающиеся веб-архивированием, рассматривают его как продолжение миссии по сохранению национального культурного наследия. В национальных библиотеках разработки в области веб-архивирования ведутся с 1994 г., начиная с пилотного проекта ЕРРР (Electronic Publication Pilot Project) Национальной библиотеки Канады. 
    С 1996 г. веб-ресурсы входят в состав объектов обязательного экземпляра многих стран. Особенно активно этот процесс стал развиваться в последние десятилетия (2000–2020 гг.). 
    В качестве обязательного экземпляра могут выступать: веб-сайты, отдельные страницы и объекты, размещённые на страницах веб-сайтов (изображения, электронные тексты, мультимедиаматериалы и другие виды контента).
    Одной из первых стран, в которых обязательный экземпляр был распространён на все цифровые материалы, в том числе интернет-ресурсы открытого доступа, включая блоги, вики и пр., была Новая Зеландия. В соответствии с принятым в 2003 г. законом Национальная библиотека Новой Зеландии получила право на сбор и сохранение всех электронных публикаций и интернет-ресурсов страны. Это позволило основать Национальный архив цифрового наследия (NDHA) для обеспечения бессрочного хранения цифровой информации о Новой Зеландии (табл. 1).
    Национальная стратегия, которая лежит в основе NDHA, не делает различий между контентом, созданным авторизованными организациями, и контентом, созданным гражданами. Хранящиеся в NDHA цифровые материалы поступают в НБ из четырёх источников: обязательные экземпляры, интернет-поиск, безвозмездно предоставленные и оцифрованные материалы [4]. Подобные законодательные инициативы в области внедрения принципа обязательного экземпляра в веб-среду были реализованы также в Великобритании, Германии, Норвегии, Австралии, Литве, Эстонии, Японии и других странах (табл. 2).
    


Таблица 2
Международные стандарты и другие документы 
по веб-архивированию
Название
Описание
Электронный адрес
ISO 14721:2012 «Системы передачи данных и информации о космическом пространстве. Открытая архивная информационная система. Эталонная модель» (Space data and information transfer systems – Open archival information system (OAIS) – Reference model)
В данном стандарте отражены основные аспекты архивирования Больших данных, разработаны наиболее часто используемые открытые стандарты метаданных: Дублинское ядро, EAD, METS, словарь метаданных для обеспечения долговременного архивного хранения электронных документов – PREMIS (он специально разработан для описания событий/действий с документом в 
течение архивного хранения). 
Вторая редакция стандарта доступна как «сиреневая книга» CCSDS 650.0-M-2 Reference Model for an Open Archival Information 
System (OAIS), см. https://public.ccsds.org/
pubs/650x0m2.pdf 
ISO 16363:2012 
Audit and certification of trustworthy digital repositories (TDR)
Устанавливает исчерпывающие показатели того, что должен делать архив, на основе OAIS. 
Доступен как «сиреневая книга»: https://public.ccsds.org/
pubs/652x0m1.pdf 
ISO 28500:2017 Information and documentation – WARC file format
В данном стандарте отражены области применения формата WARC, рассмотрены способы дедупликации файлов в электронных архивах, возможности сохранения метаданных, протоколы сжатия файлов и т. д. 
https://www.iso.org/
standard/68004.html
ISO/TR 14873:2013(en) Information and documentation – Statistics and quality issues for web archiving
Этот технический отчёт определяет статистику, условия и критерии качества для веб-архивирования. Он учитывает потребности и практику широкого круга организаций, таких как библиотеки, архивы, музеи, исследовательские центры и фонды наследия. 
https://www.iso.org/
standard/55211.html
    

Окончание таблицы 2
Название
Описание
Электронный адрес
ISO 16919:2014
Space data and information transfer systems – Requirements for bodies providing audit and certification of candidate trustworthy digital repositories
Стандарт предназначен в первую очередь для тех, кто создаёт организацию, выполняющую аудит и сертификацию цифровых репозиториев, и управляет ею. Он также должен быть полезен для тех, кто работает с цифровыми репозиториями и стремится объективно измерить надёжность своего репозитория.
Доступен как «сиреневая книга»: https://public.ccsds.org/
Pubs/652x1m2.pdf

    
    Обязательный экземпляр электронного документа позволяет Британской национальной библиотеке реализовать концепцию «голоса поколения», в рамках которой производится сбор электронного наследия гражданского общества. В сотрудничестве с пятью крупнейшими библиотеками Соединённого Королевства Британская библиотека собирает сайты национального домена и является полноправным членом Всемирного консорциума сохранения Интернета, участвуя в международных проектах по веб-архивированию [5].
    Следует особо отметить опыт Национальной библиотеки Австралии. Сегодня она собирает и сохраняет для долгосрочного доступа Австралийский веб-архив, доступный через национальный портал Trove. Коллекция создаётся за счёт выборочного глубокого харвестинга (проект PANDORA), харвестинга веб-сайтов правительства Австралии (AGWA) и ежегодного харвестинга всего домена au.
    Согласно исследованию Архива Интернета, национальные библиотеки предпочитают самостоятельно заниматься веб-архивированием. Создание веб-архивов интегрируется в библиотечную практику формирования фондов. Бюджетные сокращения и нехватка ресурсов, которые наблюдались во многих учреждениях, затрудняют разработку необходимых инструментов для веб-архивирования.



    
Участники исследования отмечают пробелы в содержании веб-архивов. Национальные библиотеки желают сохранять ту часть социальных сетей, которая принадлежит соответствующему национальному домену. Они также хотели бы использовать веб-архивирование в качестве дополнительного инструмента для сбора таких цифровых объектов в Интернете, как электронные книги, электронные журналы, музыка и карты.
    Несмотря на то, что национальные веб-архивы в целом мало используются из-за ограничений доступа, многие национальные библиотеки хотят поддерживать использование своих веб-архивов в научных целях, взаимодействуя с учёными для понимания их требований и, в конечном итоге, встраивая коллекции веб-архивов в исследовательский процесс.
    Национальные библиотеки прибегают к сотрудничеству с Архивом Интернета для формирования коллекций веб-документов. Ряд национальных библиотек выразил потребность в использовании ПО организации, включая обслуживание, поддержку и новые функции. Среди них, например, Национальная библиотека Ирландии, селективные веб-коллекции которой можно найти на портале Archive-it.org [6].
    Одним из проектов Internet Archive является Community Webs, который позволил региональным библиотекам сохранить более 50 терабайт материалов о культурном наследии в Интернете, документирующих жизнь местных жителей, общественных объединений разных видов. Также были созданы открытые образовательные ресурсы, относящиеся к веб-архивированию, цифровому хранению, архивированию сообществ и развитию коллекций. Участники исследовали новые формы партнёрства на местном уровне с помощью государственных программ и краудсорсинга, а их цифровые коллекции использовались учёными и другими специалистами [7].
Проблемы сбора веб-документов 
    Осуществляя проекты веб-архивирования, национальные библиотеки столкнулись с тем, что при сплошном харвестинге национальных доменов образуются огромные массивы информации, которые плохо поддаются качественному контролю, управлению и обработке. Для обеспечения сохранности таких массивов требуются большие финансовые вложения. 
    По сведениям Консорциума сохранения Интернета, среди основных трудностей данного процесса выделяется проблема сохранения больших объёмов информации, которая к тому же может со временем исчезать с действующего сетевого адреса или перемещаться на более глубокий уровень веба. При использовании краулера Heritrix возникают проблемы качественного охвата архивных файлов веб-документов, содержащих такие элементы, как: 
    динамически масштабируемые изображения, тексты и карты;
    загружаемые файлы мультимедиа, требующие нажатия кнопки «Воспроизвести»;
    меню навигации;
    пагинация на основе JavaScript [8].
    
    Поскольку указанные элементы сегодня являются непременными атрибутами как сайтов и веб-порталов, так и соцсетей, архивирование которых представляет собой одну из приоритетных задач, то разрабатываются и применяются новые технологии и программы архивирования данных Сети. Среди них технология Brozzler, разработанная в Архиве Интернета, которая полагается на реальный веб-браузер для взаимодействия с веб-контентом до того, как этот контент будет проиндексирован и заархивирован в файлы WARC, а также использует youtube-dl для расширения возможностей захвата мультимедиа (по состоянию на январь 2020 г. и Brozzler, и стандартные обходы используют youtube-dl).
    Можно также встретить упоминания набирающего популярность процесса web-packaging, который направлен на пакетное архивирование сетевых объектов для последующего хранения и передачи этих данных. Среди преимуществ, которые пакетное архивирование может дать веб-архивированию, выделяют эффективное сканирование, точное воспроизведение и неотчуждаемый характер электронной копии [9].
    Таким образом, продолжаются разработки в области программного обеспечения для формирования веб-архивов, поиска и обработки файлов. При создании новых программных продуктов учитываются такие запросы, как исключение дублирования файлов, включение в архив многоуровневых веб-документов, индексирование содержимого архива и др. (табл. 3).
Таблица 3
Программные средства для веб-архивирования
Название
Разработчики
Описание
Формат 
файла
Источник
Heritrix
Архив 
Интернета, 
США
Heritrix – это поисковый робот, разработанный для веб-архивирования. 
Он доступен по лицензии бесплатного программного обеспечения и написан на Java. 
WARC
https://github.
com/
internetarchive/heritrix3 
Open Wayback
Лорен Ко, 
Университет Северного 
Техаса
OpenWayback – это ключевое программное обеспечение, которое веб-архивы по всему миру используют для «воспроизведения» заархивированных веб-сайтов в браузере пользователя. 
ARC 
или WARC
https://
netpreserve.
org
Apache Solr
Apache 
Software Foundation
Solr – платформа полнотекстового поиска с открытым исходным кодом, основанная на проекте Apache Lucene. Её основные возможности: полнотекстовый поиск, подсветка результатов, фасетный поиск, динамическая кластеризация, интеграция с БД, обработка документов со сложным форматом. 
–
https://lucene.apache.org/
solr/ 
Web Curator Tool
Национальная библиотека Новой Зеландии, Британская библиотека
Web Curator Tool (WCT) – это приложение для управления рабочим процессом с открытым исходным кодом для выборочного веб-архивирования. Приложение интегрировано с краулером Heritrix и поддерживает ключевые процессы, такие как харвестинг, проверка качества и сбор описательных метаданных [20].
WARC
http://
webcuratortool.org/ 
Продолжение таблицы 3
Название
Разработчики
Описание
Формат 
файла
Источник
Netarchive
Suite 
Разрабатывается и поддерживается Королевской датской библиотекой 
(ранее – Королевской библиотекой 
Копенгагена и Государственной и университетской библиотекой Орхуса) 
NetarchiveSuite – это полный пакет программного обеспечения для веб-архивирования, разработанный в 2004 г. и используемый в производственной среде для сбора данных из датской сети с 2005 г. Основная функция NetarchiveSuite – планировать, составлять график и запускать сбор данных сети Интернет. Он масштабируется для решения широкого круга задач, от небольших 
WARC
https://
github.com/
netarchivesuite

вместе с национальными библиотеками Франции, Австрии (ONB), Испании (BNE) и Швеции 
(KBSE)
тематических сборов (например, связанных со специальными событиями или специальными доменами) до сбора и архивирования контента всего национального домена. NetarchiveSuite построен на базе поискового робота Heritrix.


HTTrack
Xavier Roche & other 
contributors
HTTrack – кроссплатформенный офлайн-браузер в открытом доступе. Позволяет загружать веб-сайты из Интернета на локальный компьютер [24].
HTML
http://www.
httrack.com/ 
Rosetta
Proquest, ExLibris
Rosetta – это комплексная система для управления цифровыми активами и их хранения для библиотек, архивов, музеев и других учреждений [25].
–
https://
exlibrisgroup.
com/products/
rosetta-
digital-asset-management-and-preservation/


Окончание таблицы 3
Название
Разработчики
Описание
Формат 
файла
Источник
WARCrefs
Библиотека Александрины
Инструмент дедупликации содержимого веб-архивов Библиотеки Александрины. 
WARC
https://github.
com/arcalex/
warcrefs/blob/master/
README.md
IPFS
Protocol Labs при содействии open-source-сообщества
IPFS – это одноранговая распределённая файловая система, которая использует содержимое файла в качестве адреса для поиска.
–
https://
ipfs.io/
Umbra

Umbra – это инструмент автоматизации браузера, разработанный для службы веб-архивирования https://archive-it.org/.
–
https://
github.com/
internetarchive/umbra
    
Отечественное веб-архивирование: 
состояние и перспективы развития
    Особое внимание ресурсам, связанным с историей и развитием России, уделяет Президентская библиотека, работы по веб-архивированию в которой начались в 2017 г. При выборе ресурсов для веб-архивирования в первую очередь рассматривались приоритетные для библиотеки темы: история российской государственности и права и русский язык как государственный язык Российской Федерации. Поэтому для сохранения были выбраны сайты органов государственной власти. Сегодня на периодической основе Президентская библиотека архивирует такие ресурсы, как официальный сайт Президента России kremlin.ru и официальный сайт Правительства России government.ru. Стоит отметить, что новая архивная копия создаётся каждый день, это даёт возможность увидеть, как сайт менялся с течением времени [11].
    С проектом сбора данных национального домена в единый электронный архив выступает автономная некоммерческая организация «Информационная культура» при поддержке международных стандартов и использовании открытого программного обеспечения Heritrix в формате WARC. Размещённый на домене .org Национальный цифровой архив России на данный момент содержит БД «Консервированное государство», посвящённую аккаунтам в соцсетях, связанным с деятельностью органов государственной власти и её представителей.
    В базе также содержатся все версии сайтов госучреждений РФ. Следующая часть данного проекта – «Специальные коллекции» – по версии разработчиков, должна будет содержать различные тематические коллекции, связанные с событиями, людьми, организациями и явлениями, не подпадающими под критерии основных проектов цифрового архива. Помимо этого, согласно сайту архива, предлагается сбор данных по исторической, религиозной и другим областям знаний [12].
    Специалистами РНБ Н. М. Балацкой и М. Б. Мартиросовой был исследован зарубежный опыт формирования национальных веб-архивов (в национальных библиотеках) и доступных краеведческих веб-архивов публичных и университетских библиотек. Были рассмотрены проблемы определения и формализации критериев отбора документов, создания методики отбора документов и описательных метаданных для файлов. При отборе ресурса для веб-архивирования был предложен индуктивный подход, при котором основной ценностью является документ, входящий в состав данного ресурса [13].
Выводы
    Наиболее актуальными проблемами, с которыми сталкиваются зарубежные библиотеки при формировании веб-архивов, являются интеграция процессов веб-архивирования в общую среду формирования фонда, вопросы авторского права при копировании материалов и технические аспекты фиксации сложных для копирования объектов. 
В качестве комплексного решения библиотеки либо обращаются к глобальным службам веб-архивирования (Internet Archive), либо сужают область формирования веб-архивов до небольших тематических коллекций. 
    Среди проектов зарубежных библиотек в этой области преобладает тенденция к сохранению «голоса эпохи»: стремление зафиксировать для фонда цифровое наследие в виде записей различных социальных групп и отдельных личностей, объединённых хронологическими или тематическими рамками. Данная тенденция нашла отражение в концепции веб-архивирования Британской национальной библиотеки, краеведческом проекте Community Webs, коллекциях национальных библиотек Ирландии и Австралии.
    В России такого рода деятельность находится на начальной стадии разработки и сегодня в большей степени направлена на сохранение сегментов Интернета, связанных с государственной властью. 
Правительственные сайты являются общественным достоянием, поэтому копирование и архивация данного вида ресурсов, а также веб-страниц органов власти и отдельных её представителей могут производиться без заключения дополнительных соглашений. 
    Тем не менее отдельных нормативно-правовых актов, регламентирующих вопросы авторского права при веб-архивировании веб-сайтов, в современном отечественном законодательстве не обнаружено. Создание тематических коллекций и микроархивов возможно при соблюдении международных норм и стандартов цифрового копирования и предоставления доступа на условиях, согласованных с правообладателем. Согласно данным Консорциума по веб-архивированию, руководство крупнейших зарубежных библиотек, формирующих собственные веб-архивы, сталкивается с проблемой получения обратной связи от правообладателей при запросе разрешения на сбор, обработку и хранение данных, представленных в Сети. 
    Наиболее безопасной с правовой точки зрения является загрузка материалов, предоставляемых по лицензиям Creative Commons CC BY, CC BY-SA и CC0. Самой оптимальной для веб-архивирования является последняя лицензия, поскольку переводит произведение в режим, аналогичный общественному достоянию. В рамках краеведческой деятельности актуальным является опыт иностранных коллег по сохранению цифрового наследия жителей региона. Для реализации проектов в РНБ рекомендуется включение в профиль комплектования отдельной главы по методике отбора документов для селективного веб-архивирования с отражением критериев отбора документов. 

