   
Постановка задачи
    Систематический обзор, т. е. такая разновидность аналитического обзора научной литературы, которая характеризуется особой строгой методикой подготовки и направленностью на принятие правильного решения [1], – это достаточно распространённый вид библиографически-ориентированного исследования в социальных науках, биологии и медицине [2]. Актуальность этого жанра связана, прежде всего, со сложностью объекта изучения соответствующих наук, не предполагающего возможности установления простых и универсальных закономерностей в рамках небольшого количества экспериментов, а также важностью учёта всей возможной полноты информации при анализе проблем, представляющих непосредственное значение для жизни и здоровья людей [3].
    Использование систематических обзоров как основания для принятия решений означает, что они проектируются авторами и воспринимаются пользователями в качестве доказательных исследований [4], т. е. таких, результаты которых являются убедительными аргументами в пользу некоторой позиции.
    Особую важность доказательная функция систематических обзоров имеет в прикладных областях, таких как принятие решений – медицинских [5], экономических [6], политических [7] и управленческих [8–10]; юстиция и криминология [11–13]. Более того, по многим вопросам в этих областях систематические обзоры считаются лучшими возможными доказательствами [14. P. 151; 15. P 36; 16. P 7; 17]. Научная востребованность систематических обзоров как инструментов доказательства видна и при анализе потока публикаций. Так, поиск только по заголовкам в открытой БД научных публикаций Google Академия (https://scholar.google.com) возвращает 258 результатов по строгому запросу «evidence from a systematic review», а при расширении области до всего текста результат достигает 8 750 книг и статей.
    Но на чём основывается доказательная сила метода систематических обзоров? Сам этот вопрос и ответ него в обширной литературе на соответствующую тему, как правило, остаются в тени. Многочисленные руководства по систематическим обзорам перечисляют их преимущества, такие как использование всей полноты множества независимых источников, учёт разных условий получения результатов и акцент на их воспроизводимости [18. Р. 1; 19], но сам метод предполагается интуитивно ясным и аналогичным любой другой научной деятельности [20. Р. 9, 10] либо же просто основанным на «позитивистской модели науки» [21]. Поэтому внимание на его предпосылках и фоновых предположениях не акцентируется. В настоящей статье предлагаются вариант описания этих предположений и следующие из него выводы относительно методических требований к систематическим обзорам.
Предположения о системе научной коммуникации, 
лежащие в основе систематических обзоров
    Начнём с рассмотрения сугубо формальной специфики тех позиций, которые могут быть доказаны с помощью систематического обзора. Если, в известной мере упрощённо, но вполне правомерно, под «позициями» понимать просто высказывания, то, строго говоря, высказывания, доказываемые любым систематическим обзором, должны относиться к содержанию научной коммуникации. Если составитель обзора не принимал непосредственного участия в проведении всех обобщаемых им исследований, это означает, что он должен полагаться практически только на опубликованную о них информацию. Следовательно, первым выделяемым эпистемологическим предположением могут быть названы «полнота и адекватность отражения научного знания в публикациях». 
    Действительно, если допустить, что результаты исследований описываются со значительными систематическими искажениями или существенная часть их не публикуется, то обзорное обобщение такого рода исследований будет давать заведомо не соответствующую действительности картину, и считать его доказательным будет нельзя. 
    Вторым важным предположением выступает разграничение научной и ненаучной коммуникации. Рассмотрим случай «Общества плоской Земли» – социального движения в развитых странах, по крайней мере часть членов которого, как это ни удивительно, искренне убеждены в том, что Земля имеет форму диска, а все доказательства её шарообразности сфабрикованы в интересах некоего глобального заговора [22].
     Очевидно, систематический обзор современной научной литературы покажет, что высказывание «Земля на самом деле имеет форму диска» не поддерживается ни одним исследованием. Однако если расширить область анализа и включить в него не только современную научную литературу, но и претендующую на научность литературу, выпускаемую «Обществом плоской Земли», то выводы обзора будут заключаться в том, что некоторые результаты исследований свидетельствуют о плоской форме Земли. 
    Тот факт, что второй подход включает большее количество более разнообразных источников, а по умолчанию практикуется первый, очевидно, связан с существованием фоновых предположений о природе научного знания и особенностях его распределения, определяющих границы систематических обзоров и направляющих фокус внимания исследователей в определённую сторону – к академически признанным источникам. Именно в них, а не просто в любых публикациях должны находиться те высказывания, которые подлежат обобщению в качестве фактов научного знания.
    Однако единодушие в академически признанных источниках существует только по сравнительно простым и давно решённым вопросам. В большинстве же случаев исследователи будут выражать разные позиции. В качестве примера апелляции к ним рассмотрим дискуссию о международных действиях по борьбе с глобальным потеплением. 
    В рамках выполнения Парижского соглашения об изменении климата предлагаются радикальные и масштабные меры, такие как сокращение до нуля к 2050 г. всех, не связанных с сельским хозяйством, выбросов в атмосферу углекислого газа [23. Р. 705–708]. А сама необходимость Парижского соглашения обычно обосновывается существующим научным консенсусом относительно угрозы и антропогенного характера глобального потепления [24]. Действительно, если «наука доказала», что человеческая деятельность приводит к глобальному потеплению и, как следствие, к глобальным катастрофам, то для предотвращения этих катастроф необходимо изменять параметры человеческой деятельности на более безопасные. 
    Безоговорочное принятие этой логики ведёт к приравниванию позиций отрицания глобального потепления и теории плоской Земли как одинаково псевдонаучных взглядов [25, 26]. Однако оппоненты указывают на то, что научный консенсус в этой области преувеличен [27]. И тогда попытки объявить псевдонаукой критику экологического алармизма выглядят как политическая цензура науки в стиле Лысенко [28]. Фактические же данные о публикациях показывают, что, с одной стороны, в 1991–2011 гг. в 97% научных статей по климатологии, затронувших вопрос глобального потепления, выражалось согласие с тем, что оно существует и носит антропогенный характер, но, с другой стороны, в тот же период в 118 статьях 168 разных авторов ставилось под сомнение либо само существование глобального потепления, либо его связь с человеческой деятельностью [29].
     Таким образом, эмпирический анализ соответствующей дисциплины, в отличие от риторических фигур, демонстрирует, что в ней действительно существует очень большое, близкое к консенсусу, преобладание одной из позиций. Но при этом противоположная точка зрения также встречается систематически, что всё же ставит под сомнение тезис о достижении полного научного консенсуса. По крайней мере, он точно не относится к тому же уровню согласия, что имеется по вопросу о форме Земли. 
    Этот пример демонстрирует соответствующее ослабление и усиление линий научной и даже политической аргументации, в зависимости от выводов, к которым приходят систематические обзоры. Но что же наделяет их возможностью усиливать или ослаблять доказательность высказываний? 
    Ответ на этот вопрос состоит, прежде всего, в социальной природе научного знания. Уровень, которого оно достигло, никогда не может быть полностью проверен одним человеком. Даже в таких сравнительно простых вопросах, как форма Земли, лишь единицы имели возможность непосредственно и надёжно удостовериться в правильности научной точки зрения с использованием собственных органов чувств. Остальные миллиарды людей, убеждённых в сферичности нашей планеты, фактически вынуждены полагаться на слова других людей и доверять научному сообществу, т. е. принимать предположение о том, что последнее достаточно эффективно осуществляет систематический поиск и распространение истины. 
    Эти ожидания соответствуют классическому образу науки как института, направляемого организованным скептицизмом, который суть «подвешивание суждения до тех пор, пока “на руках не окажутся факты”, и отстранённое исследование мнений, внушающих веру, под углом зрения эмпирических и логических критериев» [30. С. 780]. 
    Наконец, убеждённость в самой возможности осуществления систематического обзора состояния научной проблемы опирается на предположение о том, что научная коммуникация содержит достаточно полные и регулярно используемые дескрипторы, позволяющие упорядочивать и фильтровать огромный массив публикаций. Согласно руководствам по систематическим обзорам, к таким дескрипторам относится в первую очередь библиографическая информация [31. Р. 50, 51; 32], что предполагает принятие модели библиографии как свёрнутого научного знания [33].
    Итак, современная практика систематических обзоров, по-видимому, опирается на систему предположений, согласно которым научная коммуникация является репрезентативным, чётко очерченным и легко поддающимся анализу отражением эффективного процесса поиска и распространения истины. Приближение к ней характеризуется повышением уровня согласия исследователей, а достижение – полным научным консенсусом. Из этого описания ясно, почему определённое на основе систематического обзора состояние научного знания может служить фактом, отправной точкой, посылкой в дальнейших рассуждениях практически по любому вопросу. Посылкой, разумеется, не стопроцентно достоверной, так как история знает примеры коллективных заблуждений, в том числе среди учёных. Но достаточно сильной для того, чтобы выступать доказательным элементом аргументации.
Методические следствия 
эпистемологических предположений 
для анализа научной коммуникации
    Описанный выше «мысленный образ» научной коммуникации, лежащий в основе практики систематических обзоров, обусловливает вполне определённый порядок действий при их подготовке. Не претендуя на полное его изложение, очертим последовательность критически важных шагов. Она, естественно, начинается с определения задачи обзора, но эта задача формулируется в достаточно жёстких рамках выбора квантифицируемых показателей. Ожидаемым итогом систематического обзора всегда оказывается некоторая статистика – либо прямые количественные индикаторы, такие как вероятность определённых эффектов, либо, по крайней мере, характеристики преобладания и разброса научных результатов, даже если речь идёт о результатах «качественных» исследований [19, 20, 32]. Эта методическая особенность объясняется тем, что систематический обзор, будучи формализованным описанием процесса поиска истины, оказывается фактически процедурой измерения в строгом смысле этого слова как перевода эмпирической системы отношений в числовую [34. С. 38].
    Следующий критически важный шаг – установление границ обзора, точное описание формальных признаков тех исследований, которые должны в него попасть. Рассмотрение систематического обзора как репрезентативного отражения научного процесса позволяет исчерпывающе объяснить функцию этих границ. Очевидно, что для достижения репрезентативности наблюдений некоторой совокупности необходимо, прежде всего, добиться того, чтобы выборка была не смещённой относительно этой совокупности, т. е. установить взаимно однозначное соответствие между теоретической моделью измеряемого научного процесса и его эмпирическими проявлениями в потоке публикаций. Описание признаков отбора и есть процедура установления такого соответствия.
    За определением границ генеральной совокупности следует сбор информации. Обычное намерение авторов систематических обзоров – анализ полного списка публикаций, попадающих под критерии отбора. Выборочное наблюдение публикаций при соблюдении некоторых условий может быть представительным [35], но максимальную репрезентативность обзора гарантирует сплошное наблюдение. Однако оно требует надёжной идентификации подходящих под критерии отбора исследований, что может быть непростой задачей, эффективно решаемой лишь комбинацией методов библиографического поиска [36].
    После получения репрезентативной совокупности публикаций следует критически важный этап – обобщение. Простейшей формой является подсчёт голосов – представление исследований по принципу «за» и «против» определённой научной позиции. По его результатам можно установить одно из четырёх возможных состояний поддержки научной позиции: её отсутствие, единичная встречаемость, систематическая встречаемость, преобладание и позитивный консенсус. Проиллюстрируем их на приведённых примерах.
     Если обзор современной научной литературы показывает, что высказывание «Земля на самом деле имеет форму диска» не поддерживается никем из исследователей, значит, данная позиция в науке отсутствует. Научный консенсус по этому высказыванию будет прямо противоположным: «Земля имеет форму сфероида». Если расширить область анализа и включить в него всю печатную коммуникацию, то в результатах обзора будет преобладать позиция «Земля имеет форму сфероида», но встретится и тезис о плоской Земле. Так как речь идёт о социальном движении, эта встречаемость оказывается систематической: мы можем найти теорию плоской Земли в текстах различных авторов в разное время. А вот высказывание «Земля имеет форму восьмёрки» если и встречается, то в единичных случаях.
    Хотя в той или иной форме подсчёт голосов имплицитно используется практически в любом систематическом обзоре, он не всегда даёт лучшие результаты [37]. Это следует из приведённого примера. Если мы хотим понять, насколько обоснована позиция «Земля имеет форму сфероида», то равноправное рассмотрение научных и ненаучных источников даст нам искажённую картину. Но тот же принцип применим и к источникам сугубо научным. Так, исследования о причинно-следственных связях между социальными явлениями могут быть корреляционными и экспериментальными. Первые дают гораздо менее убедительные доказательства существования причинно-следственных связей, так как корреляции практически всегда можно дать альтернативное объяснение.
     Допустим, мы имеем десять опросов, которые показывают, что существует связь между ранней занятостью подростков и курением. 
И одно рандомизированное экспериментальное исследование, в котором продемонстрировано, что такой связи нет. Все корреляции, обнаруженные в опросах, можно объяснить наличием «третьей переменной», например, социальным положением семей работающих подростков при большей распространённости курения среди нижних социальных слоёв. Если формирование вредных привычек связано не с самим фактом ранней занятости, а с вредными привычками родителей, то у тех подростков, которые вынуждены работать, может быть просто более высокий процент курящих родителей. Тогда ложная корреляция между занятостью и курением будет обнаружена в опросах, но не в рандомизированном эксперименте. Простой подсчёт голосов в этом случае даст нам искажённую картину.
     Таким образом, важным методическим следствием неравноправия публикаций выступает необходимость придать разный вес их результатам в зависимости от качества полученных доказательств.
    
Заключение
    Анализ неявных эпистемологических допущений, лежащих в основе современной практики систематических обзоров научной литературы, показал, что они формируют образ научной коммуникации 
(и прежде всего – периодики) как репрезентативного, чётко очерченного и достаточно легко анализируемого отражения эффективного процесса поиска и распространения истины, приближение к которой характеризуется повышением уровня согласия исследователей.
    Принятие этих допущений позволяет вывести необходимые элементы методики систематических обзоров, которые включают в себя: постановку задачи получения квантифицированных (по крайней мере, до уровня преобладания и разброса мнений) результатов; критерии отбора, обеспечивающие взаимно однозначное соответствие между моделью исследуемого процесса научного поиска и совокупностью публикаций; репрезентативное (как правило, сплошное) наблюдение релевантных публикаций и формулирование выводов с учётом сравнительной доказательной силы исследований и достигнутого уровня консенсуса. Соответствие систематических обзоров этим методическим требованиям превращает их в мощный инструмент доказательства в социальных науках, биологии и медицине.
