Оценка воздействия государственных программ поддержки ведущих вузов на публикационную активность российских университетов тема диссертации и автореферата по ВАК РФ 08.00.01, кандидат наук Матвеева Наталия Николаевна

• Матвеева Наталия Николаевна
• кандидат наук
• 2022

Оглавление диссертации кандидат наук Матвеева Наталия Николаевна

Введение

Степень разработанности научной проблемы в литературе

Цель и задачи исследования

Структура работы и методы исследования

Основные результаты

Научная новизна

Теоретическая и практическая значимость работы

Апробация результатов исследования

Список литературы

Приложение А. Статья «Библиометрический анализ взаимодействия ученых в российских вузах: кооперация vs индивидуальная продуктивность»

Приложение Б. Статья «Публикационная активность вузов: эффект проекта «5-100»»

Приложение В. Статья «The effect of Russian University Excellence Initiative on publications and collaboration patterns»

Приложение Г. Статья «Scientific collaboration in Russian universities before and after the excellence initiative Project 5 -100»

Работа выполнена в Институте институциональных исследований федерального государственного автономного образовательного учреждения высшего образования «Национальный исследовательский университет «Высшая школа экономики» (ИНИИ НИУ ВШЭ).

Публикации, выносимые на защиту:

I. Matveeva N., Sterligov I., Yudkevich M. The effect of Russian University Excellence Initiative on publications and collaboration patterns // Journal of Informetrics. 2021. Vol. 15. No. 1. Article

II. Matveeva N., Ferligoj A. Scientific collaboration in Russian universities before and after the excellence initiative Project 5-100 // Scientometrics. 2020. Vol. 124. No. 3. P

Iii. Матвеева Н.Н. Библиометрический анализ взаимодействия ученых в российских вузах: кооперация vs индивидуальная продуктивность // Университетское управление: практика и анализ. 2020. Т. 24. №. 2. С

IV. Польдин О.В., Матвеева Н.Н., Стерлигов И.А., Юдкевич М.М. Публикационная активность вузов: эффект проекта «5-100» // Вопросы образования. 2017. № 2. С

Введение диссертации (часть автореферата) на тему «Оценка воздействия государственных программ поддержки ведущих вузов на публикационную активность российских университетов»

Введение

Производство новых знаний и технологий наряду с социальным капиталом, эффективной институциональной средой и международным сотрудничеством является ключевым элементом экономического развития (Romer 1993; Kisman & Tasar 2014; Van den Berg 2016). В то же время, взаимосвязь между развитием науки и экономическим развитием не одинакова для разных стран и научных областей (Romer 1993; Pinto & Teixeira 2020; Jacob & Lefgren 2011; Hatemi-J et al. 2016). Наблюдаемые между странами различия оставляют открытыми вопросы о механизмах, влияющих на научную деятельность, а также моделях организации науки.

В условиях перехода к экономике знаний и всеобщей глобализации человеческий капитал приобретает особую роль. Университеты и преподаватели - организации и акторы, которые вовлечены в производство знаний, становятся ключевыми элементами в системе современных экономических процессов. Университеты помогают странам создавать глобально конкурентоспособную экономику, путем развития квалифицированной рабочей силы, а также способствуют созданию, применению и распространению новых идей и технологий (Bercovitz & Feldman 2006; Salmi 2016). Помимо социальной и культурной роли университетов, которая заключается в повышении социальных и культурных ценностей общества (e Silva et al. 2012), исследователи отмечают экономическую роль университетов как источника роста человеческого капитала и производства новых знаний (Kisman &Tasar 2014). В этой связи, поддержка и развитие университетской среды является важной государственной задачей во многих странах. В последнее десятилетие в разных странах и регионах реализуются программы по повышению конкурентоспособности университетов - программы превосходства.

Государственные программы поддержки ведущих университетов являются примером мер государственной политики в сфере науки и образования. Исследование актуально как часть направления эмпирических оценок

результативности и эффективности государственных программ. Насколько выбранный дизайн программы является успешным в конкретной институциональной среде, насколько удаётся достичь поставленных задач, как измеряется их достижение, какие дополнительные положительные и негативные эффекты возникают при реализации программы - наиболее острые вопросы при выборе и реализации мер государственной поддержки вузов. В условиях российской исследовательской системы оценка эффекта государственной программы поддержки ведущих университетов становится особенно актуальной ввиду реализуемой в последние годы задачи превращения ряда вузов в исследовательские центры.

Степень разработки научной проблемы в литературе

Как отмечалось выше, реализуемые в разных странах программы превосходства имеют схожие цели - повысить конкурентоспособность национальных университетов. Отличительными особенностями являются: институциональная среда, в которой реализуются программы, дизайн, объем и условия выделения ресурсов, а также способы оценки результатов. Наблюдаемыми характеристиками институциональной среды являются размер исследовательской системы страны и наличие научных организаций помимо университетов. К примеру, небольшие страны сталкиваются с практически непреодолимыми проблемами в стремление развивать ведущие мировые университеты из-за дефицита человеческого капитала в своей стране и невозможности привлечения ведущих исследователей из-за границы (см. подробнее Sheil 2010). В то же время, наличие в стране академических структур, таких как Академия наук в России и Общество Макса Планка в Германии, способствует росту научного взаимодействия между университетами и академическими структурами ^и^ЫШ & Jungblut 2017; Matveeva, SterHgov & Yudkevich 2021) и, как следствие, мобильности человеческого капитала внутри страны.

Дизайн программ превосходства различается набором ключевых показателей и порядком выделения финансирования. Ключевыми ориентирами программ превосходства могут быть: непосредственное стимулирование исследовательской деятельности в университетах (Zhang, Patton & Kenney 2013; Turko et al. 2016; Fu et al. 2018), создание новых исследовательских центров (Shin 2009), привлечение талантливых аспирантов и студентов (Zhang, Patton & Kenney 2013; Agasisti et al. 2020), а также интенсификация взаимодействия с научными центрами внутри страны (Moller 2016) и с зарубежными коллегами (Yonezawa & Shimmi 2015). При этом порядок выделения финансирования может быть различным, в том числе ежегодным по результатам мониторинга ключевых показателей (Matveeva, Sterligov & Yudkevich 2021) и единовременным в один или два этапа (Shin 2009; Zong & Zhang 2019).

Программы превосходства имеют конкретно заявленные цели и ожидаемые результаты, например: рост количества публикаций в определенных журналах, вхождение в международный рейтинг, увеличение количества иностранных студентов и другие. Публикационная активность является ключевым показателем многих программ превосходства (Shin 2009; Zhang et al. 2013; Turko et al. 2016; Fu et al. 2018), поскольку позволяет в короткие сроки получить достаточно объективную картину научной продуктивности исследуемых единиц. В работах, посвященных анализу эффекта программ превосходства, результаты программ рассматриваются значительно шире заявленных в целях, поскольку программы оказывают комплексное влияние на всю научную сферу (Salmi 2016; Matveeva, Sterligov & Yudkevich 2021).

Публикационный выпуск является наиболее просто наблюдаемым результатом программы. Эффект программ превосходства на количество публикаций участвующих вузов рассматривается в работах, посвященных анализу Китайской программы - «Проект 985» (Zhang et al. 2013), Южнокорейской - «Проект 21» (Shin 2009), Тайваньской (Fu et al. 2018) и

Российской - «Проект 5-100» программ (Turko et al. 2016, Agasisti et al. 2020). Кроме этого, исследователи задаются вопросом, как изменилось качество публикационного выпуска у университетов-участников (Например, Немецкой (Civera et al. 2020) и Тайваньской программ превосходства (Fu et al. 2018)). Стоит отметить, что качество публикаций также может измеряться по-разному.

Результаты программ превосходства могут выражаться не только в формальном росте публикационных индикаторов. Опыт первых программ показывает, что создание университетов мирового уровня требует не только целевых финансовых вложений для повышения публикационной активности, но и реорганизации внутренней структуры университетов (Jungblut & Jungblut 2017; Agasisti et al. 2020), в том числе, паттернов научного взаимодействия. Научное взаимодействие помогает в решении сложных задач, способствует росту компетенции ученых, дает возможность получить доступ к новому оборудованию, и, тем самым, увеличивает научную продуктивность (Medoff 2003; Abramo et al. 2017). Учитывая положительные эффекты взаимодействия, дизайн некоторых программ превосходства предусматривает развитие внутристранового (Möller et al. 2016; Lindvig & Hillersdal 2019) и международного взаимодействия (Yonezawa & Shimmi 2015).

Через механизмы взаимодействия и перераспределения ресурсов программы превосходства в той или иной степени оказывают влияние не только на университеты-участники, но и на другие образовательные и исследовательские организации страны. В работах (Zong & Zhang 2019; Yonezawa & Shimmi 2015; Lovakov et al. 2021) отмечается рост разрыва между участвующими и не участвующими университетами после запуска программ превосходства.

Оценка эффективности реализации программ превосходства также зависит от используемых методов оценивания. К примеру, в работах (Zhang et al. 2013)

и (Zong & Zhang 2019) используются разные методы оценки эффекта китайской программы превосходства, поэтому результаты также несколько отличаются. Как правило, для оценки эффектов воздействия программ применяются: анализ динамики основных показателей во времени (Yonezawa & Shimmi 2015; Turko et al. 2016), их количественная оценка с помощью регрессионного анализа (Shin 2009; Zhang et al. 2013; Fu et al. 2018) и методов сопоставления - Propensity score matching (Agasisti et al. 2020), а также анализ результатов опроса сотрудников университетов (Jungblut & Jungblut 2017).

Отличием российской программы, исследуемой в диссертационной работе, от аналогичных зарубежных программ является ее реализация в научной системе, где наряду с университетами существуют институты РАН. В сложившейся системе, когда долгие годы университетский сектор не являлся основным центром производства научного знания, университетам требуется реформирование организационной системы, чтобы она лучше соответствовала исследовательским целям. Кроме этого, дизайн «Проекта 5100» предполагает краткосрочный характер контроля над результатами и финансированием.

В последние годы появился ряд работ, посвященных оценке российской программы превосходства. Исследователи анализируют воздействие программы на научную деятельность университетов-участников. В этих работах показано, что уже в первые годы реализации «Проекта 5-100» вузы-участники демонстрируют рост числа публикаций (в том числе высокоцитируемых), рассчитанный без учета количества сотрудников в университетах (Turko et al. 2016; Guskov et al. 2018). Выполнение ключевых показателей стимулирует как университеты в целом, так и отдельных ученых менять свои поведенческие стратегии в сторону увеличения числа публикаций. В этих условиях научное взаимодействие является ресурсом, который способствует повышению научной продуктивности (Abramo,

D'Angelo & Murgia 2017). В работе (Guskov е: а1. 2018) отмечается, что участие в «Проекте 5-100» способствовало росту числа совместных публикаций вузов-участников с институтами РАН, а также росту количества конференций, в которых сотрудники университетов принимают участие.

Помимо внешних поведенческих стратегий участие в программе стимулирует университеты менять внутреннюю среду, чтобы она также соответствовала новым исследовательским задач. Так, программа оказала положительный эффект на производительность и эффективность университетов, посчитанную с учетом числа публикаций, средних баллов вступительных экзаменов, количества студентов и расходов на НИОКР (Agasisti et а1. 2020). В то же время, российская программа превосходства оказала значимый эффект на не участвующие в программе университеты, увеличился разрыв между участвующими и не участвующими в программе университетами (Lovakov е: а1. 2021).

Работы оставляют открытыми вопросы количественной оценки эффекта «Проекта 5-100» в сравнении с другими университетами, не участвующими в программе, но имеющими похожие публикационные характеристики (контрольная группа). Также остаются открытыми вопросы воздействия «Проекта 5-100» на различные типы публикаций университетов-участников и динамику взаимодействия с другими организациями. Кроме этого, в предыдущих исследованиях не анализируется схожесть паттернов взаимодействия участвующие и не участвующих в программе университетов до и после запуска программы.

В нашей работе воздействие российской программы превосходства на публикационную активность университетов-участников оценивается в течение трех лет после запуска программы. Величина эффекта программы оцениваются с учетом факторов, потенциально влияющих на количество публикаций: учитывается индивидуальная публикационная динамика отдельных вузов, финансирование и количество сотрудников, работающих в

университетах. Кроме этого, мы исследуем, как меняется доля публикаций в высоко- и низкокачественных журналах с ростом публикационного выпуска вузов, а также анализируем вклад других организаций в растущий публикационный выпуск университетов-участников. Особое внимание уделяется исследованию паттернов взаимодействия университетов-участников с другими российскими и зарубежными научными организациями. Научное взаимодействие анализируется на уровне организаций и отдельных авторов в публикациях различных дисциплин и журнальных квартилей. Кроме этого, с помощью анализа сетей соавторства мы анализируем структуру научного взаимодействия участвующих и не участвующих в программе университетов до и после запуска программы.

Цель и задачи исследования

Целью диссертационного исследования является оценка воздействия российской программы поддержки ведущих вузов на научную продуктивность и взаимодействие университетов.

Задачи:

1. Проанализировать динамику публикационной активности и паттерны научного взаимодействия российских университетов до и после запуска российской программы поддержки ведущих вузов;

2. На примере «Проекта 5-100» оценить эффект программы на научную продуктивность университетов - участников в разные годы участия;

3. Проанализировать воздействие «Проекта 5-100» на различные типы публикаций университетов и тенденцию к научному сотрудничеству;

4. Исследовать влияние российской программы поддержки ведущих вузов на структуру научного взаимодействия университетов-участников.

Структура работы и методы исследования

Диссертационное исследование состоит из четырех статей. В первой работе (Матвеева 2020) было изучено, как меняется публикационная активность и паттерны научного взаимодействия 30 российских университетов в условиях проведения реформ. Была проанализирована динамика публикационного выпуска в различных качественных сегментах и научных областях. Поскольку научное взаимодействие является ресурсом ученых и организаций, который может быть использован при производстве публикационного выпуска, работа включает исследование динамики научного взаимодействия университетов на уровне организаций и отдельных авторов.

Во второй работе (Польдин и др. 2017) исследуется, какой эффект оказала российская программа поддержки ведущих вузов на публикационную активность университетов-участников в сравнении с не участвующими в программе университетами. Приводятся количественные оценки воздействия программы на публикационный выпуск университетов с учетом численности сотрудников и данных о финансировании. Работа опубликована в журнале второго квартиля (Scopus).

Третья работа (Matveeva, Sterligov & Yudkevich 2021) посвящена анализу «Проекта 5-100» на различные типы публикаций университетов-участников и их тенденцию к научному взаимодействию. Работа продолжает предыдущее исследование об оценке эффекта проекта. Здесь анализируется не только количественный рост публикационного выпуска, но и воздействие программы на различные типы публикаций: публикации в журналах Q1 и Q4 и работы с больше 10 авторами. Также исследуется, как меняется динамика научного взаимодействия вузов-участников на уровне организаций. Работа опубликована в журнале первого квартиля (Web of Science, Scopus).

Четвертая работа (Matveeva & Ferligoj 2020) посвящена детальному анализу паттернов научного взаимодействия вузов-участников программы в

сравнении с вузами контрольной группы. С помощью анализа аффилиаций, анализируется динамика взаимодействия с российскими и зарубежными организациями в различных научных областях и качественных сегментах. Кроме этого, в работе впервые использованы методы сетевого анализа для анализа структуры взаимодействия университетов. Работа опубликована в журнале первого квартиля (Web of Science, Scopus).

В диссертационном исследовании оценка влияния российской программы превосходства на научную деятельность университетов основана на библиометрических данных о публикациях университетов. Как и для многих зарубежных программ превосходства (см. примеры выше), публикации в рецензируемых журналах являются одним из ключевых показателей «Проекта 5-100». В настоящее время большое количество работ, посвященных исследованию научной деятельности, основано на анализе библиометрических показателей ученых или научных организаций (Ellegaard & Wallin 2015). При формальном подходе весьма проблематично учесть индивидуальные особенности оцениваемых субъектов - исследовательских организаций, ученых и научных областей (Abramo 2017). Однако учет специфики и масштаба научных субъектов при использовании библиометрического подхода позволяет в короткие сроки получить объективную картину деятельности научных единиц из разных регионов и стран (Bornmann & Haunschild 2018).

В диссертации используются данные о публикациях, отнесенные к профилям анализируемых вузов в Web of Science (индексы SCI и SCIE, тип публикаций «статья» и «обзор»). Для исключения ошибок идентификации университетов на языке R нами была написана программа, позволяющая находить соответствие разных вариантов написания университетов и относить их к единому профилю. Квартиль журнала публикации (Q1 и Q4) был определен путем сопоставления выгруженной базы публикаций со списками ISI журналов разных квартилей в каждом году. Кроме этого, были собраны данные о количестве научных сотрудников в каждом университете и объеме

финансирования НИОКР из статистических сборников Министерства образования и науки.

В работе (Матвеева 2020) публикационная активность и научное взаимодействие университетов были проанализированы с помощью методов статистического анализа. Для выборки 30 российских университетов была рассчитана динамика средних и медианных значений числа публикаций различного типа, а также стандартные отклонения анализируемых показателей. Кроме этого, с помощью анализа функции распределения числа публикаций по числу авторов была определена граница многоавторных работ в различных научных дисциплинах.

Эффект российской программы превосходства на публикационную активность участвующих университетов оценивался с помощью регрессионной линейной модели со смешанными эффектами - LME (Verbeke 1997; Pinheiro & Bates 2000; Zhang et al. 2013). Модели со смешанными эффектами состоят из двух частей: фиксированной и случайной. Фиксированная часть отражает оценку коэффициентов регрессии для всех наблюдений, случайная - отклонение отдельных точек от средних значений оценок. Таким образом, модель со смешанными эффектами допускает вариации в индивидуальных публикационных динамиках университетов. Подобная модель также использовалась при оценке воздействия китайской программы (Zhang et al. 2013).

Каждый университет имеет свою собственную публикационную динамику, и наблюдения не являются независимыми, присутствует корреляция во времени (Польдин и др. 2017; Matveeva, Sterligov & Yudkevich 2021). Для оценки эффекта программы была выбрана данная модель, так как она позволяет учесть вариацию индивидуальных публикационных динамик (Verbeke 1997). Кроме этого, независимость ошибок не является критичной для LME моделей (Pinheiro & Bates 2000), структура взаимосвязи ошибок может быть задана перед оценкой (Gelman & Hill 2006). Предпосылками

модели являются: линейная взаимосвязь между зависимой и независимой переменными, нормальность ошибок, независимость ошибок не является критичной в данной модели (Wooldridge 2010). В зависимости от спецификации модели зависимой переменной в нашей модели выступает натуральный логарифм числа публикаций или логарифм числа публикаций на человека; ковариантами являются либо число сотрудников и финансирование, либо финансирование.

Взаимодействие вузов-участников «Проекта 5-100» и контрольной группы исследовалось с помощью анализа аффилиаций и анализа сетей соавторства. В публикационном выпуске университетов исследовалось, как меняется число аффилированных организаций и число авторов, а также среднее количество аффилиаций в работах с 1 -4 авторами. В нашей сети соавторства университеты и научные организации являются узлами, а публикации между ними - связями. В каждый анализируемый год была построена сеть соавторства анализируемых университетов и рассчитаны ее сетевые параметры, характеризующие размер сети и удаленность участников друг от друга (Matveeva & FerHgoj 2020). Было построено два типа сетей соавторства. Первая включает все университеты и организации, упомянутые в публикациях 30 университетов выборки и Российской академии наук. Вторая включает только 30 университетов (вузы-участники и контрольная группа). Обе сети являются невзвешенными и ненормированными. Были рассчитаны: диаметр сети (максимальное расстояние между узлами), среднее расстояние между узлами, плотность (число возможных связей в сети) и центральность по степени (число узлов, с которым каждый узел имеет связь).

Для ответа на вопрос о схожести паттернов взаимодействия университетов-участников, с помощью сетей соавторства была исследована структура взаимодействия российских университетов. В частности, для анализа была использована процедура блокмоделинга. Данная процедура подразумевает

упрощение крупной сети до более простой, на основе схожести узлов сети (Doreian, Batagelj & Ferligoj 2005). Блокмоделинг позволяет выявить группы университетов с похожими паттернами взаимодействия и сгруппировать их в кластеры (Matveeva & Ferligoj 2020). В одном кластере находятся университеты, имеющие похожее количество публикаций с другими организациями. Данная процедура была применена к сети соавторства 30 российских университетов в каждом году. Таким образом, было исследовано изменение структуры взаимодействия российских университетов в период 2010-2016 гг.

Основные результаты

Наблюдаемый в последние годы рост публикационной активности в российских университетах не одинаков для различных научных дисциплин. К примеру, среднее число публикаций в технических науках возросло с 1743 до 6220, в биомедицине с 1332 до 3517, в социальных со 150 до 591 (база данных WoS, индексы SSCI и SCIE, тип публикаций «статья» и «обзор»).

- Российские университеты демонстрируют значительный рост научной кооперации как на уровне авторов, так и на уровне организаций. При этом наблюдается рост «особого типа» взаимодействия между организациями, когда один автор работает в нескольких организациях. Мы также отмечаем, что университеты взаимодействуют по-разному в разных качественных сегментах: в журналах Q1 взаимодействуют чаще, чем в сегменте публикаций Q4. В Q1 анализируемые вузы чаще сотрудничают с зарубежными институтами, в Q4 - с российскими организациями.

- «Проект 5-100» способствовал росту общего числа публикаций вузов-участников и числа публикаций в расчете на одного сотрудника. В 2014 году вузы-участники превзошли общий публикационный тренд (свой и вузов контрольной группы) более чем на 35%, а в 2016 году - более чем на 52%. В 2015 году наблюдался самый заметный эффект - превосходство участвующих университетов над общим трендом составило 57,8%. Значимая

зависимость между численностью сотрудников и количеством публикаций у вузов-участников не обнаружена. Данный результат может быть связан с разнородной динамикой численности сотрудников в анализируемых вузах.

- Величина эффекта российской программы варьируется в зависимости от числа соавторов и квартиля журнала опубликованных работ. Так, для публикаций в журналах первого квартиля величина со временем снижается (37% в 2014 году, 33% в 2015 году, в 2016 г эффект не значим); в журналах четвертого квартиля, наоборот, - растет: 26% в 2014 году, 48% в 2015 году и 49% в 2016 году. Величина эффекта значительно выше для работ с 10 и более авторами: 270% в 2014 году и более 400% в 2016 году.

- После запуска программы изменилось научное взаимодействие вузов-участников программы с другими организациями: с российскими университетами снизилось, с зарубежными институтами и институтами РАН возросло. Кроме этого, запуск проекта способствовал изменению структуры сети соавторства российских вузов. После присоединения к проекту паттерны взаимодействия вузов-участников стали похожи, а у не участвующих вузов не изменились.

Научная новизна

Научная новизна представляемых к защите работ заключается в следующем:

- В рамках диссертационного исследования был предложен комплексный подход к оценке публикационной активности научных организаций, включающий не только анализ динамики числа публикаций, но и анализ типа публикаций и количества аффилированных организаций.

- На выборке российских вузов была предложена методика определения границы многоавторных работ, которая позволяет учесть специфику научного взаимодействия в различных дисциплинах.

- Впервые представлены количественные оценки воздействия российской программы на публикационную активность вузов-участников. Нами

показано, что вузы-участники превзошли не только собственные темпы публикационной активности, но и общий публикационный тренд, рассчитанный с учетом контрольной группы. Это отличает работу от предыдущих исследований, основанных на анализе динамики публикаций вузов-участников.

- В диссертационной работе впервые оценивается воздействие программы превосходства на публикации различного типа: публикации и в журналах Q1, в журналах Q4 и публикации с больше 10 авторами. Показано, что величина эффекта выше для работ в журналах более низкого качества.

- Мы показываем, что одновременно с ростом публикационной активности у участников программы наблюдается рост научного взаимодействия, в том числе особого типа взаимодействия - когда один автор работает в нескольких организациях одновременно.

- В диссертационном исследовании впервые проведен анализ паттернов взаимодействия вузов-участников программы с другими организациями в разных дисциплинах и качественных сегментах.

- На основе анализа сетей соавторства впервые показано, что государственная поддержка ведущих вузов способствует изменению структуры их научного взаимодействия с другими организациями. Данный метод позволил выявить похожесть паттернов взаимодействия вузов-участников: после запуска программу вузы-участники стали взаимодействовать с другими российскими университетами не по принципу географической близости, а принципу участия в программе.

Список литературы диссертационного исследования кандидат наук Матвеева Наталия Николаевна, 2022 год

Список литературы

1. Zuccala A. Modeling the invisible college // Journal of the American Society for information Science and Technology.

40

2006. Vol. 57, no. 2. P. 152-168. URL: https://doi.org/10.1002/ asi.20256 (дата обращения: 25.04.2020).

2. Influence of the program «5-top 100» on the publication activity of Russian universities / T. Turko, G. Bakhturin, V. Bagan [et al.] // Scientometrics. 2016. Vol. 109, no. 2. P. 769782. URL: https://doi.org/10.1007/s11192-016-2060-9 (дата обращения: 25.04.2020).

3. Matveeva N., Sterligov I., Yudkevich M. The Russian University Excellence Initiative: Is It Really Excellence that Is Promoted? // Higher School of Economics Research Paper No. WP BRP. 2019. Vol. 49. P. 3-35. URL: https://doi.org/10.2139/ ssrn.3391182 (дата обращения: 25.04.2020).

4. Guskov A. E., Kosyakov D. V., Selivanova I. V. Boosting research productivity in top Russian universities: the circumstances of breakthrough // Scientometrics. 2018. Vol. 117, no. 2. P. 1053-1080. URL: https://doi.org/10.1007/ s11192-018-2890-8 (дата обращения: 25.04.2020).

5. Glänzel W., Schubert A. Analysing scientific networks through co-authorship // Handbook of quantitative science and technology research. Springer, Dordrecht, 2004. P. 257276. URL: https://doi.org/10.1007/1-4020-2755-9_12 (дата обращения: 25.04.2020).

6. Wuchty S., Jones B. F., Uzzi B. The increasing dominance of teams in production of knowledge // Science. 2007. Vol. 316, no. 5827. P. 1036-1039. URL: https://doi.org/10.1126/ science.1136099 (дата обращения: 25.04.2020).

7. Sonnenwald D. H. Scientific collaboration // Annual review of information science and technology. 2007. Vol. 41, no. 1. P. 643-681. URL: https://doi.org/10.1002/ aris.2007.1440410121 (дата обращения: 25.04.2020).

8. The new production of knowledge: The dynamics of science and research in contemporary societies / M. Gibbons (Ed.). Sage, 1994. 171 p. URL: https://doi. org/10.2307/2076669 (дата обращения: 25.04.2020).

9. Clark B. Y., Llorens J.J. Investments in scientific research: Examining the funding threshold effects on scientific collaboration and variation by academic discipline // Policy Studies Journal. 2012. Vol. 40, no. 4. P. 698-729. URL: https:// doi.org/10.1111/j.1541-0072.2012.00470.x (дата обращения: 25.04.2020).

10. Kronegger L., Ferligoj A., Doreian P. On the dynamics of national scientific systems // Quality & Quantity. 2011. Vol. 45, no. 5. P. 989-1015. URL: https://doi.org/10.1007/ s11135-011-9484-3 (дата обращения: 25.04.2020).

11. Cummings J. N., Kiesler S. Coordination costs and project outcomes in multi-university collaborations // Research Policy. 2007. Vol. 36, no. 10. P. 1620-1634. URL: https://doi. org/10.1016/j.respol.2007.09.001 (дата обращения: 25.04.2020).

12. Endersby J. W. Collaborative research in the social sciences: Multiple authorship and publication credit // Social Science Quarterly. 1996. Vol. 77. P. 375-392. URL: https://doi. org/10.1016/j.respol.2007.09.001 (дата обращения: 25.04.2020).

13. Bikard M., Murray F., Gans J. S. Exploring tradeoffs in the organization of scientific work: Collaboration and scientific reward // Management science. 2015. Vol. 61, no. 7. P. 1473-1495. URL: https://doi.org/10.1287/ mnsc.2014.2052 (дата обращения: 25.04.2020).

14. Rawlings C. M.. , McFarland D. A. Influence flows in the academy: Using affiliation networks to assess peer effects among researchers // Social Science Research. 2011.

Vol. 40, no. 3. P. 1001-1017. URL: https://doi.org/10.1287/mn-sc.2014.2052 (дата обращения: 25.04.2020).

15. Associating co-authorship patterns with publications in high-impact journals / M. Bales, D. Dine, J. Merrill [et al.] // Journal of biomedical informatics. 2014. Vol. 52. P. 311318. URL: https://doi.org/10.1016/jJbi.2014.07.015 (дата обращения: 25.04.2020).

16. Ni P., An X. Relationship between international collaboration papers and their citations from an economic perspective // Scientometrics. 2018. Vol. 116, no. 2. P. 863-877. URL: https://doi.org/10.1007/s11192-018-2784-9 (дата обращения: 25.04.2020).

17. Abramo G., D'Angelo C. A. How do you define and measure research productivity? // Scientometrics. 2014. Vol. 101, no. 2. P. 1129-1144. URL: https://doi.org/10.1007/ s11192-014-1269-8 (дата обращения: 25.04.2020).

18. Adams J. D. Fundamental stocks of knowledge and productivity growth // Journal of political economy. 1990. Vol. 98, no. 4. P. 673-702. URL: https://doi.org/10.1086/261702 (дата обращения: 25.04.2020).

19. Leahey E. From sole investigator to team scientist: Trends in the practice and study of research collaboration // Annual review of sociology. 2016. Vol. 42. P. 81-100. URL: https://doi.org/10.1146/annurev-soc-081715-074219 (дата обращения: 25.04.2020).

20. Артамонова Ю.Д., Демчук А. Л. Развитие академической мобильности в вузах России и ФГОС // Высшее образование в России. 2012. № 12. С. 3-14.

21. Ivanov V. V., Markusova V. A., Mindeli L. E. Government investments and the publishing activity of higher educational institutions: Bibliometric analysis // Herald of the Russian Academy of Sciences. 2016. Vol. 86, no. 4. P. 314321. URL: https://doi.org/10.1134/s1019331616040031 (дата обращения: 25.04.2020).

22. Mazov N. A., Gureev V. N. Bibliometric analysis of the flow of publications by Novosibirsk State University in collaboration with the RAS Siberian Branch // Herald of the Russian Academy of Sciences. 2017. Vol. 87, no. 5. P. 445453. URL: https://doi.org/10.1134/s1019331617050057 (дата обращения: 25.04.2020).

23. Pislyakov V., Shukshina E. Measuring excellence in Russia: Highly cited papers, leading institutions, patterns of national and international collaboration // Journal of the Association for Information Science and Technology. 2014. Vol. 65, no. 11. P. 2321-2330. URL: https://doi.org/10.1002/ asi.23093 (дата обращения: 25.04.2020).

24. Mongeon P., Paul-Hus A. The journal coverage of Web of Science and Scopus: a comparative analysis // Scientometrics. 2016. Vol. 106, no. 1. P. 213-228. URL: https://doi.org/10.1007/ s11192-015-1765-5 (дата обращения: 25.04.2020).

25. Miranda R., Garcia-Carpintero E. Comparison of the share of documents and citations from different quartile journals in 25 research areas // Scientometrics. 2019. Vol. 121, no. 1. P. 479-501. URL: https://doi.org/10.1007/s11192-019-03210-z (дата обращения: 25.04.2020).

26. Sanfilippo P., Hewitt A. W., Mackey D. A. Plurality in multi-disciplinary research: multiple institutional affiliations are associated with increased citations // PeerJ. 2018. Vol. 6. P. 56-64. URL: https://doi.org/10.7717/peerj.5664 (дата обращения: 25.04.2020).

References

1. Zuccala A. Modeling the invisible college. Journal of the American Society for information Science and Technology,

2006, vol. 57, no. 2, pp. 152-168. URL: https://doi.org/10.1002/ asi.20256 (accessed 25.04.2020). (In Eng.).

2. Turko T. et al. Influence of the program «5-top 100» on the publication activity of Russian universities. Scientometrics, 2016, vol. 109, no. 2, pp. 769-782. URL: https://doi.org/10.1007/s11192-016-2060-9 (accessed 25.04.2020). (In Eng.).

3. Matveeva N., Sterligov I., Yudkevich M. The Russian University Excellence Initiative: Is It Really Excellence that Is Promoted? Higher School of Economics Research Paper No. WP BRP, 2019, vol. 49, pp. 3-35. URL: https://doi.org/10.2139/ ssrn.3391182 (accessed 25.04.2020). (In Eng.).

4. Guskov A. E., Kosyakov D. V., Selivanova I. V. Boosting research productivity in top Russian universities: the circumstances of breakthrough. Scientometrics, 2018, vol. 117, no. 2, pp. 1053-1080. URL: https://doi.org/10.1007/ s11192-018-2890-8 (accessed 25.04.2020). (In Eng.).

5. Glanzel W., Schubert A. Analysing scientific networks through co-authorship. Handbook of quantitative science and technology research. Springer, Dordrecht, 2004, pp. 257-276. URL: https://doi.org/10.1007/1-4020-2755-9_12 (accessed 25.04.2020). (In Eng.).

6. Wuchty S., Jones B. F., Uzzi B. The increasing dominance of teams in production of knowledge. Science,

2007, vol. 316, no. 5827, pp. 1036-1039. URL: https://doi. org/10.1126/science. 1136099 (accessed 25.04.2020). (In Eng.).

7. Sonnenwald D. H. Scientific collaboration. Annual review of information science and technology, 2007, vol. 41, no. 1, pp. 643-681. URL: https://doi.org/10.1002/ aris.2007.1440410121 (accessed 25.04.2020). (In Eng.).

8. Gibbons M. (ed.). The new production of knowledge: The dynamics of science and research in contemporary societies. Sage, 1994. URL: https://doi.org/10.2307/2076669 (accessed 25.04.2020). (In Eng.).

9. Clark B. Y., Llorens J. J. Investments in scientific research: Examining the funding threshold effects on scientific collaboration and variation by academic discipline. Policy Studies Journal, 2012, vol. 40, no. 4, pp. 698-729. URL: https://doi.org/10.1111/j.1541-0072.2012.00470.x (accessed 25.04.2020). (In Eng.).

10. Kronegger L., Ferligoj A., Doreian P. On the dynamics of national scientific systems. Quality & Quantity, 2011, vol. 45, no. 5, pp. 989-1015. URL: https://doi.org/10.1007/ s11135-011-9484-3 (accessed 25.04.2020). (In Eng.).

11. Cummings J. N., Kiesler S. Coordination costs and project outcomes in multi-university collaborations. Research Policy, 2007, vol. 36, no. 10, pp. 1620-1634. URL: https://doi.org/10.1016/j.respol.2007.09.001 (accessed 25.04.2020). (In Eng.).

12. Endersby J. W. Collaborative research in the social sciences: Multiple authorship and publication credit. Social Science Quarterly, 1996, vol. 77, pp. 375-392. URL: https://doi.org/10.1016/j.respol.2007.09.001 (accessed 25.04.2020). (In Eng.).

13. Bikard M., Murray F., Gans J. S. Exploring tradeoffs in the organization of scientific work: Collaboration and scientific reward. Management science, 2015, vol. 61,

no. 7, pp. 1473-1495. URL: https://doi.org/10.1287/mn-sc.2014.2052 (accessed 25.04.2020). (In Eng.).

14. Rawlings C. M., McFarland D. A. Influence flows in the academy: Using affiliation networks to assess peer effects among researchers. Social Science Research, 2011, vol. 40, no. 3, pp. 1001-1017. URL: https://doi.org/10.1287/ mnsc.2014.2052 (accessed 25.04.2020). (In Eng.).

15. Bales M. E. et al. Associating co-authorship patterns with publications in high-impact journals. Journal of biomedical informatics, 2014, vol. 52, pp. 311-318. URL: https://doi. org/10.1016/j.jbi.2014.07.015 (accessed 25.04.2020). (In Eng.).

16. Ni P., An X. Relationship between international collaboration papers and their citations from an economic perspective. Scientometrics, 2018, vol. 116, no. 2, pp. 863-877. URL: https://doi.org/10.1007/s11192-018-2784-9 (accessed 25.04.2020). (In Eng.).

17. Abramo G., D'Angelo C. A. How do you define and measure research productivity? Scientometrics, 2014, vol. 101, no. 2, pp. 1129-1144. URL: https://doi.org/10.1007/ s11192-014-1269-8 (accessed 25.04.2020). (In Eng.).

18. Adams J. D. Fundamental stocks of knowledge and productivity growth. Journal of political economy, 1990, vol. 98, no. 4, pp. 673-702. URL: https://doi.org/10.1086/261702 (accessed 25.04.2020). (In Eng.).

19. Leahey E. From sole investigator to team scientist: Trends in the practice and study of research collaboration. Annual review of sociology, 2016, vol. 42, pp. 81-100. URL: https://doi.org/10.1146/annurev-soc-081715-074219 (accessed 25.04.2020). (In Eng.).

20. Artamonova Yu., Demchuk A. Razvitie akademiches-koi mobil'nosti v vuzakh Rossii i FGOS [The development of academic mobility in Russian HEIs and new FSEs]. Vysshee obrazovanie vRossii, 2012, no. 12, pp. 3-14. (In Russ.).

Рукопись поступила в редакцию 25.12.2019 Submitted on 25.12.2019

21. Ivanov V. V., Markusova V. A., Mindeli L. E. Government investments and the publishing activity of higher educational institutions: Bibliometric analysis. Herald of the Russian Academy of Sciences, 2016, vol. 86, no. 4, pp. 314-321. URL: https://doi.org/10.1134/s1019331616040031 (accessed 25.04.2020). (In Eng.).

22. Mazov N. A., Gureev V. N. Bibliometric analysis of the flow of publications by Novosibirsk State University in collaboration with the RAS Siberian Branch. Herald of the Russian Academy of Sciences, 2017, vol. 87, no. 5, pp. 445-453. URL: https://doi.org/10.1134/s1019331617050057 (accessed 25.04.2020). (In Eng.).

23. Pislyakov V., Shukshina E. Measuring excellence in Russia: Highly cited papers, leading institutions, patterns of national and international collaboration. Journal of the Association for Information Science and Technology, 2014, vol. 65, no. 11, pp. 2321-2330. URL: https://doi.org/10.1002/ asi.23093 (accessed 25.04.2020). (In Eng.).

24. Mongeon P., Paul-Hus A. The journal coverage of Web of Science and Scopus: a comparative analysis. Scientometrics, 2016, vol. 106, no. 1, pp. 213-228. URL: https://doi.org/10.1007/s11192-015-1765-5 (accessed 25.04.2020). (In Eng.).

25. Miranda R., Garcia-Carpintero E. Comparison of the share of documents and citations from different quartile journals in 25 research areas. Scientometrics, 2019, vol. 121, no. 1, pp. 479-501. URL: https://doi.org/10.1007/s11192-019-03210-z (accessed 25.04.2020). (In Eng.).

26. Sanfilippo P., Hewitt A. W., Mackey D. A. Plurality in multi-disciplinary research: multiple institutional affiliations are associated with increased citations. Peer J., 2018, vol. 6, pp. 56-64. URL: https://doi.org/10.7717/peerj.5664 (accessed 25.04.2020). (In Eng.).

Принята к публикации 07.04.2020 Accepted on 07.04.2020

Информация об авторе/Information about the author

Матвеева Наталия Николаевна - стажер-исследователь, Институт институциональных исследований Национального исследовательского университета «Высшая школа экономики»; [phone]; [e-mail].

Natalia N. Matveeva - Research Assistant, The Center for Institutional Studies, National Research University «Higher School of Economics»; [phone]; [e-mail].

Приложение Appendix

Процентное распределение по числу авторов общего массива научных публикаций и публикаций в отдельных областях наук

Distribution of the number of publications by the number of authors in particular scientific fields

%

Количество авторов в публикации, абс

Приложение Б.

Статья «Публикационная активность вузов: эффект проекта «5-100»»

Польдин О.В., Матвеева Н.Н., Стерлигов И.А, Юдкевич М.М. Публикационная активность вузов: эффект проекта «5-100» // Вопросы образования. 2017. № 2. С. 10-35.

Разрешение на копирование: Работа размещена в открытом доступе на сайте журнала: https://vo.hse.ru/

Публикационная активность вузов: эффект проекта «5-100»

О. В. Польдин, Н. Н. Матвеева, И. А. Стерлигов, М. М. Юдкевич

Статья поступила Польдин Олег Викторович

в редакцию кандидат физико-математических наук, в январе 2017 г. старший научный сотрудник Международной научно-учебной лаборатории институционального анализа экономических реформ НИУ ВШЭ Матвеева Наталия Николаевна аспирант НИУ ВШЭ, стажер-исследователь Института институциональных исследований НИУ ВШЭ. Адрес: Нижний Новгород, 603155, ул. Б. Печерская, 25/12. E-mail: [e-mail] Стерлигов Иван Андреевич директор Наукометрического центра НИУ ВШЭ. Адрес: Москва, 101000, ул. Мясницкая, 24. E-mail: isterligov@ hse.ru

Юдкевич Мария Марковна

кандидат экономических наук, проректор НИУ ВШЭ, директор Института институциональных исследований НИУ ВШЭ, заведующая Международной научно-учебной лабораторией институционального анализа экономических реформ НИУ ВШЭ. Адрес: Москва, 101000, ул. Мясницкая, 20. E-mail: [e-mail]

Аннотация. В работе оценивается эффект влияния государственной про-

граммы повышения конкурентоспособности российских университетов (Программа «5-100») на публикационную активность вузов. В исследовании используются данные о финансировании, количестве публикаций в Web of Science, численности сотрудников 14 вузов, являющихся участниками Программы «5-100» с 2013 г., и 13 вузов контрольной группы. Регрессионный анализ лонги-тюдных данных с 2010 по 2015 г. показывает, что значимый эффект достигается уже в первые годы реализации программы: на фоне общего тренда усиления публикационной активности российских вузов показатели по публикациям вузов—участников Программы «5-100» растут опережающими темпами. Кроме того, у участвующих в программе вузов после старта программы наблюдается рост числа публикаций на одного сотрудника в высокоцити-руемых журналах.

Ключевые слова: исследовательские университеты, ведущие университеты, исследовательский потенциал университетов, наукометрия, публикационная активность.

DOI: 10.17323/1814-9545-2017-2-10-35

В последние десятилетия ряд стран прилагают усилия по продвижению национальных университетов до уровня мирового класса. В десятилетие с 2005 по 2014 г. в разных странах и регионах реализовано в общей сложности 37 программ по повышению конкурентоспособности университетов, 19 из них—в странах Европы

[Salmi, 2015]. Очевидно, что достижение такого статуса для большого числа национальных университетов невозможно [Coates et al., 2009], поэтому представляется взвешенной стратегия таких стран, как Германия, Франция, Япония, Корея, Китай, Тайвань, которые сосредоточили имеющиеся ресурсы на поддержке ограниченного числа вузов [Shin, Kehm, 2013] или даже отдельных проектов вузов и вузовских партнерств [Moller, Schmidt, Hornbostel, 2016]. При этом финансовые средства обычно распределяются с помощью конкурсных механизмов на основании представляемых вузами проектов развития.

Российская программа поддержки ведущих вузов, стартовавшая в 2013 г, предполагает финансирование программ развития ряда университетов, ежегодно выделяемое на конкурсной основе с учетом достижения промежуточных значений целевых показателей. Публикации в рецензируемых международных журналах и их цитируемость входят в число ключевых показателей, ориентируя вузы на увеличение количества публикаций как в краткосрочной, так и в долгосрочной перспективе.

В какой степени можно говорить о наличии значительных эффектов программы? Как выделить эти эффекты на фоне общего тренда повышения важности научных исследований в российской системе высшего образования, приводящего к росту публикационной активности вузов? Рассмотрению этих вопросов посвящена данная работа.

Анализ реализации Программы «5-100» имеет большую практическую значимость, определяемую существенными по российским меркам объемами финансирования и важностью поставленных стратегических целей. В краткосрочном периоде об эффективности программы можно говорить, оценив, как данный способ поддержки вузов влияет на количество и качество публикаций вузов — участников программы и вузов, не участвующих в данном проекте. В отличие от имеющихся исследований, посвященных анализу эффективности Программы «5-100», в представленной работе используется регрессионный анализ лонгитюдных данных для выделения эффекта Программы «5100» из других факторов, влияющих на публикационную активность вузов, таких как общий объем финансирования (включая гранты разных видов) и количество сотрудников университета.

Статья построена следующим образом. В первой части обсуждается опыт программ поддержки ведущих вузов, осуществлявшихся в разных странах, и рассматриваются работы, содержащие количественные оценки влияния таких программ на публикационную активность университетов. Во второй части представлена эмпирическая модель оценки влияния Программы «5-100» на публикационную активность вузов-участников и описаны ее результаты. В заключительной части содержится обсуждение ограничений данной модели и границ ее примени-

мости, перечисляются открытые вопросы, которые представляют интерес в контексте государственной политики и рассмотрение которых может стать предметом будущих исследований.

1. Государственные программы поддержки ведущих университетов: мировой опыт

Стимулирование национальной системы высшего образования является общемировой практикой, однако не всегда государственные программы, направленные на поддержку высшего образования, приводят к одинаковым результатам.

Корейская государственная программа 2 Project проводилась в 1995-2005 гг. Установлено, что после запуска программы наблюдался рост числа публикаций в Web of Science (WoS), однако такое же увеличение количества публикаций наблюдалось в США и Японии, а рост числа публикаций в данный период в Китае был даже выше, чем в Корее [Shin, 2009]. Анализ влияния китайской государственной программы 985 Project на публикационную активность университетов-участников показал, что после вступления в данную программу в целом наблюдается рост числа публикаций университетов в международных журналах, однако публикационная активность участников программы существенно различается [Zhang, Patton, Kenney, 2013]. Исследование аналогичной немецкой программы German Excellence Initiative [Möller, Schmidt, Hornbostel, 2016] свидетельствует о том, что данная программа не только положительно влияет на количество публикаций высокого уровня, но и способствует взаимодействию университетов с неуниверситетской академической средой.

В 2013 г. программа повышения конкурентоспособности ведущих вузов1 была запущена и в России. В рамках этой программы Министерством образования и науки было отобрано 15 вузов (в конце 2015 г. к ним присоединились еще 6 вузов), перед которыми была выдвинута цель существенно продвинуться в глобальных университетских рейтингах. Поскольку указ президента, подписанный весной 2012 г., ставит задачу «попадания по меньшей мере 5 российских университетов в топ-100 мировых университетских рейтингов», программа получила название «5-100». Для ее реализации в поставленные короткие сроки (предполагается, что вузы должны войти в первую сотню мировых рейтингов уже к 2020 г.) государство выделяет этим вузам дополнительную финансовую поддержку. Эти деньги вузы используют для открытия новых научных центров, наем исследователей на международном рынке труда, создание инфраструктуры и т. д. Из 21 вуза — участника программы 9 находятся в Москве и Санкт-Петербурге.

В настоящее время опубликовано всего несколько работ, содержащих количественные оценки влияния Программы «5-100»

http://5top100.ru

на показатели деятельности вузов—участников программы. Так, в статье Т. Турко с соавторами выявлен положительный эффект Программы«5-100» на публикационную активность вузов [Tur-ko et al., 2016]. Однако данной работе присущ ряд существенных ограничений: не учитывается размер вузов (нет нормировки на количество сотрудников), при этом контрольная группа включает всего пять университетов. Наукометрические данные получены весной 2015 г., т. е. отражают ранний этап проекта «5-100». Кроме того, в отличие от настоящей работы, используемые показатели получены из базы Scopus, индексирующей существенное число потенциально недобросовестных журналов, активно используемых в России и ряде других стран для искусственного увеличения публикационных индикаторов [Sterligov, Savina, 2016].

В работе заместителя президента Российской академии наук В. В. Иванова с соавторами, посвященной вкладу РАН в рост публикационной активности вузов России, используется база Web of Science [Ivanov, Markusova, Mindeli, 2016]. В частности, приводятся сводные данные по динамике доли работ, содержащих одновременно аффилиации РАН и аффилиации вузов первой волны Программы «5-100», в общем числе работ с аффилиациями этих вузов (о кооперации вузов и институтов РАН в период до начала действия программы см. [Pislyakov, Shukshina, 2014]).

Таким образом, российская Программа «5-100» является важным примером внедрения и реализации государственной политики в сфере высшего образования, и анализ ее результатов будет полезен для нахождения наиболее эффективных способов поддержки и стимулирования вузов.

Для оценки изменения публикационной активности вузов, уча- 2. Методология ствующих в проекте «5-100», до и после старта программы были 2.1. Данные использованы методы регрессионного анализа лонгитюдных данных. В выборку вошли 14 вузов2, являющихся участниками

2 Дальневосточный федеральный университет (ДВФУ), Казанский федеральный университет (К(П)ФУ), Московский физико-технический институт (МФТИ), Национальный исследовательский технологический университет (МИСИС), Национальный исследовательский Томский государственный университет (ТГУ), Национальный исследовательский Томский политехнический университет (ТПУ), Национальный исследовательский ядерный университет (МИФИ), Нижегородский государственный университет им. Н. И. Лобачевского (ННГУ), Новосибирский национальный исследовательский государственный университет (НГУ), Самарский государственный аэрокосмический университет им. академика С. П. Королева (СГАУ), Санкт-Петербургский государственный политехнический университет (СПбГПУ), Санкт-Петербургский государственный электротехнический университет (ЛЭТИ), Санкт-Петербургский национальный исследовательский университет информаци-

Программы «5-100» с 2013 г., и 13 вузов контрольной группь^, период наблюдения — с 2010 по 2015 г. В контрольную группу выбирались вузы, подведомственные Министерству образования и науки России, данные о численности и финансировании которых доступны в справочных материалах министерства. Были определены следующие критерии для вузов контрольной группы: 1) сопоставимое с участниками Программы «5-100» число публикаций; 2) наличие публикаций в журналах первого квартиля4 Q1 индексов Science Citation Index Expanded (SCIE) и/или Social Sciences Citation Index системы WoS (SSCI) (см. ниже); 3) схожие с вузами «5-100» профили (классический, федеральный, технический).

Таким образом, в контрольную группу вошли университеты, на момент начала Программы «5-100» относительно сопоставимые с вузами—участниками этой программы по ряду ключевых показателей. Поэтому неудивительно, что 5 вузов контрольной группы были включены в программу во второй волне, когда в конце 2015 г. к первоначально отобранной группе вузов присоединились еще 6 университетов5. Вместе с тем мы считаем возможным включить 5 вузов второй волны «5-100» в контрольную группу, поскольку первое финансирование было получено ими не раньше

онных технологий механики и оптики (ИТМО), Уральский федеральный университет (УрФУ).

3 Балтийский федеральный университет (БФУ), Северо-Восточный федеральный университет (СВФУ), Российский университет дружбы народов (РУДН), Сибирский федеральный университет (СФУ), Тюменский государственный университет (ТюГУ), Южно-Уральский государственный университет (Ю-УГУ), Московский авиационный институт (МАИ), Пермский национальный исследовательский политехнический университет (ПГТУ), Саратовский государственный университет (СГУ), Южный федеральный университет (ЮФУ), Московский государственный технический университет (МГТУ), Воронежский государственный университет (ВГУ), Уфимский государственный авиационный технический университет (УГАТУ).

4 Журналы, которые входят в верхнюю четверть отранжированного по величине импакт-фактора 2015 г. списка журналов хотя бы в одной из тематических областей Web of Science. Такой способ выделения ведущих журналов предпочтительнее отсечки по абсолютному значению импакт-фактора, так как учитывает серьезные различия в средней ци-тируемости в различных тематических областях Web of Science. При этом следует отметить, что у журналов, входящих только в индекс Arts and Humanities Citation Index, нет импакт-факторов и квартилей, поэтому при расчете соответствующих метрик публикации в таких журналах не учитываются.

5 Балтийский федеральный университет им. Иммануила Канта, Российский университет дружбы народов, Сибирский федеральный университет, Тюменский государственный университет, Южно-Уральский государственный университет.

мая 2016 г.6 и, таким образом, нельзя говорить о системном эффекте программы на эти вузы в рассматриваемый период.

Публикационная активность вуза измерялась количеством статей (типы документов article и review), опубликованных научно-педагогическими работниками (преподавателями и научными сотрудниками) вуза в данном календарном году и проиндексированных в библиографической базе Web of Science (индексы Science Citation Index Expanded, Social Sciences Citation Index). Использован традиционный «полный» метод подсчета публикаций, когда каждой организации, упомянутой в списке аффилиа-ций той или иной статьи, статья засчитывается полностью, вне зависимости от общего числа аффилиаций.

Данные об объеме финансирования, в том числе Программы «5-100», и количестве научных сотрудников были получены из информационно-аналитических сборников Министерства образования и науки РФ.

Как показатель качества публикаций используется доля журнальных публикаций по естественным и общественным наукам, вышедших в журналах первого квартиля (Q1), под которыми в данном случае понимаются журналы, входящие в верхний квартиль по величине импакт-фактора Thomson Reuters 2014 г. хотя бы в одной из предметных областей (WoS Subject Categories). Такой показатель позволяет опосредованно оценить ожидаемую цитируемость публикаций, вышедших в недавние годы, пока необходимые для непосредственного анализа показатели цитирования еще не успели накопиться. Из-за неравномерности распределения цитирований по публикациям его использование неприемлемо на уровне отдельных публикаций и авторов [Seglen, 1997], но он является ценным и фактически не имеющим альтернатив инструментом оценки среднего уровня достаточно больших наборов свежих публикаций, в частности наборов публикаций вузов «5-100».

Динамика публикационной активности вузов—участников «5100» в период с 2010 по 2015 г. представлена на рис. 1а, 1б. Так как количество публикаций вузов различается на порядки, здесь и далее для наглядности представления используется логарифмическая шкала, позволяющая уменьшить визуальный разброс. Как видно на рис. 1а и 1б, наблюдается рост общего числа публикаций, а также увеличение числа публикаций в расчете на одного сотрудника. Рост числа публикаций в расчете на одного ученого позволяет сделать предположение об увеличении публикацион-

6 Постановление Правительства от 19 мая 2016 г. № 960-р «О распределении субсидий, предоставляемых в 2016 г. из федерального бюджета на государственную поддержку ведущих университетов Российской Федерации в целях повышения их конкурентоспособности».

Рис. 1

а. Общее число публикаций вузов — участников Программы

«5-100», логарифмическая шкала

б. Число публикаций в расчете на одного сотрудника для вузов — участников Программы «5-100», логарифмическая шкала

Рис. 2

а. Общее число публикаций вузов контрольной группы,

логарифмическая шкала

1000 .........................................:.........................................;........................................:........................................5........

1 '!.........................................:........................................1.........................................:........................................!........................................:

2010 2011 2012 2013 2014 2015

б. Число публикаций в расчете на одного сотрудника для вузов контрольной группы, логарифмическая шкала

• НГУ О СГУ □ МФТИ О МИФИ УрФУ О ИТМО £3 СВФУ Ф ТГУ — ЮФУ

.....•.....СПбГПУ

—■-- К(П)ФУ -■♦— МИСИС ННГУ

.....+ - СФУ

.....«■■■■ РУДН

■■■■*■■■ ТПУ —ВГУ

.....О.....УГАТУ

--□— ДВФУ -о~ ЛЭТИ СГАУ

.....О- МГТУ

■■■■О-- - БФУ ■■■■«!>■■■ МАИ

-ПГТУ

....................ТюГУ

.............Ю-УГУ

Рис. 3

а. Число публикаций в журналах квартиля Q1 для вузов «5-100»

2007 2008 2009 2010 2011 2012 2013 2014 2015

б. Число публикаций в журналах квартиля Q1 для вузов контрольной группы

Рис. 4

а. Число публикаций в журналах квартиля Q1 в расчете на одного сотрудника для вузов «5-100», логарифмическая шкала

б. Число публикаций в журналах квартиля Q1 в расчете на одного сотрудника для вузов контрольной группы,

логарифмическая шкала

• НГУ О СГУ □ МФТИ О МИФИ УрФУ О ИТМО £3 СВФУ Ф ТГУ — ЮФУ

.....•.....СПбГПУ

—■-- К(П)ФУ -■♦— МИСИС ННГУ

.....+ - СФУ

.....«■■■■ РУДН

■■■■*■■■ ТПУ —ВГУ

.....О.....УГАТУ

--□— ДВФУ -о~ ЛЭТИ СГАУ

.....О- МГТУ

■■■■О-- - БФУ ■■■■«!>■■■ МАИ

-ПГТУ

....................ТюГУ

.............Ю-УГУ

ной активности сотрудников. Кроме того, согласно диаграммам, скорость роста числа публикаций у большинства вузов увеличивается с 2013 г., о чем свидетельствует увеличение угла наклона соответствующих кривых. Количество публикаций с 2014 г. снижается только у одного вуза—ЛЭТИ.

Публикационная активность вузов контрольной группы с 2010 по 2015 г. равномерно возрастает (рис. 2а, 2б). Однако рост числа публикаций после 2013 г. (после старта программы) у вузов контрольной группы ниже, чем у участников «5-100».

Рост числа публикаций далеко не всегда сопровождается повышением их качества. Более того, в случае, когда администрация вуза ставит задачу масштабного и быстрого увеличения количества публикаций, возникают риски появления публикаций в журналах невысокого качества, характеризующихся быстрым публикационным циклом и относительно низкими требованиями к принимаемым для публикации рукописям. Поэтому в контексте данного исследования представляется важным вопрос, как изменилось после присоединения вузов к Программе «5-100» число публикаций первого квартиля.

На рис. 3а и 3б представлена динамика количества публикаций первого квартиля для вузов «5-100» и вузов контрольной группы в 2010-2015 гг. В данный период у вузов—участников программы наблюдается рост количества публикаций в Q1, причем для большинства вузов — с 2013 г. Несколько вузов контрольной группы также увеличили количество публикаций в Q1. В абсолютном выражении количество публикаций в Q1 между вузами-участниками и неучастниками заметно различается. Количество публикаций первого квартиля в расчете на одного сотрудника у вузов контрольной группы меньше по величине (рис. 4а, 4б).

Таким образом, мы формулируем для последующей проверки две гипотезы:

1) о статистической связи количества публикаций вуза (в суммарном выражении и из расчета на одного научно-педагогического работника) и его участия в Программе «5-100»;

2) о наличии статистической связи между увеличением количества публикаций сотрудников вуза (в суммарном выражении и из расчета на одного научно-педагогического работника) в журналах первого квартиля ^1) и участием вуза в Программе «5-100».

2.2. Переменные Для проверки гипотезы о статистической связи количества публикаций и участия в программе были рассмотрены спецификации модели со смешанными эффектами, в которых в качестве зависимой переменной выступали либо общее количество публикаций, либо количество публикаций в расчете на одного научно-педагогического сотрудника. Публикации, привязанные

к профилю организации, включают статьи и обзоры, опубликованные в журналах, вошедших в индексы SCIE и SSCI системы Wo S.

Соответственно, в первой спецификации численность сотрудников (ППС и научные работники) выступала в роли объясняющего фактора. Эмпирически в линейной модели эффект воздействия программы измеряется коэффициентом при бинарной переменной — индикаторе участия вуза в Программе «5-100» в конкретном году. Для наблюдений до 2015 г. включительно доступны данные об объеме финансирования научных исследований и разработок в вузе, поэтому также рассматривались спецификации регрессии с включением объема финансирования в состав объясняющих переменных.

Для проверки гипотезы о наличии статистической связи между увеличением количества публикаций первого квартиля и участием в программе использовались спецификации модели, в которых зависимыми переменными являлись или логарифм количества публикаций в Q1 (IF 2014 SCIE и SSCI), или логарифм количества публикаций в Q1 в расчете на одного человека. Объясняющими переменными в первом случае выступали количество научных сотрудников и финансирование, во втором — финансирование. Эффект программы также измерялся коэффициентом при бинарной переменной — индикаторе участия вуза в проекте «5-100» в данном году.

В табл. 1 представлены средние значения и стандартные откло- 2.3. Описательные нения зависимых и объясняющих переменных по годам наблю- статистики даемого периода. И у вузов «5-100», и у вузов контрольной группы наблюдается рост числа публикаций, однако общее число публикаций у вузов контрольной группы значительно ниже, причем с 2010 по 2015 г. разрыв увеличился. В среднем в вузах контрольной группы число сотрудников больше, чем в вузах «5-100», а число публикаций в расчете на одного сотрудника значительно меньше, но динамика данного показателя для обеих групп положительна. Публикаций в первом квартиле у вузов «5-100» больше, чем у вузов контрольной группы; кроме того, у большинства вузов контрольной группы наблюдается снижение данного показателя в 2015 г. С 2013 г. разрыв в объемах финансирования в расчете на одного человека между вузами «5-100» и вузами контрольной группы нарастает.

В качестве статистического инструмента были использованы мо- 2.4. Эмпирические дели со смешанными эффектами (mixedmodels), которые позво- модели ляют учесть различия динамики публикационной продуктивности в разных университетах. В данных моделях объясняющие переменные, сгруппированные по определенным критериям, характеризуют различное влияние факторов на зависимую переменную.

Таблица 1. Характеристики вузов: описательные статистики

2010 2011 2012 2013 2014 2015

Число публикаций

Вузы «5-100» 221,79 (134,38) 257,21 (148,53) 292,50 (181,37) 376,64 (244,94) 548,50 (324,03) 752,86 (439,19)

Контрольная группа 87,08 (80,55) 98,00 (86,20) 95,38 (83,02) 114,62 (90,40) 128,54 (97,02) 153,69 (108,30)

Численность ППС и научных работников (человек)

Вузы «5-100» 1339 1657 1640 1588 1591 1616

Контрольная группа 1812 1776 1732 1740 1722 1729

Число публикаций в расчете на одного человека

Вузы «5-100» 0,166 (0,305) 0,155 (0,347) 0,178 (0,413) 0,237 (0,531) 0,345 (0,655) 0,466 (0,839)

Контрольная группа 0,048 (0,035) 0,055 (0,038) 0,055 (0,038) 0,066 (0,041) 0,075 (0,042) 0,089 (0,049)

Число публикаций в 01

Вузы «5-100» 41,38 (33,05) 55,85 (43,41) 81,38 (82,01) 117,38 (108,55) 201,85 (141,49) 287,23 (193,09)

Контрольная группа 27,77 (58,73) 27,00 (44,27) 28,38 (47,61) 36,62 (52,66) 39,92 (53,58) 31,62 (27,64)

Число публикаций в 01 в расчете на одного человека

Вузы «5-100» 0,046 (0,069) 0,057 (0,082) 0,091 (0,167) 0,136 (0,223) 0,200 (0,283) 0,281 (0,370)

Контрольная группа 0,013 (0,026) 0,014 (0,022) 0,016 (0,025) 0,021 (0,029) 0,023 (0,029) 0,020 (0,018)

Финансирование НИР с учетом «5-100» (тыс. руб.)

Вузы «5-100» 471784,17 (256127,95) 868861,34 (509603,71) 877 613,54 (512156,55) 1560 652,71 (591883,62) 2134 904,14 (748362,81) 2154 886,12 (804851,69)

Контрольная группа 418731,49 (458555,09) 585238,77 (637795,19) 757792,50 (961531,71) 953655,60 (1368470,91) 913029,69 (1236670,84) 907259,81 (1075387,19)

Финансирование НИР с учетом «5-100» в расчете на одного человека (тыс. руб.)

Вузы «5-100» 439,35 (272,94) 720,84 (465,61) 758,54 (551,86) 1327,23 (789,43) 1754,32 (1021,32) 1660,92 (985,59)

Контрольная группа 211,37 (165,27) 294,99 (224,36) 398,76 (367,88) 501,23 (549,28) 487,62 (487,13) 494,77 (447,55)

В ячейках таблицы приведены средние значения и стандартные отклонения (в скобках).

Линейные модели со смешанными эффектами представляют собой расширение линейной регрессионной модели путем включения в нее фиксированных и случайных факторов [West, Galecki, Welch, 2014. P. 1]. Коэффициент регрессии при фиксированных переменных отражает связь факторов с зависимой переменной, одинаковую для всех единиц наблюдения. В свою очередь, коэффициент при случайных переменных характеризует изменение фактора у конкретных единиц наблюдения. Данная модель предполагает, что наблюдения взаимосвязаны и их количество должно быть больше, чем число случайных факторов. Также для данной модели справедливы предпосылки модели линейной регрессии: линейная зависимость параметров, факторы модели независимы, остатки регрессии имеют нормальное распределение с одинаковой дисперсией.

Базовая модель без ковариатов имеет вид:

1п(публикации);, = а0 + а,. + (ß0 + ß,) • (год), + A, + eft + (1)

+ б2014 • (год=2014), • соучастник 5-100),. + + б2015 • (год=2015)f • Соучастник 5-100),. , t = 2010, ..., 2015, i = 1, ..., N,

где а,. и ß,. — константа и коэффициенты регрессии для случайных факторов;

а0 и ß0—константа и коэффициенты регрессии для фиксированных факторов;

(год), — временной тренд (.,-2,-1, 0, 1, 2,.); At—фиктивная переменная для времени (для учета контрольной группы);

б — средний эффект воздействия (ATE), эффект программы; С,— фиктивная переменная для 2014 и 2015 гг.; С: — фиктивная переменная для участников программы; £it — коэффициент ошибки.

Коэффициенты а, и ß,, трактуются как случайные возмущения и не оцениваются в качестве параметров модели в отличие от по-пуляционных эффектов а0 и ß0. Коэффициенты б измеряют по-пуляционный средний эффект воздействия (average treatment effect, ATE). В зависимости от спецификации модели ковариатами выступают либо число сотрудников и финансирование, либо финансирование.

Модель допускает существование индивидуальных траекторий роста — индивидуальных трендов количества публикаций для каждого вуза в выборке. Как видно из рис. 1 и 2, в среднем наблюдается положительный тренд как общего количества публикаций, так и числа публикаций в расчете на одного научно-педагогического сотрудника, но существуют индивидуальные различия в динамике.

Поскольку индивидуальные динамики публикаций вузов могут коррелировать, также рассматривалась модель с коррелированным случайным трендом [ШооИпЬде, 2010. Р. 374], базовая спецификация которой имеет вид:

(2) 1п(публикации)й = а,. + в,. • (год), + А, + ей + б2014 • d (год=2014), х х d(участник 5-100),. + б2015 • d(год = 2015), • d(участник 5-100),. , t = 2010, ..., 2015, = 1, ..., N.

Модель (2), в отличие от (1), допускает корреляцию параметров индивидуальных трендов количества публикаций с другими переменными в правой части.

3. Результаты В табл. 2 представлены оценки различных спецификаций модели со смешанными эффектами, в которых зависимой переменной является логарифм общего числа публикаций. В табл. 3 зависимая переменная—логарифм числа публикаций в расчете на одного сотрудника. В спецификациях 1 и 2 представлены результаты для полной выборки, спецификации 3 и 4 включают только вузы, участвующие в Программе «5-100». Оценки приведены в экспоненциальной форме. Например, коэффициент 1,122 при переменной «год = 2014 х участник программы» в столбце 1 таблицы 2 означает, что в данной спецификации модели число публикаций вуза—участника Программы «5-100» в 2014 г. в среднем превышает уровень тренда на 12,2%. Если значение коэффициента меньше единицы, то рост фактора связан с сокращением зависимой переменной.

Как видно из оценок, участие в программе положительно сказывается на числе публикаций. Эффект 2015 г. больше по величине, чем эффект 2014 г., поскольку отдача от программы может иметь временную задержку по аналогии с программами в других странах [Shin, 2009]. При учете финансирования (включая суммы, выделенные по Программе «5-100») в качестве объясняющей переменной можно считать, что оцениваемый эффект воздействия измеряет дополнительные нефинансовые эффекты от участия в программе, такие как, например, улучшение управления в вузе, нематериальное стимулирование. Как следует из оценок в столбцах 2 и 4, такого рода эффекты существуют. Объем финансирования НИР положительно коррелирует с количеством публикаций, однако в модели без учета корреляции индивидуальных трендов эффект незначим.

Оценки модели с коррелированным случайным трендом (2) приведены в табл. 4 и 5. Эффект участия в проекте положителен, его величина и значимость варьируют в зависимости от года, учета влияния финансирования и сравнения с контрольной группой. При сопоставлении с контрольной группой эффект воздей-

Таблица 2. Регрессионные оценки смешанной модели в экспоненциальной форме. Зависимая переменная—логарифм числа публикаций

(1) (2) (3) (4)

Год = 2014 х участник программы 1,122** (0,059) 1,122** (0,059) 1,287*** (0,071) 1,271*** (0,073)

Год = 2015 х участник программы 1,266*** (0,080) 1,269*** (0,081) 1,488*** (0,101) 1,477*** (0,101)

Численность научно-педагогических сотрудников (тыс. человек) 1,089 (0,079) 1,088 (0,079) 0,983 (0,057) 0,979 (0,057)

Год (во) 1,181*** (0,032) 1,177*** (0,034) 1,174*** (0,023) 1,161*** (0,027)

Финансирование НИР (млрд руб.) 1,020 ; (0,063) | 1,077 (0,087)

Контрольная группа Да Да Нет Нет

Фиксированные эффекты для времени Да Да Нет Нет

N 162 162 84 84

В скобках указаны стандартные погрешности оценок. *р < 0,1; **р < 0,05; ***р < 0,01.

Таблица 3. Регрессионные оценки смешанной модели в экспоненциальной форме. Зависимая переменная—логарифм числа публикаций в расчете на одного сотрудника

(1) (2) | (3) (4)

Год = 2014 х участник программы 1,122* (0,067) 1,122* | 1,350*** (0,067) | (0,114) 1,349*** (0,116)

Год = 2015 х участник программы 1,259*** (0,091) 1,257*** | 1,564*** (0,092) | (0,160) 1,564*** (0,161)

Год (во) 1,168*** (0,033) 1,170*** ! 1,133*** (0,036) ; (0,032) 1,132*** (0,039)

Финансирование НИР в расчете на одного сотрудника (млн руб.) 0,989 | (0,069) | 1,004 (0,121)

Контрольная группа Да Да | Нет Нет

Фиксированные эффекты для времени Да Да | Нет Нет

N 162 162 ! 84 84

В скобках указаны стандартные погрешности оценок. *р < 0,1; **р < 0,05; ***р < 0,01.

ствия сокращается по величине, что может быть объяснено ростом публикационной активности и вузов контрольной группы. В отличие от модели (1) финансирование НИР значимо коррелирует с числом публикаций в расчете на одного человека. Это объясняется тем, что модели со смешанными эффектами также анализируют индивидуальную динамику вузов.

Данные модели не позволили выявить статистическую связь между численностью сотрудников и числом публикаций. Возможной причиной является изменение динамики численности сотрудников в наблюдаемый период: до 2013 г. наблюдается увеличение данного показателя, а после—снижение, при этом показатели общего количества публикаций и числа публикаций в расчете на одного человека увеличивались.

В табл. 6 и 7 представлены результаты оценки модели, где зависимой переменной является число публикаций в журналах первого квартиля 01, индексируемых в Шо Б. В табл. 8 и 9 зависимой переменной выступает количество публикаций в 01 в расчете на одного человека. Спецификации модели (1, 2 и 3) различаются набором объясняющих переменных: добавляются численность сотрудников и финансирование НИР для учета возможной корреляции между данными переменными. Для общего числа публикаций в 01 эффект программы в 2014 г. значим (на 10%-ном уровне) в двух спецификациях из трех, в 2015 г. эффект не выявлен. Это может быть объяснено тем, что отсутствие нормировки на численность сотрудников увеличивает дисперсию общего числа публикаций в 01.

В табл. 7 и 9 представлены результаты оценки для нормированного количества публикаций первого квартиля. Эффект программы значим как в 2014-м, так и в 2015 г., причем по величине в 2015 г. эффект больше. Число публикаций первого квартиля в расчете на одного сотрудника вуза — участника Программы «5-100» в 2014 г. в среднем превышает общий тренд на 25,2%, а в 2015 г. — на 29,5%.

В модели с коррелированным случайным трендом эффект программы составляет 25,6 и 30,5% соответственно. Объем финансирования НИР значимо связан с количеством публикаций в 01. Согласно оценкам модели с коррелированным индивидуальным трендом, численность ППС и научных работников значимо (на 10%-ном уровне) коррелирует с числом публикаций первого квартиля в одной спецификации из трех.

Таким образом, приведенные выше оценки подтверждают гипотезы о статистической связи количества публикаций и участия в Программе «5-100» и о наличии статистической связи между увеличением числа публикаций в журналах первого квартиля и участием в Программе «5-100».

Таблица 4. Регрессионные оценки модели с коррелированным случайным трендом в экспоненциальной форме. Зависимая переменная — логарифм числа публикаций

(1) (2) (3) (4)

Год = 2014 х участник программы 1,122** (0,059) 1,122** (0,056) 1,284*** (0,082) 1,273*** (0,077)

Год = 2015 х участник программы 1,266*** (0,080) 1,270*** (0,115) 1,484*** (0,161) 1,476*** (0,157)

Численность научно-педагогических сотрудников (тыс. человек) 1,089 (0,079) 1,085 (0,073) 0,972 (0,031) 0,969 (0,029)

Год (во) 1,181*** (0,032) 1,177*** (0,045) 1,175*** (0,032) 1,165*** (0,038)

Финансирование НИР (млрд руб.) 1,024 (0,100) 1,057 (0,082)

Контрольная группа Да Да Нет Нет

Фиксированные эффекты для времени Да Да Нет Нет

N 162 162 84 84

В скобках указаны стандартные погрешности оценок. *р < 0,1; **р < 0,05; ***р < 0,01.

Таблица 5. Регрессионные оценки модели с коррелированным случайным трендом в экспоненциальной форме. Зависимая переменная — логарифм числа публикаций в расчете на одного сотрудника

(1) (2) (3) (4)

Год = 2014 х участник программы 1,122** (0,063) 1,122** (0,058) 1,350*** (0,117) 1,309*** (0,098)

Год = 2015 х участник программы 1,259*** (0,112) 1,306*** (0,113) 1,564*** (0,197) 1,592*** (0,161)

Год (во) 1,168*** (0,039) 1,125*** (0,043) 1,133*** (0,031) 1,079*** (0,029)

Финансирование НИР в расчете на одного сотрудника (млн руб.) 1,373** (0,209) 1,447*** (0,180)

Контрольная группа Да Да Нет Нет

Фиксированные эффекты для времени Да Да Нет Нет

N 162 162 84 84

А2

В скобках указаны стандартные погрешности оценок. *р < 0,1; **р < 0,05; ***р < 0,01.

Таблица 6. Регрессионные оценки смешанной модели в экспоненциальной форме. Зависимая переменная — логарифм числа публикаций в журналах первого квартиля

1 (1) (2) (3)

Год = 2014 х участник программы ! 1,217* | (0,122) 1,200* (0,119) 1,130 (0,115)

Год = 2015 х участник программы | 1,216 ; (0,150) 1,188 (0,146) 1,159 (0,144)

Численность научно-педагогических сотрудников (тыс. человек) ! 1,375*** | (0,050) 1,384*** (0,051) 1,275*** (0,045)

Год (во) 0,862 (0,100) 0,845 (0,091)

Финансирование НИР (млрд руб.) 1,850*** (0,230)

N | 104 104 104

В скобках указаны стандартные погрешности оценок. *р < 0,1; **р < 0,05; ***р < 0,01.

Таблица 7. Регрессионные оценки смешанной модели в экспоненциальной форме. Зависимая переменная — логарифм числа публикаций в журналах первого квартиля в расчете на одного сотрудника

I (1) (2)

Год = 2014 х участник программы | 1,252* | (0,148) 1,225* (0,143)

Год = 2015 х участник программы ; 1,295* | (0,187) 1,339** (0,191)

Год (во) | 1,345*** | (0,054) 1,236*** (0,048)

Финансирование НИР в расчете на одного сотрудника (млн руб.) 2,146*** (0,321)

N ! 104 104

В скобках указаны стандартные погрешности оценок. *р < 0,1; **р < 0,05; ***р < 0,01.

Таблица 8. Регрессионные оценки модели с коррелированным случайным трендом в экспоненциальной форме. Зависимая переменная — логарифм числа публикаций в журналах первого квартиля

(1) (2) (3)

Год = 2014 х участник программы 1,223* (0,126) 1,207* (0,124) 1,135 (0,103)

Год = 2015 х участник программы 1,228 (0,157) 1,200 (0,153) 1,165 (0,142)

Численность научно-педагогических сотрудников (тыс. человек) 1,369*** (0,035) 1,378*** (0,037) 1,276*** (0,038)

Год (во) 0,869 (0,093) 0,847* (0,085)

Финансирование НИР (млрд руб.) 1,808*** (0,216)

N 104 104 104

В скобках указаны стандартные погрешности оценок. *р < 0,1; **р < 0,05; ***р < 0,01.

Таблица 9. Регрессионные оценки модели с коррелированным случайным трендом в экспоненциальной форме. Зависимая переменная — логарифм числа публикаций в журналах первого квартиля в расчете на одного сотрудника

(1) (2)

Год = 2014 х участник программы 1,256* (0,153) 1,226* (0,128)

Год = 2015 х участник программы 1,305* (0,211) 1,340** (0,184)

Год (во) 1,341*** (0,049) 1,236*** (0,043)

Финансирование НИР в расчете на одного сотрудника (млн руб.) 2,129*** (0,332)

N 104 104

В скобках указаны стандартные погрешности оценок. *р < 0,1; **р < 0,05; ***р < 0,01.

4. Заключение Дизайн программы повышения конкурентоспособности ориентирует вузы на увеличение показателей количества публикаций. Поскольку и факт участия в программе, и объем выделяемого ежегодного финансирования зависят от показателей, которых вуз добился в предыдущем году, участники проекта должны уделять особое внимание именно тем результатам, которые можно продемонстрировать относительно быстро. Этот эффект подтверждают и наши эмпирические оценки. Динамика общего числа публикаций у вузов — участников Программы «5-100» на 12,2% опережает общий публикационный тренд вузов в 2014 г. и на 26,6% — в 2015 г. При этом свои собственные ожидаемые показатели общего числа публикаций, на которые можно было рассчитывать без поддержки со стороны программы, данные вузы превзошли более чем на 27 и 47% в 2014 и 2015 г. соответственно. После вступления в программу у вузов также увеличилось число публикаций в расчете на одного сотрудника. Кроме того, количество публикаций в расчете на одного сотрудника в журналах первого квартиля у вузов—участников программы опережает общий публикационный тренд более чем на 20% в 2014 г. и более чем на 30% в 2015 г. В этом отношении первые годы реализации программы сходны по результатам с первыми итогами программ, реализующихся в других странах [Shin, 2009; Zhang, Patton, Kenney, 2013].

Данная статья является одной из первых работ, в которых дается эмпирическая оценка влияния Программы «5-100» на публикационную активность вузов, и целый ряд вопросов, важных, в том числе, в контексте государственной политики, пока остаются открытыми. Так, относительно низкие показатели публикационной активности, с которой начинали большинство вузов — участников программы, а также ее ярко выраженный мобилизационный характер приводят к ожидаемо быстрому начальному росту публикаций. В какой степени такой тренд будет сохраняться в дальнейшем? Какой характер будут носить изменения результативности вузов в долгосрочной перспективе? На этот вопрос можно будет ответить только спустя некоторое время после начала реализации программы.

Вместе с тем ряд вопросов может стать предметом анализа уже в ближайшей перспективе. Так, например, в нашей работе показано, что программа дает эффект как в плане увеличения общего количества публикаций, так и в плане повышения их качества: заметен опережающий рост в сегменте публикаций первого квартиля. И хотя программа создает стимулы к повышению качества публикаций (в силу того, что уровень цитирования закреплен как один из ключевых показателей эффективности вузов), рост их количества многие рассматривают как основной критерий в оценке результативности исследований. В этом контексте не вызывает удивления увеличение числа публикаций

в потенциально недобросовестных журналах, отмеченный прежде всего в БД Scopus. В отношении таких журналов существуют обоснованные сомнения в качестве редакционного процесса и серьезности рецензирования [Sterligov, Savina, 2016]. При этом неизученной остается динамика публикаций в сегменте слабых, хотя и не являющихся недобросовестными, журналов, в то время как они составляют заметную долю от общего числа публикаций.

Далее, учитывая существенные различия между дисциплинами как в плане стоимости научных исследований (например, в силу критической зависимости от дорогого оборудования в целом ряде из них), так и в плане публикационных паттернов [Piro, Aksnes, Rorstad, 2013], можно ожидать, что и влияние программы на прирост публикаций в разных дисциплинах будет разным. Такое ожидание усиливается и в силу того, что вузы в последнее время обращают больше внимания на предметные рейтинги. Осознавая тщетность попыток высоко продвинуться в общеуниверситетских рейтингах, многие из них начинают фокусироваться на рейтингах отдельных дисциплин и инвестировать ресурсы в продвижение в них. Наконец, достичь краткосрочного роста публикаций можно за счет разных стратегий. Две из них—содержательная интеграция в международные исследования и прямая «покупка» публикаций за счет заключения контрактов с высокопродуктивными исследователями из других (как правило, зарубежных) университетов, указывающих аффилиацию университета на своих работах, но реально не интегрированных в работу вуза, — характеризуются ростом публикаций с международным участием, однако сильно отличаются друг от друга по сути. Оценить, в какой степени в вузах — участниках программы используются эти стратегии, является отдельной важной задачей, существенной и для понимания характера влияния программы на системные изменения внутри вуза.

Первые результаты программы, выраженные в росте количества и повышении качества публикаций, являются беспрецедентными для России с учетом небольшого срока реализации программы и продолжительности современного научно-публикационного цикла. Средний срок между подачей рукописи и ее опубликованием в общественных науках может достигать 18 месяцев, в естественных он составляет около года [Bjork, Solomon, 2013], и это без учета времени, необходимого на поиск финансирования, проведение самого исследования и подготовку рукописи. Это дает основания предположить, что по крайней мере часть новых публикаций вузов первой волны «5-100» на деле подготовлена раньше и на другие средства, а вузы эти научились демонстрировать «бумажный» рост показателей за счет включения своих аффилиаций в работы.

Поэтому еще одним из наиболее актуальных направлений продолжения анализа является дополнение «полного» подсче-

та числа публикаций «дробным» подсчетом, при котором на каждую публикацию в системе учета выделяется один балл, который делится между всеми упомянутыми в ней организациями пропорционально числу авторов из данной организации. Такой метод позволит точнее оценить, например, вклад РАН, иностранных соавторов или международных мегапроектов (ЦЕРН и др.), прямо не связанных с проектом «5-100», но приносящих вузам множество публикаций, в том числе в высокоцитируемых журналах. В частности, уместно предположить, что, по крайней мере для части вузов «5-100», прирост числа публикаций сочетается с падением их средней доли в числе соавторов этих публикаций и увеличением среднего числа аффилиаций на одного соавтора.

Все перечисленные вопросы могут стать предметом дальнейших исследований и заслуживают пристального внимания как исследовательского сообщества, так и лиц, принимающих решения в сфере развития высшего образования.

Литература 1. Björk B.-C., Solomon D. (2013) The Publishing Delay in Scholarly Peer-Reviewed Journals //Journal of Informetrics. Vol. 7. No 4. P. 914-923.

2. Coates H., Dobson I., Edwards D., Friedman T., Goedegebuure L., Meek L. (2009) The Attractiveness of the Australian Academic Profession: A Comparative Analysis. Melbourne: LH Martin Institute.

3. Ivanov V. V., Markusova V. A., Mindeli L. E. (2016) Government Investments and the Publishing Activity of Higher Educational Institutions: Bibliomet-ric Analysis // Herald of the Russian Academy of Sciences. Vol. 86. No 4. P. 314-321.

4. McCulloch C. E., Neuhaus J. M. (2013) Generalized Linear Mixed Models. Hoboken, NJ: John Wiley & Sons.

5. Möller T., Schmidt M., Hornbostel S. (2016) Assessing the Effects of the German Excellence Initiative with Bibliometric Methods // Scientometrics. Vol. 109. No 3. P. 2217-2239.

6. Piro F. N., Aksnes D. W., R0rstad K. (2013) A Macro Analysis of Productivity Differences across Fields: Challenges in the Measurement of Scientific Publishing // Journal of the American Society for Information Science and Technology. Vol. 64. No 2. P. 307-320.

7. Pislyakov V., Shukshina E. (2014) Measuring Excellence in Russia: Highly Cited Papers, Leading Institutions, Patterns of National and International Collaboration // Journal of the Association for Information Science and Technology. Vol. 65. No 11. P. 2321-2330.

8. Salmi J. (2015) Excellence Initiatives and World-Class Universities. Paper presented on the 6th International Conference on World-Class Universities, 1-4 November, Shanghai, China. http://www.shanghairanking.com/ wcu/wcu6/3.pdf

9. Seglen P. O. (1997) Why the Impact Factor of Journals Should Not Be Used for Evaluating Research // BMJ: British Medical Journal. Vol. 314. No 7079. P. 498.

10. Shin J. C. (2009) Building World-Class Research University: The Brain Korea 21 project // Higher Education. Vol. 58. No 5. P. 669.

11. Shin J. C., Kehm B. M. (2013) The World-Class University in Different Systems and Contexts // Shin J.C., Kehm B. M. (eds) Institutionalization of

World-Class University in Global Competition. Dordrecht: Springer Netherlands. P. 1-13.

12. Sterligov I., Savina T. (2016) Riding with the Metric Tide: 'Predatoryjournals in Scopus // Higher Education in Russia and Beyond. Vol. 1. No 7. P. 9-12.

13. Turko T., Bakhturin G., Bagan V., Poloskov S., Gudym D. (2016) Influence of the Program «5-top 100» on the Publication Activity of Russian Universities // Scientometrics. Vol. 109. No 2. P. 769-782.

14. West B. T., Galecki A. T., Welch K. B. (2014) Linear Mixed Models. Boca Raton, FL: CRC Press.

15. Wooldridge J. M. (2010) Econometric Analysis of Cross Section and Panel Data. Cambridge; London: MIT Press.

16. Zhang H., Patton D., Kenney M. (2013) Building Global-Class Universities: Assessing the Impact of the 985 Project // Research Policy. Vol. 42. No 3. P. 765-775.

Publication Activities of Russian Universities: The Effects of Project 5-100

Authors Oleg Poldin

PhD, Senior Researcher at the Center for Institutional Studies, National Research University Higher School of Economics.

Nataliya Matveeva

Doctoral Student, National Research University Higher School of Economics; Junior Researcher, Center for Institutional Studies, National Research University Higher School of Economics. Address: 25/12 Bolshaya Pecherskaya St., 603155 Nizhny Novgorod, Russian Federation. E-mail: [e-mail]

Ivan Sterligov

Director of the Scientometrics Center, National Research University Higher School of Economics. Address: 20 Myasnitskaya St., 101000 Moscow, Russian Federation. E-mail: [e-mail]

Maria Yudkevich

PhD, Vice-Rector, National Research University Higher School of Economics; Di-rectorof the Center for Institutional Studies, National Research University Higher School of Economics. Address: 20 Myasnitskaya St., 101000 Moscow, Russian Federation. E-mail: [e-mail]

Abstract We estimate the effects of the Russian University excellence program (Project 5-100) initiated by the Government in 2013 (Project 5-100) on the research performance of those leading Russian universities that received, on the competitive basis, substantial financial support within this program. While the publication output of Russian universities in general has increased in recent years, we estimate whether there is significant added value from the Program, that is, whether the extra increase in productivity takes place in selected universities. We use econometric analysis of longitudinal data applying the linear growth model with mixed effects, with the number of publications (total number, per capita, and publications in high-quality journals) as a dependent variable. We demonstrate that there is a positive significant effect of the Program that appears from the very first years of its implementation — that is, universities that received financial support demonstrate a substantial steady increase in publications measured in both total numbers and per capita (including publications in the top-25% of journals) when compared to universities from the control group.

Keywords research universities, leading universities, university research performance, scientometrics, publication output.

References Bjork B.-C., Solomon D. (2013) The Publishing Delay in Scholarly Peer-Reviewed Journals. Journal of Informetrics, vol. 7, no 4, pp. 914-923. Coates H., Dobson I., Edwards D., Friedman T., Goedegebuure L., Meek L. (2009) The Attractiveness of the Australian Academic Profession: A Comparative Analysis. Melbourne: LH Martin Institute. Ivanov V. V., Markusova V. A., Mindeli L. E. (2016) Government Investments and the Publishing Activity of Higher Educational Institutions: Bibliometric Analysis. Herald of the Russian Academy of Sciences, vol. 86, no 4, pp. 314-321. McCulloch C. E., Neuhaus J. M. (2013) Generalized Linear Mixed Models. Ho-boken, NJ: John Wiley & Sons.

Möller T., Schmidt M., Hornbostel S. (2016) Assessing the Effects of the German Excellence Initiative with Bibliometric Methods. Scientometrics, vol. 109, no 3, pp. 2217-2239.

Piro F. N., Aksnes D. W., R0rstad K. (2013) A Macro Analysis of Productivity Differences across Fields: Challenges in the Measurement of Scientific Publishing. Journal of the American Society for Information Science and Technology, vol. 64, no 2, pp. 307-320.

Pislyakov V., Shukshina E. (2014) Measuring Excellence in Russia: Highly Cited Papers, Leading Institutions, Patterns of National and International Collaboration. Journal of the Association for Information Science and Technology, vol. 65, no 11, pp. 2321-2330.

Salmi J. (2015) Excellence Initiatives and World-Class Universities. Paper presented on the 6th International Conference on World-Class Universities, 1-4 November, Shanghai, China. Available at: http://www.shanghairanking. com/wcu/wcu6/3.pdf (accessed 10 April 2017).

Seglen P. O. (1997) Why the Impact Factor of Journals Should Not Be Used for Evaluating Research. BMJ: British Medical Journal, vol. 314, no 7079, pp. 498.

Shin J. C. (2009) Building World-Class Research University: The Brain Korea 21 Project. Higher Education, vol. 58, no 5, pp. 669.

Shin J. C., Kehm B. M. (2013) The World-Class University in Different Systems and Contexts. Institutionalization of World-Class University in Global Competition (eds J.C Shin, B. M. Kehm), Dordrecht: Springer Netherlands, pp. 1-13.

Sterligov I., Savina T. (2016) Riding with the Metric Tide: 'Predatoryjournals in Scopus. Higher Education in Russia and Beyond, vol. 1, no 7, pp. 9-12.

Turko T., Bakhturin G., Bagan V., Poloskov S., Gudym D. (2016) Influence of the Program "5-top 100" on the Publication Activity of Russian Universities. Scientometrics, vol. 109, no 2, pp. 769-782.

West B. T., Galecki A. T., Welch K. B. (2014) Linear Mixed Models. Boca Raton, FL: CRC Press.

Wooldridge J. M. (2010) Econometric Analysis of Cross Section and Panel Data. Cambridge; London: MIT Press.

Zhang H., Patton D., Kenney M. (2013) Building Global-Class Universities: Assessing the Impact of the 985 Project. Research Policy, vol. 42, no 3, pp. 765-775.

Приложение В.

Paper «The effect of Russian University Excellence Initiative on publications and collaboration patterns»

Matveeva N., Sterligov I., Yudkevich M. The effect of Russian University Excellence Initiative on publications and collaboration patterns // Journal of Informetrics. 2021. Vol. 15. No. 1. Article 101110. DOI: https://doi.org/10.1016/j.joi.2020.101110

Разрешение на копирование: Согласно https://www.elsevier.com/about/policies/sharing автор статьи может использовать полную журнальную версию статьи в своей диссертации при условии, что указан DOI статьи.

Contents lists available at ScienceDirect

Journal of Informetrics

journal homepage: www.elsevier.com/locate/joi

Joumaé of

INFORMETRICS

The effect of Russian University Excellence Initiative on q

publications and collaboration patterns s®

Nataliya Matveeva3 *, Ivan Sterligovb, Maria Yudkevichc

a Center for Institutional Studies National Research University Higher School of Economics, Pokrovsky Boulevard 11, 101000 Moscow, Russia

b Scientometrics Centre, National Research University Higher School of Economics, Pokrovsky Boulevard 11, 101000 Moscow, Russia c Center for Institutional Studies, National Research University Higher School of Economics, Pokrovsky blvd, 11, 109028 Moscow, Russia

ARTICLE INFO

ABSTRACT

Article history: Received 3 July 2020

Received in revised form 6 November 2020 Accepted 12 November 2020 Available online 3 December 2020

Keywords:

Research universities Research performance Scientometrics Research collaboration Web of science

University excellence initiatives Russia

The Russian University Excellence Initiative (Project 5-100) was initiated by the Government in 2013 to strengthen the positions of leading Russian universities at the global academic market (passive into active). We estimate the effect of this project on university publication activity with a special focus on the changes in the research output structure expressed in changes of quality and collaboration patterns. To do so, we use an econometric analysis of longitudinal data applying a linear growth model with mixed effects, with different characteristics of the research output as dependent variables. The dynamics of research collaborations were examined through university affiliations. We demonstrate that there is a significant positive effect of Project 5-100 on quantitative university research performance. That is, participating universities demonstrate a substantial, steady increase in publications measured in total numbers and per capita. We also show that the project has had a positive effect on publications in highest and lowest quality journals as well as on multi-authored publications. Participating universities have increased the number of publications (especially in high-quality journals) written in co-authorship with other organizations.

© 2020 Elsevier Ltd. All rights reserved.

1. Introduction

Knowledge produced in universities and research centers is a decisive factor in the development of innovation, competitiveness, and the socio-economic progress of a state (Adams 1990; Henderson et al. 1998). In this context, many governments are striving to increase the scientific and intellectual level of national universities to be at the cutting edge of scientific development. In recent decades, there have been at least 37 university excellence initiatives across the world, 19 of which were initiated in European countries (Salmi 2015). Improving the position of the group of national universities in the global academic market is one of the main objectives of these programs.

Having limited resources, many governments choose to support a limited number of institutions in their efforts to improve performance and to enter the world-class university league. This method of preferential funding has some risks, including the inefficient use of resources and their suboptimal distribution among universities, and pursuing league table positions provided by non-reliable rankers (Lim and Williams 0erberg, 2017; Lim 2018) instead of building a high-quality research

* Corresponding author.

E-mail addresses: [e-mail] (N. Matveeva), [e-mail] (I. Sterligov), [e-mail] (M. Yudkevich).

https://doi.org/10.1016/jjoi.2020.101110 1751-1577/© 2020 Elsevier Ltd. All rights reserved.

and educational environment (Salmi 2015). Despite the possible risks, the implementation of excellence programs is an acceptable way for developing countries to increase global competitiveness in creating, applying, and spreading new ideas and technologies (Altbach and Salmi 2011).

Despite orientation on clear-cut key indicators, excellence initiatives have a complex influence on research universities. The design of these programs often requires universities to transform their internal environment, such as their research and teaching processes, and scientific collaboration and governance models. These transformations are expected to promote university excellence. One of the key components of virtually every university excellence initiative is the promotion of'world-class research', which is often perceived as more important than teaching (Pruvot et al. 2015), and is usually measured in publications in international scholarly journals. An analysis of publication output is a commonly used approach in assessing research performance, which is based on the premise that papers published in refereed journals are approved by the peer community and will be more recognized by other academics (Moed, Glanzel and Schmoch, 2004). Publications in prominent highly-cited journals characterize the quality of research and high quality studies contribute to a university's reputation (Linton et al., 2011, Butler 2003).

On the institutional side, excellence programs often stimulate participating universities to intensify collaboration with other organizations (Guskovet al., 2018; De Filippo et al., 2016; Molleret al. 2016). Performance assessment has led universities to be more active in attracting productive researchers and establishing collaboration with other universities and research institutions. Scientific collaboration is the fastest way to get access to knowledge and equipment, and also to increase the quality of research (Abramo et al. 2009; Khor and Yu 2016).

Thus, excellence initiatives create incentives and provide resources for universities to invest into robust research infrastructure. Publication growth that a university demonstrates after the start of an Excellence program is just the observable part among many changes, such as the emergence of new laboratories, access to new equipment, conference participation, and involvement of productive scientists and academically capable students. The success of excellence initiatives depends on various institutional factors among which are the program design, structure of national research and innovation systems, and prior record of participants' academic excellence and embeddedness among other features.

In this paper, we consider recent Russian Project 5-100 which provides a good example of such an initiative. This project has an annual assessment of results with annual approval of funding for the following year, which compels universities to demonstrate improved academic achievements each year. We study the impact of the Project on research output of participating institutions, as well as the structure of this impact: whether this program results in just a greater quantitative output, or whether qualitative changes also take place.

We also analyze the changes in scientific collaboration patterns of universities with other Russian and foreign organizations. Recent studies have emphasised the importance of cross-institutional and cross-country collaborations for academic research. These collaborations improve the quality of research (Abramo et al. 2014) and increase the visibility of universities (Sooryamoorthy 2009). Some of them, mainly multi-author papers resulting from large-scale multinational projects, can exert huge impact on publication and citation counts, which are among the main KPIs used by the 5-100 project designers. Also, internationalization is considered as a core target in several Excellence Initiatives (Salmi 2015), including 5-100 Project, so it is natural to look at internationally co-authored papers.

In order to assess this complex dynamic, we look at the relative growth of research output in 5-100 universities in comparison to the output of a control group of similar institutions not included in the first round of Project 5-100, building on and expanding the earlier work of Poldin et al. (2017). We also examined publication output of participating universities in the high- (Q1) and low-quality (Q4) segments according to the journal impact factor (JIF) (Miranda and Garcia-Carpintero 2019). In addition, in both groups, we analyze the number and share of papers co-authored with scholars from other organizations (including foreign ones) for all publications and for publications in high- and low-quality journals.

The Russian case is especially interesting because Russia represents a mature academic system with many disciplines having produced research at the top-level, although it is not always visible in the Web of Science (WoS) or Scopus (for a discussion of the reasons, see Moed et al. 2018). For a critical review of the modern Russian state research and innovation policy see Dezhina (2017). During the Soviet period, there was a clear divide between research (coordinated by the Russian Academy of Sciences) and teaching institutions (Gokhberg et al. 2009). To become world-class universities, teaching institutions should now not only increase their research performance but in many cases also reconsider their mission and structure, and reform the governance model to better fit their research goals. Such reforms and their quick implementation have a profound impact on the internal structure of universities, faculty contracts and salaries, career concerns of academics, and many other aspects of university life (Block and Khvatova 2017). In most cases, the ambitious goals of boosting international research performance are considered by a faculty as externally imposed by the university administration and public authorities, and sometimes are not supported by existing academic norms. Under these conditions, the issue of the resulting research performance is especially relevant.

As stated earlier, Excellence Initiatives have an impact on different components of university life. This paper considers the following questions: What is the effect of the Project 5-100 on universities publication output? Does the project foster scientific collaboration in participating universities?

We investigate research performance of 5-100 universities and their scientific collaboration 3 years prior and after the launch of Project 5-100. In section 2, the experience of implementation of excellence initiatives in different countries and the design of Russian Project 5-100 are described. Session 3 presents our data, methods, and approach. In Section 4, the estimates of project effect on university publication output are presented. The dynamics of scientific collaboration in 5-100

universities by an analysis of affiliations in university publications is presented in Section 5. Section 6 concludes with a discussion and final remarks.

2. Excellence initiatives across the world

Launched in recent years in a number of countries, government university excellence initiatives have the common aim of strengthening the position of national universities internationally, but often use different mechanisms of implementation. East Asian countries were among the first to launch large-scale public policies to improve both the quality of education and the research competitiveness of national universities. The Korean "21 project" was implemented in 1999-2005, and the main aim of the program was to promote a group of existing national universities in the global academic market along with the creation of new universities, focused on industrial development. Shin (2009) shows that during the program, the number of Korean publications in the WoS increased significantly. In addition, four new universities were established. However, as the researchers note, the same publication growth rates were observed in the US and Japan, and the growth in the number of publications in China is even higher than in Korea.

Another example is the 9985 project-,- which was implemented in China. The program functioned in two periods, 1999-2003 and 2004-2007. The aim of the program was to strengthen the global positions of leading Chinese universities. The main criterion of efficiency was the number of publications in international journals. Zhang et al. (2013) show that, in general, there was an increase in the number of publications in international journals after universities joined this program, but the publication activity among participants was significantly different. A more recent study criticizes Zhang et al.'s methodology but confirms the publication growth, albeit finding a "homogenizing trend within 985 universities" (Zong and Zhang 2019).

Along with positive examples, there are some cases that may be interpreted as unsuccessful. For example, Taiwan's "World Class University Project" did not lead to the outrunning increase in the number and quality of publications in participating universities (Fu et al., 2018). The authors explain these unsatisfactory results by immature research environment in participating universities and by high publication activity of non-participants. During the project implementation, control group universities also had financial support, therefore publication growth of non-participants did not allow to reveal the significant effect of the Taiwanese project.

For many government university excellence programs, publication output is a key indicator of successful participation. However, these programs influence not only the publication activity of the participating universities but also their interaction with the wider academic environment. The German Excellence Initiative is one such example. It was launched in Germany in 2006 to increase the competitiveness and attractiveness of German universities. Möller et al. concluded that participation in the program contributed to the interaction of universities with the non-university academic environment. However, changes in the German academic system that have occurred since the beginning of the program are not massive (Möller et al. 2016). Recent paper (Civera et al. 2020) uses the case of German Excellence Initiative to show that targeting quantity may have a negative effect on quality of research output.

The experience of the first excellence programs shows that the creation of world-class universities requires not only targeted financial investments for increasing publication activity, but also the reorganization of higher education systems. The main goal of the G- lobal University Project-in Japan was the integration of 37 national universities into the international academic community. The key indicators of the program include factors of international cooperation: international co-authorship, participation in international research and educational projects, and citations.The program was launched in 2014 and intends to operate for at least ten years. While this policy has increased the productivity of participating universities, the gap between universities at the national level is also increasing (Yonezawa and Shimmi 2015). In addition, at this stage of the program, it is difficult to assess how the policy of global integration of Japanese universities will lead to qualitative improvements in the system. Zong and Zhang (2019) studying Project 985, also note that the publication gap between different types of universities is growing as a result of the excellence initiative.

The results of excellence initiatives in different countries suggest that such programs have a complex influence on national higher education and its research systems. To achieve the program aims, universities change their collaboration and governance structures, and also the higher education system itself (De Filippo et al., 2016). However, side effects might appear, such as the stratification and growth of university inequality inside the country. Thus, excellence programs have a large-scale impact on nationwide academic systems.

2.1. The Russian case

In Russia, the most high-profile program of targeted support of leading universities started in 2013 and aimed to improve "the competitiveness of Russian universities" (Yudkevich 2013). This aim requires efforts in several dimensions, namely the development of strong and committed leadership, attracting productive and promising faculty both in Russia and internationally, and the support of academic mobility and programs of international collaboration. Research performance was chosen as one of the key indicators of university progress. Each year the universities taking part in the program report to the Ministry of Science and Higher Education about their progress in a number of indicators to secure funding for the next year.

The indicators include both publication and citation counts in WoS and Scopus1 . The key feature of the program, which differentiates it from many similar excellence university programs across the world is the short-term character of the control of performance and funding. Such a design creates strong incentives for universities to show quick results and pushes them to improve every year.

Recent research reveals that Project 5-100 has already had a positive effect on the publication activity of universities in the first years of participation. Turko et al. (2016) reveal that after joining the project, participating universities increased the total number of publications and the share of publications in 10 % of the most cited journals. However, this work has several drawbacks.: It does not take into account the size of the universities, the control group includes only five universities, the obtained data reflects the early stages of Project 5-100, and the indicators used are derived from the Scopus database. This database indexes a significant number of potentially unscrupulous journals, which are used for artificially increasing publication indicators, especially in Russia (Sterligov and Savina 2016).

Poldin et al. (2017) studied the effect of the project based on the Web of Science (WoS) database and took into account the funding and the number of scientific staff. They revealed that in the first two years of Project 5-100, universities outperformed their own publication trends and the general trend (taking into account the control group). In addition, participating universities increased the number of publications per capita in high-quality journals.

In Soviet period and in Russia until recently, the university sector was separated from the research sector represented by Russian Academy of Sciences. So, for Russian higher education institutions, research was not their base function for many decades. Therefore, for stable publication growth, universities are forced to reorganize in order to make research an important part of university mission Agasisti et al. (2018) found that afterjoining Project 5-100, universities demonstrate growth in publication output and increased productivity and efficiency. The analysis is based on data about average entry exam scores,the number of students, R&D expenditures, and regional GDP per capita.

Participation in the project may also push the university administration to prioritize quantity over quality and to create incentives for faculties to publish faster, targeting low quality journals. Guskov et al. (2017) argue that participation in the program forced universities to change their publication strategies in favor of increasing the number of publications. Some participating universities use unfair strategies (for example, publishing in predatoryjournals) to increase their publication outputs (Guskov et al., 2018; Moed et al., 2018).

Until recently, higher education institutions in Russia mostly focused on teaching while now their missions have expanded to include research as well. Most of the participating universities use collaboration strategies with other scientific organizations (Guskov et al., 2018). Ivanov et al. (2016) analyzed the contribution of the Russian Academy of Sciences (RAS) to the growth of publication activity of Russian universities and reported growth in the number of publications written jointly by Project 5-100 universities and RAS.