Принципал-агентская проблема в российской системе финансирования науки по результатам тема диссертации и автореферата по ВАК РФ 00.00.00, кандидат наук Вершинин Иван Владимирович

• Вершинин Иван Владимирович
• кандидат наук
• 2024

Оглавление диссертации кандидат наук Вершинин Иван Владимирович

ОГЛАВЛЕНИЕ

ВВЕДЕНИЕ

ГЛАВА 1. ПРИНЦИПАЛ-АГЕНТСКАЯ ПРОБЛЕМА В НАУЧНОЙ ПОЛИТИКЕ

1.1. Аппарат агентской теории для применения в научной политике

1.2. Эволюция взглядов на принципал - агентскую проблему в научной политике

1.3. Проблемы интерпретаций принципал-агентской проблемы в системах финансирования науки по результатам

ГЛАВА 2. ИСТОЧНИКИ АСИММЕТРИИ ИНФОРМАЦИИ В СИСТЕМАХ ФИНАНСИРОВАНИЯ НАУКИ ПО РЕЗУЛЬТАТАМ

2.1. Системы финансирования науки по результатам: становление тренда в научной политике

2.2. Асимметрия информации при применении показателей научной результативности в СФНР

2.2.1. Асимметрия информации при применении показателей публикационной активности

2.2.2. Асимметрия информации при применении показателей патентной активности

2.2.2.1. Асимметрия информации по результативности патентов

2.2.2.2. Асимметрия информации по патентному поведению и связанных рисках

2.2.2.3. Асимметрия информации при определении ценности патентов в показателе патентной активности

2.3. Асимметрия информации при применении экспертной оценки научной

результативности

2.4. Новая схема принципал-агентской проблемы в СФНР

ГЛАВА 3. РОССИЙСКАЯ СИСТЕМА ФИНАНСИРОВАНИЯ НАУКИ ПО РЕЗУЛЬТАТАМ

3.1. Становление российской системы финансирования науки по результатам

3.1.1. Российский опыт оценки научной результативности вне СФНР

3.1.2. Нормативно правовое обеспечение российской СФНР

3.1.3. Российская СФНР: практическая реализация

3.1.4. Основные параметры российской СФНР

3.2. Эмпирические данные о проявлении агентской проблемы в российской СФНР

ГЛАВА 4. ПЕРСПЕКТИВЫ ПРИМЕНЕНИЯ АГЕНТСКОЙ ТЕОРИИ В РОССИЙСКОЙ

НАУЧНОЙ ПОЛИТИКЕ

4.1. Апробация результатов исследования в интервью представителей принципала

4.2. Перспективы дальнейшего исследования принципал-агентской проблемы в научной политике

ЗАКЛЮЧЕНИЕ

СПИСОК ИСПОЛЬЗОВАННОЙ ЛИТЕРАТУРЫ

ПРИЛОЖЕНИЕ 1 ПОКАЗАТЕЛИ НАУЧНОЙ РЕЗУЛЬТАТИВНОСТИ В ЗАРУБЕЖНЫХ СИСТЕМАХ ФИНАНСИРОВАНИЯ НАУКИ ПО РЕЗУЛЬТАТАМ

ПРИЛОЖЕНИЕ 2 ЕДИНАЯ МЕТОДИКА РАСЧЕТА МИНИМАЛЬНЫХ (ПОРОГОВЫХ) ЗНАЧЕНИЙ ПОКАЗАТЕЛЕЙ РЕЗУЛЬТАТИВНОСТИ ДЛЯ РЕФЕРЕНТНЫХ ГРУПП И ОЦЕНКИ ОРГАНИЗАЦИЙ, ВЫПОЛНЯЮЩИХ НАУЧНО-ИССЛЕДОВАТЕЛЬСКИЕ,

ОПЫТНО-КОНСТРУКТОРСКИЕ И ТЕХНОЛОГИЧЕСКИЕ РАБОТЫ ГРАЖДАНСКОГО НАЗНАЧЕНИЯ

ПРИЛОЖЕНИЕ 3 ПРОЕКТ МЕТОДИКИ ЭКСПЕРТНОЙ ОЦЕНКИ ВЫПОЛНЕНИЯ ПРОГРАММ ЦЕНТРОВ НТИ, ЗАВЕРШАЮЩИХ ОСНОВНУЮ ДЕЯТЕЛЬНОСТЬ В 2022 ГОДУ

ПРИЛОЖЕНИЕ 4 ФОРМА ЭКСПЕРТНОГО ЗАКЛЮЧЕНИЯ ПО ОЦЕНКЕ РЕЗУЛЬТАТОВ РЕАЛИЗАЦИИ ПРОГРАММЫ ЦЕНТРА НТИ

ПРИЛОЖЕНИЕ 5 ИНТЕРВЬЮ С АР. ГАРЕЕВЫМ, УПРАВЛЯЮЩИМ ДИРЕКТОРОМ ЦЕНТРА УПРАВЛЕНИЯ НАУЧНО-ТЕХНОЛОГИЧЕСКИМ РАЗВИТИЕМ ФОНДА ПОДДЕРЖКИ ПРОЕКТОВ НАЦИОНАЛЬНОЙ ТЕХНОЛОГИЧЕСКОЙ ИНИЦИАТИВЫ

ПРИЛОЖЕНИЕ 6 ИНТЕРВЬЮ С А.Г. ФОНОТОВЫМ, ЭКС-ДИРЕКТОРА РОССИЙСКОГО ФОНДА ТЕХНОЛОГИЧЕСКОГО РАЗВИТИЯ (ФГАУ «РФТР»)

Введение1

Актуальность темы исследования. В последние десятилетия реализация научной политики2 вызывает неоднозначную реакцию со стороны мирового научного сообщества. Большое распространение получает критика принуждения учёных к публикационной активности, и связанных с этим наукометрических систем оценки результативности учёных в национальных научных политиках (Лейденский манифест, Декларация DORA). В профильной литературе всё чаще стала отмечаться необоснованность ряда аспектов современной научной политики, её рассогласованность с внутренней логикой развития науки и ожиданиями общества (Семенов, 2019; 2020; Тамбовцев, 2018; 2020; Черныш, 2020; Шупер, 2020). Начиная с 2000 - 2010-х годов возникают направления исследований, посвящённые проблемам применения конкурентных механизмов стимулирования исследований на основе наукометрической оценки результативности, а также наблюдаемыми вследствие этого неоднозначными изменениями в структуре научных исследований, выборе тематик работ, изменениями в поведении исследователей и других так называемых «побочных эффектов» (Side Effects) современной научной политики (Osterloh, 2010; Abramo et al., 2011; Frost, Brockmann, 2014; Welpe et al., 2015; Gläser, Laudel, 2016; Biagioli et al., 2019 и др.). (Вершинин, 2022)

Актуальность такой повестки вызвана повсеместным внедрением систем финансирования науки по результатам (performance-based research funding systems) в национальных научных политиках. Пионером этого подхода стала Великобритания, где в 1986 году был имплементирован один из первых вариантов такой системы (Bence, Oppenheim, 2005), в 1990-х её примеру последовали ряд других развитых стран. В 2000 -2010 годах внедрение национальных систем финансирования науки по результатам, которые в той или иной степени предусматривают конкуренцию не просто за научные проекты, но и за собственно базовое финансирование субъектов науки, стали основой научной политики Европейского союза и ряда других развитых стран за пределами Европы (Hicks, 2010; 2012; Zacharewicz et al., 2019), формируя, таким образом, тренд в мировой

1 Текст главы включает в себя результаты исследований, опубликованные автором диссертации в статье: Вершинин И.В. (2022). О принципал-агентской проблеме в научной политике. Социология науки и технологий, 13 (1), 60-80. doi: 10.24412/2079-0910-2022-1-60-80

2 В настоящей исследовательской работе под научной политикой понимается система воздействия уполномоченных органов власти (субъектов политики) на объекты научной деятельности (по умолчанию подразумевается государственный сектор науки: вузы и научные организации), например, российская государственная научно-техническая политика и её аналоги за рубежом (Science/Research Policy). Концептуально, в статье разделяется понимание научной политики, предложенное В. Тамбовцевым, как совокупность намерений некоторого субъекта относительно будущего состояния и/или динамики науки (как определенной социально-экономической системы) и выбранных им средств (инструментов политики), применение которых, по мнению субъекта политики, обеспечит реализацию этих намерений (Тамбовцев, 2018; 2020).

научной политике. В таких системах финансирование науки в той или иной степени привязывается к выполнению показателей научной результативности, устанавливаемых распорядителем средств. При этом возникает конкуренция между исполнителями за их достижение, что неизбежно обостряет формальные аспекты деятельности получателей финансирования и оказывает давление на логику и стратегию их поведения. (Вершинин, 2022)

Исследовательская интерпретация новых форм научной политики происходит с позиций различных теоретических концепций. В рамках критического направления, наиболее популярным становится критика применения концепций неолиберализма или нового государственного управления в научной политике (New Public Management) (Welpe et al., 2015; Вострикова, Куслий, 2015; Душина и др., 2019; и др.). В ходе выработки решений органами власти, как правило, используется аргументация из различных дисциплин: наукометрии, социологии науки, микроэкономики, отдельных нарративных свидетельств и др. Начиная с 2000-х годов формируются комплексные концепции рационализации процесса формирования научной политики: доказательная политика (evidence-based policy) (Wells, 2007), «наука о научной политике» (science of science policy, Marburger, 2005), «рассказывание количественных историй» (quantitative story-telling) (Saltelli, Giampietro, 2016; 2017) (более подробно о концепциях обоснованности научной политики см. Тамбовцев, 2018). (Вершинин, 2022)

Настоящая работа направлена на раскрытие потенциала другой концептуальной основы для исследовательской интерпретации научной политики - агентской теории и связанной с ней понятием принципал-агентской проблемы, которая стала активно применяться в контексте научной политики начиная с 1990-х годов, однако применительно к такому относительно новому явлению, как финансирование науки по результатам, ещё не получила широкого распространения. (Вершинин, 2022)

Изначально, принципал-агентская теория зародилась в рамках экономических исследований (1970-е) и использовалась для объяснения природы отношений внутри фирм и между ними (Jensen, Meckling, 1976; Pratt and Zeckhauser, 1985). Теория исходит из наглядной модели принципал - агентских отношений, которые возникают между акторами, где один из них, принципал, поручает ресурсы другому актору, - агенту, который должен использовать их для реализации целей принципала, которые сам принципал не может достичь самостоятельно. Предоставляя ресурсы агенту, принципал получает право контроля за его деятельностью (Coleman, 1990). (Вершинин, 2022)

Ключевая проблема принципал - агентских отношений заключается в том, что принципал не может знать, насколько добросовестно действует агент для достижения его

целей. В свою очередь, агент может использовать отсутствие специальных познаний или недостаток информации у принципала с целью удовлетворения собственных интересов при выполнении поручения принципала (проблема асимметрии информации). Концептуальная универсальность принципал-агентской модели отношений достаточно быстро получила востребованность и за пределами экономических исследований. Например, в политических исследованиях, она в различных вариациях была применена для концептуализации проблем транслирования решений правительства в профильные ведомства и агентства, отношений между избирателями и депутатами парламента, отношения во внешней политике и др. (Moe, 1984; Strom, 2000; Huber, Lupia, 2001; Vaubel, 2006 и др.). (Вершинин, 2022)

В контексте научной политики, распределители средств, как одна сторона (принципал), и организации научного сектора, как другая (агенты), образуют отношения, связанные с передачей ресурсов и достижением целей принципала - научной результативности. При этом стороны могут иметь разное представление о направлении и степени интенсивности научного познания, преследовать различные цели и интересы, что ведёт к предпосылкам возникновения асимметрии информации и напряжения сторон. Так, уже в первом приближении, применение принципал-агентской теории затрагивает ключевые аспекты полемики о научной политике и предоставляет широкую основу для исследовательских интерпретаций. (Вершинин, 2022)

В исследованиях научной политики теория принципал - агентских отношений стала использоваться начиная с 1990-х годов (Braun, 1993; Rip, 1994). Научная политика была представлена как ситуация, в которой «не учёные» ("non-scientists") управляют учёными. Основная проблема научной политики была сформулирована как проблема делегирования общественных целей в сфере науки и технологий от правительства к научно-исследовательскому сектору (Guston, 1996). При реализации такого делегирования правительство выступает в роли принципала, распределяющего ресурсы агентам в сфере исследований и разработок, и в силу различия в специальных познаниях и ограниченного доступа к информации, правительство, как классический принципал, не может контролировать соответствие усилий, прилагаемых агентами для достижения поставленных целей. (Вершинин, 2022)

Система взглядов по принципал-агентской проблеме в научной политике складывалась в период 1993 - 2003 гг. Однако позже, несмотря на призывы к дальнейшему раскрытию потенциала принципал-агентской дилеммы в научной политике (Braun, Guston, 2003; Fernández-Carro, 2009), в дискуссии по этой теме не было сделано новых принципиальных шагов. В настоящее время, существующие версии принципал-агентской проблемы не в полной мере отвечают современной повестке научной политики из-за

широкого распространения систем финансирования науки по результатам, в которых существенная доля финансирования исполнителей привязывается к их результативности, выраженной как правило в виде публикационных показателей результативности. Это вносит существенные коррективы в представленные схемы принципал-агентской проблемы в научной политике и открывает совершенно новое поле для исследовательских интерпретаций. (Вершинин, 2022)

Особую актуальность это приобретает в контексте российской научной политики. В России полноценное формирование национальной системы финансирования науки по результатам началось со вступления в силу Постановления Правительства Российской Федерации от 08.04.2009 г. №312 «Об оценке и о мониторинге результативности деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения» (далее - ПП 312). Несмотря на то, что российская система финансирования науки по результатам де-факто сложилась, в российской профильной литературе единое методическое описание этой системы ещё не сформировалось: мероприятия по реализации ПП 312 рассматриваются как система «мониторинга и вневедомственной оценки результативности деятельности научных организаций» (ВШЭ, 2014; 2015a; 2015b); «федеральная система мониторинга результативности деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы (ФСМНО)» (РИЭПП, 2019); «оценка результативности научной деятельности организаций, выполняющих исследования и разработки» (РИЭПП, 2020).

Вместе с тем, ПП 312 устанавливает на национальном уровне регулярную оценку научной результативности в режиме ex post и увязывает итоги оценки с последующим финансированием университетов и научных организаций - что является главными признаками системы финансирования науки по результатам согласно методологии систем финансирования науки по результатам (Hicks, 2010; 2012; Jonkers et al., 2016; Zacharewicz et al. 2019 и др.). Таким образом, для исследования принципал-агентской проблемы в российской научной политике, требуется проведение методического описания российской системы ФСМНО как системы финансирования науки по результатам.

Исходя из вышеуказанного, цели и задачи настоящего диссертационного исследования формулируются следующим образом.

Цель исследовательской работы - выявить потенциал агентской теории для рационализации современной научной политики.

В соответствии с указанной целью были сформулированы следующие задачи исследования:

1. Провести анализ существующих исследовательских позиций по интерпретации агентской проблемы в научной политике;

2. Разработать актуализированную схему агентской проблемы, учитывающую структуру современных систем финансирования науки по результатам (СФНР);

3. Установить параметры российской системы финансирования науки по результатам;

4. Выявить и провести анализ признаков агентской проблемы на примере данных о научной результативности в российской системе финансирования науки по результатам;

5. Подготовить предложения по дальнейшему применению потенциала агентской теории для рационализации российской научной политики.

Объект исследования: российская система финансирования науки по результатам. Предмет исследования: принципал-агентская проблема, возникающая при функционировании российской системы финансирования науки по результатам. Степень научной разработанности проблемы.

Начиная с 2000-х годов, в профильной литературе складывается тренд по исследованию национальных систем финансирования науки по результатам.

Методология, общие обзоры и сопоставления систем финансирования науки по результатам - Hicks (2010; 2012), Van Daalen, et al. (2014), Jonkers K. et al. (2016), Reale (2017), Zacharewicz et al., (2019); в том числе в рамках финансирования университетов (высшего образования) - Herbst (2007), Dougherty & Natow (2015).

Сравнительный анализ систем финансирования науки разных стран - De Boer, et al. (2007), Rebora, Tum (2013), Jonkers, Zacharewicz (2015), Geuna, Piolatto (2016), Qquist & Benner (2015).

Исследования посвящённый национальным моделям систем финансирования науки по резульатам: Австралия - Butler (2003; 2010); Новая Зеландия - Buckle, Creedy (2022); Великобритания - Bence, Oppenheim, (2005), Marques et al., (2017); Дания - Larsen (2010); Италия - Franseschet, Costantini (2011); Benedetto, Malgarini (2016); Китай - Xu & Li (2016); Норвегия - Aagaard et al., (2015); Фландрия - Luwel (2021); Швеция - Qquist, Benner (2012), Karlsson, Persson (2012); Чехия - Vanecek (2014); Good et al. (2015) и ряд других.

Российская федеральная система мониторинга результативности деятельности научных организаций рассматривается в работах Гришакина и др. (2020), Улякина и др. (2021), Доронина (2018); Доронина, Комаров (2018); Гусев и др. (2018); Косяков и др. (2017), Ушакова (2017); а также в аналитических работах ВШЭ (2014; 2015a; 2015b); РИЭПП (2019; 2020).

Теоретический аппарат принципал-агентской проблемы раскрыт в работах Jensen, Meckling (1976); Akerlof (1970); Williamson (1985); Капелюшников (1994; 1998), в том числе применение принципал-агентской дилеммы при исследованиях различных социально-экономических отношений Moe (1984); Strom (2000); Huber, Lupia (2001); Vaubel (2006) и др. Проблема принципал-агентских отношений в научной политике разрабатывалась в работах Braun (1993); Rip (1994); Guston (1996); Rip, Meulen (1996); Caswill (1998); Meulen (1998); Guston (1999; 2000); Morris (2003); Shove (2003).

Методологическая и теоретическая основа исследования: для решения поставленных задач автором работы использовались методы: системный анализ, логический и статистический анализ, методы индукции и дедукции, анализ документов и отчетности, глубинное интервью. Теоретической базой исследования стали работы известных зарубежных и российских ученых по проблемам научной политики, систем финансирования науки по результатам, агентской теории, принципал-агентской проблеме, а также нормативно-правовая база Российской Федерации как институциональный аспект, характеризующий правовую среду объекта исследования.

Информационную базу исследования составили данные о результативности научной деятельности российских организаций за отчетные периоды 2015 - 2022 гг., которые были направлены организациями в Базу данных, содержащую сведения о результативности деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы (БД РД НО) и данные которых прошли верификацию.

Научная новизна исследования:

1. Установлено несоответствие существующих интерпретаций принципал-агентской проблемы в контексте систем финансирования науки по результатам.

2. Сформировано описание российской системы финансирования науки по результатам в соответствии с международными стандартами таких систем.

3. Рассмотрена роль показателей научной результативности и экспертной оценки в системах финансирования науки по результатам в контексте принципал-агентской проблемы.

4. Представлена общая схема принципал-агентской проблемы в российской системе финансирования науки по результатам.

5. Подготовлены предложения по смягчению принципал-агентской проблемы в российской системе финансирования науки по результатам.

Основные положения, выносимые на защиту:

1. Предложена новая схема принципал-агентской проблемы современной научной политики с учетом системы финансирования науки по результатам.

Распорядитель Видение результативности

средств Показатели научной Целеполагание по Научный сектор

через показатели -► показателям -►

результативности *........................................ Формальная

Принципал Попытка контроля через экспертного посредника результативности значений показателей

Экспертная оценка

Расплывчатые интерпретации

результатов

Асимметрия информации

Общая схема принципал-агентской проблемы современной научной политики с учетом СФНР и на основе комбинированной оценки научной результативности

Источник: составлено автором

Основная специфика соверменной научной политики - применение систем финансирования науки по результатам через привязку финансирования к научной результативности агентов, оказалась целенаправленно не проработана в представленных в литературе интерпретациях. В отличие от классических моделей принципал-агентских отношений в научной политике, в системах финансирования науки по результатам особую роль начинают играть показатели научной результативности - от их выполнения и их способности фиксировать агентскую результативность зависит финальная оценка принципалом добросовестности усилий агента. Таким образом показатели научной результативности приобретают новую природу: на них переходит посредническая функция.

Применение показателей научной результативности и экспертной оценки в системах финансирования науки по результатам не ведёт к редуцированию асимметрии информации между принципалом и агентом, не препятствует оппортунистическому поведению агентов и потенциально ведёт к проявлению эффекта неблагоприятного отбора.

2. В России сформирована национальная система финансирования науки по результатам (далее - СФНР), отвечающая методическим требованиям к СФНР.

Основные параметры российской СФНР

№ Методический параметр СФНР Значения параметра российской СФНР

Обязательные параметры

1 Общенациональная система Оценка и мониторинг научной результативности охватывает все бюджетные организации, выполняющие

№ Методический параметр СФНР Значения параметра российской СФНР

НИОКТР (мониторинг охватывает и негосударственные организации) - Постановление

2 Институциональное финансирование Результаты оценки влияют на институциональное финансирование (программы развития организаций). Достигнутые значения по показателям научной результативности привязаны к вынесению решения о судьбе организации: 1) прекращение базового финансирования и реорганизация / ликвидация организации; 2) сохранение статуса-кво финансирования; 3) право на дополнительное финансирование программы развития организации

3 Оценка научной результативности ex-post Оценка научной результативности проводится по прошлым периодам

4 Оценка через показатели научной результативности Согласно классификации показателей СФНР Хансен (2010), задействованы все три категории показателей научной результативности: 1) первого порядка (показатели Приказа 162) 2) второго порядка (интегральные показатели по Методике оценки); 3) третьего порядка (ранжирование по референтным группам)

3 Частота оценки Не реже чем 1 раз в 5 лет (внеочередная оценка - может быть проведена не чаще одного раза в 3 года)

4 Период оценки Оценка проводится на основе сведений, отражающих деятельность научной организации не менее чем за 3 года, предшествующие оценке результативности деятельности научной организации

5 Подход к оценке Комбинированный (показатели научной результативности и экспертная оценка)

Источник: составлено автором.

3. В российской системе финансирования науки по результатам выявлен признак оппортунистического поведения - «уклонение» (shirking), - выраженный в занижении агентами численности занятых ИиР с целью повышения значений показателя, измеряющего публикационную активность.

По итогам анализа сведений о результативности научной деятельности за отчетные периоды 2015 - 2022 гг. в БД РД НО, было установлено что оцениваемые организации достаточно четко отреагировали на показатели публикационной активности в СФНР и приложили значительные усилия для его выполнения. Это видно по значительно возросшим публикациям в WoS и Scopus - значения которых задействованы в формуле оценке и значительному падению публикаций в РИНЦ, которые были исключены из оценки. Однако одновременно был выявлен и побочный эффект от показателя, связанный

с нормированием показателей на персонал, занятый в исследованиях и разработках, -уменьшение числа задействованного исследовательского персонала в формуле оценки -попало в прямой интерес оцениваемых организаций. В итоге численность занятых в исследованиях и разработках к первой комплексной оценке 2019 г. существенно снизилось.

Степень достоверности результатов проведённых соискателем учёной степени исследований. Полученные результаты являются обоснованными и подтверждёнными с помощью анализа информации, системно-логического рассуждения и обработки данных.

Теоретическая значимость результатов диссертационной работы: в диссертационной работе разработана и представлена общая схема принципа-агентской проблемы в системе финансирования науки по результатам, которая является дальнейшем развитием интерпретаций принципал-агентской проблемы в научной политике. Впервые предложен подход картирования принципал-агентских отношений в национальных системах финансирования науки по результатам с учетом административной конфигурации на примере российской системы. Дана интерпретация показателей научной результативности с учётом их влияния на возможности оппортунистического поведения агентов в таких системах. Теоретические и методические результаты работы могут служить основой для дальнейших исследований по рационализации научной политики и повышения эффективности органов государственной власти.

Практическая значимость результатов исследования. В диссертационном исследовании сформированы предложения по купированию эффектов принципал-агентской проблемы в российской системе финансирования науки по результатам, которые потенциально могут оказывать существенное влияние на возможность оппортунистического поведения оцениваемых научных организаций и вузов: в Единой методика расчета минимальных (пороговых) значений показателей результативности для референтных групп и оценки организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения предложено отказаться от нормирования показателей на численность исследователей в пользу нормирования на финансирование. Предлагаемое решение направлено на снижение побочных эффектов от оценки научной результативности организаций.

Используемый в диссертационном исследовании методический подход по применению принципал-агентской проблемы для определения и предсказания возможностей оппортунистического поведения агентов может быть использован как инструмент проверки и рационализации решений государственного органа власти, являющегося отраслевым регулятором государственной научно-технической политики.

Введение диссертации (часть автореферата) на тему «Принципал-агентская проблема в российской системе финансирования науки по результатам»

Апробация работы.

Перечень научных мероприятий, на которых были представлены результаты диссертационного исследования:

1) Международная научная конференция «Национальная экономическая безопасность: потенциал развития и вызовы цифровой экономики». Кафедра политической экономии экономического факультета МГУ имени М.В. Ломоносова, 13.10.2018 г. Тема доклада: Национальная научно-технологическая безопасность: ключевые проблемы государственного управления и пути их решения.

2) IOP Material Science and Engineering. International Scientific Conference "Digital Transformation on Manufacturing, Infrastructure and Service" (DTMIS-2018), Peter the Great St. Petersburg Polytechnic University, Russia. 2018 (Scopus).

3) Svetlana Ushakova, Olga Sergeeva, Ivan Vershinin, Aleksey Kornilov. Approach to assessing efficiency of public expenditures on applied research in condition of digital economy. IOP Conf. Series: Materials Science and Engineering 497 (2019) 012097. doi:10.1088/1757-899X/497/1/012097 (03.04.2019).

4) International Business Information Management Conference (34th IBIMA) Madrid, Spain 13-14 November 2019 (Scopus), заочное участие (публикация материалов) I. Vershinin "The Side Effects of Patent Indicators in Performance Based Research Funding Systems: Theoretical Grounds" (ISBN: 978-0-9998551-3-3) (full paper) (14.11.2019 г.).

Основные публикации по теме исследования:

По результатам диссертационного исследования опубликованы 1 монография в соавторстве, 8 научных статей общим объемом - 14,5 п. л., из которых 9,9 п.л. - авторский вклад. 3 статьи из указанных опубликованы в журналах, индексируемых в WoS, Scopus; 2 статьи - в изданиях, включенных в список журналов высокого уровня, подготовленный в НИУ ВШЭ.

Структура и объем диссертации согласуются с поставленными целями и исследовательскими задачами. Работа состоит из введения, трех глав, разделённых на параграфы, заключения, списка литературы и 2 приложений. Основной текст работы изложен на 122 страницах, содержит 9 таблиц и 14 рисунков.

Глава 1. Принципал-агентская проблема в научной политике3

1.1. Аппарат агентской теории для применения в научной политике

Агентская теория и её центральный вопрос - принципал-агентская проблема -являются органичной частью новой институциональной теории. Рассмотрим основные понятия агентской теории в контексте неоинституционализма и их применимость в интерпретациях проблем научной политики.

В 1937 г. Р. Коуз в своей работе «Природа фирмы» поставил вопрос о том, почему существуют фирмы. Он пришёл к предположению, что главной причиной образования юридического лица - в отличие от простой сети контрактов между физическими лицами, -является необходимость снижения трансакционных издержек. Проведение сделок на рынке имеет свою стоимость - к ним нужно готовиться, собирать информацию, проводить переговоры, заключать контракты, следить за их исполнением и т.д., — всё это ведёт к затратам времени, финансов, труда, которые сопровождают каждую сделку на рынке. Такие затраты определены как трансакционные издержки, и их снижение целесообразно достигать уже в совсем других рамках, нежели свободное поведение продавцов и покупателей на рынке - в рамках относительно жёсткой административной иерархии и регламентации, которые задаёт фирма (Couse, 1937; 1988).

Введение в оборот понятия трансакционных издержек качественно изменило теоретические представления об экономической деятельности. В традиционной экономической теории, отсутствие понятия трансакционных издержек приводило к допущению, что любые взаимодействия между экономическими агентами происходят мгновенно и гладко, без малейших трений и потерь. Так, при оценке реально действующих экономических механизмов неоклассическая теория принимает за точку отсчета модель совершенной конкуренции, а отклонения от нее расцениваются как «провалы рынка». Как охарактеризовал такой подход Г.Демсец, - привычка сравнивать реальные, но несовершенные институты с совершенным, но недостижимым идеальным образцом является «экономикой нирваны» (Капелюшников, 1998a).

Неоинституционализм, напротив, базируется на допущениях, что поведение экономических агентов, а это прежде всего люди, индивиды, обусловлено в том числе ограниченной рациональностью и оппортунистическим поведением. Если в неоклассической теории человек представляется как гиперрациональное существо, то

3 Текст главы включает в себя результаты исследований, опубликованные автором диссертации в следующих статьях: Вершинин И.В. (2022). О принципал-агентской проблеме в научной политике. Социология науки и технологий, 13 (1), 60-80. аог 10.24412/2079-0910-2022-1-60-80

неоинституционализм подчеркивает ограниченность человеческого интеллекта: знания, которыми располагают люди, всегда неполны, их счетные и прогностические способности не беспредельны, для совершения логических операций требуются время и усилия (Капелюшников, 1998a). Поэтому решения экономических агентов являются рациональными лишь до известных пределов, которые задаются неполнотой доступной им информации и ограниченностью их интеллектуальных возможностей (Капелюшников, 1998a).

Спустя некоторое время после работы Р. Коуза «Природа фирмы», - которая впоследствии будет признана отправной точкой в формировании неоинституциональной теории, - появилось несколько теоретических направлений, развивающих концепцию трансакционных издержек при интерпретации экономических явлений: теория фирмы, теория трансакционных издержек, теория прав собственности и др4. Агентская теория выделяется к 1970-м годам. Значимый шаг по этому направлению сделан А.Алчианом и Г.Демсецом в работе «Производство, информационные издержки и экономическая организация» (1972 г.). Сущность фирмы они выводили из преимуществ кооперации, когда совместно используя какой-либо ресурс в составе целой «команды», можно достигать лучших результатов, чем действуя по одиночке. Однако производство единой «командой» затрудняет оценку вклада каждого участника в общий результат, порождая стимулы к «отлыниванию». Это приводит к потребности в контролере, который вводил бы подобное поведение в жесткие границы. Агент, берущий на себя по соглашению с другими участниками функции контролера, становится собственником фирмы (Капелюшников, 1998b).

Развивая этот подход, У. Меклинг и М. Дженсен определили фирму как «сеть контрактов» (Jensen, Meckling, 1976). Проблема фирмы понимается ими как проблема выбора оптимальной контрактной формы, обеспечивающей максимальную экономию на трансакционных издержках. Задача сводится к выработке таких контрактов, которые были бы лучше всего приспособлены к особенностям каждой конкретной сделки (Капелюшников, 1998c). В этой же работе приведено описание проблемы принципала и агента, ставшая классической интерпретацией принципал-агентской проблемы, хотя и есть точка зрения, что первенство в формулировании проблемы принадлежит Россу, который

4 Капелюшников (1994) отмечает, что общепринятой классификации трансакционных издержек не сложилось, каждый из последовавших исследователей обращал внимание на наиболее интересные, с его точки зрения, элементы. Дж.Стиглер выделил среди них «информационные издержки», О. Уильямсон - «издержки оппортунистического поведения», М.Дженсен и У.Меклинг - «издержки мониторинга за поведением агента и издержки его самоограничения», Й.Барцель - «издержки измерения», П.Милгром и Дж.Робертс - «издержки влияния», Г.Хансманн - «издержки коллективного принятия решений». К.Далман включил в их состав «издержки сбора и переработки информации, издержки проведения переговоров и принятия решений, издержки контроля и юридической защиты выполнения контракта».

описал эту же дилемму с точки зрения человека, выбирающего вкус мороженого для кого-то, вкусы которого он не знает (Mitnick, Barry, 2006).

Принципал-агентская проблема исходит из модели принципал - агентских отношений, которые возникают между акторами, где один из них, принципал, поручает ресурсы другому актору, - агенту, который должен использовать их для реализации целей принципала, которые сам принципал не может достичь самостоятельно. Предоставляя ресурсы агенту, принципал получает право контроля за его деятельностью. Ключевая проблема принципал - агентских отношений заключается в том, что принципал не может знать, насколько добросовестно действует агент для достижения его целей. В свою очередь, агент, максимизируя собственную выгоду в этих отношениях, может использовать отсутствие специальных познаний или недостаток информации у принципала с целью удовлетворения собственных интересов при выполнении поручения принципала (проблема асимметрии информации). (Вершинин, 2022)

Ключевыми понятиями принципал-агентской проблемы являются её негативные последствия: оппортунистическое поведение (и его частные случаи - «уклонение» (shirking)5 и «вымогательство» (holding-up6)), неблагоприятный отбор и моральный риск.

Термин «оппортунистическое поведение» был введен О.Уильямсоном (Williamson, 1985). Так называется недобросовестное поведение, нарушающее условия сделки или нацеленное на получение односторонних выгод в ущерб партнеру. Под эту рубрику попадают различные случаи лжи, обмана, бездельничанья на работе, манкирования взятыми на себя обязательствами и т.д. Издержки этого типа связаны с трудностями точной оценки постконтрактного поведения другого участника сделки (Капелюшников, 1994).

Как частный случай оппортунистического поведения, «уклонение» - проблема отношений «принципал-агент», когда один индивидуум (принципал, или руководитель) поручает другому (агенту, или исполнителю) действовать в его интересах и от его имени, обещая за это определенное вознаграждение. При этом могут возникать существенные «агентские издержки» (agency costs). Их источник кроется в асимметрии информации, которой располагают принципал и агент. Агент намного лучше принципала осведомлен о своих истинных намерениях и действительном поведении. Асимметрия информации складывается при наличии двух условий:

1) если деятельность агента не поддается непосредственному наблюдению принципала;

5 В русскоязычной литературе также часто переводится как «отлынивание»

6 Здесь и далее «вымогательство» не будет рассматриваться, так как это явление относятся к взаимоотношениям при владении принципалом специфических активов, что выходит за рамки научной политики

2) если о ней невозможно однозначно судить по ее конечным результатам.

Из-за отсутствия достаточной информации принципал не в состоянии установить, были ли нарушены агентом взятые на себя обязательства (то есть права собственности, принадлежащие по условиям договора принципалу). Поскольку интересы агента могут расходиться, и подчас весьма значительно, с интересами принципала, последний оказывается перед угрозой серьезных потерь (Капелюшников, 1994).

Неблагоприятный отбор - эффект, возникающий из-за асимметрии информации, когда участники, обладающие ключевой информацией, могут выборочно участвовать в сделках за счет других сторон, не обладающих такой же информацией. Термин был предложен Аскерлофом в работе 1970 года «Рынок для «лимонов» (Akerlof, 1970). На примере рынка подержанных автомобилей, Аскерлоф демонстрирует, как асимметрия информацию может вытеснять с рынка качественные предложения (товары, работы, услуги). Предположим, покупатели не могут отличить качественный автомобиль от «лимона»7. Тогда они готовы платить фиксированную цену только за автомобиль, который имеет среднюю цену между качественным и «лимоном». Но продавцы знают, что у них в руках - качественный автомобиль или «лимон». Учитывая фиксированную цену, по которой покупатели будут покупать, продавцы будут продавать только тогда, когда у них будут «лимоны», и они уйдут с рынка, когда у них останутся качественные автомобили. В конечном счете, по мере того, как достаточное количество продавцов качественных автомобилей покинет рынок, в целом готовность покупателей платить фиксированную цену снизится (поскольку среднее качество автомобилей на рынке также снизиться), что приведет к тому, что еще больше продавцов высококачественных автомобилей впоследствии покинут рынок из-за невозможности продажи качественного товара за соответствующую стоимость. Таким образом, неинформированный (искажённый вследствие асимметрии информации) ценовой запрос покупателя создает проблему неблагоприятного отбора, которая вытесняет высококачественные автомобили с рынка.

Моральный риск - ситуация, когда у агента есть стимул увеличить свою подверженность риску, поскольку он не несет полной стоимости этого риска. Например, в случае страхования (страховщик - принципал, страхуемый - агент), когда агент застрахован, он может взять на себя более высокий риск, зная, что его страховка окупит связанные с этим расходы. Моральный риск может возникнуть, когда действия стороны, принимающей на себя риск, изменяются в ущерб стороне, несущей расходы, после заключения сделки (совершения финансовой транзакции). Таким образом, в отличие от

7 На американском сленге «лимон» — это автомобиль, в котором был обнаружен дефект после того, как он был куплен.

неблагоприятного отбора, который влияет на состав участников и действует до заключения сделки, моральный риск проявляется после заключения сделки и сказывается на поведении участников.

Концептуальная универсальность принципал-агентской модели отношений достаточно быстро получила востребованность и за пределами экономических исследований. Например, в политических исследованиях, она в различных вариациях была применена для концептуализации проблем транслирования решений правительства в профильные ведомства и агентства, отношений между избирателями и депутатами парламента, отношения во внешней политике и др. (Moe, 1984; Strom, 2000; Huber, Lupia, 2001; Vaubel, 2006 и др.). (Вершинин, 2022)

В контексте научной политики, распределители средств, как одна сторона (принципал), и организации научного сектора, как другая (агенты), образуют отношения, связанные с передачей ресурсов и достижением целей принципала - научной результативности. При этом стороны могут иметь разное представление о направлении и степени интенсивности научного познания, преследовать различные цели и интересы, что ведёт к предпосылкам возникновения асимметрии информации и проявлению соответствующих рисков. Так, уже в первом приближении, применение принципал-агентской теории затрагивает ключевые аспекты научной политики и предоставляет широкую основу для исследовательских интерпретаций. (Вершинин, 2022)

В исследованиях научной политики теория принципал - агентских отношений стала использоваться начиная с 1990-х годов (Braun, 1993; Rip, 1994). Научная политика была представлена как ситуация, в которой «не учёные» ("non-scientists") управляют учёными. Основная проблема научной политики была сформулирована как проблема делегирования общественных целей в сфере науки и технологий от правительства к научно-исследовательскому сектору (Guston, 1996). При реализации такого делегирования правительство выступает в роли принципала, распределяющего ресурсы агентам в сфере исследований и разработок, и в силу различия в специальных познаниях и ограниченного доступа к информации, правительство, как классический принципал, не может контролировать соответствие усилий, прилагаемых агентами для достижения поставленных целей. (Вершинин, 2022)

Так, в исследованиях научной политики был намечен основной сюжет принципал -агентской проблемы. Также были выделены и сопутствующие атрибуты принципал -агентской проблемы, в той или иной форме присутствующие в научной политике: различные цели принципала и агента, асимметрия информации, необходимость

мониторинга со стороны принципала и проблема доверия (Meulen, 1998). Рассмотрим их подробнее. (Вершинин, 2022)

Различные цели принципала и агента. В рамках принципал - агентской теории агенты имеют цели и интересы, которые могут конфликтовать или лишь частично пересекаться с целями принципала. Ресурсы принципала могут быть использованы для удовлетворения собственных целей и интересов агента, и часто такая возможность является единственным стимулом для вступления в принципал - агентские отношения. Для исследователей и научных организаций, примерами собственных целей и интересов могут служить внутренняя логика развития науки, профессиональные интересы и интуиция исследователя, достижение более сильных позиций в научном мире, увеличение собственного благосостояния (Вершинин, 2022) и т.д. В тоже время цели принципала могут быть направлены на реализацию документов стратегического планирования, достижения высокой эффективности распределения ресурсов, улучшения позиционирования национальной науки в международных сравнениях и т.д.

Асимметрия информации. Асимметрия информации между принципалом и агентом происходит вследствие недостатка у принципала компетенций судить о целесообразности тех или иных действий агента по достижению поставленных им целей. По умолчанию, правительство или отдельные его органы, распределяющие финансирование в сфере науки, не имеют должной квалификации для того, чтобы самостоятельно оценивать значимость как проведенных, так и предлагаемых научных исследований. Вследствие этого, правительственные органы вынуждены привлекать сторонних советников с научным опытом, организовывать экспертизу и/или организовывать дополнительные, постоянно действующие органы, осуществляющие отбор, контроль и оценку научных проектов от имени принципала. (Вершинин, 2022)

Необходимо отметить, что такие посреднические организации, организованные в форме научных советов, фондов или профильных ведомств и осуществляющие посреднические функции между правительством и научным сектором, с самого начала стали объектом пристального внимания исследователей (Braun, 1993; Rip, 1994). Деятельность посреднических организаций, в том числе появление у них собственных предпочтений, интересов и тактики взаимодействия с обоими акторами послужили тому, что принципал - агентские отношения в научной политике стали рассматриваться как триадические вместо классического дуализма принципала и агента. (Вершинин, 2022)

Мониторинг. Следующий атрибут принципал-агентской проблемы - право контроля (мониторинга) принципала за деятельностью агентов. Как правило, правительственные органы следуют стратегической повестке в сфере развития науки и

технологий, сформулированной в посланиях высших исполнительных или законодательных органах, документах стратегического планирования или иных источников планирования национального развития. В целях контроля реализации научной политики, принципал должен регулярно оценивать, как и в какой степени деятельность национального научного сектора (в совокупности посреднических организаций и агентов) способствует реализации целей и задач по национальному развитию в сфере науки и технологии. Несмотря на меры по смягчению асимметрии информации через деятельность посреднических организаций, сохраняется необходимость дополнительного мониторинга принципала за деятельностью агентов. Такой мониторинг может осуществляться либо с помощью дополнительной экспертизы, либо при помощи различных формальных показателей результативности (Meulen, 1995; Hansen, 2010) не требующие глубокого погружения в специфику научных результатов и которые могут быть непосредственно проинтерпретированы административными подразделениями принципала. (Вершинин, 2022)

Проблема доверия. Наконец, как указывает Мюлен (Meulen, 1998), принципал вынужден полагаться на доверительные отношения с агентом. В конечном счете только наличие доверия делает принципал - агентские отношения рациональными. Какой бы ни была эффективной деятельность посреднических организаций, или комплексной система мониторинга, в основе научной политики лежит доверие принципала агентам по вопросам достижения национальных целей в сфере науки и технологий. (Вершинин, 2022)

Мюлен подчёркивает, что доверие в научной политике должно носить обоюдный характер, т.е. включать и доверие агентов принципалу, в целях обеспечения долгосрочных, стабильных и преемственных отношений. Так, если добросовестные усилия агентов получают вознаграждения на стабильной и предсказуемой основе, например, через продолжение финансирования или сохранение автономии, у агентов сохраняется высокая мотивация действовать в интересах принципала наиболее рациональным для него способом. С распространением систем оценок и мониторинга национальной результативности в сфере науки, со смещением акцента в научной политике на системы контроля и привязки финансирования науки к таким системам, доверие агентов к принципалу может подрываться и у агентов могут возникать дополнительные стимулы к использованию асимметрии информации для сохранения стабильности своей деятельности (Meulen, 1998. P. 400). (Вершинин, 2022)

Так, принципал - агентская проблема и её основные атрибуты были определены в контексте научной политики. Далее рассмотрим основные версии принципал-агентской

проблемы в научной политике, представленные в существующих работах. (Вершинин, 2022)

1.2. Эволюция взглядов на принципал - агентскую проблему в научной политике8

Система взглядов по принципал-агентской проблеме в научной политике складывалась в период 1993 - 2003 гг. и достаточно быстро прошла путь от становления до формирования оппонирующих точек зрения. Позже, несмотря на призывы к дальнейшему раскрытию потенциала принципал-агентской дилеммы в научной политике (Braun & Guston, 2003; Fernández-Carro, 2009), дискуссия на эту тему не получила существенного развития. Впрочем, необходимо отметить, что количество принципиальных работ, опубликованных на эту тему, оказалось невелико. Вся полемика по проблеме, без учёта обзорных работ или где тема затрагивается лишь косвенно, заключена примерно в 10 работах периода 1993 - 2003 гг. По итогам поиска по различным комбинациям ключевых слов в электронной базе данных EBSCO, а также в открытых источниках не обнаружено статей с новым вкладом в дискуссию или критически осмысляющих сформированные позиции по проблеме после указанного периода. В более поздних обзорах, затрагивающих принципал-агентскую проблему в контексте научной политики, подтверждается, что новых шагов по этому направлению не было сделано (Fernández-Carro, 2009; Martin, 2016). (Вершинин, 2022)

Согласно имеющимся обзорам теоретических концепций, применяемых в научной политике (Martin, 2016), исходной работой, впервые установившей дискурс агентской проблемы в отрасли научной политики, является работа D. Braun, Who Governs Intermediary Agencies? Principal-Agent Relations in Research Policy-Making, Journal of Public Policy 1993. Именно эта работа является базовой для последовавшего корпуса литературы как самая ранняя и заложившая начало дискуссии об агентской проблеме в отношении отдельной специфической экономической отрасли - научной политике.

В целях настоящей диссертации, был исследован публикационный ландшафт по работе Braun (1993) с применением специализированного программного обеспечения Litmaps (https://app.litmaps.com/) (далее - Litmaps). Анализ публикационного ландшафта по указанной работе показал, что работа Braun, 1993 имеет 212 цитирований (последняя дата обращения 14.11.2023 г.). Распределение работ представлено ниже на рисунке Рисунок 1, работы сгруппированы по семантическим кластерам, линиями показаны взаимосвязи

8 Здесь и далее используются материалы статьи автора диссертации: Вершинин И.В. (2022). О принципал-агентской проблеме в научной политике. Социология науки и технологий, 13 (1), 60 -80. doi: 10.24412/20790910-2022-1-60-80

между ними по цитированию. Каждая указанная работа на рисунке (оранжевый круг с наименованием работы), представляет собой тематический кластер, обладающий собственным весом по цитированию - чем крупнее круг, чем выше вес по последующему цитированию.

Рисунок 1 Публикационный ландшафт по базовой работе об агентской проблеме в научной политике Braun, 1993 по данным bitmaps, дата обращения 14.11.2023 г.

Далее каждая из работ, формирующая свой тематический кластер, а также входящие в кластер по цитированию работы, были проанализированы. Ниже в Таблица 1 отобраны и в хронологическом порядке представлены работы по принципал-агентской проблеме в научной политике с кратким пояснением их основных тезисов (Вершинин, 2022). В таблицу вошли работы, возглавившие семантические кластеры по Litmaps, а также отдельные работы внутри или вне кластеров, не успевшие набрать большой вес по цитированию, но тем не менее выдвигающих оригинальные интерпретации, требующие внимания в контексте настоящей диссертации. Одновременно, из таблицы исключены отдельные кластеры и работы, где цитирование агентской проблемы носило обзорный характер (Hayashi, 2003; Laranja, 2012 и др.).

Таблица 1 - Эволюция взглядов на принципал - агентскую проблему в научной политике

Работа Основной тезис (ключевой вклад в дискуссию)

Braun, 1993 Выделение промежуточного уровня (посреднических организаций) - научных советов, ведомств, фондов и иных организаций, выполняющих роль посредника между принципалом и агентом в научной политике (рассмотрение триадических отношений вместо классического дуализма принципала и агента). (Вершинин, 2022)

Rip, 1994 Необходимость мотивирования посреднических организаций при отношениях принципала и агента в научной политике - или они должны становиться на предпринимательские основы (конкурировать за качество своей деятельности) или должны быть упразднены. (Вершинин, 2022)

Guston, 1996 Представление научной политики как проблемы делегирования. Государство (общество) как принципал и научный сектор, как его агент. (Вершинин, 2022)

Список литературы диссертационного исследования кандидат наук Вершинин Иван Владимирович, 2024 год

Список использованной литературы

1. Вершинин И.В. (2016). О государственном задании в сфере науки в свете международного опыта. Общество и экономика, 11, с. 5-22.

2. Вершинин И.В. (2022). О принципал-агентской проблеме в научной политике. Социология науки и технологий, 13 (1), 60-80. doi: 10.24412/2079-0910-2022-1-60-80.

3. Вострикова, К. (2015). «Неолиберализм в науке: подход STS», Epistemology & Philosophy of Science, Vol. 4, pp. 105-127.

4. ВШЭ (2014) Мониторинг и вневедомственная оценка результативности деятельности научных организаций. Отчет о научно-исследовательской работе. Этап № 1.

5. ВШЭ (2015 a) Мониторинг и вневедомственная оценка результативности деятельности научных организаций. Отчет о научно-исследовательской работе. Этап № 2.

6. ВШЭ (2015b) Мониторинг и вневедомственная оценка результативности деятельности научных организаций. Отчет о научно-исследовательской работе. Этап № 3.

7. Гришакина Е.Г., Илиева С.Ю., Комаров Н.М., Вершинин И.В. (2020). Мониторинг результативности научной деятельности организаций, выполняющих исследования и разработки, на основе данных ФСМНО - БД РД НО. Управление наукой и наукометрия, 75(2), 223-250. https://doi.org/10.33873/2686-6706.2020.15-2.223-250

8. Гусев А. Б., Доронина Е. Г., Вершинин И. В., Малахов В. А. (2018). Мониторинг и оценка результатов научно-технической деятельности: зарубежный опыт и российская практика // Наука. Инновации. Образование. 2018. № 1 (27). С. 65-91.

9. Доронина Е.Г., Комаров Н.М. (2018). Профиль гражданской науки по данным федеральной системы мониторинга результативности деятельности научных организаций. Управление наукой и наукометрия, (1 (27)), 92-113.

10. Доронина Е. Г. (2018). Государственные информационные системы для управления научной сферой: современное состояние и пути устранения недостатков. Управление наукой и наукометрия, (4 (30)), 103-119.

11. К апелюшников Р.И. (1994). Категория трансакционных издержек. Московский Либертариум. https://libertarium.ru/l_libsb3_1-2.html

12. Капелюшников Р.И. (1998a). Неоинституционализм. Московский Либертариум. http://www.libertarium.ru/10621

13. Капелюшников Р.И. (1998b). Новая институциональная теория. Московский Либертариум. https://libertarium.ru/10625.html

14. Капелюшников Р.И. (1998c). Теория трансакционных издержек. Московский Либертариум. https://libertarium.ru/10623.html

15. К осяков, Д. В., Гуськов, А. Е., & Селиванова, И. В. (2017). О методике оценки результативности научных организаций на основе данных ФСМНО. Информация и инновации, (S), 100-105.

16. Нетребин Ю. Ю. (2015). Особенности российского рынка услуг по сопровождению в осуществлении публикации научных статей в журналах, индексируемых в системах Scopus и Web of Science. Управление наукой и наукометрия, (18), 255-273.

17. РИЭПП (2019). Развитие методического и аналитического обеспечения функционирования ФСМНО и ЕГИСУ НИОКТР и их использования в оценке результативности научно-технической деятельности // Отчет о научно-исследовательской работе.

18. РИЭПП (2020). Организационно-техническое и научно-методическое обеспечение оценки результативности научной деятельности организаций, выполняющих исследования и разработки // Отчет о выполненной работе.

19. Семёнов Е. В. (2019). Государственная научно-технологическая политика в современной России: замысел и реализация // Управление наукой: теория и практика. 2019. Том 1. № 1. С. 51-71. DOI: https://doi.Org/10.19181/smtp.2019.1.1.1

20. С емёнов Е. В. (2020). Производство показателей как механизм подавления производства знаний, технологий и компетенций // Управление наукой: теория и практика. 2020. Том 2. № 1. С. 69-93. DOI: https://doi.Org/10.19181/smtp.2020.2.1.4

21. Тамбовцев В. Л. (2018). О научной обоснованности научной политики в РФ. Вопросы экономики, №2, февраль 2018, C.5-32

22. Тамбовцев В. Л. (2020). Действенность мер российской научной политики: что говорит мировой опыт // Управление наукой: теория и практика. 2020. Том 2. № 1. С. 15-39. DOI: https://doi.Org/10.19181/smtp.2020.2.1.1

23. Улякина Н.А., Вершинин И.В., Нетребин Ю.Ю., Илиева С.Ю., Комаров Н.М., Бурдакова А.Е. (2021). Результативность научной деятельности организаций, выполняющих исследования и разработки: мониторинг и оценка. Монография. Москва: РУСАЙНС, 112 с.

24. Ушакова С.Е. (2017). Совершенствование информационной базы формирования и мониторинга реализации государственного задания в сфере науки. Управление наукой и наукометрия, (3 (25)), 76-94.

25. Черныш М. Ф. (2020). Реформа российской науки как институциональное конструирование // Управление наукой: теория и практика. 2020. Том 2. № 2. С. 4764. DOI: https://doi.Org/10.19181/smtp.2020.2.2.2

26. Шупер В. А. Севший голос науки. Взгляд из Отечества // Управление наукой: теория и практика. 2020. Том 2. № 1. С. 40-53. DOI: https://doi.Org/10.19181/smtp.2020.2.1.2

27. Aagaard, K. (2015). How incentives trickle down: Local use of a national bibliometric indicator system. Science and Public Policy, 42(5), 725-737. https://doi.org/10.1093/scipol/scu087

28. Aagaard, K. (2015). How incentives trickle down: Local use of a national bibliometric indicator system. Science and Public Policy, 42(5), 725-737. https://doi.org/10.1093/scipol/scu087

29. Aagaard, K. (2018). Performance-based research funding in Denmark: The adoption and translation of the Norwegian model. Journal of Data and Information Science, 3(4), 2030. https://doi.org/10.2478/jdis-2018-0018

30. Aagaard, K., Bloch, C., & Schneider, J. W. (2015). Impacts of performance-based research funding systems: The case of the norwegian publication indicator. Research Evaluation, 24(2), 106-117. https://doi.org/10.1093/reseval/rvv003

31. Abramo, G. & D'Angelo, C., (2011) Evaluating research: From informed peer review to bibliometrics.. Scientometrics, Issue 87(3), pp. 499-514.

32. Abramo, G., Cicero, T., & D'Angelo, C. A. (2011). The dangers of performance-based research funding in non-competitive higher education systems. Scientometrics, 87(3), 641-654. https://doi.org/10.1007/s11192-011-0355-4

33. Agar, J. (2019). Science Policy under Thatcher. London, UCL Press. https://doi.org/10.14324/111.9781787353411

34. Aksnes, D. W., Sivertsen, G., van Leeuwen, T. N., & Wendt, K. K. (2016). Measuring the productivity of national R&D systems: Challenges in cross-national comparisons of R&D input and publication output indicators. Science and Public Policy, 2, scw058. https://doi.org/10.1093/scipol/scw058

35. Auranen, O., & Nieminen, M. (2010). University research funding and publication performance—an international comparison. Research Policy, 39(6), 822-834. https://doi .org/10.1016/j.respol.2010.03.003

36. Azagra Caro, J. M., Fernández de Lucio, I., & Gutiérrez Gracia, A. (2003). University patents: Output and input indicators ... of what? Research Evaluation, 12(1), 5-16. https://doi.org/10.3152/147154403781776744

37. Baldini, N. (2008). Negative effects of university patenting: Myths and grounded evidence. Scientometrics, 75(2), 289-311. https://doi.org/10.1007/s11192-007-1865-y

38. Barend J.R. van der Meulen (1995). "Understanding Evaluation Processes in Research Systems in Transition", Science & Technology Studies, Vol. 28 No. 1.

39. Bence, V., & Oppenheim, C. (2005). The evolution of the UK's research assessment exercise: Publications, performance and perceptions. Journal of Educational Administration and History, 37(2), 137-155. https://doi.org/10.1080/00220620500211189

40. Biagioli, M., Kenney, M., Martin, B.R. and Walsh, J.P. (2019), "Academic misconduct, misrepresentation and gaming: A reassessment", Research Policy, Vol. 48 No. 2, pp. 401413.

41. Binswanger, M. (2015). How nonsense became excellence: Forcing professors to publish. In I. M. Welpe, J. Wollersheim, S. Ringelhan, & M. Osterloh (Eds.), Incentives and performance, 340, 19-32. Springer International Publishing. https://doi.org/10.1007/978-3-319-09785-5 2

42. Binswanger, M., (2011) Sinnlose Wettbewerbe behindern Wissenschaft und Forschung. Cicero. [В Интернете] Available at: http://www.cicero.de/kapital/sinnlose-wettbewerbe-behindern-wissenschaft-und-forschun g/41572 [Дата обращения: 19.05.2016].

43. Binswanger, M., (2015) How Nonsense Became Excellence: Forcing Professors to Publish. В: Incentives and Performance - Governance of Research Organizations. Springer International Publishing Switzerland.

44. Bloch, C., & Schneider, J. W. (2016). Performance-based funding models and researcher behavior: An analysis of the influence of the norwegian publication indicator at the individual level. Research Evaluation, 25(4), 371-382. https://doi.org/10.1093/reseval/rvv047

45. Bozeman, B. and J. Melkers (eds.) (1993). Evaluating R&D Impacts: Methods and Practice, Kluwer Academic Publishers, Boston, Massachusetts

46. Braun, D. (1993). Who Governs Intermediary Agencies? Principal-Agent Relations in Research Policy-Making, Journal of Public Policy.

47. Braun, D. and Guston, D.H. (2003). "Principal-agent theory and research policy: an introduction", Science and Public Policy, No. 5, p. 302.

48. Braun, D. (1998). The role of funding agencies in the cognitive development of science. In Research Policy. DOI: 10.1016/S0048-7333(98)00092-4.

49. Brouwer, E., & Kleinknecht, A. (1999). Note and comment. Keynes-plus? Effective demand and changes in firm-level R&D: An empirical note. Cambridge Journal of Economics, 23(3), 385-399. https://doi.org/10.1Q93/cie/23.3.385

50. Brown, N. D., Quevedo, J. G., & Montolio, D. (2012). Assessing the assignation of public subsidies: Do the experts choose the most efficient R&D projects? World Review of Science, Technology and Sustainable Development, 9(2-4), 149-168.

51. Buckle, Robert A.; Creedy, John (2022): Methods to evaluate institutional responses to performance-based research funding systems. In Australian Economic Papers 30, Article 1467-8454.12263, p. 514. DOI: 10.1111/1467-8454.12263.

52. Butler, L. (2003). Explaining australia's increased share of isi publications—the effects of a funding formula based on publication counts. Research Policy, 32(1), 143-155. https://doi.org/10.1016/S0048-7333(02)00007-0

53. Butler, L. (2003) Explaining Australia's increased share of ISI publications: The effects of a funding formula based on publication counts.. Research Policy, Issue 32(1), p. 143155.

54. C ampbell, C. (2007). The bathing water directive and beach management at Silversands, Scotland, and La Herradura, Spain: constructing bathing areas and rationalising management practices.

55. C ampos, Zapata; José, M. (2014). Partnerships, Tourism, and Community Impacts. DOI: 10.1002/9781118474648.CH45.

56. C arro, Remo Fernández (2021). What is a scientific article? A principal-agent explanation. In Social Studies of Science. DOI: 10.1177/0306312720951860.

57. Chataway, J.; Dobson, C.; Daniels, Chux U.; Byrne, Robert; Hanlin, R.; Tigabu, A. (2019): 0P-SCIP190009 620.631.

58. Caswill, C. (1998). "Social science policy: Challenges, interactions, principals and agents", Science & Public Policy (SPP), Vol. 25 No. 5, pp. 286-296.

59. C attaneo, M., Meoli, M. & Signori, A., (2014) Performance-based funding and university research productivity: the moderating effect of university legitimacy. J Technol Transf. Springer Science+Business Media New York.

60. C attaneo, M., Meoli, M., & Signori, A. (2016). Performance-based funding and university research productivity: The moderating effect of university legitimacy. The Journal of Technology Transfer, 41(1), 85-104. https://doi.org/10.1007/s10961-014-9379-2

61. C ave, M,. Hanney, S., & Kogan, M. (1988). The use of performance indicators in HE: A critical analysis of developing practice. London: Jessica Kingsley.

62. C ave, M., Hanney, S. & Henkel, M. (1997). The use of performance indicators in HE. Higher Education Policy Series 3. London: Jessica Kingsley.

63. Checchi, D., Malgarini, M., & Sarlo, S. (2019). Do performance-based research funding systems affect research production and impact? Higher Education Quarterly, 73(1), 4569. http://dx.doi.org/10.1111/hequ.12185

64. C hernysh, M.F. (2020). "Reform of a Russian science as an institutional constructing", Science management: theory and practice, Vol. 2 No. 2, pp. 47-64. (In Russian).

65. Choi, J. P., & Gerlach, H. (2018). A model of patent trolls. International Economic Review, 59(4), 2075-2106. https://doi.org/10.1111/iere.12330

66. C ohen, W., Levin, R., & Mowery, D. (1987). Firm Size and R&D Intensity: A Re-Examination. Cambridge, MA. https://doi.org/10.3386/w2205

67. C ohen, W., Nelson, R., & Walsh, J. (2000). Protecting Their Intellectual Assets: Appropriability Conditions and Why U.S. Manufacturing Firms Patent (or Not). Cambridge, MA. https://doi.org/10.3386/w7552

68. C oleman, J.S. (1990). Foundations of social theory, Harvard University Press, Cambridge, Mass.

69. Cuenin, S. (1986). International study of the development of performance indicators in higher education. Paper given to OECD/IMHE Project, Special Topic Workshop.

70. De Boer, H., Enders, J. & Schimank, U., (2007) On the way towards new public management? The governance of university systems in England, the Netherlands, Austria, and Germany.. In: D.Jansen, ed. New forms of Governance in Research Organizations. New York: Springer, pp. 137-152.

71. D esrochers, P. (1998). On the Abuse of Patents as Economic Indicators. The Quarterly Journal of Austrian Economics, 1(4) (Winter 1998): 51-74. https://doi.org/10.1007/s12113-998-1026-z

72. D ezhina, I.G. (2017). Science and Innovation Policy of the Russian Government: A Variety of Instruments with Uncertain Outcomes? Public Administration Issues, Special Issue (electronic edition), pp. 7-26 (in English); doi: 10.17323/1999-5431-2017-0-5-7-26.

73. D ougherty, K. J. & Natow, R. S., (2015) The Politics of Performance Funding for Higher Education. Origins, Discontinuations, and Transformations. Baltimore: John Hopkins University Press.

74. D ougherty, K. J., & Natow, R. S. (2015). The Politics of Performance Funding for Higher Education: Origins, Discontinuations, and Transformations. Johns Hopkins University Press. https://doi.org/10.1353/book.39586

75. EC (2019). ERA progress report 2018: Data gathering and information for the 2018 ERA monitoring technical report. Publications Office of the European Union, Luxembourg.

76. Ettlie, John E. (1982): The commercialization of federally sponsored technological innovations. In Research Policy 11 (3), pp. 173-192. DOI: 10.1016/0048-7333(82)90018-X

77. Engels, T. C. E., & Guns, R. (2018). The flemish performance-based research funding system: A unique variant of the norwegian model. Journal of Data and Information Science, 3(4), 45-60. https://doi.org/10.2478/jdis-2018-0020

78. Esarey, Justin (2017): Does Peer Review Identify the Best Papers? A Simulation Study of Editors, Reviewers, and the Scientific Publication Process. In PS: Political Science & Politics 50 (4), pp. 963-969. DOI: 10.1017/S1049096517001081.

79. European Commission (2009). Metrics for knowledge transfer from public research organisations in Europe: Report from the European Commission's Expert Group on Knowledge Transfer Metrics; expert group report (EUR General information EUR 23894). Luxembourg. Europäische Kommission. https://doi.org/10.2777/49910

80. Fanelli, Daniele (2010): Do pressures to publish increase scientists' bias? An empirical support from US States Data. In PloS one 5 (4), e10271. DOI: 10.1371/journal.pone.0010271.

81. Fernández-Carro, R. (2009). "La teoría de principal-agente en los estudios sobre ciencia y tecnología", Arbor, CLXXXV No. 738, pp. 809-824.

82. Frey, B. S., Eichenberger, R. & Frey, R. L., (2009) Editorial ruminations: publishing Kyklos. Kyklos, Volume 62.

83. Frietsch, R., Schmoch, U., Looy, B., Walsh, J., Devroede, R., Plessis, M., Jung, T., Meng, Y., Neuhäusler, P., Peeters, B., & Schubert, T. (2010). The value and indicator function of patents.

84. Frost, J. & Brockmann, J., (2014) When qualitative productivity is equated with quantitative productivity: scholars caught in a performance paradox. Z Erziehungswiss.

85. Frost, J. and Brockmann, J. (2014). "When qualitative productivity is equated with quantitative productivity: scholars caught in a performance paradox", Zeitschrift für Erziehungswissenschaft, Vol. 17 No. S6, pp. 25-45.

86. Frost, J., & Brockmann, J. (2014). When qualitative productivity is equated with quantitative productivity: Scholars caught in a performance paradox. Zeitschrift Für Erziehungswissenschaft, 17(S6), 25-45. https://doi.org/10.1007/s11618-014-0572-8

87. Funk, J. (2018). Beyond patents: Scholars of innovation use patenting as an indicator of both innovativeness and the value of science. It might be neither. Issues in Science and Technology, 2018.

88. Eizagirre, Andoni (2006). Ezagutzaren dinamikak eta kultura politikoak.

89. Gambardella, A.; Harhoff, D.; Verspagen, B. (2008). The Value of European Patents. In: European Management Review. 5(2), 69-84. https://doi.org/10.1057/emr.2008.10

90. Gläser, G. & Laudel, G., (2016) Governing Science.. European Journal of Sociology, Issue 57, pp. 117-168.

91. Gläser, J., Lange, S., Laudel, G., & Schimank, U. (2010). The limits of universality. In R. Whitley, J. Gläser, & L. Engwall (Eds.), Reconfiguring knowledge production. Oxford University Press, 291-324 https://doi .org/10.1093/acprof:oso/9780199590193.003.0010

92. Godin, B. (2002). The numbers makers: Fifty years of science and technology official statistics. Minerva (4), 375. https://doi.org/10.1023/a:1020921620544

93. Godin, B. (2003). The emergence of S&T indicators: Why did governments supplement statistics with indicators? Research Policy, 32(4), 679-691. https://doi.org/10.1016/S0048-7333(02)00032-X

94. Godin, B. (2009). The value of science: Changing conceptions of scientific productivity, 1869 to circa 1970. Social Science Information, 48(4), 547-586. https://doi.org/10.1177/0539018409344475

95. Godin, B., & Lane, J. P. (2013). Pushes and pulls: Hi(s)tory of the demand pull model of innovation. Science, Technology, & Human Values, 38(5), 621-654. www.jstor.org/stable/23474818

96. Gong, K. X., & Chen, C. F. (2019). A programming-based algorithm for probabilistic uncertain linguistic intuitionistic fuzzy group decision-making. Symmetry, 11(2).

97. Gong, H., & Peng, S. (2018). Effects of patent policy on innovation outputs and commercialization: Evidence from universities in china. Scientometrics, 117(2), 687-703. https://doi.org/10.1007/s11192-018-2893-5

98. Goodstein, T. (1995), "Ethics and Peer Review", Biotechnology, Vol. 13, No. 6, p. 618.

99. Griliches, Z. (1990). Patent statistics as economic indicators: A survey. Journal of Economic Literature(4). https://doi.org/10.3386/w3301

100. Grupp H. and Mogee M.E. (2004) Indicators for National Science and Technology Policy. In H.F. Moed et al. (eds.), Handbook of Quantitative Science and Technology Research, 75-94. https://doi.org/10.1007/1-4020-2755-9 4

101. Guellec, D., & van Pottelsberghe de la Potterie, B. (2000). Applications, grants and the value of patents. In Economic Letters, 69(1), 109-114. https://doi.org/10.1016/S0165-1765(00)00265-2

102. Gustafson, T. (1975), "The controversy over peer review: recent studies of the peer review system show that its critics have yet to make their case", Science, Vol. 190, pp. 1060-1066.

103. Guston, D. (1996). Principal-agent theory and the structure of science policy. DOI: 10.1093/SPP/23.4.229.

104. Guston, D. (1999). Stabilizing the Boundary between US Politics and Science. In Social Studies of Science. DOI: 10.1177/030631299029001004.

105. Guston, D. (2000). Between Politics and Science: Assuring the Integrity and Productivity of Reseach.

106. Guston, D. (2000). "Retiring the Social Contract for Science", Issues in Science & Technology, Vol. 16 No. 4, p. 32.

107. Hall, B.H., Jaffe, A., Trajtenberg, M. (2005). Market value and patent citations. In The Rand Journal of Economics, 36 (1), 16-38. https://doi.org/10.3386/w7741

108. Hammarfelt, B., Nelhans, G., Eklund, P., & Astrom, F. (2016). The heterogeneous landscape of bibliometric indicators: Evaluating models for allocating resources at swedish universities. Research Evaluation, 25(3), 292-305. https://doi.org/10.1093/reseval/rvv040

109. Hansen, H. F. (2010). Performance indicators used in performance-based research funding systems. In Performance-based Funding for Public Research in Tertiary Education Institutions: Workshop Proceedings, OECD Publishing, Paris https://doi.org/10.1787/9789264094611-5-en

110. Harhoff, D., & Reitzig, M. (2004). Determinants of opposition against EPO patent grants - The case of biotechnology and pharmaceuticals. In International Journal of Industrial Organization, 22 (4), 443-480. https://doi.org/10.1016/j.ijindorg.2004.01.001

111. Harhoff, D., Narin, F., Scherer, F. M., & Vopel, K. (1999). Citation Frequency and the Value of Patented Inventions. The Review of Economics and Statistics, 81(3), 511-515. http://www.jstor.org/stable/2646773

112. Harhoff, D., Scherer, F. M., & Vopel, K. (2003). Citations, family size, opposition and the value of patent rights. Research Policy, 32(8), 1343-1363. https://doi.org/10.1016/S0048-7333(02)00124-5

113. Herbst, M., (2007) Financing Public Universities: The Case of Performance Funding. Dordrecht: Springer.

114. Hayashi, Takayuki (2003). Effect of R&D programmes on the formation of university-industry-government networks: comparative analysis of Japanese R&D programmes. In Research Policy. DOI: 10.1016/S0048-7333(02)00158-0.

115. Howells, Jeremy (2006). Intermediation and the role of intermediaries in innovation. DOI: 10.1016/J.RESP0L.2006.03.005.

116. Herrera, F., Herrera-Viedma, E., & Martinez, L. (2000). A fusion approach for managing multi-granularity linguistic term sets in decision-making. Fuzzy Sets and Systems, 114(1), 43-58.

117. Hicks, D. (2010). 'Overview of models of performance-based research funding systems', in Performance-based Funding for Public Research in Tertiary Education Institutions: Workshop Proceedings, OECD Publishing, Paris.

118. Hicks, D. (2012). Performance-based university research funding systems. Research Policy, 41(2), 251-261. https://doi.org/10.1016/j.respol.2011.09.007

119. Hicks, Diana; Wouters, Paul; Waltman, Ludo; Rijcke, Sarah de; Rafols, Ismael (2015): Bibliometrics: The Leiden Manifesto for research metrics. In Nature 520 (7548), pp. 429431. DOI: 10.1038/520429a.

120. Holton, G. (1978) Can Science Be Measured? In Elkana, Y., et al. (Eds.) Towards a Metric of Science: The Advent of Science Indicators. New York: Wiley, 39-68.

121. Huber, J.D. and Lupia, A. (2001), "Cabinet Instability and Delegation in Parliamentary Democracies", American Journal of Political Science, Vol. 45 No. 1, pp. 18-32.

122. Ioannidis, John P. A. (2005): Why most published research findings are false. In PLoS medicine 2 (8), e124. DOI: 10.1371/journal.pmed.0020124.

123. John, Leslie K.; Loewenstein, George; Prelec, Drazen (2012): Measuring the prevalence of questionable research practices with incentives for truth telling. In Psychological science 23 (5), pp. 524-532. DOI: 10.1177/0956797611430953.

124. Jonkers K. & Zacharewicz T. (2015). Performance based funding: A comparative assessment of their use and nature. In EU Member States a working paper, EUR,, Scientific and technical research series, 27477. Luxembourg: Publications Office. https://doi.org/10.2791/134058

125. Jonkers K. et al., (2016) Research Performance Based Funding Systems: a Comparative Assessment.. s.l.: Institute for Prospective Technological Studies, Joint Research Centre.

126. Kang, B., & Motohashi, K. (2020). Academic contribution to industrial innovation by funding type. Scientometrics. Advance online publication. https://doi.org/10.1007/s11192-020-03420-w

127. Karlsson, S. & Persson, O., (2012) The Swedish production of highly cited papers.. In: T. S. R. Council, ed. s.l.:Vetenskapsradets lilla rapportserie.

128. Kells, H. R. (1986). The Inadequacy of Performance Indicators for Higher Education: The Need for a More Comprehensive and Developmental Construct. Higher Education Management, 2(3), 258-270.

129. Kerr, N. L. (1998): HARKing: hypothesizing after the results are known. In Personality and social psychology review : an officialjournal of the Society for Personality and Social Psychology, Inc 2 (3), pp. 196-217. DOI: 10.1207/s15327957pspr0203 4.

130. Kleinknecht, A. & Verspagen, B. (1990). Demand and innovation: Schmookler reexamined. Research Policy, 19(4), 387-394. https://doi.org/10.1016/0048-7333(90)90022-X

131. Kostoff, R.N. (1997), Research program peer review: principles, practices, protocols, https://archive.ors/stream/DTIC_ADA424141/DTIC_ADA424141_divu.txt

132. Kurt, Serhat (2018): Why do authors publish in predatory journals? In Learned Publishing 31 (2), pp. 141-147. DOI: 10.1002/leap.1150.

133. Lanjouw J. O. & Schankerman M. (2004). Patent Quality and Research Productivity: Measuring Innovation with Multiple Indicators. The Economic Journal, 114 (495), 441. https://doi.org/10.1111/j.1468-0297.2004.00216.x

134. Lanjouw, J.O. & Schankerman, M. (2001). Charasteristics of patent litigation: A window on competition. In Rand Journal of Economics, 25 (2), 319-333. https://doi.org/10.2307/2696401

135. Laranja, M. (2012). Network governance of innovation policies: The Technological Plan in Portugal. In Science and Public Policy. DOI: 10.1093/SCIPOL/SCS043

136. Larsen, O. P., (2010) Stages on the research road: Danish research policy, past and present. Odense: Syddansk universitetsforlag.

137. Larsen, Peder Olesen; Ins, Markus von (2010): The rate of growth in scientific publication and the decline in coverage provided by Science Citation Index. In Scientometrics 84 (3), pp. 575-603. DOI: 10.1007/s11192-010-0202-z.

138. Lee, C. J., Sugimoto, C. R., Zhang, G., & Cronin, B. (2013). Bias in peer review. Journal of the American Society for Information Science & Technology, 64(1), 2-17.

139. Leiponen, A., & Delcamp, H. (2019). The anatomy of a troll? Patent licensing business models in the light of patent reassignment data. Research Policy, 48(1), 298-311. https://doi.org/10.1016/j.respol.2018.08.019

140. Lemley, M. A. (2011). Are universities patent trolls? In F. S. Kieff & T. A. Paredes (Eds.), Perspectives on commercializing innovation (pp. 531-546). Cambridge University Press. https://doi.org/10.1017/CBO9781139051262.021

141. Lerner, J. (1994). The importance of patent scope: An empirical analysis. In Rand Journal of Economics, 25(2), 319-333. http://dx.doi.org/10.2307/2555833

142. Levin, R. C. (1986) A New Look at the Patent System. American Economic Review 76, 2 (1 May 1986), 200. http://wwwj stor.org/stable/1818764

143. Lind, J. K. (2019). The missing link: How university managers mediate the impact of a performance-based research funding system. Research Evaluation, 28(1), 84-93. https://doi.org/10.1093/reseval/rvy038

144. Liu, S., Chan, F. T. S., & Ran, W. X. (2013). Multi-attribute group decision-making with multi-granularity linguistic assessment information: An improved approach based on deviation and TOPSIS. Applied Mathematical Modelling, 37(24), 10129-10140.

145. Luwel, M., 2021. Performance-based Institutional Research Funding in Flanders, Belgium. Scholarly Assessment Reports, 3(1), p.3. DOI: http://doi .org/10.29024/sar.29

146. Ma, Z. Z., Zhu, J. J., & Chen, Y. (2020). A probabilistic linguistic group decision-making method from a reliability perspective based on evidential reasoning. IEEE Transactions on Systems Man and Cybernetics Systems, 50(7), 2421-2435.

147. Marburger J. H., III. (2005). Wanted: Better benchmarks. Science, Vol. 308, No. 5725, p. 1087.

148. Martin, B.R. (2016), "R&D policy instruments - a critical review of what we do and don't know", Industry and Innovation, Vol. 23 No. 2, pp. 157-176.

149. Mayo, Nancy E.; Brophy, James; Goldberg, Mark S.; Klein, Marina B.; Miller, Sydney; Platt, Robert W.; Ritchie, Judith (2006): Peering at peer review revealed high degree of chance associated with funding of grant applications. In Journal of Clinical Epidemiology 59 (8), pp. 842-848. DOI: 10.1016/j.jclinepi.2005.12.007.

150. Meng, F. Y., Chen, X. H., & Zhang, Q. (2014). Some intervalvalued intuitionistic uncertain linguistic Choquet operators and their application to multi-attribute group decision-making. Applied Mathematical Modelling, 38(9-10), 2543-2557.

151. Merton, R.K. (1973). The Sociology of Science. University of Chicago Press, Chicago, Illinois.

152. Metcalfe, Amy Scott (2007). Research Policy Studies: Between Science and Higher Education.

153. Moe T. M. (1984). "The New Economics of Organization", American Journal of Political Science, Vol. 28 No. 4, p. 739.

154. Moosa, Imad A. (Ed.) (2018): Publish or perish. Perceived benefits versus unintended consequences / Imad A. Moosa (Professor of Finance, Royal Melbourne Institute of Technology (RMIT), Australia). Cheltenham, UK: Edward Elgar Publishing.

155. Morris, N. (2000). "Science Policy in Action: Policy and the Researcher", Minerva, Vol. 38 No. 4, pp. 425-451.

156. Morris, N. (2003). "Academic researchers as 'agents' of science policy", Science & Public Policy (SPP), Vol. 30 No. 5, pp. 359-370.

157. Mortensen, P. S. (2011). Patentometrics As Performance Indicators for Allocating Research Funding to Universities. Dansk Center for Forskningsanalyse, Aarhus Universitet.

158. Mowery, D., & Rosenberg, N. (1979). The Influence of Market Demand upon Innovation: A Critical Review of Some Recent Empirical Studies. Research Policy, 8 (2), 102-53. https://doi .org/10.1016/0048-7333(79)90019-2

159. Mulligan, Adrian; Hall, Louise; Raphael, Ellen (2013): Peer review in a changing world: An international study measuring the attitudes of researchers. In J Am Soc Inf Sci Tec 64 (1), pp. 132-161. DOI: 10.1002/asi.22798.

160. Munch, R., (2015) Science in the Hands of Strategic Management: The Metrification of Scientific Work and Its Impact on the Evolution of Knowledge. In: Incentives and Performance - Governance of Research Organizations. Springer International Publishing Switzerland.

161. Musselin, C. (2013). How peer review empowers the academic profession and university managers: Changes in relationships between the state, universities and the professoriate. In Research Policy. DOI: 10.1016/J.RESP0L.2013.02.002.

162. Narin, F. (1976). Evaluative bibliometrics: The use of publication and citation analysis in the evaluation of scientific activity. Washington D.C.: National Science Foundation.

163. Narin, F., & Noma, E. (1987). Patents as indicators of corporate technological strength. In Research Policy, 16 (2-4), 143-155. https://doi.org/10.1016/0048-7333(87)90028-X

164. Nissen, Silas Boye; Magidson, Tali; Gross, Kevin; Bergstrom, Carl T. (2016): Publication bias and the canonization of false facts. In eLife 5. DOI: 10.7554/eLife.21451.

165. O quist, G., & Benner, M. (2015). Why are some nations more successful than others in research impact? A comparison between Denmark and Sweden, 241-257. https://doi.org/10.1007/978-3-319-09785-5 15

166. OECD (2009). Committee on Science and Technology Policy/OECD Working Party on Innovation and Technology Policy (TIP): Enhancing Public Research Performance through Evaluation, Impact Assessment and Priority Setting.

167. OECD (2010). Performance-based Funding for Public Research in Tertiary Education Institutions: Workshop Proceedings, OECD Publishing, Paris, https://doi.org/10.1787/9789264094611-en.

168. O sterloh, M. (2010). Governance by numbers. Does it really work in research? Analyse & Kritik, 32(2), 117. https://doi.org/10.1515/auk-2010-0205

169. Pavitt, K. (1982). R&D, patenting and innovative activities: A statistical exploration. Research Policy, 11(1), 33-51. https://doi.org/10.1016/0048-7333(82)90005-1

170. Pouris, A. (1988), "Peer review in scientifically small countries", R&D Management, Vol. 18, No. 4, pp. 333-340.

171. Publish or perish: Origin and perceived benefits (2018). In Imad A. Moosa (Ed.): Publish or perish. Perceived benefits versus unintended consequences / Imad A. Moosa (Professor of Finance, Royal Melbourne Institute of Technology (RMIT), Australia). Cheltenham, UK: Edward Elgar Publishing, pp. 1-17.

172. Putnam, J. (1996). The value of international patent rights. Yale: Yale University.

173. Qquist, G. & Benner, M., (2012) AKADEMIRAPPORT - Fostering breakthrough research: A comparative study. Halmstad: Print One.

174. Q quist, G. & Benner, M., (2015) Why Are Some Nations More Successful Than Others in Research Impact? A Comparison Between Denmark and Sweden. In: Incentives and Performance - Governance of Research Organizations. Springer International Publishing Switzerland.

175. Rawat, Seema; Meena, Sanjay (2014): Publish or perish: Where are we heading? In Journal of Research in Medical Sciences : The Official Journal of Isfahan University of Medical Sciences 19 (2), pp. 87-89.

176. Reale, E. (2017). Analysis of National Public Research Funding-PREF. Final Report, doi:10.2760/19140

177. Reitzig, M. (2004). The Private Values of 'Thickets' and 'Fences': Towards an updated Picture of the use of Patents across Industries. In Economics of Innovation and New Technology, 13 (5), 457-476. https://doi.org/10.1080/1043859042000188719

178. Rijcke, S.d., Wouters, P.F., Rushforth, A.D., Franssen, T P. & Hammarfelt, B. (2016). Evaluation practices and effects of indicator use—a literature review. Research Evaluation, 25 (2), 161-169. https://doi.org/10.1093/reseval/rvv038

179. Ringelhan, S., Wollersheim, J. & Welpe, I. M., (2015) Performance Management and Incentive Systems in Research Organizations: Effects, Limits and Opportunities. In: Incentives and Performance - Governance of Research Organizations. Springer International Publishing Switzerland.

180. Rip, Arie (1994): The Republic of Science in the 1990s. In Higher Education. DOI: 10.1007/BF01383569.

181. Rip, A. and van der Meulen, Barend J R (1996). "The post-modern research system", Science and Public Policy, Vol. 23 No. 6, pp. 343-352.

182. Riviezzo, A., Santos, S. C., Linan, F., Napolitano, M. R., & Fusco, F. (2019). European universities seeking entrepreneurial paths: The moderating effect of contextual variables on the entrepreneurial orientation-performance relationship. Technological Forecasting and Social Change, 141, 232-248. https://doi.org/10.1016/j.techfore.2018.10.011

183. Rossi, P.H., M.W. Lipsey and H.E. Freeman (2004), Evaluation: A Systematic Approach, SAGE Publications, Thousand Oaks, California.

184. Rouanet. Louis (2015). Michel chevalier's forgotten case against the patent system. Libertarian Papers, 1, 71.

185. Ruegg, R. and G. Jordan (2007), Overview of Evaluation Methods for R&D Programs, Office of Energy Efficiency and Renewable Energy, DOE, Washington, DC.

186. Saltelli A., Giampietro M. (2016). The fallacy of evidence-based policy. In: A. Benessiaet al. The rightful place of science: Science on the verge. Tempe, AZ: Consortium for Science, Policy & Outcomes, pp. 31—70.

187. Saltelli A., Giampietro M. (2017). What is wrong with evidence based policy, and how can it be improved? Futures, Vol. 91, pp. 62—71.

188. Sarewitz, Daniel (2016): The pressure to publish pushes down quality. In Nature 533 (7602), p. 147. DOI: 10.1038/533147a.

189. Schankerman, M., Pakes, A. (1986). Estimates of the value of patent rights in European countries during the post-1950 period. In Economic Journal, 97, 1-25. https://doi.org/10.3386/w1650

190. Scherer, F. M. (1982). Demand-pull and technological invention: Schmookler revisted. Journal of Industrial Economics, 30(3), 225. https://doi.org/10.2307/2098216

191. Schmoch, U. (1999). Impact of International Patent Applications on Patent Indicators. In Research Evaluation, 8 (2), 119-131. https://doi.org/10.3152/147154499781777540

192. Schmookler, J. (1962). Economic Sources of Inventive Activity. The Journal of Economic History, 22 (1), 1-20. https://doi.org/10.1017/S0022050700102311

193. Schmookler, J. (1966). Invention and Economic Growth, Harvard University Press. https://doi.org/10.4159/harvard.9780674432833

194. Schmookler, J. (1972). Patents, invention, and economic change. Data and selected essays, ed. by Zvi Griliches and Leonid Hurwicz. Cambridge/Mass.

195. Schroter, Sara; Black, Nick; Evans, Stephen; Carpenter, James; Godlee, Fiona; Smith, Richard (2004): Effects of training on quality of peer review: randomised controlled trial. In BMJ (Clinical research ed.) 328 (7441), p. 673. DOI: 10.1136/bmj.38023.700775.AE.

196. Schroter, Sara; Black, Nick; Evans, Stephen; Godlee, Fiona; Osorio, Lyda; Smith, Richard (2008): What errors do peer reviewers detect, and does training improve their ability to detect them? In Journal of the Royal Society of Medicine 101 (10), pp. 507-514. DOI: 10.1258/jrsm.2008.080062.

197. Shi, M. H., Xiao, Y. W., & Wan, Q. (2019). Extended heronian mean based on hesitant fuzzy linguistic information for multiple attribute group decision-making. Complexity.

198. Shove, E. (2003). "Principals, agents and research programmes". Science & Public Policy (SPP), No. 5, p. 371.

199. Smaldino, Paul E.; McElreath, Richard (2016): The natural selection of bad science. In Royal Society open science 3 (9), p. 160384. DOI: 10.1098/rsos.160384.

200. Soete, L. (1979). Firm size and inventive activity the evidence reconsidered, European Economic Review 12.

201. Starbuck, W. H., (2015) Issues and Trends in Publishing Behavioral Science: A Quarrelsome Crew Struggling with a Disintegrating Boat on a Stormy Sea. In: Incentives and Performance - Governance of Research Organizations. Springer International Publishing Switzerland.

202. Stewart, Alexander J.; Plotkin, Joshua B. (2021): The natural selection of good science. In Nature human behaviour 5 (11), pp. 1510-1518. DOI: 10.1038/s41562-021-01111-x.

203. Stewart, Alexander J.; Plotkin, Joshua B. (2021): The natural selection of good science. In Nature human behaviour 5 (11), pp. 1510-1518. DOI: 10.1038/s41562-021-01111-x.

204. Str0m, K. (2000), European Journal of Political Research, Vol. 37 No. 3, pp. 261-290.

205. Supak Smolcic, Vesna (2013): Salami publication: definitions and examples. In Biochemia medica 23 (3), pp. 237-241. DOI: 10.11613/BM.2013.030.

206. Svensson, R. (2008). Innovation Performance and Government Financing. Journal of Small Business and Entrepreneurship, 21(1), 95-116. http://dx.doi.org/10.2139/ssrn.3677826

207. Taylor C. T. & Silberston Z. A. (1973). The Economic Impact of the Patent System: A Study of the British Experience. Cambridge: Cambridge University Press.

208. Tong, X., & Frame, J.D. (1992). Measuring national technological performance with patent claims data. In Research Policy, 23, 133-141. https://doi.org/10.1016/0048-7333(94)90050-7

209. Trajtenberg, M. (1990). A penny for your quotes: patent citations and the value of innovation. In Rand Journal of Economics, 21 (1), 172-187. https://doi.org/10.2307/2555502

210. Ushakova, S. E., Gusev, A. B., Vershinin, I. V., & Kornilov, A. M. (2016). A new model of public management in science financing in Russia. Polish Journal of Management Studies, 73(1), 206-216. https://doi.org/10.17512/pjms.2016.13.1.19

211. Van Daalen, R., Mehmood, S., Verstraten , P. & van der Wiel, K., (2014). Public funding of science: An international comparison.. The Hague: Netherlands Bureau for Economic Policy Development.

212. van den Besselaar, P., Heyman, U., & Sandstrom, U. (2017). Perverse effects of output-based research funding? Butler's australian case revisited. Journal of Informetrics, 77(3), 905-918. https://doi.org/10.1016/j.joi.2017.05.016

213. van der Drift, J. (1989). Statistics of European patents on legal status and granting data. In World Patent Information, 11, 243-249.

214. van der Meulen, B. (1998). Science policies as principal-agent games: Institutionalization and path dependency in the relation between government and science. In Research Policy. DOI: 10.1016/S0048-7333(98)00049-3.

215. van der Meulen, B.; Lohnberg, A. (2001). The use of foresight: institutional constraints and conditions. In International Journal of Technology Management. DOI: 10.1504/IJTM.2001.002943.

216. van der Meulen, Barend J. R. (2003). New roles and strategies of a research council: intermediation of the principal-agent relationship, Science and Public Policy, Vol. 30 No. 5

217. van Pottelsberghe de la Potterie, B.; van Zeebroeck, N. (2008). A brief history of space and time: The scope-year index as a patent value indicator based on families and renewals. In Scientometrics, 75 (2), 319-338. https://doi.org/10.1007/s11192-007-1864-z

218. van Raan, Anthony F.J. (2004). Measuring Science. In H.F. Moed et al. (eds.), Handbook of Quantitative Science and Technology Research, 19-50.

219. van Zeebroeck, N. (2008). The Puzzle of Patent Value Indicators, CEB Working Paper. https://doi.org/10.1080/10438590903038256

220. Vanecek, J. (2014). The effect of performance-based research funding on output of R&D results in the Czech Republic. Scientometrics, 98(1), 657-681. https://doi.org/10.1007/s11192-013-1061-1

221. Vaubel, R. (2006), "Principal-agent problems in international organizations", The Review of International Organizations, Vol. 1 No. 2, pp. 125-138.

222. Vershinin, I. (2021). Disadvantages of patent performance indicators in performance-based research funding systems. Scientific Papers of the University of Pardubice, Series D: Faculty of Economics and Administration, 29(2). https://doi.org/10.46585/sp29021341

223. von Hippel, E. (1988) Sources of Innovation. New York NY: Oxford University Press. Available at SSRN: https://ssrn.com/abstract=2877276

224. Wan, S.-P., & Xu, J. (2017). A method for multi-attribute group decision-making with triangular intuitionistic fuzzy numbers application to trustworthy service selection. Scientia Iranica, 24(2), 794-807.

225. Wells P. (2007). New labour and evidence based policy making: 1997—2007. People, Place & Policy Online, Vol. 1, No. 1, pp. 22—29.

226. Welpe, I.M., Wollersheim, J., Ringelhan, S. and Osterloh, M. (2015). Incentives and Performance - Governance of Research Organizations, Springer International Publishing, Cham.

227. Werner, Reinhard (2015): The focus on bibliometrics makes papers less useful. In Nature 517 (7534), p. 245. DOI: 10.1038/517245a.

228. Winiwarter, V. & Luhmann, H.-J., (2009). Die Vermessung der Wissenschaft. Gaia: Okologische Perspektiven in Natur-, Geistes- und Wirtschaftswissenschaften, Issue 18 (1).

229. Woelert, P., & McKenzie, L. (2018). Follow the money? How Australian universities replicate national performance-based funding mechanisms. Research Evaluation, 27(3). https://doi.org/10.1093/reseval/rvy018

230. Xu, Z. S. (2007). A method for multiple attribute decision making with incomplete weight information in linguistic setting. Knowledge-Based Systems, 20(8), 719-725.

231. Xu, J., Dong, J. Y., Wan, S. P., Yang, D. Y., & Zeng, Y. F. (2019). A heterogeneous multiattribute group decision-making method based on intuitionistic triangular fuzzy information. Complexity.

232. Xu, F. & Li , X., (2016). The changing role of metrics in research institute evaluations undertaken by the Chinese Academy of Sciences (CAS). PALGRAVE COMMUNICATIONS, pp. 1-6.

233. Yager, R. R. (2004). On the determination of strength of belief for decision support under uncertainty—Part I: Generating strengths of belief. Fuzzy Set and Systems, 142(1), 117128.

234. Zacharewicz, T., Lepori, B., Reale, E., & Jonkers, K. (2019). Performance-based research funding in EU member states—a comparative assessment. Science and Public Policy, 46(1), 105-115. https://doi.org/10.1093/scipol/scy041

235. Zhu, W. D., Li, S. R., Ku, Q., & Zhang, C. (2020). Evaluation information fusion of scientific research project based on evidential reasoning approach under two-dimensional frames of discernment. IEEE Access, 8, 8087-8100.

236. Zhu, W., Li, S., Zhang, H. et al. (2022). Evaluation of scientific research projects on the basis of evidential reasoning approach under the perspective of expert reliability. Scientometrics 127, 275-298 https://doi.org/10.1007/s11192-021-04201-9

237. Zhu, W. D., Liu, F., Chen, Y. W., Yang, J. B., Xu, D. L., & Wang, D. P. (2015). Research project evaluation and selection: An evidential reasoning rule-based method for aggregating peer review information with reliabilities. Scientometrics, 105(3), 14691490.

238. Zitt, M. & Bassecoulard, E. (2004). Internationalisation in Science in the Prism of Bibliometric Indicators. In H.F. Moed et al. (eds.), Handbook of Quantitative Science and Technology Research, 407-436. https://doi.org/10.1007/1-4020-2755-9 19

Приложение 1

Показатели научной результативности в зарубежных системах финансирования науки по результатам

Показатель научной результативности Страны, применяющие систему финансирования науки по результатам

№ ли во ни 1Е Ш м т лт ЭЕ N Ь N О N2 ЬУ ВЕ (И) ВЕ (■дал) ег ЭК ЕЕ Б I н Я РЬ 8Е 8К 1Т ЬТ РТ ик

1. Кол-во публикаций всего (рецензированные в международных базах данных) + + + + + + + + + + + + + + + + + + + + +

2. Количество публикаций в журналах с высоким 1трас1;-фактором + + + + + + + + + +

3. Количество публикаций в международных журналах с низким или поп-1трас1;-фактором + + + + + + + +

4. Количество публикаций в национальных журналах с низким и/или поп-1трай-фактором + + + + + +

5. Кол-во цитирований +

6. Значение импакт-фактора журналов, + + + + + + + + +

№ Показатель научной результативности Страны, применяющие систему финансирования науки по результатам

AU BG HU IE LU M T AT DE N L N O NZ LV BE (FI) BE (WA) CZ DK EE F I H R PL SE SK FR IT LT PT UK

опубликованных статей

7. Значение индекса цитируемости + + + + + + + + +

8. Кол-во научных монографий, книг (всего) + + + + + + + +

9. Кол-во научных монографий, книг на английском языке + + + + + + + +

10. Кол-во научных монографий, книг на иных (не английском) языке + + + + + + + +

11. Кол-во материалов конференций + + + +

12. Кол-во опубликованных диссертаций + +

13. Кол-во прочих научных публикаций + + + +

14. Кол-во защищенных степеней PhD, всего + + + + + + + + + + + + + + + + + +

15. Кол-во защищенных сте пеней PhD по областям наук +

16. Численность обучающихся по + +

Показатель научной результативности Страны, применяющие систему финансирования науки по результатам

№ AU BG HU IE LU M T AT DE N L N O NZ LV BE (FI) BE (WA) CZ DK EE F I H R PL SE SK FR IT LT PT UK

программам высшей квалификации

17. Численность научного персонала +

18. Численность докторантов + + +

19. Численность постдоков + +

Соотношение

20. присужденных PhD степеней на +

параметры публикационной активности

Соотношение

21. присужденных PhD сте пеней на объёмы финансирования НИОКР +

22. Исследовательская мобильность +

23. Кол-во патентов + + + + + +

24. Кол-во действующих спин-оффов +

25. Объемы проектного финансирования + + + + + + + + + + + +

Показатель научной результативности Страны, применяющие систему финансирования науки по результатам

№ AU BG HU IE LU M T AT DE N L N O NZ LV BE (FI) BE (WA) CZ DK EE F I H R PL SE SK FR IT LT PT UK

26. Объёмы финансирования из коммерческих источников + + + + + + + + + + + + +

27. Объёмы доходов, полученных за счет реализации НИОКР* + + +

28. Объёмы внешнего финансирования науки, привлеченные из государственных и общественных источников + + + +

29. Объёмы внешнего финансирования науки, привлеченные из зарубежных источников финансироавния + + +

30. Соотношение объёмов внешнего финансирование к числу профессоров +

31. Объёмы доходов, полученные от участия в программах European Framework Programme + + + +

№ Показатель научной результативности Страны, применяющие систему финансирования науки по результатам

AU BG HU IE LU M T AT DE N L N O NZ LV BE (FI) BE (WA) CZ DK EE F I H R PL SE SK FR IT LT PT UK

32. Объёмы доходов, полученных по итогам распределения грантов Australian Competitive Grants +

33. Объёмы доходов, полученных по итогам распределения грантов Research Council of Norway +

34. Кол-во действующих стипендиатов и награды, полученные от Alexander von Humboldt Trust +

35. Объёмы стипендиальной поддержки научных проектов перспективных студентов +

36. Участие в международных проектах + + + + + + + +

37. Экспертная оценка + + + + +

38. Кол-во действующих эффективных контрактов + + + + +

Примечание: в таблице приведены данные по показателям научной результативности, применявшимся в период 2010 - 2019 гг.

Используемые сокращения стран: AT - Австрия, AU - Австралия, BG - Болгария, HU - Венгрия, IE - Ирландия, LU - Люксембург, MT - Мальта, NZ - Новая Зеландия, NO - Норвегия, RO - Румыния, SI - Словения, DE - Германия, NL - Нидерланды, LV - Латвия, BE (FI) -Бельгия (Фландрия), BE (WA) - Бельгия (Валлония), CZ - Чехия, DK - Дания, EE - Эстония, FI - Финляндия, HR - Хорватия, PL - Польша, SE - Швеция, SK - Словакия, FR - Франция, IT - Италия, LT - Литва, PT - Португалия, UK - Великобритания.

При составлении таблицы использованы источники:

1. Hicks D. Performance-based university research funding systems. - 2012. - Research Policy, Vol. 41 No. 2. - Pp. 251-261.

2. Jonkers K., and Zacharewicz T. Performance based funding: a comparative assessment of their use and nature in EU member states. - 2015. -JRC report. Brussels.

3. Zacharewicz T., Lepori B., Reale E. and Jonkers K., Performance-based research funding in EU Member States—a comparative assessment. -2019. - Science and Public Policy, Vol. 46 No. 1. - Pp. 105-115.

4. Van Daalen R., Mehmood S., Verstraten P., van der Wiel K. Public funding of science: An international comparison / CPB Background document. - 2014. - Netherlands Bureau for Economic Policy Development, The Hague.

5. Jonkers K. et al. Research Performance Based Funding Systems: a Comparative Assessment / Institute for Prospective Technological Studies, Joint Research Centre. - 2016. - P. 106. - URL: http://publications.jrc.ec.europa.eu/repository/bitstream/JRC101043/kj1a27837enn.pdf (дата обращения: 12.03.2019).

Приложение 2

Единая методика расчета минимальных (пороговых) значений показателей результативности для референтных групп и оценки организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы

гражданского назначения

(одобрена межведомственной комиссией по оценке результативности деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения)

1. Термины и определения, используемые в Единой методике

Научные работники (исследователи) (далее - НР) - граждане, обладающие необходимой квалификацией и профессионально занимающиеся научной и (или) научно-технической деятельностью (ст. 4 Федеральный закон от 23.08.1996 N 127-ФЗ (ред. от 23.05.2016) «О науке и государственной научно-технической политике» (с изм. и доп., вступ. в силу с 01.01.2017). Должности научных работников предусматриваются в научных организациях, организациях, осуществляющих образовательную деятельность по реализации образовательных программ высшего образования и дополнительных профессиональных программ, а также в иных организациях, осуществляющих научную и (или) научно-техническую деятельность. К исследователям относятся работники, профессионально занимающиеся научными исследованиями и разработками и непосредственно осуществляющие создание новых знаний, продуктов, процессов, методов и систем, а также управление указанными видами деятельности. Для выполнения этих функций требуется оконченное высшее образование. В категорию исследователей включается также административно-управленческий персонал, осуществляющий непосредственное руководство исследовательским процессом (в том числе руководители (заместители руководителей) научных организаций и подразделений, выполняющие научные исследования и разработки) (в соответствии с формой № ЗП-наука - Приказ Росстата «Об утверждении формы № ЗП-наука» от 27.12.2018 № 781).

Профессорско-преподавательский состав (далее - 1111С) - работники образовательных организаций высшего образования, работающие на должностях педагогических работников, отнесенных к профессорско-преподавательскому составу, в соответствии с номенклатурой должностей педагогических работников организаций, осуществляющих образовательную деятельность (постановление Правительства РФ от 08.08.2013 № 678 «Об утверждении номенклатуры должностей педагогических работников организаций, осуществляющих образовательную деятельность, должностей руководителей образовательных организаций») (Ассистент, Декан факультета, Начальник факультета, Директор института, Начальник института, Доцент, Заведующий кафедрой, Начальник кафедры, Заместитель начальника кафедры, Профессор, Преподаватель, Старший преподаватель).

Научно-педагогические работники (далее - НИР) - в организациях, осуществляющих образовательную деятельность по реализации образовательных

программ высшего образования и дополнительных профессиональных программ, предусматриваются должности педагогических работников и научных работников, которые относятся к научно-педагогическим работникам. Педагогические работники относятся к профессорско-преподавательскому составу указанных организаций (Статья 50, гл. 5, Федеральный закон от 29.12.2012 N 273-Ф3 (ред. от 17.06.2019) «Об образовании в Российской Федерации»).

Внутренние затраты на научные исследования и разработки - затраты на выполнение исследований и разработок (по себестоимости), осуществленных в отчетном году, независимо от источников происхождения средств, включая затраты на исследования и разработки, выполненные организацией для собственных нужд за счет собственных средств, в том числе на инициативные проекты. При этом из состава затрат исключается сумма амортизационных отчислений на полное восстановление основных фондов (в соответствии с формой №2-наука - Приказ Росстата «Об утверждении формы №2-наука» от 06.08.2018 № 487).

Средства на выполнение научных исследований и разработок из внебюджетных источников включают (в соответствии с п. 21 Указаний по заполнению формы федерального статистического наблюдения №2-наука)

• собственные средства организации (из прибыли либо за счет себестоимости производимых товаров, работ, услуг);

• средства фондов поддержки научной, научно-технической и инновационной деятельности (кроме средств фондов, финансируемых из средств федерального бюджета и бюджетов субъектов Российской Федерации и местных бюджетов - Российского фонда фундаментальных исследований, Фонда содействия развитию малых форм предприятий в научно-технической сфере, Российского научного фонда, Фонда перспективных исследований, Фонда развития промышленности);

• средства, полученные от организаций предпринимательского сектора, сектора высшего образования, частных некоммерческих организаций (кроме средств федерального бюджета, бюджетов субъектов Российской Федерации и местных бюджетов, получаемых непосредственно либо по субдоговорам (соглашениям) с заказчиком);

• средства из иностранных источников, получаемые от юридических и физических лиц, находящихся вне политических границ государства (за исключением научных установок, судов, летательных аппаратов и спутников, принадлежащих национальным организациям), а также от международных организаций;

• прочие средства, полученные из внебюджетных источников.

Референтная группа (в соответствии с постановлением Правительства РФ от 08.04.2009 № 312 (ред. от 30.12.2018)) - совокупность научных организаций, объединенных по признакам принадлежности к области и (или) отрасли наук, соотношению фундаментальных научных исследований и прикладных исследований, опытно-конструкторских и экспериментальных разработок.

Научные направления (направления исследований) утверждены Протоколом заседания Межведомственной комиссии по оценке результативности деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения 14.01.2016.

Профиль деятельности организации (далее - профиль) определяется по её ориентации на определенный вид научного результата на основании анализа представленных данных по выделенным базовым показателям результативности:

- Профиль I «Генераторы знаний». Преимущественно ориентированы на получение новых знаний. Характеризуются высоким уровнем публикационной активности, в том числе в ведущих мировых журналах.

- Профиль II «Разработчики технологий». Преимущественно ориентированы на выполнение прикладных исследований и разработок, получение результатов, имеющих практическое применение. Характеризуются высоким уровнем создания охраноспособных результатов.

- Профиль III «Научно-технические услуги». Ориентированы на выполнение договоров на исследования и разработки, имеют значительные объемы доходов от оказания научно-технических услуг.

- Профиль IV «Особый». Результативность организации не выражена базовыми показателями, при этом организация может иметь другие результаты, ее деятельность требует специального анализа. Как правило, к такому профилю относятся организации научной инфраструктуры - библиотеки, архивы и музеи, опытные станции.

2. Состав организаций

К числу организаций, участвующих в расчете пороговых значений показателей результативности, относятся организации:

• выполняющие научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения;

• представившие сведения о результатах своей деятельности в Федеральную систему мониторинга результативности научной деятельности (далее - ФСМНО);

• чьи сведения не были отклонены ГРБС, для которых выполнено условие:

Суммарная численность научных работников (исследователей) и профессорско-преподавательского состава больше 0.

3. Расчет основных и дополнительных показателей

К числу основных показателей, используемых для выявления профилей деятельности организаций, формирования референтных групп и оценки результативности относятся следующие:

А Число публикаций, индексируемых в журналах Web of Science или Scopus, и количество опубликованных произведений, в расчете на 100 НИР46, ед.

Ai = (шах([п.1ш], [п.Ш]) + [п.4ш]) / ([п.20ш] + [п.20бф * 100,

где i - направление исследований [1; 39];

46 Здесь и далее значение показателя учитываются по направлениям исследований

n.l.ai47 - число публикаций организации в научных журналах, индексируемых в Web of Science по направлению i;

n.1.6i - число публикаций организации в научных журналах, индексируемых в Scopus по направлению i;

п.4а - число опубликованных произведений'48 (монографий, учебных пособий, учебников, их переводов и научных словарей, имеющих международный книжный номер ISBN, изданные тиражом более 299 экз., подготовленные под редакцией, при авторстве или соавторстве работников организации) по направлению i;

п.20а1 - численность научных работников (исследователей) по направлению i; п.20бi - численность профессорско-преподавательского состава (далее - ППС) по направлению i.

Б Количество созданных результатов интеллектуальной деятельности, имеющих государственную регистрацию и (или) правовую охрану в Российской Федерации или за ее пределами49, в расчете на 100 НПР, ед.

Б; = ([n.56i] + [п.5в;]) / ([п.20а;] + [n.206i]) * 100,

где п.5б1 - количество созданных результатов интеллектуальной деятельности, имеющих государственную регистрацию и (или) правовую охрану в Российской Федерации по направлению i;

п.5в1 - количество созданных результатов интеллектуальной деятельности, имеющих правовую охрану за пределами Российской Федерации по направлению i.

В Объем выполненных работ, оказанных услуг (исследования и разработки, научно-технические услуги, доходы от использования результатов интеллектуальной деятельности) к общей численности работников, выполнявших ИиР, тыс. руб.

В = ([п.8.2а] + [п.8.2б] + [п.8.2в]) / [п.20].

где п.8.2а - выполненный объем исследований и разработок (в соответствии со значением строки 524 формы №2-наука);

п.8.2б - выполненный объем оказанных научно-технических услуг (в соответствии со значением строки 528 формы №2-наука);

п.8.2в - объем средств, поступивших в отчетном году от использования результатов интеллектуальной деятельности;

п.20 - численность работников, выполнявших исследования и разработки.

К числу дополнительных показателей, используемых для оценки, относятся следующие:

47 Здесь и далее нумерация показателя приводится в соответствии с Приказом Минобрнауки России от 05.03.2014 № 162.

48 Слагаемое обеспечивает совместимость с порогами, рассчитанными ранее.

49 Формула предусматривает стимулирование организаций, осуществляющих патентование результатов интеллектуальной деятельности за рубежом в том числе на основе ранее выданных охранных документов.

В1 Объем доходов от конкурсного финансирования к общей численности работников, выполнявших ИиР, тыс. руб.

В1 = ([п.8.1б] + [п.8.1в]) / [п.20].

где п.8.1б - внутренние затраты на научные исследования и разработки, включая средства, полученные на конкурсной основе, в том числе грантов фондов поддержки научной, научно-технической и инновационной деятельности из бюджетов всех уровней (в соответствии с суммой значений строк 619, 620, графы 4 формы №2-наука);

п.8.1в - внутренние затраты на научные исследования и разработки, полученные на конкурсной основе, включая средства, в том числе гранты фондов поддержки научной, научно-технической и инновационной деятельности, из внебюджетных источников (в соответствии с суммой значений строк 619, 620, графы 6 формы №2-наука).

В2 Объем доходов от использования результатов интеллектуальной деятельности и совокупный доход малых инновационных предприятий к общей численности работников, выполнявших ИиР, тыс. руб.

В2 = ([п.7б] + [п.8.2в]) / [п.20].

где п.7б - совокупный доход хозяйственных обществ и хозяйственных партнерств, деятельность которых заключается в практическом применении (внедрении) результатов интеллектуальной деятельности (далее - МИП), а также инжиниринговых центров, созданных на базе научных организаций или образовательных организаций высшего образования, отдельные лаборатории на базе университетов, выполняющие работы для предприятий реального сектора экономики по разработке конструкций изделий, технологий изготовления изделий, по проведению сертифицированных испытаний и др.

Таким образом, для каждой организации будут рассчитаны интегральные показатели результативности (Ai, Б;) по каждому научному направлению, указанному организацией.

4. Распределение по референтным группам

Объединение организаций в референтные группы происходит в соответствии с научными направлениями выполняемых ИиР (39 научных направлений, утвержденных на Межведомственной комиссии по оценке результативности деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения (далее - МВК) от 14.01.2016г.) и профилями деятельности. При этом одна организация может относиться к нескольким референтным группам и ее результативность оценивается по каждой из них.

Определяющим для профиля I является показатель А, для профиля II - Б, для III - В (Таблица 1). Профиль IV не имеет определяющего показателя.

Таблица 1 - Основные и дополнительные показатели для профилей деятельности научных организаций

Профили деятельности Основной показатель Дополнительные показатели

Профиль I. «Генераторы знаний» А Б, В1

Профиль II. «Разработчики технологий» Б А, В2

Профиль III. «Научно-технические услуги» В А, Б

В случае, если организация не осуществила выбор РГ, необходимо провести распределение на основании значений интегральных показателей А, Б, В.

Алгоритм определения профиля деятельности организации, выполняющей исследования и разработки (в случае отсутствия возможности самоопределения профиля).

Для распределения организаций по референтным группам заданы пять профилей: I. - «Генераторы знаний», II. - «Разработчики технологий», III. - «Научно-технические услуги», IV. - «Особый». Определяющим для профиля I является показатель А, для профиля II - Б, для III - В. Профиль IV не имеет определяющего показателя.

Профиль организации определяется по степени близости значения соответствующего определяющего показателя к максимальному по научному направлению в соответствии со следующим алгоритмом.

1) Выделение организаций, относящихся к особому профилю

Для этого рассчитывается порог отсечения показателя результативности i (А, Б, В) по направлению YN (где Y - область науки, N - порядковый номер исследовательского направления в ней. - число p\N, такое что

max xj

i _ j=l,..,M J

Pyn~ M '

где

M - число организаций в области YN;

xf - значение показателя i (А, Б или В) у j-й организации по направлению YN.

Организация относится к профилю IV, если значения всех трех базовых показателей результативности у нее ниже соответствующих порогов отсечения, т.е.:

Vi: х1 < руМ,

где

х1 - значение показателя i (А, Б или В) у организации по направлению YN; Pyn - порог отсечения показателя результативности i (А, Б, В) по направлению YN.

Организация, относящаяся к особому профилю по направлению, не может относиться по этому направлению ни к одному из профилей I, II, III и исключается из дальнейших расчетов по этому направлению.

2) Сглаживание распределений показателей результативности

Для получения более равномерного распределения организаций по профилям в конкретном направлении к значениям показателей результативности применяется

степенное сглаживание, что сужает разброс распределения значений показателей результативности и сближает шансы попадания организации в каждый из профилей.

Для всех организаций при определении профиля значения показателей заменяются их сглаженными аналогами:

~£ s™ Г! х' = V*1,

где

х1 - значение показателя i (А, Б или В) у организации по направлению YN; х1 - сглаженное значение показателя i (А, Б или В) у организации по направлению YN;

5rw - степень сглаживания показателя i (А, Б или В) по направлению YN (принимает значения от 1 до 5 в зависимости от величины разброса значений определяющих показателей).

Величина разброса значений показателя результативности i (А, Б, В) по направлению вычисляется по формуле:

max х-Di = 1

max( med x-, min х-

У=1,..,М ' y;xj>0 ' t