Научно-методологичсекие основы функционирования распределенной информационно-аналитической среды сопровождения государственных программ в сфере науки и образования тема диссертации и автореферата по ВАК РФ 05.13.01, кандидат наук Артамонов, Юрий Николаевич

• Артамонов, Юрий Николаевич
• кандидат наук
• 2018

Оглавление диссертации кандидат наук Артамонов, Юрий Николаевич

Введение.................................. 8

ГЛАВА 1 Анализ исходных предпосылок совершенствования научно-методологических основ информацонно-аналитического сопровождения государственных программ . . 21

1.1 Анализ опыта сопровождения государственных программ в сфере науки и образования.................. 21

1.1.1 Анализ индикативного планирования в рамках целевых программ ...................... 21

1.1.2 Анализ опыта сопровождения программ стратегического развития ВУЗов ................. 37

1.1.3 Анализ оценки результативности научных организаций и эффективности ВУЗов............. 43

1.2 Анализ типового состава средств организационно-технического и информационно-аналитического сопровождения государственных программ в сфере науки и образования........................... 51

1.3 Постановка проблемы исследования............. 64

Выводы по первой главе ......................... 82

ГЛАВА 2 Формирование состава аналитического обеспечения

функций мониторинга и управления ходом реализации государственных программ ....................... 85

2.1 Разработка метода оценки результативности научно-технических проектов ..................... 85

2.1.1 Разработка метода оценки вклада проекта в достижение планового значения индикативного показателя 85

2.1.2 Оценка качества научно-технических проектов на основе содержательного анализа получаемых результатов............................. 99

2.2 Оценка эффективности элементов Программы и Программы в целом в отношении достижения целевых индикаторов117

2.3 Комплексная оценка целевой результативности научно-

технических проектов ..................... 124

2.3.1 Постановка задачи многокритериальной оптимизации ............................ 124

2.3.2 Метод оценки результативности проектов для булевых критериальных функций.............126

2.3.3 Метод оценки результативности проектов на основе сингулярного разложения критериальной матрицы 128

2.3.4 Общий подход к оценке результативности на основе матричных норм ..................... 135

2.3.5 Исследование влияния нормирования на упорядочение объектов по предпочтению............136

2.3.6 Исследование упорядочения объектов по предпочтению на основе нормирования рангами ........ 140

2.3.7 Исследование упорядочения объектов по предпочтению на оценочной матрице с непрерывной шкалой . 150

2.4 Метод анализа информационной значимости системы показателей, формирования базиса индикативных показателей 164

2.5 Метод выявления влияющих факторов при реализации государственной программы ................... 168

Выводы по второй главе.........................178

ГЛАВА 3 Разработка информационного обеспечения функций мониторинга и управления ходом реализации государственных программ ............................... 180

3.1 Анализ существующих подходов к хранению и обработке больших данных ........................ 180

3.2 Логическая модель хранилища данных с динамической структурой ............................ 187

3.2.1 Концептуальное описание модели...........187

3.2.2 Формальное описание модели (базовый функционал) 189

3.3 Синтез основных элементов проблемно-ориентированной системы управления хранилищем данных с динамической структурой ............................ 194

3.4 Физическая реализация хранилища данных с динамической структурой ............................ 200

3.5 Технология сортировки, сериализации и представления объектов анализа в виде размеченной иерархической структуры ................................. 203

Выводы по третьей главе ........................ 220

ГЛАВА 4 Обоснование информационно-аналитического обеспечения функций мониторинга и управления ходом реализации

государственных программ.....................221

4.1 Обоснование и проверка адекватности методического обеспечения оценки вклада проекта в индикативный показатель221

4.2 Обоснование и проверка адекватности методического обеспечения оценки эффективности элементов Программы и Программы в целом в отношении достижения целевых индикаторов ............................ 235

4.3 Обоснование методического обеспечения комплексной оценки результативности......................240

4.3.1 Обоснование подхода оценки результативности на основе матричных норм .................. 240

4.3.2 Обоснование комплексного подхода к оценке результативности проектов .................. 254

4.4 Обоснование подхода к достижению целевых индикаторов Программы при выборочном отборе ............. 265

4.5 Обоснование подхода формирования базиса индикативных

К» 1 и

показателей на основе анализа информационной значимости показателей ......................... 271

4.6 Обоснование других положений аналитического обеспечения ................................281

4.7 Обоснование информационного обеспечения сопровождения государственных программ .................. 283

4.7.1 Обоснование свойств логической модели OP-model 283

4.7.2 Обоснование свойств проблемно-ориентированной системы управления OP-system.............294

4.7.3 Обоснование технологии сортировки, сериализации и представления объектов анализа в виде размеченной иерархической структуры ............... 298

Выводы по четвертой главе.......................301

ГЛАВА 5 Апробация разработанного обеспечения в распределенной информационно-аналитической среде ............ 305

5.1 Состав методического обеспечения, реализованного в распределенной информационно-аналитической среде . . . . 305

5.2 Методика оценки результативности организаций и проектов

по вкладу в достижение целевых индикаторов Программы 305

5.2.1 Разработка методики оценки результативности организаций и проектов по вкладу в достижение целевых индикаторов Программы................305

5.2.2 Апробация методики оценки результативности организаций и проектов по вкладу в достижение целевых индикаторов Программы ................ 314

5.3 Методика оценки эффективности организаций и проектов Программы по вкладу в достижение целевых индикаторов 321

5.4 Методика оценки эффективности элементов Программы и Программы в целом ...................... 323

5.5 Методика оценки результативности научных и образовательных организаций ...................... 325

5.5.1 Разработка методики оценки результативности научных и образовательных организаций ......... 325

5.5.2 Апробация методики оценки результативности научных и образовательных организаций ......... 328

5.6 Методика выбора наиболее информативных показателей . 336

5.6.1 Разработка методики выбора наиболее информативных показателей ..................... 336

5.6.2 Апробация методики выбора наиболее информативных показателей ..................... 340

5.7 Методика выявления механизмов влияния на индикативные показатели, точек роста индикативных показателей . . . . 348

5.7.1 Разработка методики выявления механизмов влияния на индикативные показатели, точек роста индикативных показателей ................. 348

5.7.2 Апробация методики выявления механизмов влияния на индикативные показатели, точек роста индикативных показателей ..................... 350

5.8 Описание структуры и алгоритма работы разработанной информационно-аналитической среды ............ 355

Выводы по пятой главе .......................... 363

Заключение ................................ 364

Список литературы............................374

ПРИЛОЖЕНИЕ А Полный перечень решений для задачи про

мешки с монетами для заданной статистической совокупности 399

ПРИЛОЖЕНИЕ Б Программная реализация расширенной стратегии формирования множества по заданной оценочной

матрице, а также расчета функции потерь .......... 402

ПРИЛОЖЕНИЕ В Программная реализация существующих и

разработанных методов ....................... 405

ПРИЛОЖЕНИЕ Г Программная реализация выделения слоев

Парето оптимальных решений...................416

ПРИЛОЖЕНИЕ Д Ранги НОЦ по показателям образовательной

деятельности.............................419

ПРИЛОЖЕНИЕ Е Ранги НОЦ по показателям научной деятельности .................................. 420

ПРИЛОЖЕНИЕ Ж Ранги НОЦ по показателям материально-

технической базе...........................421

ПРИЛОЖЕНИЕ З Ранги НОЦ по показателям кадрового потенциала .................................422

ПРИЛОЖЕНИЕ И Программный код для решения задачи оптимизации долевых целевых индикаторов .............423

ПРИЛОЖЕНИЕ К Программный код для моделирования динамики изменения значений аддитивного целевого индикатора . 426 ПРИЛОЖЕНИЕ Л Программный код для моделирования динамики значений долевого целевого индикатора..........431

ПРИЛОЖЕНИЕ М Исходные данные по долевому целевому индикатору ............................... 442

ПРИЛОЖЕНИЕ Н Данные по приращению долевого целевого

индикатора .............................. 445

ПРИЛОЖЕНИЕ О Данные о результативности организаций для

максимизации долевого целевого индикатора по годам .... 451 ПРИЛОЖЕНИЕ П Данные о результативности организаций для

максимизации аддитивного целевого индикатора по годам . . 454 ПРИЛОЖЕНИЕ Р Данные о финансировании организаций по

годам..................................457

ПРИЛОЖЕНИЕ С Выбор организаций на основе минимизации

суммарного финансирования Программы ............ 460

ПРИЛОЖЕНИЕ Т Выделение сильно устойчивых организаций . 463 ПРИЛОЖЕНИЕ У Программный код генерации исходных данных при обосновании комплексного подхода к оценке результативности .............................. 466

ПРИЛОЖЕНИЕ Ф Анализ прогностической силы наиболее информативных показателей ..................... 470

ПРИЛОЖЕНИЕ Х Показатели, принятые при оценке результативности научных организаций и их условные обозначения . . 474 ПРИЛОЖЕНИЕ Ц Копии свидетельств о регистрации баз данных 481 ПРИЛОЖЕНИЕ Ч Копии актов внедрения и использования результатов работы ........................... 485

Введение диссертации (часть автореферата) на тему «Научно-методологичсекие основы функционирования распределенной информационно-аналитической среды сопровождения государственных программ в сфере науки и образования»

ВВЕДЕНИЕ Актуальность темы исследования

Сложившаяся практика реализации государственных программ в сфере науки и образования показывает, что для решения задач Программы, достижения ее целевых установок и индикаторов требуется оценка качества работ, выполняемых научными коллективами в рамках проектов, что с необходимостью приводит к вопросам выбора, разработки и совершенствования методического обеспечения оценки результативности, эффективности проектов, мероприятий и направлений Программы. В тоже время при сопровождении Программ приходится сталкиваться со сложными проблемами автоматизации, хранения и обработки информационных массивов, получаемых в ходе реализации Программы. Все это приводит к вопросам построения информационно-аналитических сред поддержки принятия решений, которые активно внедряются и используются на всех этапах жизненного цикла Программы. Анализ типового состава средств организационно-технического и информационно-аналитического сопровождения государственных программ с использованием таких сред позволяет выделить в них два основных потока данных. Первый связан с обработкой данных, отражающей процесс получения суммарных, средних, вариативных показателей при различных группировках (региональная, ведомственная и т.п.). Такой процесс и его технологии целесообразно назвать информационным сопровождением государственных программ. Второй поток данных связан с другим целевым назначением программной среды - оценкой эффективности, результативности реализации Программы по достижению целевых индикаторов, выявлением различных влияющих факторов, оценкой их значимости. Данный процесс следует назвать аналитическим сопровождением государственных программ.

Практика информационно-аналитического сопровождения Программ свидетельствует, что в настоящее время отсутствует единый подход к учету и информационно-аналитической обработке полученных научно-технических результатов. Под каждую государственную программу разрабатывается свой перечень информационно-аналитических механизмов. Такой подход связан с рядом существенных методологических проблем:

1. На этапе формирования Программ недостаточно разработаны методы синтеза целевых индикаторов, приводящие к несбалансиро-

ванности оценок, нечувствительности предложенных целевых показателей к выбранным механизмам воздействия на них. На этапе реализации Программ и оценки их результатов недостаточно разработаны методы оценки вклада различных элементов Программы в достижение целевых установок: традиционно вместо стремления оптимизировать значения целевых индикаторов на генеральной совокупности, проводят оценки на выборке участников программы с использованием в качестве критерия результативности различных форм средних величин, что приводит к вопросам выделения референтных групп. Однако используемые классификационные признаки, остаются, как правило, несвязанными с целевыми установками, что оставляет существенно неоднородным состав оцениваемых объектов, требует принятие решений на основе многих критериев. Используемые здесь многокритериальные методы принятия решений в виде оценок на каждом объекте по сути не преследуют никаких стратегических целей по изменению траектории всей системы объектов (генеральной совокупности). В этом отношении принимаемые решения часто оказываются стратегически непродуманными.

2. Применяемые в ходе сопровождения государственных программ программно-технические решения являются локальными, без возможности переноса их на другие программы, без реализации в них единой методологии оценки научно-технических проектов. Поэтому интерактивная программная среда разрабатывается для каж-

и и f

дой государственной программы с нуля, несмотря на большое количество общих методических подходов, используемых систем показателей и реализуемых впоследствии технологий. Анализ систем показателей, принятых для оценки результативности или составляющих целевых индикаторов, приводит к выводу, что многие из них в разных Программах дублируют друг друга, а их плановые значения иногда противоречат друг другу.

3. Для реализации функций информационного сопровождения используются лишь традиционные программно-технические решения на основе OLAP технологий, для аналитического сопровождения традиционно используются технологии Data Mining без учета специфики предметной области. В тоже время в существующих программных информационно-аналитических средах сопровожде-

ния государственных программ недостаточно отработаны механизмы измерения вклада отдельных научно-технических проектов в достижение целей и задач программы; не реализованы единые методы и аналитические механизмы управления программой по показателям с использованием выявленных в ходе мониторинга закономерностей изменения целевых индикаторов. Таким образом, в программных средствах не находят должного отражения требуемые методики и подходы, отсутствует единый системный взгляд на набор аналитических механизмов сопровождения программ.

4. Сервер базы данных традиционно реализуют, используя реляционный подход, который лучше всего отвечает статической модели данных. Однако практика показывает постоянный дрейф инфо-логической структуры. Обеспечение целостности данных при реляционном подходе становится существенным ограничением в интеграции разных баз данных, не позволяет анализировать такие данные с общих позиций.

5. Остается открытым вопрос корректности введенных данных. Эту проблему целесообразно рассматривать как следствие ограниче-

и К»

ний на интеграцию разных баз данных или отсутствие единой информационно-аналитической среды. Таким образом, наблюдается противоречие между потребностью агрегирования данных из различных государственных программ с возможностями хранения

и обработки данных с использованием традиционных подходов. Наличие указанных методологических проблем многоаспектно отражается на всех этапах реализации государственных программ в сфере науки и образования, не позволяет объективно оценивать системные связи, влияющие на качество реализации Программ, как следствие, оценивать кумулятивное влияние всего множества действующих государственных программ.

В рамках информационного сопровождения Программ наблюдается противоречие между потребностью агрегирования данных из различных государственных программ с возможностями хранения и обработки данных с использованием традиционных подходов, что связано не столько с содержательным различием самих государственных программ, сколько с имеющимися ограничениями традиционно используемых реляционных решений. Фактически наблюдается системное противоречие между представлением данных в реальной предметной области и моделями представления данных в информационных системах.

Данное противоречие связано с темпоральностью не только значений отдельных атрибутов данных, но и с изменчивостью состава этих атрибутов, а также структуры связей между ними в разных программах. Действительно после построения реляционной базы данных структура отношений оказывается фиксированной. В тоже время задачи, возни-

и и 1 и

кающие в предметной области, приводят к постоянному дрейфу этой структуры во времени: появляется необходимость добавления новых полей в таблицы, добавления новых таблиц, изменения структуры связей между таблицами. Все это оказывается невозможным без существенных затрат с использованием реляционного подхода.

С другой стороны, в рамках аналитического сопровождения Программ вследствие недостаточной разработанности методологии приня-

и и и Г'

тия решений в рассматриваемой предметной области вынужденно используются лишь традиционные программно - технические решения на основе OLAP технологий, Data Mining, в программных средствах не находят должного отражения: методология оценки результативности, эффективности организаций, оценка вклада научно-технических проектов в достижение целевых индикаторов, методология синтеза целевых индикаторов и других макропоказателей для адекватной характеристики статистической совокупности и возникающих улучшений от реализации государственной программы.

В конечном итоге, все данные проблемы следует рассматривать как следствие разрыва системных связей между информационным и аналитическим сопровождением государственных программ в рамках единой информационно-аналитической среды.

Таким образом, в рассматриваемой предметной области выявляется практическая проблема: используемые программно-технические решения по сопровождению государственных программ в сфере науки и образования, с одной стороны, имеют принципиальные ограничения по интеграции в своем составе информационного обеспечения управления реализацией государственных программ, с другой стороны, используемое аналитическое обеспечение не учитывает специфики предметной области. Приемлемое решение этой практической проблемы может быть достигнуто решением научной проблемы создания единой информационно-аналитической среды сопровождение Программ, которая заключается в разработке научно-методологических основ функционирования новых технических средств сбора, хранения, пе-

редачи и представления информации на разных этапах жизненного цикла Программ, а также теоретических методов управления и принятия решений, создания математического и алгоритмического обеспечения оценки результативности и эффективности Программы и ее элементов, применение которых позволит повысить эффективность процесса сопровождения Программ путем повышения роста всей группы целевых индикаторов на генеральной совокупности, снижения затрат на достижение целей Программы, увеличения объемов хранимой и обрабатываемой информации, снижения затрат на разработку программных информационно-аналитических сред.

Цель исследования: повышение эффективности функционирования информационно-аналитических механизмов реализации государственных программ в сфере науки и образования (повышение роста целевых индикаторов Программ на генеральной совокупности, снижение затрат на достижение целей Программы, увеличение объемов хранимой и обрабатываемой информации, снижение затрат на разработку программных информационно-аналитических сред) путем совершенствования научно-методического обеспечения и информационных технологий сопровождения государственных программ с интеграцией их в распределенной информационно-аналитической среде.

Для достижения данной цели были решены следующие задачи исследования:

1. Проведен системный анализ типового состава средств информационного и аналитического сопровождения Программ, в ходе которого определены требования к аналитическим и информационным механизмам сопровождения Программ на основе решения задач оптимизации по разным критериям: повышение роста целевых индикаторов Программ на генеральной совокупности, снижение затрат на достижение целей Программы, увеличение объемов хранимой и обрабатываемой информации, снижение затрат на разработку программных информационно-аналитических сред.

2. Выполнены исследования методов структурно-параметрического синтеза хранилищ данных на основе обеспечения требований доступности, целостности и масштабируемости. По результатам исследования сформирована методология декомпозиции процесса информационного сопровождения Программ в виде динамического взаимодействия объектов и свойств других объектов, обеспечи-

вающая учет темпоральности структуры данных, ее непротиворечивого развития, поддерживающая технологии масштабирования и распределенного хранения данных. Предложенная методология включает в себя:

- логическую модель хранилища данных с динамической структурой, построенную на основе теоретико-множественного и теоретико-информационного анализа информационных систем и обеспечивающую новые принципы организации, структурирования данных, концептуального и логического проектирования баз данных;

- информационную технологию сортировки, сериализации и пред-

и и

ставления объектов анализа в виде размеченной иерархической структуры, обеспечивающую визуализацию, трансформацию и анализ информации в рамках логической модели хранилища данных с динамической структурой.

3. Разработано специальное математическое и алгоритмическое обеспечение, вошедшее в состав аналитического сопровождения Программ:

- метод оценки информационной значимости показателей и формирования базиса индикативных показателей государственных про-

/■-' и К»

грамм, обеспечивающий синтез индикативных показателей, чувствительных к выбранным механизмам стимулирования их роста на этапе разработки Программы;

- метод оценки результативности проектов на основе матричных норм с позиции комплексного достижения плановых значений ин-

и К»

дикативных показателей, обеспечивающий повышение роста целевых индикаторов на генеральной совокупности;

- метод оценки эффективности проектов, направлений, мероприятий, других элементов государственных программ и программ в целом, позволяющий проводить сопоставление эффективности разных элементов Программы и разных Программ;

- метод управления индикативными параметрами государственных программ, выявление их точек роста, позволяющий выявлять дополнительные механизмы стимулирования роста индикативных показателей на этапе реализации Программы.

4. Выполнены исследования области применимости предложен-

к» и 1

ной модели хранилища данных распределенной информационно-

аналитической среды в сопоставлении с существующими информационными технологиями, проведена верификации предложенных методов, вошедших в состав аналитического сопровождения Программ, дано научное обоснование эффективности их использова-

и и

ния в заданной предметной области. 5. Разработан прототип прикладной автоматизированной информационной системы - распределенная информационно-аналитическая среда, включающая в себя аналитические и информационные модели сопровождения Программ, и обеспечивающая единое сопровождение разных Программ. Проведена апробация предлагаемых новых методов, реализованных в распределенной информационно-аналитической среде, на основе информационных массивов, получаемых в ходе реализации государственных программ в сфере науки и образования. Объектом исследований является информационно-аналитическая среда сопровождения государственных программ в сфере науки и образования.

Предметом исследований являются методы принятия решений при многих критериях, задачи группового выбора, методы анализа информативности признаков, алгоритмическое и математическое обеспечение информационных систем и процессов, принципы организации и структурирования данных мониторинга государственных программ в сфере науки и образования.

Научная новизна исследований заключается в развитии теоретических положений, моделей, методов системного анализа, а также информационного и технического обеспечения процессов и систем сопровождения государственных программ в сфере науки и образования. К наиболее существенным результатам, составляющих новизну исследования относятся следующие:

1. Впервые предложена классификация целевых индикаторов Программ, в рамках которой для каждого вида целевых индикаторов разработано понятие целевой результативности, позволяющее осуществить постановку многокритериальной оптимизационной задачи роста всего множества целевых индикаторов на генеральной совокупности (п. 2 паспорта специальности 05.13.01). Научная новизна сформулированной многокритериальной оптимизационной задачи состоит в переходе от локальных критериев оценки достигаемых индикативных показателей на множестве исполнителей к

максимизации целевых индикаторов на генеральной совокупности с учетом фактора времени и анализа условий последействия (решения, принятые в заданный момент времени определяют состав возможных решений в будущем).

2. Разработан метод многокритериальной оценки результативности научно-технических проектов на множестве целевых индикаторов государственной программы. При разработке метода впервые применен системный подход к групповому выбору на основе использования матричных норм, частным случаем которых является метод экспертной оценки на основе сингулярного разложения оценочной матрицы (п. 1, 5 паспорта специальности 05.13.01).

3. Разработан метод оценки эффективности проектов, направлений, мероприятий, других элементов государственных программ и программ в целом, который отличается от существующих подходов оценки эффективности Программы новыми предложенными критериями оценки эффективности исходя из оценки доли финансирования результативных проектов к финансированию всех проектов, а также постановкой задачи оптимизации по критерию минимума суммарного бюджетного финансирования на конец действия Программы или по критерию ежегодной минимизации бюджетного финансирования (п. 3 паспорта специальности 05.13.01)

4. Разработан метод оценки информационной значимости показателей и формирования базиса индикативных показателей государственных программ на основе поиска подмножества показателей, аппроксимирующих исходную оценочную матрицу. Предложенный метод отличается от существующих оригинальным подходом использования поэлементной матричной нормы при разных значениях параметра , позволяющего оценивать дрейф понятия информативности при изменении отношения к риску (п. 4 паспорта специальности 05.13.01).

5. Разработана логическая модель хранилища данных с динамической структурой, названная автором OP-model, а также проблемно-ориентированная система управления данными хранилища ОР-эу^ет, в которых предложены новые принципы концептуального и логического проектирования баз данных (п. 3 паспорта специальности 05.25.05), отличающиеся от существующих

представлением данных в виде связи имен объектов со значением свойств других объектов.

6. Разработана информационная технология сортировки, сериализа-ции и представления объектов анализа в виде размеченной иерархической структуры для автоматизации функций аналитической обработки данных, которая в отличие от существующих OLAP тех-

и и и у-"" и

нологий является не надстройкой над базой данных, а неотъемле-

и и 1

мой ее частью, реализующей функции непротиворечивого развития базы данных (п. 2, 4 паспорта специальности 05.25.05).

7. Предложена реализация распределенной информационно-аналитической среды, включающая алгоритмы хранения, представления данных мониторинга хода реализации государственных программ, алгоритмы автоматизации функций мониторинга и управления реализацией государственных программ (п. 5 паспорта специальности 05.25.05), которая в отличие от существующих позволяет регулировкой протоколов синхронизации добиваться требуемого уровня масштабирования, консистентности, доступности.

Теоретическая и практическая значимость работы. Теоретическая значимость работы заключается в развитии теории построения темпоральных хранилищ данных, в которых требуется изменение структуры связей между данными во времени (в отличие от существующих логических ER-моделей и связанных с ними реляционных решений, разработанная модель позволяет отражать темпораль-ность сущностей, атрибутов сущности ER-модели данных, темпораль-ность связей между сущностями ER-модели данных; доказано, что информационная технология манипулирования данными предложенного хранилища данных является полным по Тьюрингу языком программирования), в совершенствовании методов группового выбора на основе метрического подхода с использованием матричных норм, методов синтеза индикативных показателей (разработанный метод, в отличие от существующего подхода на основе главных компонент, обеспечивает

1 и и

оценку информационной значимости не только отдельных показателей на основе их факторных нагрузок, но и групп показателей, а, в отличие от методов на основе коэффициента альфа-Кронбаха, формируемый базис показателей ориентирован на построение более точных регрессионных зависимостей остальных показателей оценочной матрицы), методов

оценки вклада отдельных компонент (исполняемых научно-технических проектов в частности) в обобщенный показатель качества (целевые индикаторы и т.п.), исходя из формы этого показателя (долевой, кумулятивный и т.д.).

Практическая значимость полученных результатов заключается в том, что разработанные научно-методические основы, элементы информационных технологий, алгоритмы, модели и методы востребованы в информационно-аналитическом обеспечении государственных программ в сфере науки и образования и могут быть направлены на оптимизацию процессов оценки качества выполняемых работ, измерения кумулятивного эффекта действия множества государственных программ. Методология и методы исследования.

При разработке предлагаемого информационно-аналитического обеспечения использовались принципы множественности, целостности, двойственности системного анализа, аксиоматические и общелогические методы.

В основу исходных теоретических положений, использованных при построении и обосновании свойств распределенной информационно-аналитической среды, включены: функциональная парадигма программирования; логическая модель данных сущность - связь (ER - модель); технологии интеллектуального анализа данных Data Mining, реализованные в среде R; технологии построения клиент-серверных приложений; технологии агрегирования данных на основе OLAP.

Экспериментальной базой исследования в рамках функционирования распределенной информационно-аналитической среды стали существующие системы (СУБД) построения реляционных баз данных: MySQL, PostgreSQL, а также NoSQL решения: MongoDB, Redis, среда интеллектуального анализа и статистической обработки данных R, CAS-система символьных вычислений Maxima, языки программирования Common Lisp (SBCL), Python3.

В основе исходных теоретических и методологических предпосылок совершенствования аналитического обеспечения государственных программ в сфере науки и образования использованы следующие положения:

1. Известно множество методов многокритериального ранжирования: ранжирование по влиянию, разбиение Парето, правило Борда, оптимизация линейных весов и т.д.. Каждый метод дает разные результаты, отсутствует взгляд с общей позиции — приближение

исходной оценочной матрицы матрицей последовательно возрастающих рангов, что требует систематизации этих методов ранжирования. Известна теорема Эккарта-Янга о наилучшем приближении (в смысле минимума нормы Фробениуса для разности матриц) исходной оценочной матрицы матрицей заданного ранга, построенной на основе сингулярного разложения исходной матрицы. Существует большой перечень матричных норм, которые целесообразно рассматривать в рамках метрического подхода к приближению исходной оценочной матрицы матрицей последовательно возрастающих рангов.

2. Известен метод канонических корреляций, который целесообразно использовать для анализа взаимосвязей различных подмножеств массива целевых индикаторов, имеющих наилучшее линейное управление на выбранном множестве управляющих переменных. Однако классическое использование метода канонических корреляций позволяет получить коэффициенты в линейной комбинации двух канонических переменных разных знаков. Это озна-

и и / и и /»-'

чает, что рост канонической переменной (линейной комбинации массива целевых индикаторов) возможен как за счет увеличения части индикаторов, так и за счет уменьшения другой части индикаторов; кроме того, часто оказываются нарушены исходные предпосылки использования метода канонической корреляции - нормальность компонент вектора показателей.

Положения, выносимые на защиту.

1. Метод оценки информационной значимости и формирования базиса индикативных показателей государственных программ для характеристики фактически протекающих процессов на основе аппроксимации оценочной матрицы с использованием матричных норм.

2. Метод оценки результативности проектов на основе матричных норм с позиции комплексного достижения плановых значений индикативных показателей, а также с позиции качества получаемых научно-технических результатов.

3. Метод оценки эффективности проектов, направлений, мероприятий, других элементов государственных программ и программ в целом.

4. Метод управления индикативными параметрами государственных программ, выявление их точек роста на основе адаптации канонического корреляционного анализа и механизмов бутстреп-анализа.

5. Логическая модель хранилища данных с динамической структурой.

6. Информационная технология сортировки, сериализации и пред-

и и

ставления объектов анализа в виде размеченной иерархической структуры для автоматизации функций аналитической обработки данных.

7. Распределенная информационно-аналитическая среда, включающая алгоритмы хранения, представления данных мониторинга хода реализации государственных программ, алгоритмы автоматизации функций мониторинга и управления реализацией государственных программ.

Список литературы диссертационного исследования кандидат наук Артамонов, Юрий Николаевич, 2018 год

СПИСОК ЛИТЕРАТУРЫ

1. Айвазян, С.А. Классификация многомерных наблюдений / С.А. Айвазян, З.И. Бежаева, О.В. Староверов. - М.: Статистика, 1974. - 240 с.

2. Айвазян, С.А. Прикладная статистика. Основы моделирования и первичная обработка данных /С.А. Айвазян, И.С. Енюков, Л.Д. Мешал-кин. - М.: Финансы и статистика, 1983. - 472 с.

3. Айвазян, С.А. Прикладная статистика. Исследование зависимостей / С.А. Айвазян, И.С. Енюков, Л.Д. Мешалкин. - М.: Финансы и статистика, 1985. - 488 с.

4. Айвазян, С.А. Прикладная статистика. Классификация и снижение размерности / С.А. Айвазян, В.М. Бухштабер, И.С. Енюков. - М.: Финансы и статистика, 1989. - 500 с.

5. Айвазян, С.А. Теория вероятностей и прикладная статистика / С.А. Айвазян, В.С. Мхитарян. - М.: ЮНИТИ, 2001. - 1, 2 т.

6. Алексеев, В.Б. Теорема Абеля в задачах и решениях / В.Б. Алексеев. - М.: «МЦНМО», 2001. - 192 с.

7. Алексеев, В.В. Анализ и синтез модульных сетевых информационных систем в интересах повышения эффективности целенаправленных процессов /В.В. Алексеев, Ю.Ю. Громов, А.В. Яковлев. - Тамбов : МИНЦ «Нобелистика», 2012. - 130 с.

8. Алгоритмы: построение и анализ / Т. Кормен, Ч. Лейзерсон, Р. Ри-вест, К. Штайн. - М.: Вильямс, 2005. - 1328 с.

9. Альберт, А. Регрессия, псевдоинверсия и рекуррентное оценивание. / А. Альберт. - М.: Наука, 1977. - 224 с.

10. Андерсон, Т. Введение в многомерный статистический анализ / Т. Андерсон. - М.: ГИФМЛ, 1963. - 500 с.

11. Андрейчиков, А.В. Системный анализ и синтез стратегических решений в инноватике: Формирование и принятие решений в образовательных учреждениях / А.В. Андрейчиков. - М.: Ленанд, 2015. - 448 с.

12. Аналитическое обеспечение реализации федеральной целевой программы Научные и научно-педагогические кадры инновационной России на 2009-2013 годы: отчет о НИР (этап 2) / Артамонов Ю.Н. и др. - М.: ФГНУ «Госметодцентр», 2009. - 378 с.

13. Аналитическое обеспечение реализации федеральной целевой программы «Научные и научно-педагогические кадры инновационной России на 2009-2013 годы: отчет о НИР (этап 3) / Артамонов Ю.Н. и др. - М.: ФГНУ «Госметодцентр», 2010. - 578 с.

14. Артамонов, Ю.Н. Развитие сложной технической системы в многокритериальном пространстве выбора / Ю.Н. Артамонов // Сборник научных статей преподавателей. Выпуск 4. - Котельники: Международный университет природы, общества и человека «Дубна», филиал «Котельники». - 2008. - С. 5 - 9.

15. Артамонов, Ю.Н. Суммирование функций, представимых степенными рядами / Ю.Н. Артамонов // Дубна: Вестник Международного университета природы, общества и человека «Дубна». - 2010. - С. 3-8.

16. Артамонов, Ю.Н. Методический подход к формированию и обоснованию состава индикативных показателей целевых программ / Ю.Н. Артамонов // Информационные технологии в управлении и принятии решений в социальных и экономических системах. Котельники: Международный университет природы, общества и человека «Дубна», филиал «Котельники». - 2010. - С. 43-55.

17. Артамонов, Ю.Н. Аналитический обзор деятельности научно-образовательных центров национальной нанотехнологической сети / Ю.Н. Артамонов, Н.М. Емелин, В.О. Мелихов // Российские нано-технологии. - 2010. - Т. 5. № 11-12. - С. 6-9.

18. Артамонов, Ю.Н. Аналитический обзор деятельности научно-образовательных центров национальной нанотехнологической сети / Ю.Н. Артамонов, Н.М. Емелин, В.О. Мелихов // Российские нано-технологии. - 2011. - Т.6. №1-2. - С.9-12.

19. Артамонов, Ю.Н. Аналитический обзор деятельности научно-образовательных центров национальной нанотехнологической сети / Ю.Н. Артамонов, Н.М. Емелин, В.О.Мелихов // Российские нанотех-нологии. - 2011. - Т. 6. №3-4. - С.8-12.

20. Артамонов, Ю.Н. Комплексный анализ и оценка устойчивости системы научно-образовательных центров национальной нанотехноло-гической сети России / Ю.Н. Артамонов, Н.М. Емелин, В.П. Карулин,

B.В. Пьянков // Российские нанотехнологии. - 2011. - Т. 6. №9-10. -

C. 6-9.

21. Артамонов, Ю.Н. Методика определения минимально необходимого уровня финансирования проектов федеральных целевых программ для достижения заданных значений целевых индикаторов / Ю.Н. Артамонов // Вестник Академии экономической безопасности МВД России. - 2011. - Т. 3. - С. 17-20.

22. Артамонов, Ю.Н. Модель оценки результативности направлений образовательной деятельности по вкладу в формирование профессиональных компетенций в рамках непрерывного образования / Ю.Н. Артамонов // Сборник трудов участников I Всероссийской научно-практической конференции «Современное непрерывное образование» МОУ «ИИФ». - 2011. - С. 177-179.

23. Артамонов, Ю.Н. Каталог малых инновационных предприятий российских вузов в сфере нанотехнологий /Ю.Н. Артамонов, Н.М. Емелин, Е.Д. Володина // Российские нанотехнологии. - 2012. - Т.7. №314. - С. 18-27

24. Артамонов, Ю.Н. Каталог малых инновационных предприятий российских вузов в сфере нанотехнологий (окончание) /Ю.Н. Артамонов, Н.М. Емелин, Е.Д. Володина // Российские нанотехнологии. -2012. - Т.7. №5-6. - С. 21-26.

25. Артамонов, Ю.Н. Метод оценки результативности научно-технических проектов целевых программ / Ю.Н. Артамонов // Известия Института инженерной физики. - 2012. Т.1. № 23. - С. 78-81.

26. Артамонов, Ю.Н. Метод автоматической классификации научно-технических проектов для оценки их качества / Ю.Н. Артамонов // Сборник трудов участников. ХХХ1 Всероссийская научно-техническая конференция «Проблемы эффективности и безопасности функционирования сложных технических и информационных систем». - 2012. - С. 19-23.

27. Артамонов, Ю.Н. Совершенствование системы подготовки специалистов по эксплуатации сложных технических систем с использованием открытого программного обеспечения / Ю.Н. Артамонов // Проблемы обучения и информатизации образования в сфере подготовки специалистов по эксплуатации сложных технических систем. Сборник трудов участников конференции МОУ «ИИФ». - 2012. - С. 36-38.

28. Артамонов, Ю.Н. Модель оценки результативности научных и образовательных организаций на основе сингулярного разложения матрицы / Ю.Н. Артамонов, И.О. Каманин // Информационные и телекоммуникационные технологии. - 2013. - Т.17. - С. 3-9.

29. Артамонов, Ю.Н. Синтез элементов методологии обеспечения функций управления ходом разработки и реализации федеральных целевых программ / Ю.Н. Артамонов // Сборник трудов участников XXXII Всероссийской научно-технической конференции «Современное непрерывное образование» под редакцией проф. А.Н. Царькова и проф. И.А. Бугакова, МОУ «ИИФ». - 2013. - С. 176-179.

30. Артамонов, Ю.Н. Модель структурной кластеризации малых инновационных предприятий вузов /Ю.Н. Артамонов // Сборник трудов участников III Всероссийской научно-практической конференции «Современное непрерывное образование и инновационное развитие» под редакцией проф. А.Н. Царькова и проф. И.А. Бугакова. МОУ «ИИФ». - 2013. - С. 177-180.

31. Артамонов, Ю.Н. Методический подход к формированию стратегий управления деятельностью неэффективных образовательных учреждений высшего профессионального образования. / Ю.Н. Артамонов, Н.М. Емелин // Известия Института инженерной физики. - 2014.

- T.1. №31. - С. 98-101.

32. Артамонов, Ю.Н. Формирование системы критериев оценки эффективности управления в рамках Программ Стратегического Развития Вузов / Ю.Н. Артамонов // Сборник трудов участников IV Всероссийской научно - практической конференции «Современное непрерывное образование и инновационное развитие» под редакцией проф. А.Н. Царькова и проф. И.А. Бугакова.МОУ «ИИФ». - 2014. - С. 390393.

33. Артамонов, Ю.Н. Управление индикативными параметрами целевых программ на основе механизмов бутстреп-анализа /Ю.Н. Артамонов // Известия Института инженерной физики. - 2015. Т. 1. №35.

- С. 71-75.

34. Артамонов, Ю.Н. Сотрудничество российских вузов и предприятий оборонно-промышленного комплекса и оценка его эффективности / Н.М. Емелин, Ю.Н. Артамонов // Известия Института инженерной физики. - 2015. - Т2. №36. - C. 92-95.

35. Артамонов, Ю.Н. Построение хранилища данных с динамической структурой / Ю.Н. Артамонов // Моделирование и анализ информационных систем. - 2016. - Т.23:2. № 62. - С. 93-118.

36. Артамонов, Ю.Н. Исследование межотраслевого распространения результатов работ, выполняемых в сфере наноиндустрии, и связи тематических направлений деятельности национальной нанотехно-логической сети с отраслевыми производственными технологиями / Ю.Н. Артамонов, Н.М. Емелин, А.А. Малахов // Российские нанотехнологии. - 2016. - Т.11. №1-2. - С. 4-11.

37. Артамонов, Ю.Н. Групповой выбор с использованием матричных норм / Ю.Н. Артамонов // Иркутск: Известия Иркутского государственного университета. Серия: Математика. - 2016. - №18. - С.3-20.

38. Артамонов, Ю.Н. Исследование параметрических моделей управления образовательной деятельностью / Ю.Н. Артамонов // Тамбов: В сборнике: Виртуальное моделирование, прототипирование и промышленный дизайн, материалы III Международной научно-практической конференции: Электронный ресурс. Общая редакция: В. А. Немтинов. - 2016. - C. 297-304.

39. Артамонов, Ю.Н. Алгоритм прогнозирования достижения индикаторов федеральных целевых программ / Ю.Н. Артамонов, Е.Д. Володина // Серпухов: Сборник трудов участников VII Всероссийской научно-практической конференции: современное непрерывное образование и инновационное развитие. - 2016. - С. 120-123.

40. Исследование и мониторинг потенциала высшей школы в интересах развития новых производственных технологий и наноиндустрии: отчет о НИР (по заданию Минобрнауки РФ № 2.87.2016/КМ) / Артамонов Ю.Н. и др. - М.: ФГБНУ «Госметодцентр», 2016. - 332 с.

41. Артамонов, Ю.Н. Использование полных последовательностей для сортировки натуральных чисел / Ю.Н. Артамонов // Известия Иркутского государственного университета. Серия: Математика. - 2017. - №22. - С. 3-17.

42. Артамонов, Ю.Н., Методика выделения факторов, влияющих на целевые индикаторы проектов целевых программ / Ю.Н.Артамонов, Н.М. Емелин // Известия Института инженерной физики. - 2017. -Т.2. №4. - С.25-29.

43. Артамонов, Ю.Н. Управление реализацией государственных программ на основе оценки результативности научно-технических проектов / Ю.Н. Артамонов // Серпухов: Сборник трудов участников V Всероссийской научно-практической конференции: современное непрерывное образование и инновационное развитие. - 2017. - С. 142-147.

44. Артамонов, Ю.Н. Модель оценки эффективности государственных программ в отношении достижения целевых индикаторов / Ю.Н.Артамонов //Серпухов: МОУ «ИИФ» Сборник научных трудов Института инженерной физики. - 2017. - Т.5. №1. - С. 5-9.

45. Артамонов, Ю.Н. Метод анализа информационной значимости показателей / Ю.Н. Артамонов, И.О. Каманин // Сборник: Виртуальное моделирование, прототипирование и промышленный дизайн. Материалы IV Международной научно-практической конференции под общ. ред. В.А. Немтинова. - 2017. - С. 371-376.

46. Артамонов, Ю.Н. Разработка системы прогнозирования развития наукоградов на основе модели динамических одномоментных уравне-ний,Мелихов В.О. / Ю.Н. Артамонов, В.О. Мелихов // Сборник: Виртуальное моделирование, прототипирование и промышленный дизайн. Материалы IV Международной научно-практической конференции под общ. ред. В.А. Немтинова. - 2017. - С. 377-383.

47. Артамонов, Ю.Н. Оценка значимости инновационных проектов студентов, как элемент их стимулирования к научному творчеству / Ю.Н. Артамонов, Ю.С. Сенькина // Проблемы эффективности и безопасности функционирования сложных технических и информационных систем 2018. Сборник трудов XXXVII Всероссийской научно-технической конференции. - 2018. - Т.6. - С. 282-290.

48. Ашманов, С.А. Математические модели и методы в экономике / С.А. Ашманов. - М.: МГУ, 1980. - 199 с.

49. Багриновский, К.А. Экономико-математические методы и модели (микроэкономика) / К.А. Багриновский, В.М. Матюшок. - М.: РУДН, 1999. - 183 с.

50. Балдин, К.В. Управленческие решения: учебник / К.В. Балдин, С.Н. Воробьев, В.Б. Уткин. - М.:Дашков и К, 2018. - 496 с.

51. Балдин, К.В., Общая теория статистики: учебное пособие / К.В. Балдин, А.В. Рукосуев. - М.:Дашков и К, 2009. - 312 с.

52. Барсегян, А.А. Технологии анализа данных: Data Mining, Visual Mining, Text Mining, OLAP / А.А. Баргесян, М.С. Куприянов, В.В. Степаненко. - СПб.: БХВ-Петербург, 2007. - 384 с.

53. Беккенбах, Э. Неравенства: монография / Э. Беккенбах, Р. Беллман.

- М.: Мир, 1965. - 276 с.

54. Белицкий, Г. Р. Нормы матриц и их приложения / Г. Р. Белицкий, Ю. И. Любич. - Киев: Наукова думка, 1984. - 160 с.

55. Беляев, Ю.К. Вероятностные методы выборочного контроля / Ю.К. Беляев. - М.: Издательство, 1975. - 408 с.

56. Бергер, А.Б. MS SQL Server 2005 Analysis Services. OLAP и многомерный анализ данных / А.Б. Бергер. - СПб.: BHV, 2007. - 928 с.

57. Березовский, Б.А. Бинарные отношения в многокритериальной оптимизации: монография / Б.А. Березовский, В.И. Борзенко, Л.М. Кепнер. - М.: Наука, 1981. - 150 с.

58. Бородкин, Ф.М. Социальные индикаторы / Ф.М. Бородкин, С.А. Айвазян. - М.: Юнити-Дана, 2006. - 607 с.

59. Бражко, Е.И. Управленческие решения: учебное пособие / Е.И. Бражко, Г.В. Серебрякова, Э.А. Смирнов. - М.: РИОР, 2008. - 126 с.

60. Бронштейн, Е. М. Управление портфелем ценных бумаг на основе комплексных квантильных мер риска / Е. М. Бронштейн, М. М. Кач-каева, Е. В. Тулупова // Изв. РАН. Теория и системы управления. -2011. - №1. - С. 178-183.

61. Бронштейн, Е. М. Сравнительный анализ показателей эффективности инвестиционных проектов / Е. М. Бронштейн, Д. А. Черняк // Экономика и мат. методы. 2005. - T.41. №2. - С. 21-28.

62. Васильева, И.С. Эффективные методы и модели принятия управленческих решений [Электронный ресурс] / И.С. Васильева // Экономика и менеджмент инновационных технологий. - 2014. - № 3. -Режим доступа: http://ekonomika.snauka.ru/2014/03/4250.

63. Вентцель, Е.С. Теория вероятностей: учебник / Е.С. Вентцель. - М.: Государственное издание физико-математической литературы, 1958.

- 464 с.

64. Версан, В.Г. Системы управления качеством продукции / В.Г. Вер-сан, И.И. Чайка. - М.: Издательство стандартов, 1988. - 104 с.

65. Виленский, П. Л. Оценка эффективности инвестиционных проектов: теория и практика / П. Л. Виленский, В. Н. Лившиц, С. А. Смоляк. - М.: Дело, 2008. - 1104 с.

66. Воронцов, К.В. Лекции по методу опорных векторов [Электронный ресурс] / К.В. Воронцов. - 2007. - Режим доступа: http://www.ccas.ru/voron/download/SVM.pdf.

67. Гантмахер, Ф. Р. Теория матриц: монография / Ф. Р. Гантмахер. -М.: Наука, 1966. - 576 с.

68. Гантмахер, Ф.Р. Осцилляционные матрицы и ядра и малые колебания механических систем: монография / Ф.Р. Гантмахер, М.Г. Крейн.

- М.: Гостехиздат, 1950. - 359 с.

69. Герасимов, К.Б. Принятие управленческих решений при решении функциональных задача управления / К.Б. Герасимов, С.А. Антонов // Вопросы экономики и права. - 2012. - Т. 7. - С. 165-169.

70. Гмурман, В.Е. Теория вероятностей и математическая статистика / В.Е. Гмурман. - М.: Высш.шк., 2003. - 479 с.

71. Голуб, Дж. Матричные вычисления / Дж. Голуб, Ч. Ван Лоун. -М.: Мир, 1999. - 548 с.

72. Голяндина, Н.Э. Метод «Гусеница»-SSA: анализ временных рядов: учеб. пособие / Н.Э. Голяндина. - СПб: Изд-во СПбГУ, 2004. - 76 с.

73. Дайитбегов, Д.М. Компьютерные технологии анализа данных в эконометрике: монография / Д.М. Дайитбегов. - М.: НИЦ ИНФРА-М, 2013. - 587 с.

74. Дейт, К.Дж. Введение в системы баз данных: монография / К.Дж. Дейт. - М.: «Вильямс», 2001. - 1072 с.

75. Демидович, Б.П. Основы вычислительной математики / Б.П. Де-мидович, И.А. Марон. - М.: Государственное издательство физико-математической литературы, 1963. - 659 с.

76. Дрогобыцкий, И.Н. Системный анализ в экономике / И.Н. Дрого-быцкий. - М.: ЮНИТИ, 2013. - 423 с.

77. Дубов, Ю.А., Многокритериальные модели формирования и выбора вариантов систем / Ю.А. Дубов, С.И. Травкин, В.Н. Якимец. - М.: Наука. Главная редакция физико-математической литературы, 1986.

- 296 с.

78. Дубов, Ю.А. Устойчивость оптимальных по Парето векторных оценок и эпсилон-равномерные решения / Ю.А. Дубов // Автоматика и телемеханика. - 1981. - Т.6. - С. 139-146.

79. Дубров, А.М. Многомерные статистические методы / А.М. Дубров, В.С. Мхитарян, Л.И. Трошин. - М.: Финансы и статистика, 2003. -352 с.

80. Душкин, Р.В. Функциональное программирование на языке Haskell / Р.В. Душкин. - М.: ДМК Пресс, 2006. - 608 с.

81. Елисеева, И.И. Общая теория статистики / И.И. Елисеева, М.М. Юзбашев. - М.: Финансы и статистика, 2004. - 656 с.

82. Елманова, Н. Введение в OLAP-технологии Microsoft / Н. Елманова, А. Федоров. - М.: Диалог-МИФИ, 2013. - 272 с.

83. Емеличев, В. А. Общий подход к исследованию устойчивости парето-оптимального решения векторной задачи целочисленного линейного программирования / В. А. Емеличев, К. Г. Кузьмин // Дискрет. математика. - 2007. - Т. 6. - C. 79 - 83.

84. Емеличев, В. А. О радиусе устойчивости эффективного решения векторной задачи целочисленного линейногого программирования в метрике Гёльдера / В. А. Емеличев, К. Г. Кузьмин // Кибернетика и систем. анализ. - 2007. - Т. 4. - C. 175-181.

85. Иберла, К. Факторный анализ / К. Иберла. - М.: Статистика, 1980. - 400 с.

86. Индикативное планирование: теория и пути совершенствования / Л.Г. Демидова, С.М. Климов, Г.З. Щербаковский, Н.Г. Ананов. -СПБ.: Знание, 2000. - 96 с.

87. Информационно-аналитические материалы по результатам проведения мониторинга эффективности деятельности образовательных организаций высшего образования [Электронный ресурс] / МИРЭА - Российский технологический университет, Главный информационно-вычислительный центр // Режим доступа: http://indicators.miccedu.ru/monitoring/

88. Исследование и мониторинг потенциала развития национальной на-

и и

нотехнологической сети с учетом смежных областей и новых приоритетных направлений развития науки, технологий и техники: отчет о НИР (проект №3173 по заданию Минобрнауки РФ №2015/НЗ). / Артамонов Ю.Н. и др. - М.: ФГБНУ «Госметодцентр», 2015. - 288 с.

89. Кабаков, Р. R в действии. Анализ и визуализация данных в программе R / Р. Кабаков. - М.: ДМК, 2016. - 588 c.

90. Калиниченко, Л.А. Методы и средства интеграции неоднородных баз данных / Л.А. Калиниченко. - М.: Наука, 1983. - 424 c.

91. Кендалл, М. Многомерный статистический анализ и временные ряды / М. Кендалл, А. Стьюарт. - М.: Наука, 1976. - 736 с.

92. Кендалл, М. Теория распределений / М. Кендалл, А. Стьюарт. - М.: Наука. Главная редакция физико-математической литературы, 1966.

- 573 с.

93. Ким, О. Дж. Факторный, дискриминантный и кластерный анализ / О. Дж. Ким, Ч.У. Мьюллер, У.Р. Клекка. - М.: Финансы и статистика, 1989. - 215 с.

94. Кини Р.Л. Принятие решений при многих критериях: предпочтения и замещения / Р.Л. Кини, Х. Райфа. - М.: Радио и связь, 1981. - 560 с.

95. Кириллов, В.И. Квалиметрия и системный анализ / В.И. Кириллов.

- М.: Инфра-М., 2011. - 440 с.

96. Киселев, М. Метод классификации текстов, основанный на попарной близости термов, характеризующих тексты, и его сравнение с метрическими методами кластеризации / М. Киселев // Сборник работ участников конкурса «Интернет-математика 2007». - 2007. - С. 74-83.

97. Кнут, Д. Э. Искусство программирования,том 3. Сортировка и поиск / Д. Э. Кнут. - М. : Вильямс, 2007. Т.3. - 800 с.

98. Кобзарь, А.И. Прикладная математическая статистика. Для инженеров и научных работников / А.И. Кобзарь. - М.: Физматлит, 2006.

- 816 с.

99. Ковалевский, С.С. Создание системы мониторинга реализации Федеральных целевых программ / С.С. Ковалевский, В.В. Кульба. - М.: Синтег, 2006. - 160 с.

100. Козлов, В.Н. Системный анализ, оптимизация и принятие решений / В.Н. Козлов - М.: Проспект, 2016. - 176 с.

101. Колосов, В.А. Теоремы и задачи алгебры, теории чисел и комбинаторики / В.А. Колосов. - М.: Гелиос АРВ, 2001. - 256 с.

102. Комплексный анализ и прогноз устойчивости функционирования научно-образовательных центров национальной нанотехнологи-ческой сети: отчет о НИР / Артамонов Ю.Н. и др. - М.: ФГНУ «Госме-тодцентр», 2012. - 233 с.

103. Коннолли, Т. Базы данных: проектирование, реализация и сопровождение: Теория и практика / Т. Коннолли, М.: «Вильямс», 2003. -1440 с.

104. Коршунов, Ю.М. Математические основы кибернетики / Ю.М. Коршунов. - М.: Энергия, 1980. - 424 с.

105. Коуден, Д. Статистические методы контроля качества / Д.Коуден.

- М.: Государственное издательство физико-математической литературы, 1961. - 623 с.

106. Кофман, А. Введение в теорию нечетких множеств / А. Кофман.

- М.: Радио и связь, 1982. - 432 с.

107. Кочкаров, Р.А. Целевые программы: инструментальная поддержка / Р.А. Кочкаров. - М.: ЗАО «Издательство Экономика», 2007. - 223 с.

108. Крянев, А. В. Метрический анализ и обработка данных / А. В. Крянев, Г. В. Лукин. - М.: ФИЗМАТЛИТ, 2010. - 280 с.

109. Кузнецов, М.П. Уточнение ранговых экспертных оценок с использованием монотонной интерполяции / М.П. Кузнецов // Машинное обучение и анализ данных. - 2011. - Т.2. - С. 154 - 162.

110. Кузнецов, М. П. Алгоритм многоклассовой классификации объектов, описанных в ранговых шкалах / М. П. Кузнецов, В. В. Стри-жов, М.М. Медведникова // Научно-технический вестник СПб ГПУ. Информатика. Телекоммуникации. Управление. - 2012. - Т. 5. - С. 92-95.

111. Ландэ, Д.В. ИНТЕРНЕТИКА.Навигация в сложных сетях: модели и алгоритмы / Д.В. Ландэ, А.А. Снарский, И.В. Безсуднов. - М.: URSS, 2009. - 264 с.

112. Ларичев, О.И. Объективные модели и субъективные решения / О.И. Ларичев. - М.: Наука, 1987. - 143 с.

113. Ларичев О.И. Теория и методы принятия решений / О.И. Ларичев.

- М.: Логос, 2002. - 382 с.

114. Ленг, С. Введение в теорию диофантовых приближений / С. Ленг.

- М.: Мир, 1970. - 104 с.

115. Лесин, В.В. Основы методов оптимизации / В.В. Лесин, Ю.П. Ли-совец. - М.: МАИ, 1998. - 344 с.

116. Лесковец, Ю. Анализ больших наборов данных / Ю. Лесковец. -М.: ДМК, 2016. - 498 с.

117. Лотов, В.А. Многокритериальные задачи принятия решений / В.А. Лотов, И.И. Поспелова. - М.: Макс Пресс, 2008. - 197 с.

118. Лотов, А.В. Введение в экономико-математическое моделирование / А.В. Лотов. - М.: Наука, 1984. - 392 c.

119. Лукашевич, Н. В. Тезаурусы в задачах информационного поиска / Н. В. Лукашевич. - М.: Издательство МГУ имени М. В. Ломоносова, 2011. - 396 c.

120. Лукьянов, Г.В. Проблема методологии оценивания результативности научных программ и проектов. Системы и средства информатики / Г.В. Лукьянов // Институт проблем информатики РАН. - 2010. -Т.20. №2 - С. 75-87.

121. Маккинли, У. Python и анализ данных / У. Маккинли. - М.: ДМК, 2015. - 482 c.

122. Мандель, И. Д. Кластерный анализ / И. Д. Мандель. - М.: Финансы и статистика, 1988. - 176 c.

123. Марманис, Х. Алгоритмы интеллектуального Интернета. Передовые методики сбора, анализа и обработки данных / Х. Марманис. -М.: Символ, 2011. - 480 c.

124. Мартин, Дж. Организация баз данных в вычислительных системах / Дж. Мартин. - М.: «Мир», 1980. - 665 c.

125. Мастицкий, С.Э. Статистический анализ и визуализация данных с помощью R (черно-белые графики) / С.Э. Мастицкий. - М.: ДМК, 2015. - 496 c.

126. «Методика расчета показателей мониторинга эффективности образовательных организаций высшего образования 2015 год», Приказ Министерства образования и науки РФ от 30.03.2015 №АК-30/05вн. Правовой сайт Консультант-Плюс [Электронный ресурс] офиц. текст. Режим доступа: http://www.consultant.ru/cons/cgi/online.cgi?req=doc;base=EXP; n=619078#08482639339436178

127. Минашкин, В.Г. Теория статистики / В.Г. Минашкин, Р.А. Шмой-лова. - М.: Изд. центр ЕАОИ, 2008. - 296 c.

128. Миркин, Б.Г. Методы многокритериальной стратификации и их экспериментальное сравнение / Б.Г. Миркин, М.А. Орлов. - М.: Изд.дом Высшей школы экономики, 2013. - 32 c.

129. Миркин, Б.Г. Проблема групового выбора / Б.Г. Миркин. - М.: Наука, 1974. - 256 c.

130. Мулен, Э. Кооперативное принятие решений: Аксиомы и модели / Э. Мулен. - М.: Мир, 1991. - 464 c.

131. Мушик, Э. Методы принятия технических решений / Э. Мушик, П. Мюллер. - М.: «МИР», 1990. - 208 с.

132. Научный потенциал вузов и научных организаций Министерства образования и науки РФ. Статистический сборник [Электронный ресурс]. - Издательство СпбГЭТУ «ЛЭТИ», СПб., 2003, 2004, 2005, 2006, 2007, 2008, 2009. - Режим доступа: http://statsb.rptnid.ru/.

133. Научный форум dxdy [Электронный ресурс]. - Режим доступа: http:dxdy.ru/topic111132.html.

134. Национальный открытый университет «ИНТУИТ», проект diofant.ru [Электронный ресурс]. - Режим доступа: http://www.diofant.ru/problem/383/.

135. О мерах по реализации государственной политики в области образования и науки, Указ Президента РФ № 599 от 07.05.2012 г. Правовой сайт КонсультантПлюс [Электронный ресурс] офиц. текст. Режим доступа: http://www.consultant.ru/document/cons_doc_LAW_129346/.

136. О проведении мониторинга эффективности образовательных организаций высшего образования, Приказ Министерства образования и науки РФ от 1.08.2013 №637. Правовой сайт Консуль-тантПлюс [Электронный ресурс] офиц. текст. Режим доступа: http://www.consultant.ru/cons/cgi/online.cgi?req=doc;base=EXP; п=563065#07256218771369958.

137. Об оценке и о мониторинге результативности деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения, Постановление Правительства РФ от 8 апреля 2009 г. №312. Правовой сайт Консультант-Плюс [Электронный ресурс] офиц. текст. Режим доступа: http://www.consultant.ru/cons/cgi/online.cgi?req=doc&base=LAW& n=308121&fld=134&dst=1000000001,0&rnd=0.5603520247751936# 09820588542119584

138. Об утверждении типового положения о комиссии по оценке результативности деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения, и типовой методики оценки результативности деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назна-

чения, Приказ Министерства образования и науки Российской Федерации от 5 марта 2014 г. №161. Правовой сайт Консуль-тантПлюс [Электронный ресурс] офиц. текст. Режим доступа: http://www.consultant.ru/cons/cgi/online.cgi?req=doc&base=LAW& п=285858&йа=134&аз!;=1000000001,0&гпа=0.6217832095466665# 05247401890920362.

139. Об утверждении порядка предоставления научными организациями, выполняющими научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения, сведений о результатах их деятельности и порядка подтвержде-

и 1 К»

ния указанных сведений федеральными органами исполнительной власти в целях мониторинга, порядка предоставления научными организациями, выполняющими научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения, сведений о результатах их деятельности в целях оценки, а также состава сведений о результатах деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения, предоставляемых в целях мониторинга и оценки, Приказ Министерства образования и науки Российской Федерации от 5 марта 2014 г. №162. Правовой сайт Консуль-тантПлюс [Электронный ресурс] офиц. текст. Режим доступа: http://www.consultant.ru/cons/cgi/online.cgi?req=doc&base=LAW& n=196120&fld=134&dst=1000000001,0&rnd=0.5193053353045466# 012925980437404871.

140. Огвоздин, В. Ю. Управление качеством. Основы теории и практики / В. Ю. Огвоздин. - 6-е издание. - М.: Изд. «Дело и Сервис», 2009. -304 ^

141. Официальный сайт по сопровождению реализации федеральной целевой программы «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2007 - 2013 годы» [Электронный ресурс]. Режим доступа: http://fcpir.ru/.

142. Официальный сайт федеральной службы государственной статистики [Электронный ресурс]. Режим доступа: http://www.gks.ru/.

143. Официальный сайт по сопровождению реализации федеральной целевой программы «Развитие инфраструктуры наноиндустрии в

Российской Федерации на 2008-2011 годы» [Электронный ресурс]. Режим доступа: http://fcpnano.ru.

144. Павлов, А.Н. Методы обработки экспертной информации / А.Н. Павлов, В.В. Соколов. - Спб.: ГУАП, 2005. - 42 с.

145. Паспорт федеральной целевой программы «Научные и научно-педагогические кадры инновационной России» на 2014 - 2020 годы. Утверждена постановлением Правительства Российской Федерации от 21 мая 2013 г. № 424. Правовой сайт Консуль-тантПлюс [Электронный ресурс] офиц. текст. Режим доступа: http://www.consultant.ru/cons/cgi/online.cgi?req=doc&:base=LAW &n=170347&fld=134&dst=1000000001,0&rnd=0.5974216202004983# 0630793954887424.

146. Паспорт федеральной целевой программы «Научные и научно-педагогические кадры инновационной России» на 2009 - 2013 годы. Утверждена постановлением Правительства Российской Федерации от 28 июля 2008 г. № 568. Правовой сайт КонсультантПлюс [Электронный ресурс] офиц. текст. Режим доступа: http://www.consultant.ru/document/cons_doc_LAW_-139536/8b8a9ed27f9e1ca47da5818ac3995f56478db47b/.

147. Паспорт федеральной целевой программы «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2007 - 2013 годы». Утверждена Постановлением Правительства РФ от 18.08.2007 N 531, от 19.11.2008 N 857, от 27.01.2009 N 62, от 06.04.2011 № 253, от 20.12.2011 № 1035, от 19 ноября 2012 г. № 1196, от 26 декабря 2013 г. № 1296. [Электронный ресурс]. Режим доступа: http://2007.fcpir.ru/catalog.aspx?CatalogId=259.

148. Паспорт федеральной целевой программы «Развитие инфраструктуры наноиндустрии в Российской Федерации на 2008—2011 годы». Утверждена постановлением Правительства Российской Федерации от 21 июня 2010 г. № 471. Правовой сайт Консуль-тантПлюс [Электронный ресурс] офиц. текст. Режим доступа: http://www.consultant.ru/document/cons_doc_LAW_70412/.

149. Пивоварова, Л.М. Извлечение и классификация терминологических коллокаций на материале лингвистических научных текстов (предварительные наблюдения) / Л.М. Пивоварова, Е.В. Ягунова //

Материалы Симпозиума «Терминология и знание». - 2010. - С.361 -374.

150. Писаренко, Д.С. Объектная СУБД Динамическая информационная модель DIM и ее основные концепции / Д.С. Писаренко, В.С. Рублев // Моделирование и анализ информационных систем. - 2009.

- Т.16. №1. - С. 62 - 91.

151. Подиновский, В.В. Парето-оптимальные решения многокритериальных задач / В.В. Подиновский, В.Д. Ногин. - М.: Наука. Главная редакция физико-математической литературы, 1982. - 256 c.

152. Положение о конкурсной поддержке программ стратегического развития государственных образовательных учреждений высшего профессионального образования (шифр 2011

- ПР). Утверждено Заместителем Министра образования и науки РФ, 1 ноября 2011. Правовой сайт Консультант-Плюс [Электронный ресурс] офиц. текст. Режим доступа: http://www.consultant.ru/cons/cgi/online.cgi?req=doc;base=EXP; n=552109#011307392696763952.

153. Полтавцев, А.А. Динамические структуры в реляционных базах данных / А.А. Полтавцев // Программные продукты и системы. -2015. - Т. 2. №110. - С. 95-97.

154. Попов, В.Б. Системный анализ в управлении / В.Б. Попов. - М.: Финансы и статистика, 2009. - 368 c.

155. Портал госпрограмм [Электронный ресурс]. Режим доступа: https://programs.gov.ru/.

156. Постановление Правительства РФ от 26.06.1995 г. № 594 «О реализации Федерального закона О поставках продукции для федеральных государственных нужд». Правовой сайт Консуль-тантПлюс [Электронный ресурс] офиц. текст. Режим доступа: http://www.consultant.ru/document/cons_doc_LAW_7120/.

157. Постановление Правительства РФ от 24 января 2017 г. № 67 «О внесении изменений в порядок разработки и реализации федеральных целевых программ и межгосударственных целевых программ, в осуществлении которых участвует Российская Федерация». Правовой сайт Консультант-Плюс [Электронный ресурс] офиц. текст. Режим доступа: http://www.consultant.ru/cons/cgi/online.cgi?req=doc&base=LAW

&n=211787&fld=134&dst=1000000001,0&rnd=0.36088813441609313# 036973797113240703.

158. Постановление Правительства РФ от 19 апреля 2005 г. № 239 «Об утверждении Положения о разработке, утверждении и реализации ведомственных целевых программ». Правовой сайт Кон-сультантПлюс [Электронный ресурс] офиц. текст. Режим доступа: http://www.consultant.ru/cons/cgi/online.cgi?req=doc&:base=LAW&:n= 307836&fld=134&dst=1000000001,0&rnd=0.11134301449535022# 017770653785589763.

159. Приказ Министерства образования и науки Российской федерации № 244 от 18.03.2016 г. «О проведении мониторинга эффективности образовательных организаций высшего образования». Правовой сайт КонсультантПлюс [Электронный ресурс] офиц. текст. Режим доступа: http://www.consultant.ru.

160. Примерный перечень критериев общероссийской системы оценки эффективности деятельности высших учебных заведений. Приказ Министерства образования и науки РФ от 19.06.2012. Правовой сайт Консультант-Плюс [Электронный ресурс] офиц. текст. Режим доступа: http://www.consultant.ru/cons/cgi/online.cgi?req=doc&:base=LAW&: n=281890&fld=134&dst=1000000001,0&rnd=0.6425540888180058# 03513388243638246.

161. Программный код алгоритма Cs-sort на github [Электронный ресурс]. Режим доступа: https://github.com/junaart/science/blob/master/ArticleCsSort/Code/ this-code.lisp

162. Радченко, С. Г. Устойчивые методы оценивания статистических моделей: монография / С. Г.Радченко. - К.: ПП «Санспарель», 2005. -504 ^

163. Разработка методики и программного комплекса для анализа результатов мониторинга НИОКР гражданского назначения федеральных целевых программ (мероприятий, проектов): отчет о НИР / Артамонов Ю.Н. и др. - М.: ФГНУ «Госметодцентр», 2008. - 238 ^

164. Разработка системы мониторинга, анализа, прогнозирования и

1 к» к»

формирование рекомендаций по рациональной организации деятельности научно-образовательных центров национальной нанотехноло-

гической сети: отчет о НИР (этап 3) / Артамонов Ю.Н. и др. - М.: ФГНУ «Госметодцентр», 2010. - 249 с.

165. Разработка системы мониторинга реализации Программы развития наноиндустрии в Российской Федерации до 2015 года: отчет о НИР (этап 1) / Артамонов Ю.Н. и др. - М.: ФГНУ «Госметодцентр», 2009. - 457 с.

166. Разработка системы мониторинга реализации Программы развития наноиндустрии в Российской Федерации до 2015 года: отчет о НИР (этап 2) / Артамонов Ю.Н. и др. - М.: ФГНУ «Госметодцентр», 2009. - 389 с.

167. Резник, Г.А. Методы многомерного анализа статистических данных / Г.А. Резник. - М.: Финансы и статистика, 2008. - 400 с.

168. Результаты сравнения алгоритма Cs-sort на github [Электронный ресурс]. Режим доступа: https://github.com/junaart/science/blob/master/ArticleCsSort/Code/ test-resut.txt.

169. Робинсон Я. Графовые базы данных. Новые возможности для работы со связанными данными / Я. Робинсон, Д. Вебер. - ДМК Пресс, 2016. - 256 c.

170. Рублев, В.С. Язык объектных запросов динамической информационной модели DIM / В.С. Рублев // Моделирование и анализ информационных систем. - 2010. - Т.1. №3. - С. 144-161.

171. Саати, Т. Л. Принятие решений при зависимостях и обратных связях: Аналитические сети / Т. Л. Саати. - М.: Издательство ЛКИ, 2008. - 360 c.

172. Саати, Т. Л. Целочисленные методы оптимизации и связанные с ними экстремальные проблемы / Т. Л. Саати. - М.: Мир, 1973. - 302 c.

173. Саати, Т. Л. Принятие решений. Метод анализа иерархий / Т. Л. Саати. - М.: Радио и связь, 1989. - 316 c.

174. Саати, Т. Аналитическое планирование. Организация систем / Т. Саати, К. Кернс. - М.: Радио и связь, 1991. - 224 c.

175. Саркисян, С.А. Теория прогнозирования и принятия решений / С.А. Саркисян. - М.: «Высш.школа», 1977. - 351 c.

176. Седжвик, Р. Фундаментальные алгоритмы на C++. Анализ. Структуры данных. Сортировка. Поиск / Р. Седжвик. - К.: ДиаСофт, 2001. - 688 c.

177. Стренг, Г. Линейная алгебра и ее применения / Г. Стренг. - М.: Мир, 1980. - 454 с.

178. Таха, Х.А. Введение в исследование операций / Х.А. Таха. - М.: Издательский дом «Вильямс», 2005. - 912 с.

179. Тихомирова, О.Г. Управление проектом: комплексный подход и системный анализ / О.Г. Тихомирова. - М.: НИЦ ИНФРА-М, 2013. - 301 с.

180. Трофимова Л.А. Методы принятия управленческих решений / Л.А. Трофимова, В.В. Трофимов. - М.: Юрайт, 2014. - 336 с.

181. Тюрин, Ю.Н. Статистический анализ данных на компьютере / Ю.Н. Тюрин, А.А. Макарова. - М.: Инфра-М, 1998. - 528 с.

182. Федеральная система мониторинга результативности деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы [Электронный ресурс]. Режим доступа: http://www.sciencemon.ru/.

183. Федеральная служба государственной статистики. Интерактивная витрина данных: разделы «Наука и инновации», «Образование» [Электронный ресурс]. Режим доступа: http://cbsd.gks.ru/

184. Федеральный закон РФ от 13.12.1994 г. № 60-ФЗ «О поставках продукции для федеральных государственных нужд» Правовой сайт КонсультантПлюс [Электронный ресурс] офиц. текст. Режим доступа: http://www.consultant.ru/document/cons_doc_LAW_5205/.

185. Федеральный закон от 23.08.1996 №127-ФЗ (ред. от 27.07.2010) «О науке и государственной научно-технической политике» [Электронный ресурс] офиц. текст. Режим доступа: http://www.consultant.ru/document/cons_doc_LAW_11507/.

186. Феллер, В. Введение в теорию вероятностей и ее приложения в 2 т. / В. Феллер. - М.: Мир, 1967. - 2 т.

187. Филатов, А.Ю. Неоднородность и ее учет при принятии экономических решений / А.Ю. Филатов. - Иркутск: Изд-во ИГУ, 2013. - 107 с.

188. Филд, А. Функциональное программирование / А. Филд, П. Хар-рисон. - М.: Мир, 1993. - 637 с.

189. Халафян, А. А. Statistica 6. Статистический анализ данных / А. А. Халафян. - М.: Бином-Пресс, 2010. - 528 с.

190. Хинчин, А.Я. Цепные дроби / А.Я. Хинчин. - М.: Физматлит, 1961. - 112 с.

191. Хорн, Р. Матричный анализ / Р. Хорн, Ч. Джонсон. - М.: Мир, 1989. - 656 c.

192. Цикритзис, Д. Модели данных / Д. Цикритзис, Ф. Лоховски. - М.: Финансы и статистика, 1985. - 168 c.

193. Чесноков, С.В. Детерминационный анализ социально-экономических данных / С.В. Чесноков. - М.: КД Либроком, 2013. - 168 c.

194. Шабанов, В.И. Метод классификации текстовых документов, основанный на полнотекстовом поиске / В.И. Шабанов, А.М. Андреев // Труды первого российского семинара по оценке методов информационного поиска, СПб.: НИИ Химии СПбГУ. - 2003.

195. Шеффе, Г. Дисперсионный анализ / Г. Шеффе. - М.: Наука, 1980.

- 512 c.

196. Шитиков, В.К. Рандомизация и бутстреп: статистический анализ в биологии и экологии с использованием R / В.К. Шитиков, Г.С. Розенберг. - Тольятти: «Кассандра», 2013. - 289 c.

197. Штойер, Р. Многокритериальная оптимизация: теория, вычисления и приложения / Р. Штойер. - М.: Радио и связь, 1992. - 504 c.

198. Юдицкий, С.А. Теория систем и системный анализ в управлении организациями / С.А. Юдицкий. - М.: Финансы и статистика, 2012.

- 848 c.

199. A Comprehensive Data Integration and Business Analytics Platform [Electronic resource]. Mode of access: http://www.pentaho.com/.

200. A Database for the Web CouchDB [Electronic resource]. Mode of access: http://couchdb.apache.org/.

201. Alexandros, B. An Efficient Database Storage Structure for Large Dynamic Objects / B. Alexandros // Proceedings, IEEE Data Engineering Conference, Phoenix, Arizona. - 1992. - P. 301-308.

202. Anderberg, M.R. Cluster Analysis for Applications / M.R. Anderberg.

- New York: Academic Press, Inc. - 1973. - 376 p.

203. Antonov, D.V. Access Efficiency to Data in DIM DBMS /D.V. Antonov, V.S. Roublev //Modeling and Analysis of Information Systems. - 2015. V. 22. № 2. - P. 158-175.

204. Artamonov, Yu.N. Analysis method of the information value of indicators / Yu.N. Artamonov, I.O. Kamanin // IOP Conf. Series: Journal of Physics: Conf. Series. - 2018. V. 1084 012011. - P. 11.

205. Arrow, K.J. Social choice and individual values / K.J. Arrow. - 2nd edition. - Wiley, New York, 1963. - 21 p.

206. Arrow, K.J. Social choice and multicriterion decision making / K.J. Arrow, H. Raynaud // SIAM Review. - 1988. - V.30. №1. - P.137-138.

207. Bajalinov, E. Linear-Fractional Programming: Theory, Methods, Applications and Software / E. Bajalinov. - Kluwer Academic Publishers, 2003. - 421 p.

208. Brian, F. Cooper. Pnuts: Yahoo!'s hosted data serving platform / F. Cooper Brian, Raghu Ramakrishnan, Utkarsh Srivastava, Adam Silberstein, Philip Bohannon, Hans-Arno Jacobsen, Nick Puz, Daniel Weaver, Ramana Yerneni // PVLDB. - 2008. - V.1.№2. -P. 1277-1288.

209. Bryant, F.B. Principal components analysis and exploratory and confirmatory factor analysis. In Grimm and Yarnold, Reading and understanding multivariate analysis / F.B. Bryant, P.R. Yarnold // American Psychological Association Books. - 1995. - P. 99-136.

210. Codd, E.F. A Relational Model of Data for Large Shared Data Banks / E.F. Codd // Modeling and Analysis of Information Systems. - 1970. V. 13. №6. - P. 377 - 387.

211. Cristianini, N. An Introduction to Support Vector Machines and Other Kernel-based Learning Methods / N. Cristianini, J. Shawe-Taylor. -Cambridge University Press, 2003. - 168 p.

212. Das, I. Normal-Boundary Intersection: A New Method for Generating the Pareto Surface in Nonlinear Multicriteria Optimization Problems / I. Das, J. E. Dennis // SIAM Journal on Optimization. - 1998. - V.8.№3. - P. 631-657.

213. Data Mining Software in Java [Electronic resource]. Mode of access: http://www.cs.waikato.ac.nz/ml/weka/.

214. Deb, K. A fast and elitist multiobjective genetic algorithm: NSGA-II / K. Deb, A. Pratap, S. Agarwal, T. Meyarivan // IEEE Transactions on Evolutionary Computation. - 2002. - V.6. №2. - P. 182-197.

215. Doug, H. Let Over Lambda / H. Doug. - 2010. - 384 p.

216. Ebert, U. Meaningful environmental indices: a social choice approach / U. Ebert, H. Welsch // Journal of Environmental Economics and Management. - 2004. - V.47. - P. 270-283.

217. Eckart, C. The approximation of one matrix by another of lower rank / C. Eckart, G. Young // Psychometrika. - 1936. - V.1. - P. 211-218.

218. Efron, B. Better bootstrap confidence intervals (with discussion) / B. Efron //J. Amer. Statist. Assoc. - 1987. - V.83. № 397 - P. 171-185.

219. Efron, B. Bootstrap Methods: Another Look at the Jackknife / B. Efron // Annals of Statistics. - 1979. - V.7. №1. - P. 1-26.

220. Elhamifar, E. Sparse subspace clustering / E. Elhamifar, R. Vidal //In IEEE conference on Computer Vision and Pattern Recognition. - 2009. - P. 2790-2797.

221. Fabrizio, S. Machine learning in automated text categorization / S. Fabrizio // ACM Computing Surveys. - 2002. - V. 34. - P. 1-47.

222. Fishburn, P.C. The theory of social choice / P.C. Fishburn. - Princeton University Press, Princeton, 1973. - 264 p.

223. Friedland, S. Generalized rankconstrained matrix approximations / S. Friedland, A.Torokhti // SIAM Journal on Matrix Analysis and Applications. - 2007. - V.29. №2. P. 656 - 659.

224. Furnkranz, J. On predictive accuracy and risk minimization in pairwise label ranking / J. Furnkranz, E. Hullermeier // Journal of Computer and System Sciences. - 2010. - V. 76. № 1. - P. 49-62.

225. Furnkranz, J. Multilabel classification via calibrated label ranking / J. Furnkranz, E. Hullermeier, E. L. Mencia // Machine Learning. - 2008. -V. 73. № 2. - P.133-153.

226. Gass, S. The computational algorithm for the parametric objective function / S. Gass, T. Saaty // Naval Research Logistics Quarterly. -1955. - V.2. №1,2. - P. 39 - 45.

227. Gnu Regression, Econometrics and Time-series Library [Электронный ресурс]. Режим доступа: http://gretl.sourceforge.net/.

228. Greenacre, M. J. Theory and applications of correspondence analysis / M. J. Greenacre // Psychometrika. - 1996. - V.61. №2. - P. 391-393.

229. Haifeng, Y. The costs and limits of availability for replicated services / Y. Haifeng, V. Amin // ACM Transactions on Computer Systems. -2006. - V.24. №1. - P. 70-113.

230. Handbook on Constructing Composite Indicators / Michela Nardo, Michaela Saisana, Andrea Saltelli, Stefano Tarantola, Anders Hoffmani, Enrico Giovannini // Methodology and user guide OECD, European Commission. - 2008. - V.1. - 158 p.

231. Heiser, W.J. Clustering in low-dimensional space / W.J. Heiser // Information and Classification., Springer, Berlin. - 1993. - P. 162-173.

232. Herlihy, M. The topological structure of asynchronous computability / M. Herlihy, N. Shavit // Journal of the ACM. - 1999. V. 46. №6. - P. 858-923.

233. Honsberger, R. Mathematical Gems III / R. Honsberger. - Washington, DC: Math. Assoc. Amer., 1985. - 250 p.

234. Hotelling, H. Relations Between Two Sets of Variates / H. Hotelling // Biometrika. - 1936. - V. 28. №3, 4. - P. 321 - 377.

235. In-memory data structure store Redis [Electronic resource]. Mode of access: http://redis.io/.

236. Introduction to lp_solve 5.5.2.0 [Electronic resource]. Mode of access: http://lpsolve.sourceforge.net/.

237. Jolliffe, I.T. Principal Component Analysis / I. T. Jolliffe. - Springer, 2nd edition. - 2002. - 487 p.

238. Kawazoe Aguilera, M. Communication-efficient leader election and consensus with limited link synchrony / M. Kawazoe-Aguilera, C. Delporte-Gallet, H. Fauconnier, S. Toueg //In The Proceedings of the International Symposium on Principles of Distributed Computing (PODC). - 2004. - P. 328-337.

239. Learn how language works [Electronic resource]. Mode of access: https://www.sketchengine.eu/.

240. List Of NoSQL Databases [Electronic resource]. Mode of access: http://nosql-database.org/.

241. Liu, G. Robust recovery of subspace structures by low-rank representation [Electronic resource] / G. Liu, Z. Lin, S. Yan, J. Sun, Y. Yu. - Mode of access: http://arxiv.org/pdf/1010.2955v3.

242. Liu, G. Robust subspace segmentation by low-rank representation / G. Liu, Z. Lin, Y. Yu // In International Conference on Machine Learning. - 2010. - P. 663-670.

243. Manning, C. D. An Introduction to Information Retrieval / C. D. Manning, P. Raghavan, H. Schütze // Cambridge University Press. -2009. - P. 163-167.

244. Maxima, a Computer Algebra System [Electronic resource]. Mode of access: http://maxima.sourceforge.net/.

245. MongoDB Professional with Cloud Manager [Electronic resource]. Mode of access: https://www.mongodb.org/.

246. Ni, Y. Z. Robust low-rank subspace segmentation with semidefinite guarantees [Electronic resource] / Y. Z. Ni, J. Sun, X. Yuan, S. Yan, L. F.Cheong //In ICDM Workshop on Optimization Based Methods for Emerging Data Mining Problems. - 2010. - Mode of access: https://arxiv.org/abs/1009.3802.

247. On-Line Encyclopedia of Integer Sequences, OEIS [Electronic resource]. Mode of access: https://oeis.org/A005428

248. On-Line Encyclopedia of Integer Sequences, OEIS [Electronic resource]. Mode of access: https://oeis.org/A073941

249. Perron, O. Zur Theorie der Matrices / O. Perron // Mathematische Annalen. - 1907. - V.64. №2. - P. 248-263.

250. Petrov, A.N. Completeness of the Dynamics of the Attributes Values of Data in the Database DIM / A.N. Petrov, V.S. Roublev // Modeling and Analysis of Information Systems. - 2015. - V.22. №2. - P. 259-277.

251. Pham, K.H. Secrets in Inequalities / K.H. Pham // GIL Publishing House. 2007. V.1. - 251 p.

252. Rocchio, J. J. Relevance Feedback in Information Retrieval / J. J. Rocchio // Salton. - 1965. - P. 18.

253. Roublev, V.S. Evolution of DBMS DIM Database Schemes / V.S. Roublev // Modeling and Analysis of Information Systems. - 2012. -V.19. №2. - P. 97-108.

254. Roublev, V.S. Static completeness of the dynamic information model / V.S. Roublev // Automatic control and computer sciences. - 2015. -V.3. - P. 167-176.

255. Sherry, A. Conducting and Interpreting Canonical Correlation Analysis in Personality Research: A User-Friendly Primer / A. Sherry, R. Henson // Journal of Personality Assessment. - 2005. - V.84. №1. - P. 37-48.

256. Simonson, D.G. A Canonical Correlation Analysis of Commercial Bank Asset/Liability Structures / D.G. Simonson, J.D. Stowe, C.J. Watson // The Journal of Financial and Quantitative Analysis. - 1983. - V.18 №1. - P. 125-140.

257. Sindhya, K. A. Local Search Based Evolutionary Multi-objective Optimization Approach for Fast and Accurate Convergence / K. Sindhya, K. Deb, K. Miettinen // Parallel Problem Solving from Nature - PPSN X. Lecture Notes in Computer Science, 2008. - 815 p.

258. Swati, A. Scalable transactions in cloud data stores / A. Swati, I. Rajesh // Journal of Cloud Computing: Advances, Systems and Applications. -2015. - V.4. №21. - P. 1-14.

259. Thompson, B. A Primer on the Logic and Use of Canonical Correlation Analysis / B. Thompson // Measurement and Evaluation in Counseling and Development. - 1991. - V. 24. №2. - P. 80-93.

260. Thomsen, E. OLAP Solutions building multidimensional/ E. Thomsen // Jhon Wiley Sons, Inc. - 2002. - 688 p.

261. Ulyanov, V.V. Multivariate Statistics: High-Dimensional and Large-Sample Approximations / V.V. Ulyanov, Y. Fujikoshi, R. Shimizu // New Jersey: John Wiley & Son, 2010. - 543 p.

262. Webblok Jorge Tavares [Electronic resource]. Mode of access: https://jorgetavares.com/2012/02/02/sorting-algorithms-used-in-the-cl-implementations/.

263. Yao-Liang, Yu. Rank/Norm Regularization with Closed-Form Solutions: Application to Subspace Clustering [Electronic resource] / Yu. Yao-Liang. Mode of access: arxiv.org/abs/1202.3772v2.

ПРИЛОЖЕНИЕ А ПОЛНЫЙ ПЕРЕЧЕНЬ РЕШЕНИЙ ДЛЯ ЗАДАЧИ ПРО МЕШКИ С МОНЕТАМИ ДЛЯ ЗАДАННОЙ СТАТИСТИЧЕСКОЙ СОВОКУПНОСТИ

Искомая статистическая совокупность: [2, 6, 9, 15, 22, 23, 23, 25, 27, 32, 33, 33, 34, 35, 41, 44, 44, 46, 46, 47, 48, 52, 57, 59, 59, 63, 65, 67, 70, 73, 76, 79, 83, 89, 93, 95, 97, 99, 103, 105, 107, 108, 109, 110, 111, 115, 118, 119, 120, 120]

Перечень решений, отсортированных лексикографически: [ 1, 2, 3, 7, 15, 31, 61], [ 1, 2, 3, 8, 14, 32, 61], [ 1, 2, 4, 6, 15, 31, 61], [ 1, 2, 4, 7, 14, 31, 61], [ 1, 2, 4, 7, 14, 31, 62], [ 1, 2, 4, 7, 14, 32, 61], [ 1, 2, 4, 7, 15, 30, 61], [ 1, 2, 4, 7, 15, 30, 62], [ 1, 2, 4, 7, 15, 30, 63], [ 1, 2, 4, 7, 15, 31, 60], [ 1, 2, 4, 7, 15, 31, 61], [ 1, 2, 4, 7, 15, 31, 62], [ 1, 2, 4, 7, 15, 32, 60], [ 1, 2, 4, 7, 15, 32, 61], [ 1, 2, 4, 8, 13, 31, 61], [ 1, 2, 4, 8, 13, 31, 62], [ 1, 2, 4, 8, 13, 32, 61], [ 1, 2, 4, 8, 14, 30, 61], [ 1, 2, 4, 8, 14, 30, 62], [ 1, 2, 4, 8, 14, 30, 63], [ 1, 2, 4, 8, 14, 31, 60], [ 1, 2, 4, 8, 14, 31, 61], [ 1, 2, 4, 8, 14, 31, 62], [ 1, 2, 4, 8, 14, 32, 60], [ 1, 2, 4, 8, 14, 32, 61], [ 1, 2, 4, 8, 15, 29, 61], [ 1, 2, 4, 8, 15, 29, 62], [ 1, 2, 4, 8, 15, 29, 63], [ 1, 2, 4, 8, 15, 30, 60], [ 1, 2, 4, 8, 15, 30, 61], [ 1, 2, 4, 8, 15, 30, 62], [ 1, 2, 4, 8, 15, 30, 63], [ 1, 2, 4, 8,

15, 31, 59], [ 1, 2, 4, 8, 15, 31, 60], [ 1, 2, 4, 8, 15, 31, 61], [ 1, 2, 4, 8, 15, 31, 62], [ 1, 2, 4, 8, 15, 31, 63], [ 1, 2, 4, 8, 15, 32, 59], [ 1, 2, 4, 8, 15, 32, 60], [ 1, 2, 4, 8, 15, 32, 61], [ 1, 2, 4, 8, 15, 32, 63], [ 1, 2, 4, 8, 16, 28, 61], [ 1, 2, 4, 8, 16, 28, 62], [ 1, 2, 4, 8, 16, 28, 63], [ 1, 2, 4, 8, 16, 29, 60], [ 1, 2, 4, 8,

16, 29, 61], [ 1, 2, 4, 8, 16, 29, 62], [ 1, 2, 4, 8, 16, 29, 63], [ 1, 2, 4, 8, 16, 30, 59], [ 1, 2, 4, 8, 16, 30, 60], [ 1, 2, 4, 8, 16, 30, 61], [ 1, 2, 4, 8, 16, 30, 62], [ 1, 2, 4, 8, 16, 30, 63], [ 1, 2, 4, 8, 16, 31, 58], [ 1, 2, 4, 8, 16, 31, 59], [ 1, 2, 4, 8, 16, 31, 60], [ 1, 2, 4, 8, 16, 31, 61], [ 1, 2, 4, 8, 16, 31, 62], [ 1, 2, 4, 8,

16, 31, 63], [ 1, 2, 4, 8, 16, 32, 57], [ 1, 2, 4, 8, 16, 32, 58], [ 1, 2, 4, 8, 16, 32, 59], [ 1, 2, 4, 8, 16, 32, 60], [ 1, 2, 4, 8, 16, 32, 61], [ 1, 2, 4, 8, 16, 32, 62], [ 1, 2, 4, 8, 16, 32, 63], [ 1, 2, 4, 8, 16, 32, 64], [ 1, 2, 4, 8, 16, 32, 65], [ 1, 2, 4, 8, 17, 27, 61], [ 1, 2, 4, 8, 17, 29, 59], [ 1, 2, 4, 8, 17, 29, 61], [ 1, 2, 4, 8,

17, 33, 55], [ 1, 2, 4, 8, 17, 33, 64], [ 1, 2, 4, 8, 17, 33, 65], [ 1, 2, 4, 8, 18, 33, 64], [ 1, 2, 4, 8, 20, 37, 68], [ 1, 2, 4, 9, 12, 31, 61], [ 1, 2, 4, 9, 13, 30, 63], [ 1, 2, 4, 9, 13, 32, 60], [ 1, 2, 4, 9, 13, 32, 61], [ 1, 2, 4, 9, 16, 29, 61], [ 1, 2, 4, 9, 16, 29, 63], [ 1, 2, 4, 9, 16, 30, 58], [ 1, 2, 4, 9, 16, 30, 60], [ 1, 2, 4, 9, 16, 30, 63], [ 1, 2, 4, 9, 16, 31, 61], [ 1, 2, 4, 9, 16, 32, 56], [ 1, 2, 4, 9, 16, 32, 58], [ 1, 2, 4, 9, 16, 32, 60], [ 1, 2, 4, 9, 16, 32, 61], [ 1, 2, 4, 9, 18, 32, 64], [

1, 2, 4, 9, 18, 34, 7G], [ 1, 2, 5, 8, 17, 33, 59], [ 1, 2, 6, 1G, 14, 34, 62], [ 1, 2, б, 1G, 14, 34, 63], [ 1, 2, б, 14, 23, 27, 62], [ 2, 3, 4, б, 14, 3G, 63], [ 2, 3, 4, 7,

13, 3G, 63], [ 2, 3, 4, 8, 12, 3G, 63], [ 2, 3, 4, 8, 13, 29, 63], [ 2, 3, 4, 8, 14, 28, 63], [ 2, 3, 4, 8, 14, 3G, 61], [ 2, 3, 4, 8, 14, 3G, 63], [ 2, 3, 4, 8, 15, 29, 61], [

2, 3, 4, 8, 16, 26, 63], [ 2, 3, 4, 8, 16, 28, 61], [ 2, 3, 4, 8, 16, 28, 63], [ 2, 3, 4, 8, 16, 29, 6G], [ 2, 3, 4, 8, 16, 29, 61], [ 2, 3, 4, 8, 16, 29, 63], [ 2, 3, 4, 8, 16, 3G, 59], [ 2, 3, 4, 8, 16, 3G, 6G], [ 2, 3, 4, 8, 16, 3G, 61], [ 2, 3, 4, 8, 16, 3G,

62], [ 2, 3, 4, 8, 16, 3G, 63], [ 2, 3, 4, 8, 16, 3G, 65], [ 2, 3, 4, 8, 16, 32, 57], [

2, 3, 4, 8, 16, 32, 58], [ 2, 3, 4, 8, 16, 32, 59], [ 2, 3, 4, 8, 16, 32, 6G], [ 2, 3,

4, 8, 16, 32, 61], [ 2, 3, 4, 8, 16, 32, 62], [ 2, 3, 4, 8, 16, 32, 63], [ 2, 3, 4, 8, 16, 32, 64], [ 2, 3, 4, 8, 16, 32, 65], [ 2, 3, 4, 8, 16, 32, 67], [ 2, 3, 4, 8, 19, 35, 51], [ 2, 3, 4, 8, 19, 35, 7G], [ 2, 3, 4, 1G, 16, 27, 63], [ 2, 3, 4, 1G, 17, 25, 63], [ 2, 3, 4, 1G, 18, 24, 63], [ 2, 3, 4, 1G, 18, 27, 6G], [ 2, 3, 4, 1G, 18, 29, 58], [ 2,

3, 4, 13, 21, 29, 7G], [ 2, 3, 4, 15, 23, 29, 61], [ 2, 3, 4, 15, 23, 31, 61], [ 2, 3,

6, 1G, 12, 32, 65], [ 2, 3, б, 1G, 17, 29, 61], [ 2, 4, 5, 8, 14, 28, 63], [ 2, 4, 5, 8,

14, 3G, 61], [ 2, 4, 5, 8, 14, 3G, 63], [ 2, 4, 5, 8, 14, 3G, 65], [ 2, 4, 5, 8, 16, 26,

63], [ 2, 4, 5, 8, 16, 28, 61], [ 2, 4, 5, 8, 16, 28, 63], [ 2, 4, 5, 8, 16, 28, 65], [ 2, 4, 5, 8, 16, 3G, 59], [ 2, 4, 5, 8, 16, 3G, 6G], [ 2, 4, 5, 8, 16, 3G, 61], [ 2, 4, 5, 8, 16, 3G, 62], [ 2, 4, 5, 8, 16, 3G, 63], [ 2, 4, 5, 8, 16, 3G, 65], [ 2, 4, 5, 8, 16, 32, 57], [ 2, 4, 5, 8, 16, 32, 58], [ 2, 4, 5, 8, 16, 32, 59], [ 2, 4, 5, 8, 16, 32, 6G], [ 2, 4, 5, 8, 16, 32, 61], [ 2, 4, 5, 8, 16, 32, 62], [ 2, 4, 5, 8, 16, 32, 63], [ 2, 4,

5, 8, 16, 32, 64], [ 2, 4, 5, 8, 16, 32, 65], [ 2, 4, 5, 8, 16, 32, 66], [ 2, 4, 5, 8, 16, 32, 68], [ 2, 4, 5, 8, 18, 34, 66], [ 2, 4, 5, 1G, 11, 29, 63], [ 2, 4, 5, 1G, 13, 29, 61], [ 2, 4, 5, 1G, 16, 27, 61], [ 2, 4, 5, 1G, 16, 32, 56], [ 2, 4, 5, 1G, 16, 32, 61], [ 2, 4, 5, 11, 12, 29, 61], [ 2, 4, 5, 13, 14, 3G, 56], [ 2, 4, 7, 8, 14, 28, 63], [ 2, 4, 7, 8, 14, 3G, 61], [ 2, 4, 7, 8, 14, 3G, 63], [ 2, 4, 7, 8, 14, 32, 61], [ 2, 4,

7, 8, 14, 32, 64], [ 2, 4, 7, 8, 16, 26, 63], [ 2, 4, 7, 8, 16, 28, 61], [ 2, 4, 7, 8, 16, 28, 63], [ 2, 4, 7, 8, 16, 3G, 59], [ 2, 4, 7, 8, 16, 3G, 6G], [ 2, 4, 7, 8, 16, 3G, 61], [ 2, 4, 7, 8, 16, 3G, 62], [ 2, 4, 7, 8, 16, 3G, 63], [ 2, 4, 7, 8, 16, 3G, 64], [ 2, 4, 7, 8, 16, 3G, 66], [ 2, 4, 7, 8, 16, 32, 57], [ 2, 4, 7, 8, 16, 32, 58], [ 2, 4,

7, 8, 16, 32, 59], [ 2, 4, 7, 8, 16, 32, 6G], [ 2, 4, 7, 8, 16, 32, 61], [ 2, 4, 7, 8, 16, 32, 62], [ 2, 4, 7, 8, 16, 32, 63], [ 2, 4, 7, 8, 16, 32, 64], [ 2, 4, 7, 8, 16, 32, 66], [ 2, 4, 8, 9, 14, 3G, 61], [ 2, 4, 8, 9, 14, 3G, 62], [ 2, 4, 8, 9, 14, 3G, 64], [ 2, 4, 8, 9, 14, 32, 61], [ 2, 4, 8, 9, 14, 32, 62], [ 2, 4, 8, 9, 16, 28, 61], [ 2, 4,

8, 9, 16, 28, 62], [ 2, 4, 8, 9, 16, 28, 64], [ 2, 4, 8, 9, 16, 3G, 59], [ 2, 4, 8, 9, 16, 3G, 6G], [ 2, 4, 8, 9, 16, 3G, 61], [ 2, 4, 8, 9, 16, 3G, 62], [ 2, 4, 8, 9, 16, 3G,

64], [ 2, 4, 8, 9, 16, 32, 57], [ 2, 4, 8, 9, 16, 32, 58], [ 2, 4, 8, 9, 16, 32, 59], [

2, 4, 8, 9, 16, 32, 60], [ 2, 4, 8, 9, 16, 32, 61], [ 2, 4, 8, 9, 16, 32, 62], [ 2, 4, 8, 9, 16, 32, 64], [ 2, 4, 9, 10, 18, 35, 52], [ 2, 4, 9, 12, 20, 28, 56], [ 2, 4, 9, 14, 20, 28, 56], [ 2, 4, 9, 14, 22, 28, 54], [ 2, 4, 9, 14, 22, 28, 63], [ 2, 4, 9, 14, 22, 28, 65], [ 2, 4, 9, 14, 22, 28, 67], [ 2, 4, 9, 14, 22, 30, 67], [ 2, 4, 9, 16, 19, 27, 61], [ 2, 4, 9, 18, 19, 26, 64], [ 2, 4, 9, 21, 22, 35, 49], [ 2, 6, 7, 10, 14, 28, 61]

ПРИЛОЖЕНИЕ Б ПРОГРАММНАЯ РЕАЛИЗАЦИЯ РАСШИРЕННОЙ СТРАТЕГИИ ФОРМИРОВАНИЯ МНОЖЕСТВА ПО ЗАДАННОЙ ОЦЕНОЧНОЙ МАТРИЦЕ, А ТАКЖЕ РАСЧЕТА ФУНКЦИИ ПОТЕРЬ в

to_lisp ();

(defun del_rep (L) (cond

((Null L) L)

((member (car L) (cdr L)) (del_rep (cdr L))) (t (cons (car L) (del_rep (cdr L))))))

(defun gen_without_rep (A) (let ((result))

(loop for i from 0 to (— (length A) 1) do

(setf result (cons (del_rep (nth i A)) result))) ( nreverse result)))

(defun dekart (A B) (let ((result)) ( loop for i in A do (loop for j in B do ( if ( listp i )

( setf result ( cons (append i ( list j )) result )) (setf result (cons (list i j) result))))) ( nreverse result )))

(defun clear_dekart (L) (let ((result)) ( loop for i in L do

(if (equal i (del_rep i))

( setf result ( cons i result ) ) ) ) ( nreverse result )))

(defun member_list (a P) ( cond

((Null P) nil)

((equal a (car P)) T)

(t (member _list a (cdr P)))))

( defun del_list_rep (L) ( let ( result )

( loop for i in L do

(if (not (member_list i result)) (setf result (cons i result)))) ( nreverse result )))

(defun combination (L) ( let ( result res ) ( setf res ( cdr L)) ( setf result ( car L)) ( loop for i in res do ( setf result ( del_list_rep

(clear _dekart (dekart result i)))))

result ))

(defun $comb (L)

( let ( current res result ) ( setf current ( cdr L)) ( loop for i in current do

( setf result ( cons ( cdr i ) result ) )) ( setf result ( combination ( reverse result ))) ( loop for i in result do

(setf res (cons (cons '(MLIST) i) res))) (setf res (cons '(MLIST) (reverse res))) res ))

( t o maxima ) strategy_2 (A): = comb(rank_matrix(A)); to_lisp ();

(defun $hh (l) (cons ' (MLIST SIMP) ( cdr ( $permutations l)))) ( to maxima)

GG(A,p): = block (

[result ,L,LL] , result : [] ,

LL: hh( makelist (i , i ,1 , length (A))) ,

L : strategy_2 (A) ,

load ( descriptive ) ,

for i:1 thru length(LL) do

b l o c k ( [ maxx , minn , d , dd , r e s ] ,

maxx: 0 , minn :p~length(L) ,

res : [] ,

for j:1 thru length(L) do block (

d:LL[i] L[j],

dd : sum(p~ (abs (d [k])) , k , 1 , length (d)) ,

if dd>maxx then maxx:dd,

if dd<minn then minn : dd ,

push(dd,res)),

print(LL[i],";",

float (log (minn)),";",

float (log (mean( r es ))) ,";" ,

float (log (maxx)))));

ПРИЛОЖЕНИЕ В ПРОГРАММНАЯ РЕАЛИЗАЦИЯ СУЩЕСТВУЮЩИХ И РАЗРАБОТАННЫХ МЕТОДОВ

Реализация вспомогательных функций

to_lisp ( ) ;

(defun $random_matrix ( $n $m) (let (result current)

(loop for i from 1 to $m do ( setf current nil ) ( loop for i from 1 to $n do ( setf current ( cons

($random 1.0) current))) ( setf result ( cons ( cons

'(MLIST SIMP) current) result))) (setf result (cons '($MATRIX SIMP) result)) ( $transpose result ) ))

(defun $sort_to_place (L &optional direct) ( let (( current ( cdr L)) no_rep result )

(loop for i from 1 to (length (cdr L)) do (if (not (member (car current) no_rep))

( setf no_rep (cons ( car current ) no_rep ))) ( setf current ( cdr current ) )) (if (equal direct ">") (setf no_rep (sort no_rep '>))

(setf no_rep (sort no_rep '<))) ( setf current ( cdr L))

(loop for i from 1 to (length (cdr L)) do ( setf result ( cons

(— (length no_rep) (length (member (car current) no_rep))) result )) ( setf current ( cdr current ) )) (cons '(MLIST SIMP) ( nr ever se result))))

( defun trans (L)

( let ( result current )

( loop for i from 1 to ( length ( car L)) do ( setf current nil )

(loop for j from 1 to (length L) do ( setf current (cons (nth (1 i ) (nth (1 j ) L)) current )) ) ( setf result ( cons ( nreverse current ) result )) ) ( nreverse result ) ))

(defun $sort_rang (L)

(let (current result x i) (setf current (trans

(mapcar (lambda (x) (cdr x)) (cdr L)))) (loop for i from 1 to (length (cdadr L)) do ( setf result ( cons

( cdr ( $sort_to_place

(cons '(MLIST SIMP) (car current)))) result)) ( setf current ( cdr current )) ) (setf result (trans (nreverse result))) (setf result (mapcar (lambda (x) (cons '(MLIST SIMP) x)) result )) (cons '(MLIST SIMP) result)))

(defun $make_rank_matrix (M)

(let ((result ( $sort_rang (cons '(MLIST SIMP) (cdr M) ) ) ) ) (cons '($MATRIX SIMP) (cdr result))))

( defun tt (L) ( cond (( null L) nil )

((member ( car L) ( cdr L)) ( tt ( cdr L) )) ( t ( cons ( car L) ( tt ( cdr L) ) ) ) ) )

( defun $all_other_elem (L)

(cons'(MLIST SIMP) (tt (cdr L))))

( to maxima)

to_lisp ( ) ;

(defun $hh( l )

(cons '(MLIST SIMP) (cdr ( $permutations l))))

( to maxima)

count_elem(L, a): =