Метод интеллектуализации оценки научно-исследовательской деятельности высших учебных заведений на основе искусственных нейронных сетей тема диссертации и автореферата по ВАК РФ 05.13.01, кандидат технических наук Талиманчук, Людмила Леонидовна

• Талиманчук, Людмила Леонидовна
• кандидат технических наук
• 2011

Оглавление диссертации кандидат технических наук Талиманчук, Людмила Леонидовна

Введение

1. Анализ действующей системы оценки научной деятельности 13 высших учебных заведений

1.1 Анализ подходов и методов оценки НИД

1.2 Особенности информационных систем, используемых для 47 поддержки принятия решений

1.3 Общие подходы к созданию систем поддержки принятия решении

1.3.1 Критерий эффективности

1.3.2 Главный критерий и взвешенная сумма 57 1.3 .ЗНепосредственное назначение важностей показателей

1.3.4 Метод парных сравнений

1.3.5 Критерий «эффективность — стоимость»

1.3.6 Метод «Идеальной точки»

1.3.7 Медиана Кемени

1.3.8 Метод последовательных уступок

1.3.9 Парето-оптимальность

1.3.10 Методы группы «Электра» 69 1.4 Постановка задачи исследования

Выводы по 11 главе

2. Метод интеллектуализации оценки НИД ВУЗов

2.1 Формирование и структурирование обобщённых индикаторов 79 НИД ВУЗов

2.1.1 Метод обобщенного критерия и целевого 79 программирование.

2.1.2 Формирование и структурирование обобщенных 85 индикаторов, характеризующих НИД

2.2 Основные этапы метода интеллектуализации оценки НИД 87 ВУЗов

2.2.1 Структура метода интеллектуализации оценки

§

2.2.2 Анализ данных и определение общих закономерностей 89 преобразования информации

2.2.3 Выбор средств интеллектуализации

2.2.4 Разработка модели нейронной сети для оценки.НИД ВУЗов

2.2.5 Разработка программно-методического комплекса и проведение экспериментальных исследований

2.3 Реализация модели нейронной сети Ю

2.3.1 Выборка и обработка данных Ю

2.3.2 Формирование обучающего множества ц^

2.3.3 Формирование модели сети и обучение

2.3.4 Анализ результатов обучения сети

2.1.5 Обработка оставшихся данных и построение диаграммы \2Ъ эффективности

2.4 Сравнительный анализ различных подходов по оценке НИД ¡26 ВУЗов

Выводы по 2 главе

3. Прогноз НИД ВУЗов

3.1 Приближенное изображение функциональной зависимости

3.2 Модель нейрона и архитектура сети

3.3 Аппроксимация с последующей экстраполяцией

3.4 Проверка сети

3.5 Анализ обобщённых характеристик

3.6 Сравнение эффективности НИД ВУЗов по выбранным 144 показателям

3.7 Сравнительный анализ методов прогноза

3.8 Системные требования 146 Выводы по 3 главе 148 Заключение 150 Список использованных источников 152 Приложение 1 164 Приложение 2 ' 166 Приложение 3 170 Приложение 4 173 Приложение 5 174 Приложение 6 175 Приложение 7 178 Приложение 8 179 Приложение

Введение диссертации (часть автореферата) на тему «Метод интеллектуализации оценки научно-исследовательской деятельности высших учебных заведений на основе искусственных нейронных сетей»

Положение государств в современном мире во многом определяется их интеллектуальным потенциалом, качеством профессиональной подготовки специалистов и уровнем развития науки. Именно наука является катализатором технического прогресса, оказывает решающее влияние на состояние экономики, способствует стабилизации внутригосударственной, социально-экономической обстановке, укреплению внешнеполитических позиций.

Единство исследовательского и образовательного процессов, свойственное российской науке, позволяет реализовывать функции получения новых знаний посредством проведения фундаментальных и прикладных научных исследований и использовать их результаты в процессе подготовки квалифицированных кадров, внедрять разработанные в секторе науки новые технологии, технику и инновации в организациях и на предприятиях. Наряду с академическим и отраслевым секторами науки ВУЗовский сектор обладает большими возможностями, поскольку в нем, с одной стороны, разрабатывается научно-техническая продукция, создаются инновационные разработки и, с другой, осуществляется подготовка квалифицированных специалистов, способных внедрять эти и другие новейшие научно-технические достижения во все сферы хозяйственной деятельности.

Необходимость расширения участия ВУЗовского сектора науки в формировании экономики, основанной на знаниях, определяется высокой способностью высшей школы к самосохранению своего научного потенциала, что подтверждается результатами её деятельности в период экономического кризиса в России, а также тем фактом, что в настоящее время высшая школа России еще располагает значительным научным потенциалом.

В условиях рыночной экономики проблемы управления высшим учебным заведением приобретают первостепенное значение. Их актуальность определяется интенсивным развитием многоукладного характера деятельности ВУЗов и ВУЗовских кампусов, многообразием источников финансирования, обилием видов и форм учебной, научной, производственной и хозяйственной деятельности, необходимостью адаптации к постоянно меняющейся инфраструктуре российской экономики, потребностью анализа рынка образовательных услуг и рынка труда.

Актуальность темы диссертации. Эффективность образовательной и научной деятельности высших учебных заведений в современных условиях определяется своевременностью и качеством управленческих решений, принимаемых в условиях неопределенности и риска, жестких временных ограничений, неполноты и недостоверности информации. Важная роль в этих процессах отводится активному применению современных информационных технологий, способствующих повышению качества, сокращению времени и снижению трудоемкое/и принятия управленческих решений.

Одним из актуальных направлений применения современных информационных технологий в управлении ВУЗами сегодня является автоматизация контрольно-оценочных процессов и прогнозирования проблемных областей, или контуров информатизации — административного управления и управленческого учета, финансов, управления информационными ресурсами, управления образовательным процессом и научными исследованиями.

Сегодня основным источником информации для анализа деятельности служат плановые и отчетные документы, регулярно представляемые в вышестоящие органы управления, а также заключения проверочных комиссий. Накопленные данные хранят в себе большие потенциальные возможности по извлечению аналитической информации.

Существующие математические и программно-технические средства автоматизации исследования деятельности ВУЗов (организаций) Рособразования связаны как с анализом текущего состояния деятельности, так и с планированием перспективы развития. Их разнообразие определяется тенденцией к созданию каждым ВУЗом собственного набора автоматизированных информационных систем (ИИ), отличающихся функциональностью, большинство из которых имеют множество недостатков. Основные недостатки - это субъективизм, низкая достоверность исходной информации и, как следствие, низкое качество результатов оценки, закрытость, большие трудозатраты на разработку и реализацию.

Одним из направлений совершенствования системы управления является интеллектуализация контрольно-оценочных процессов и прогнозирования научно-исследовательской деятельности ВУЗов (организаций) для обеспечения повышения и эффективности функционирования сектора научных исследований и разработок и инновационной системы в высшей школе.

С момента создания автоматизированных систем управления неоднократно предпринимались попытки решения задач оценки и прогнозирования деятельности, однако, ввиду отсутствия соответствующей технической базы, инструментальных программных средств и реализованных в программных системах моделей, основанных на методах искусственного интеллекта, данное ьаправление получило развитие только в настоящее время. Следует отметить, что существующие методы и разработки, а также востребованные программные и технические средства используются как стартовый уровень для интеллектуализации процессов автоматизации оценки и прогноза НИД ВУЗов.

Разработка современных автоматизированных систем анализа научной деятельности становится одним из приоритетных направлений в обслуживании и в обеспечении качества научно-исследовательской деятельности в ВУЗе. Проблемы разработки автоматизированных систем в ВУЗе освещены в работах Роберт И.В., Денисова A.A., Венсковского Н.У., Емелина Н.М., Зайцева A.B., Козлова O.A., Титоренко Г.А. и др. В целом ряде работ рассматривалась проблема оценки научной деятельности, начиная от оценки заявок на выполнение научных проектов до оценки организации, качества и результативности научной деятельности, это работы Маслова В.Г.,

Новикова Д.А., Бомаса В.В., Романенко Ю.А., Павлова A.A., Данилюка С.Г., Оливье A.JL и др. Вопросам инженерии знаний и разработки интеллектуальных информационных систем посвящены работы Т.А. Гавриловой, В. Ф. Хорошевского, Ю.В. Тельнова и др.

Активизация научно-исследовательской деятельности высшей школы, как на федеральном, так и региональных уровнях, усложнение методов, видов, форм научно-исследовательской деятельности и среды управления, требований к характеру труда, увеличение рисков и негативных последствий принятия неоптимальных управляющих решений, сокращение времени на диагностику и оценку, увеличение объема анализируемой информации, необходимой для выработки и принятия оптимального управляющего решения, неопределенность в процессах принятия решений делают актуальным интеллектуализацию процесса автоматизации оценки НИД ВУЗов.

Необходимость совершенствования информационного и методического обеспечения автоматизированных систем оценки научно-исследовательской деятельности ВУЗов в соответствии с изменяющимися требованиями экономики определили выбор темы, цели и задачи диссертационного исследования.

Объектом исследования в настоящей работе является научно-исследовательская деятельность высших учебных заведений.

Предметом исследования является автоматизированная система, создаваемая для анализа и прогноза НИД.

Целью диссертационной работы является совершенствование информационного и методического обеспечения автоматизированных систем оценки эффективности научно-исследовательской деятельности ВУЗов, что позволит в свою очередь повысить эффективность управленческих решений.

Для достижения поставленной цели в работе последовательно решены следующие частные задачи:

1. Проведён анализ практики использования информационных систем поддержки принятия решений по оценке научно-исследовательской деятельности ВУЗов, предприятий, организаций.

2. Оценены возможности функционирующих систем мониторинга научных ресурсов ВУЗов и подведомственных Рособразованию учреждений.

3. Проанализированы показатели и критерии, характеризующие состояние и результативность научно-исследовательской деятельности ВУЗов и подведомственных Гособразованию учреждений и реализуемые подходы к их оценке.

4. Исследованы особенности проектирования и настройки нейросетевых моделей, эффективность алгоритмов обучения и проектирования оптимальной нейросетевой структуры.

5. Разработан алгоритм построения классификатора на основе самоорганизующихся карт.

6. Получена модель прогноза научно-исследовательской деятельности ВУЗов на основе нейронных сетей.

7. Предложены методические рекомендации по использованию разработанного инструмента для оценки и прогноза.

8. Сформулированы предложения по повышению качества информационного обеспечения лиц, принимающих решение, для оперативного анализа и управления деятельностью ВУЗа с использованием разработанного метода интеллектуализации оценки и прогноза эффективности научно-исследовательской деятельности на основе нейросетевых технологий.

Научная задача, решаемая в диссертационной работе, состоит в разработке метода интеллектуализации автоматизированной системы поддержки принятия решений по оценке НИД высших учебных заведений, обеспечивающего повышение качества управления, что послужит основой для принятия рациональных и эффективных управленческих решений, направленных на формирование сбалансированного сектора научных исследований и разработок инновационной системы.

Методологические основы и методы исследования. Проведенные теоретические и прикладные исследования базируются на методах современного системного анализа, математической статистики, методах математического моделирования, нейроинформатики.

Моделирование процесса проведено в пакете прикладных программ МаЙаЬ и его приложения 8шшНпк, экспериментальные исследования с использованием математических пакетов МаШСАО и в гей.

Научная новизна исследования состоит в следующем:

1. Предложен подход к построению иерархической структуры обобщения показателей НИД, когда на первом уровне используется линейная, а на вышестоящих - нейросетевые свертки, сравнительная оценка которых позволяет проранжировать ВУЗы по заданным показателям.

2. Разработанные нейросетевые алгоритмы обладают способностью принимать интеллектуальные решения в определении результативности и эффективности деятельности ВУЗов за отчетный период, исключая влияние нечеткости, неопределенности, человеческого фактора.

3. Показано, что наибольший эффект достигается при нейросетевом прогнозировании НИД, точность которого максимальна в случаях колебательного характера динамики развития ВУЗов.

Практическая значимость исследования определяется тем, что разработка информационного и методического обеспечения автоматизированных систем оценки НИД ВУЗов позволяет повысить эффективность функционирования автоматизированных систем оценки НИД и качество управленческих решений в сфере НИД ВУЗов.

Разработанные программные средства позволяют конечному пользователю, не обладающему профессиональными знаниями в области ИИ и НС, решать конкретные практические задачи, пригодны для практического использования на этапах проектирования и опытной отработки.

Реализация результатов исследования направлена на решение текущих и перспективных задач Рособразования, на совершенствование и развитие автоматизированных систем оценки НИД ранее внедренных в эксплуатацию в системе высшей школы на различных уровнях управления научной деятельностью.

Этапы исследования. Исследования проводились в три этапа.

На первом этапе (2005-2006 гг.) проводились сбор и анализ информации о функционирующих информационных системах, предназначенных для использования в ВУЗах и подведомственных Рособразованию учреждений, показателях (индикаторах), характеризующих состояние и результативность НИД ВУЗов и подведомственных Рособразованию учреждений, и реализуемых подходах к их оценке.

На втором этапе (2006-2008 гг.) определены основные этапы автоматизации процесса оценки НИД, метода оценки, проведена разработка и апробация программного комплекса оценки НИД.

На третьем этапе. (2008-2010 гг.) осуществлялась экспериментальная проверка эффективности автоматизации процесса оценки НИД ВУЗов, систематизация и обобщение полученных результатов, проводился их количественный и качественный анализ, формулировались выводы, проводилась доработка программ, с целью их адаптации к изменениям в нормативно-методических материалах «Порядок и форма представления отчета о научной деятельности высших образовательных заведений и организаций, подведомственных Федеральному агентству по образованию», формулировались выводы, оформлялся текст автореферата и диссертации.

Апробация работы.

1. Результаты проведенных исследований докладывались и получили одобрение на: XXI Межведомственной научно-технической конференции «Проблемы обеспечения эффективности и устойчивости функционирования сложных технических систем» - Серпухов 2006 г.; XXV Межрегиональной научно-технической конференции «Проблемы эффективности и безопасности функционирования сложных технических и информационных систем» — Серпухов 2006 г.; XXVI Межрегиональной научно-технической конференции «Проблемы эффективности и безопасности функционирования сложных технических и информационных систем» - Серпухов 2007 г.; XVI Международном техническом семинаре «Современные технологии в задачах управления, автоматики и обработки информации» — Алушта 2007 г.; Международной летней школе молодых ученых СНГ "Интеграция и инновации» - Москва, 2008 г.; II Международной НПК "Информационные технологии в образовании, науке и производстве" - Серпухов 2008 г.; XXVII Межрегиональной научно-технической конференции «Проблемы эффективности и безопасности функционирования сложных технических и информационных систем» — Серпухов 2008 г.; Юбилейной Международной научно-практической конференции «Развитие отечественной системы информатизации образования в здоровьесберегающих условиях» и научно-методическом семинаре «Информационные и коммуникационные технологии в образовании» - Москва 2009 г.

2. Результаты работы использовались: при проведении работ по теме «Разработка процедур экспертизы фундаментальных исследований в высшей школе (во взаимодействии с РАН)», в рамках АВЦП «Развитие научного потенциала высшей школы (2006-2008 годы); при проведении работ по теме «Оценка состояния и результативности научной и научно-образовательной деятельности в системе высшей школы и анализ ее научного потенциала», в рамках АВЦП «Развитие научного потенциала высшей школы (2009-2010 годы)»; при проведении работ в рамках исполнения ГК № ГР 0120.0 710525 по теме «Разработка системы информационно-аналитической поддержки научной деятельности молодых ученых по приоритетным направлениям развития науки, технологий и техники в Российской Федерации» в рамках ФЦП «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2007-2012 годы»; при проведении работ в рамках исполнения ГК № ГР 0120.0 711560 по теме

Разработка материалов по методическому и нормативному обеспечению программы развития наноиндустрии в Российской Федерации»; при проведении работ в рамках ГК № 2487 по теме «Автоматизация процессов информационно-аналитической обработки результатов мониторинга для оперативного управления ходом реализации Федеральной целевой программы «Развитие инфраструктуры наноиндустрии в Российской Федерации на 2008-2010 годы»; при проведении работ в рамках исполнения ГК № П70, №ГР 13244.7709046150.09.1.007.7 по теме «Аналитическое обеспечение реализации федеральной целевой программы «Научные и научно-педагогические кадры инновационной России» на 2009-2013 годы в 2009-2010 годах.

Автор выражает признательность за научные консультации, проведенные в ходе диссертационных исследований, докторам наук Румянцеву Г.Н. и Гаврилову B.C.

Основные положения, выносимые на защиту:

1. Метод интеллектуализации автоматизированной оценки НИД ВУЗов на основе искусственных нейронных сетей.

2. Алгоритм построения классификатора НИД на основе самоорганизующихся карт и его реализация.

3. Модель прогноза развития ВУЗов на основе радиально-базисной нейронной сети и реализация разработанной модели.

Диссертация состоит из введения, трех глав, заключения, библиографического списка и приложений. Диссертация содержит 186 страниц машинописного текста, 33 рисунка, 13 таблиц, 9 приложений.

Заключение диссертации по теме «Системный анализ, управление и обработка информации (по отраслям)», Талиманчук, Людмила Леонидовна

Выводы по третьей главе

1. Разработанная система оценки и прогноза НИД имеет ряд преимуществ по сравнению с другими методами решения поставленной задачи, а именно:

- автоматизированная обработка входных данных;

- визуальный анализ входных данных и результатов работы системы;

- возможность обработки ранее неизвестных данных за счет механизмов обучения и обобщения;

- возможность обработки больших массивов данных;

- минимизация знаний пользователя системы;

- гибкая настройка параметров системы.

2. Система в дальнейшем может использоваться для анализа специалистами, решающими задачи подобного рода.

3. Разработан тестовый пример для предложенного метода на основании прогнозирования информационных процессов: ступенчатой функции и критерии оценки ВУЗов. Проведенные в данной предметной области эксперименты показали высокую точность прогнозирования. На основании проделанных экспериментов возможно построение конечного программного продукта.

4. Создание универсального интеллектуального аппарата на основе предложенной методики позволяет анализировать информацию из различных источников любого объема, проводить сравнительный анализ во времени, в пространстве как на макро- (в масштабах страны), так и на микроуровне (ВУЗов, факультетов, НИИ, кафедр, лабораторий), по отдельным учебным заведениям, группам учебных заведений, субъектам РФ, федеральным округам, профилю и отраслевой принадлежности, обеспечивая тем самым своевременность и качество управленческих решений, принимаемых в условиях неопределенности и риска, жестких временных ограничений, неполноты и недостоверности информации, экономической целесообразности.

5. Следование предложенной методике интеллектуализации, применение эффективных алгоритмов кластеризации, моделей прогноза и поддержки принятия решений обеспечивает лиц, принимающих решение, агрегированной информацией, которая, с одной стороны, включает минимальное количество показателей, а с другой стороны, позволяет выявлять существенные, с точки зрения управляющего органа, различия состояний управляемой системы. Сложная иерархическая структура используемых критериев оценки не является раз и навсегда заданной, а непрерывно развивается в зависимости от целей и объектов оценивания.

Разработанные рекомендации по организации и использованию автоматизированного процесса оценки НИД ВУЗов на основе нейронных сетей содержат: системные требования, позволяющие минимизировать требования к клиентскому месту, а также снизить расходы за счёт отсутствия потребности в установке дополнительного программного обеспечения, помимо уже имеющегося стандартного, и обучении пользователей работе с ним; руководство конечным пользователям по применению разработанных программных модулей автоматизированной системы поддержки принятия решений.

Система полностью реализована в среде МаНаЬ. В дальнейшем система может использоваться для анализа специалистами, решающими задачи подобного рода.

Внедрение метода интеллектуализации автоматизированной оценки НИД ВУЗов на основе искусственных нейронных сетей позволит:

• Повысить эффективность НИД вузов (организаций).

• Повысить прозрачность и управляемость процессов НИД.

• Повысить качество учета и контроля результатов и эффективности

НИД.

• Сократить время подготовки и формирования различных видов отчетов.

Заключение

Целью проведённых исследований является совершенствование информационного и методического обеспечения автоматизированных систем оценки эффективности научно-исследовательской деятельности вузов, что позволит в свою очередь повысить эффективность управленческих решений.

Методологическую основу работы составляют системный и комплексный подходы к анализу НИД ВУЗов и группы показателей её ресурсного обеспечения. Проведенные теоретические и прикладные исследования базируются на методах современного системного анализа, математической статистики, методах математического моделирования, нейроинформатики. Моделирование процесса проведено в пакете прикладных программ Matlab и его приложении Simulink.

Информационную базу работы составил массив целевых индикаторов и показателей научных исследований в РФ в средне- и долгосрочной перспективе.

К результатам диссертационной работы можно отнести:

1. Проведенный системный анализ показал, что аналитические методы оценки НИД ВУЗов за отчетный период с учетом большого числа показателей затруднено и недостаточно эффективны.

2. Предложенный нейросетевой подход к оценки НИД в виде многоуровневой иерархической структуры, в котором на первом уровне осуществляется линейная свертка показателей, на следующих уровнях используются радиально-базисные нейронные сети, которые обеспечивают объективное ранжирование ВУЗов в различных срезах.

3. Настройка сети осуществляется предварительно с помощью экспертов, а сама оценка за текущий период осуществляется автоматически, исключая влияние человеческого фактора.

4. Для оценки перспективности развития ВУЗов предложена многослойная нейронная сеть. Реальные результаты деятельности ВУЗов практически совпали с результатами, полученными МНС после ее обучения.

5. Показано, что наибольший эффект от использования нейросетевой технологии достигается при прогнозировании, который по сравнению с известными способами обеспечивает повышение точности в 2-3 раза.

6. Определены параметры СОК, радиально-базисной и обобщенно-регрессионные нейронные сетей.

7. Разработанный пакет компьютерных программ интеллектуализации оценки НИД принят к использованию в Министерстве образования и науки.

Список литературы диссертационного исследования кандидат технических наук Талиманчук, Людмила Леонидовна, 2011 год

1. Новиков Д.А., Суханов A.JI. Модели и механизмы управления научными проектами в ВУЗах М.: Институт управления образованием РАО, 2005 80 с.

2. Авдулов А.Н., Кулькин A.M. О показателях развития науки.// Вестник РФФИ.-1997.- № 4 (10).

3. Тодосейчук A.B. Оценка качества результатов научно-технической деятельности. М.: РАГС, 1999.

4. Бобровников Г,Н., Клебанов А.И, Прогнозирование и управление техническим уровнем и качеством продукции: Учебное пособие. /М.: Изд-во стандартов, 1984. 232 с.

5. Комплексная оценка высших учебных заведений: Учеб. пособие // В. Г. Наводнов, Е. Н. Геворкян, Г. Н. Мотова, М. В. Петропавловский. Москва; Йошкар-Ола: Науч.-информ. центр гос. аккредитации, 2001. 192с.

6. Балаян Г.Н., Жариков Г.Г., Комков Н.И. Информационно-логические модели научных исследований. М.: Наука, 1978. 344 с.

7. Монфор А.О. Оценка результативности научного труда. По данным научных учреждений США//Вест. АН СССР. 1980. № 9.

8. Емелин Н.М., Шведова Е.А. Научно-исследовательская работа: планирование, организация, контроль. — М.: ФГНУ "Интерфизика", 2007. — 368 с.

9. Татаринов Ю.Б. Проблемы оценки эффективности фундаментальных исследований: логико-методологические аспекты. М.: Наука, 1986. — 230 с.

10. Берехтина Е.И. Комплексная оценка значимости научно-исследовательских работ. // Науковедение и информатика. — 1992. № 3.

11. Методические рекомендации для ВУЗов и ССУЗов по организации и проведению самооценки эффективности функционирования систем управления в области менеджмента качества на основе модели совершенствования деятельности. Санкт-Петербург: ЛЭТИ. 2005.

12. Оценка состояния и результативности научной и научно-образовательной деятельности в системе высшей школы и анализ ее научного потенциала: отчет по НИР /ФГНУ «Государственный научно-методический центр», рук. Зайцев A.B. М.: 2009-2010.

13. Постановление Правительства РФ от 14.07.2008 N 522 "Об утверждении Положения о государственной аккредитации образовательных учреждений и научных организаций".

14. Каплан Р. Сбалансированная система показателей / Р. Каплан, Д Нортон — М.: «Диалектика», 2006. -380 с.

15. Оливье AJI Сбалансированная система показателей. Практическое руководство по использованию / Ольве AJI, Нил ьоГоран Е А М.: «Омега-JI», 2006.—638 с.

16. Венсковский НУ. Отчет по проекту № 5465. «Информационно-аналитическая система (программный комплекс) сопровождения научно-исследовательской деятельности многопрофильного классического университета». Российский университет дружбы народов. Москва2006 г.

17. Управление качеством научно-исследовательской деятельности в университетском комплексе: принципы, подходы, опыт: монография / Под общ. ред. Н.П Макаркина, В.Д Черкасова, С Л Пахомова—Саранск: Изд-во Мордов. ун-та, 2008. -248 с.

18. Москвитин В.Г., Волкова АН, Фрейд ДА, Марьина Н.В. Эффективность математических методов оценки научно-технического уровня НИР и анализа функционирования объектов.—М: Экономика и коммерция, 1995,№2.

19. Хазанова ЛЭ. Математические методы в экономике. M.: БЕК, 2002. Гл. 6.

20. Маслов В.Г. Научно-методический аппарат экспертной оценки эффективности научной деятельности высшего военного учебного заведения. Дисс. на соискание уч. ст. кандидата технических наук. -М: Институт информатизации образования РАО, 2005.

21. Марков БЛ Организация данных в системах мониторингаУ/ Высокопроизводительные вычислительные системы и микропроцессоры. Сборник научных трудов ИМВС РАН за2000 г. -М, 2000.

22. Подиновский ВВ. Магемашческая теория выработки решений в сложных стуациях: Учебник.-М.: МО СССР, 1981.-211с.

23. Костылев, АА Статистическая обработка результатов экспериментов / ААКостылев, П.ВМиляев, Ю.ДДорский и др. Л.: Энертоатомиздат, 1991.

24. Ларичев О.И., Мечитов АИ., Мошкевич ЕМ, Фуремс ЕМ Выявление экспертных знаний (процедуры и реализация). —М.: Наука, 1989.

25. Заде Л.А Понятие лингвистической переменной и его применение к принятию приближенных решений. -М: Мир, 1976.

26. Штовба С. Д Введение в теорию нечетких множеств и нечеткую логику. Учебник для вузов. -Винница: Коншнент-ПРИМ, 1997.

27. Гриняев СН. Нечеткая логика в системах управления // Компьютерра—2001, №38.

28. Емелин НМ, Тараброва И.Н. Подход к обоснованию показателей для оценки научной деятельности российских молодых ученых. -М: Вестник МАИ, 2009, № 4.

29. Арутюнов ВВ. Методы оценки результатов научных исследований. Учебное пособие для вузов. -М: МГУКИ, 2004.

30. Оценка эффективности и разработка предложений по модернизации системы показателей и критериев оценки НИД вузов: отчет о НИР // ФГНУ «Аналитический центр мониторинга научных ресурсов», рук. Синягина ЕЛ; исполн. Емелин НМ. и др.. М: 2006.

31. Подиновский В.В. Теоретические основы выработки решений в сложных ситуациях: Учебное пособие. -М.: МО СССР, 1978.-158с.

32. Экспертные системы. Принципы работы и примеры: Пер. с англ. /А. Брукияг, П. Джонс, Ф. Кокс и др.; Под ред. Р. Форсайта. Радио и связь, 1987.- 224 с.

33. Попов Э.В. Экспертные системы: Решение неформальных задач в диалоге с ЭВМ, М.:Каука, 1987. - 288 с.

34. Джексон, П. Введение в экспертные системы / Пер. с англ.: Уч. Пос. -М.: Издательский дом «Вильяме», 2005. 624 е.: ил.

35. Разработка процедур экспертизы фундаментальных исследований в высшей школе (во взаимодействии с РАН): отчет о НИР // ФГНУ «Госметодцентр», рук. Зайцев A.B. — М.: 2008.

36. Подиновский В.В., Потапов М .А. Методы анализа и системы поддержки принятия решений / Учебное пособие (МФТИ). М .: Спутник +, 2003.

37. Дайк ван Н. Двадцать лет ранжирования университетов. //Высшее образование в Европе, 2005, №2.

38. Нян Кай Лю и Инь Чень. Академический рейтинг университетов мира. // Высшее образование в Европе, 2005, №2.

39. Йенс-Петер Гауль. Оценка, контроль и независимость: макроскопическая точка зрения. // Высшее образование в Европе, 2005, №2.

40. Алтунин А.Е., Семухин М.В. Модели и алгоритмы принятия решений в нечетких условиях. Тюмень: Издательство Тюменского государственного университета, 2000.

41. Поспелов, Г.С. Системный анализ и искусственный интеллект / Г.С. Поспелов. М.: ВЦ АН СССР, 1980. - 48 с.

42. Бомас В.В., Судаков В.А., Афония К.А. Поддержка принятия многокритериальных решений по предпочтениям пользователя. СППС DSS/UTSS/ Под общей редакцией В.В. Бомаса. М.: Изд-во МАИ, 2006. - 172 е.: сл.

43. Разработка системы поддержки планирования кадрового потенциала высшей квалификации в высших учебных заведениях (научных организациях): отчет по НИР /ФГНУ «Государственный научно-методический центр», рук. Зайцев А.В.;-М.: 2009.

44. Салькова Н.Е. Совершенствование механизмов формирования приоритетов в научно-технической сфере высшей школы. Диссертация на соискание ученой степени кандидата экономических наук. — М.: МГУПИ,2007.

45. Совершенствование механизмов интеллектуально-информационного обеспечения управления научными исследованиями: отчет о НИР // ФГНУ «Госметодцентр», рук. Емелин Н.М. — М.: 2006.

46. Глущенко В.В., Глущенко И.И. Разработка управленческих решений Прогнозирование планирование, теория проектирования экспериментов. -М.: Крылья, 1997.

47. Тихонов А.Н., Цветков В.Я. Методы и системы поддержки принятия решений. М.: МАКС Пресс, 2001. - 312 с.

48. Орлов А.И. Теория принятия решений Учебное пособие. — М.: Издательство «Март», 2004.

49. Лукичева Л.И., Егорычев Д.Н. Управленческие решения. Учебник 4-е изд., стер. М.: Омега-Л, 2009. - 383 с.

50. Ландэ Д.В., Фурашев В.М., Григорьев О.М. Программно-аппаратный комплекс информационной поддержки принятия решений. Научно-медодическое пособие. К.: TOB "Инжиниринг", 2006. —48 с.

51. Попов Э.В. и др. Динамические интеллектуальные системы в управлении и моделировании. Мат. Семинар. МИФИ, 1996, 141 с.

52. Поспелов, Д.А. Ситуационное управление: теория и практика / Д.А. Поспелов. М.: Наука, 1986. - 282 с.

53. Арсеньев, С.Б. Использование технологии анализа данных в интеллектуальных информационных системах / Арсеньев С.Б., Бритков В.Б., Маленкова H.A. М.: УРСС, ИСА РАН, 2006. - 714 е.: ил.

54. Абдрахимов Д., Иоффин А. Поддержка принятия решений: взгляд на место информационно-аналитических технологий ППР в арсенале банковского аналитика//Банковские технологии. 1997. №4. С. 24-27.

55. Ларичев О.И. Теория и методы принятия решений, а также Хроника событий в Волшебных странах: Учебник. — М.: Логос, 2000.

56. Саати Т. Принятие решений. Метод анализа иерархий: Пер. с англ. — М.: Радио и связь, 1993.

57. Thomsen Е. Decision Alchemy//Decision Support. Intelligent Enterprise Volume 1 — № 1, 1998.

58. Адоладов К.Г., Бомас B.B. Автоматизированная система мониторинга факультета//Современные технологии в задачах управления, автоматики и обработки информации: Сборник трудов XI международного научно-технического семинара. М.: МГАПИ, 2002.

59. Вагнер Г. Основы исследования операций. Т. 2. — М.: Мир, 1973.

60. Дегтярев Ю.И. Исследование операций. — М.: Высш. шк.,1986.

61. Шишкин Е.В., ЧхартишвилиА.Г. Математические методы и модели в управлении: Учеб. пособие. — М.: Дело, 2000.

62. Литвак Б.Г. Экспертная информация: Методы получения и анализа. — М.: Радио и связь, 1982.

63. Кини Р.Л., Райфа X. Принятие решений при многих критериях: предпочтения и замещения: Пер. с англ./Под ред. И.Ф. Шахнова. — М.: Радио и связь, 1981.

64. Артамонов Г.Т., Брехов М.О, Любатов Ю.В. и др. Теория проектирования вычислительных машин, систем и сетей/Под ред.В.И. Матова. — М.: Изд-во МАИ, 1999.

65. Временная методика определения рейтингов специальностей и вузов, утвержденная приказом Минобразования России от 19.02.2003 N 593. http://www.ed.gov.ru .

66. Дюк, В. Data mining — интеллектуальный анализ данных / В. Дюк -М.: «Финансы и статистика», 2006. — 380 е.: ил.

67. Гаскаров, Д.В. Интеллектуальные информационные системы / Д.В. Гаскаров. М.: Высш. школа, 2003. - 431 с.

68. Поспелов Д.А. Справочник по искусственному интеллекту в 3-х т.

69. Под ред. Попова Э.В. и Поспелова Д.А. М.: РиС, 1990. ИИ. 3 тома. Модели и методы, гл. 1-2, с. 7-102

70. Саймон Хайкин. Вильяме. Нейронные сети. Полный курс. 2-е издание. Москва-Санкт-Петербург-Киев: Издательский дом «Вильяме» 2006.

71. Лебедев Г.Н., Балашова Н.М. Интеллектуальные системы управления.- М.:МГГУ, 2000.-118с.

72. Лорьер, Ж.-Л. Системы искусственного интеллекта / Ж.-Л. Лорьер. -М.: Мир, 1991.

73. Электронный ресурс. Научные статьи и диссертации по прикладному использованию нейронных сетей лаборатории CIS хельсинского технического университета, http: / /lib.tkk.fi/Diss/

74. Круглов В.В., Борисов В.В. Искусственные нейронные сети. Теория и практика — М.: Горячая линия — Телеком 2002. — 382 с.

75. Рутковская Д., Пилиньский М., Рутковский Л. Нейронные сети, генетические алгоритмы и нечеткие системы. — М.: Горячая линия Телеком, 2004. - 452 с.

76. Картавцев В.В. Нейронная сеть предсказывает курс доллара// Компьютеры + программы 1993 - N 6 (7) - с. 10-13

77. Соколов E.H., Вайтнявичус Г.Г. Нейроинтеллект: от нейрона к нейрокомпьютеру.- М.: Наука, 1989. С. 283.

78. Барцев С.И. Некоторые свойства адаптивных сетей (программная реализация).-Красноярск: Институт физики СО АН СССР, 1987.

79. Джеффри Е. Хинтон. Как обучаются нейронные сети.// В мире науки 1992-N 11 - N 12-е. 103-107.

80. Маккалох Дж., Питтс У. Логические исчисления идей, относящихся к нервной деятельности.// Автоматы. М.: ИЛ, 1956.

81. Розенблат Ф. Аналитические методы изучения нейронных сетей.// Зарубежная радиоэлектроника. 1965 - N 5 - с. 40-50.

82. Чертков М., Грималюк А. Методика валютного прогнозирования.// Одесские деловые новости 1995 - май N 16 - с. 4.

83. Amari S. Field theory of self-organizing neural networks//IEEE Trans. Syst., Man, Cybern. 1983. V. 13. P. 741.

84. Athale R., Stirk C.W. Compact architectures for adaptive neuraal nets//Ibid. 1989. V.28.N4.

85. Bardcev S.I., Okhonin V.A. The algorithm of dual functioning (back-propagation): general approach, vesions and applications. Krasnojarsk: Inst, of biophysics SB AS USSA 1989.

86. Тихонов Э.Н. Методы прогнозирования в условиях рынка: учебное пособие. Невинномысск, 2006 г. — 221 с.

87. Максимов В.А. Прогнозирование доходности инвестиций на фондовом рынке //Экономика и математические методы, 2001. Т. 37-№1.

88. Льюис К.Д. Методы прогнозирования экономических показателей. / Пер. с англ. Демиденко Е.З. — М.: Финансы и статистика, 1986 г. — 132 с.

89. Аргуткина Н.Л. О совершенствовании методов прогнозирования, основанных на экспоненциальном сглаживании. Конф. Маркетологов ВНПК «Прогнозирование» Режим доступа http://marketing.spb.ru/conf.

90. П.Г. Круг Нейронные сети и нейрокомпьютеры. Учебное пособие по курсу «Микропроцессоры» для студентов, обучающихся по направлению «Информатика и вычислительная техника» М.: Изд-во МЭИ 2002 www.pdffactory.com

91. ЮЗ.Конюшенко В.В. Начало работы с Matlab. Перевод с английского. Электронный УМК 2009 73 стр.

92. В.Г. Потемкин Система инженерных и научных расчетов Matlab. 5.x т. 1, т.2. Диалог МИФИ. 1999.

93. С.П. Иглин. Теория вероятностей и математическая статистика на базе Matlab.

94. Юб.Медведев B.C., Потемкин В.Г. Нейронные сети. Matlab 6 /Под общ. ред. К.т.н. В.Г. Потемкина. М.: ДИАЛОГ -МИФИ, 2002. - 496 с.

95. Яковлев B.JT., Яковлева Г.Л., Лисицкий Л.А. Создание математических моделей прогнозирования тенденций финансовых рынков, реализуемых при помощи нейросетевых алгоритмов. Режим доступа http://neurnews.in4.bmstu.ru/neurnews.html.

96. Талиманчук Л. Л., Зайцев A.B. Многоагентные системы интеллектуальной поддержки принятия решений для оценки научной деятельности. //Труды XXVII Межрегиональной научно-технической конференции. Серпухов, 2008.

97. Зайцев A.B., Талиманчук Л.Л, Интеллектуализация анализа научно-исследовательской деятельности высших учебных заведений // Научная деятельность и научный потенциал. ФГНУ «Интерфизика» М: 2008.