Разработка математического и программного обеспечения независимой системы оценивания деятельности вуза для поддержки принятия управленческих решений тема диссертации и автореферата по ВАК РФ 05.13.01, кандидат технических наук Проничкин, Сергей Васильевич

• Проничкин, Сергей Васильевич
• кандидат технических наук
• 2011

Оглавление диссертации кандидат технических наук Проничкин, Сергей Васильевич

ВВЕДЕНИЕ.

ГЛАВА 1. АНАЛИТИЧЕСКИЙ ОБЗОР СУЩЕСТВУЮЩИХ МОДЕЛЕЙ И МЕТОДОВ ПОДДЕРЖКИ ПРИНЯТИЯ УПРАВЛЕНЧЕСКИХ РЕШЕНИЙ В ВУЗЕ

1.1. Проблема поддержки принятия управленческих решений в вузе.

1.2. Внутренние системы информационной поддержки принятия управленческих решений в вузе.

1.3. Внешние системы информационной поддержки принятия управленческих решений в вузе.

1.4. Сравнительный анализ существующих систем оценивания деятельности вуза

Выводы по первой главе.

ГЛАВА 2. РАЗРАБОТКА МАТЕМАТИЧЕСКОЙ И КРИТЕРИАЛЬНОЙ МОДЕЛИ КОМПЛЕКСНОЙ ОЦЕНКИ ВУЗА И МЕТОДА ФОРМАЛИЗАЦИИ ИНФОРМАЦИИ О ДЕЯТЕЛЬНОСТИ ВУЗА.

2.1. Предлагаемый подход к оцениванию деятельности вуза.

2.2. Критериальная модель оценки деятельности вуза.

2.3. Метод формализации информации о деятельности вуза.

2.4. Математическая модель предпочтений ЛПР по комплексной оценке деятельности вуза.

Выводы по второй главе.

ГЛАВА 3. РАЗРАБОТКА МОДЕЛЕЙ ОЦЕНКИ КОМПЕТЕНЦИИ ЭКСПЕРТОВ И АЛГОРИТМА ФОРМИРОВАНИЯ ЭКСПЕРТНЫХ ГРУПП ДЛЯ НЕЗАВИСИМОГО ОЦЕНИВАНИЯ ДЕЯТЕЛЬНОСТИ ВУЗА.

3.1. Проблема определения качества эксперта и формирования «хорошей» экспертной группы.

3.2. Модель компетенций независимого эксперта.

3.3. Методика оценки компетенции независимого эксперта.

3.4. Алгоритм формирования экспертной группы для независимого оценивания деятельности вуза.

Выводы по третьей главе.

ГЛАВА 4. РАЗРАБОТКА АЛГОРИТМОВ ОБРАБОТКИ ЭКСПЕРТНЫХ ОЦЕНОК, ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ ДЛЯ НЕЗАВИСИМОГО ОЦЕНИВАНИЯ ДЕЯТЕЛЬНОСТИ ВУЗА И РЕЗУЛЬТАТЫ ЕГО ВНЕДРЕНИЯ.

4.1. Алгоритмы обработки индивидуальных оценок, вычисления компетентности и получения групповых оценок экспертов.

4.2. Программное обеспечение и база данных для независимого оценивания деятельности вуза.

4.3. Результаты внедрения разработанного математического и программного обеспечения независимой системы оценивания деятельности вуза.

Выводы по четвертой главе.

Введение диссертации (часть автореферата) на тему «Разработка математического и программного обеспечения независимой системы оценивания деятельности вуза для поддержки принятия управленческих решений»

Актуальность темы. Высшее образование считается сегодня важнейшим фактором, обеспечивающим развитие современного общества. Темпы и сущность глобальных перемен требуют постоянного совершенствования образовательной и научно-исследовательской деятельности вузов. Работа в этих направлениях должна осуществляться более целенаправленно и масштабно с тем, чтобы предвосхитить завтрашние потребности национальной экономики. Именно поэтому необходимо постоянно улучшать деятельность вузов, последовательно приближаясь к «совершенству» за счет распознавания, предвосхищения и понимания потребностей заинтересованных сторон.

Требовательность заинтересованных сторон постоянно растет, поэтому любой вуз, независимо от его размеров, культуры, традиций и истории, должен им предоставить совершенную по всем показателям продукцию и/или услуги. В первую очередь для этого необходимо более эффективное управление вузом. Необходимым условием принятия эффективных стратегических и тактических решений руководством вуза является адекватная система оценивания вуза на основе всестороннего обследования его деятельности с привлечением независимых экспертов с целью обеспечения беспристрастности и объективности оценки. Принятие вузами такого условия ставит перед ними задачу создания и применения независимой системы оценивания своей деятельности по общепринятым критериям.

Существенный вклад в решение данной задачи внесли A.B. Блинкова, В.В. Бринза, И.Т. Заика, А.И. Кочетов, H.A. Селезнева, В.П. Соловьев, А.И. Субетто, В.Д. Шадриков. В рамках исследований данных ученых рассматривался вопрос управления сложными социально-экономическими системами — вузами. Одним из результатов их исследований в данной области стала модель и критерии, положенные в основу конкурса Минобрнауки России «Системы качества подготовки выпускников образовательных учреждений профессионального образования», проводимого с 2000 года. В основу конкурса положен механизм самооценки с привлечением независимых экспертов.

Однако данная модель и критерии самооценки были построены без достаточного учета российского и международного опыта аккредитации и составления рейтинга вузов, а также программ создания и развития национальных исследовательских университетов (НИУ) международного уровня. Слабо формализована процедура определения компетенции и компетентности экспертов и формирования экспертных групп. Не было уделено достаточного внимания математическому и программному обеспечению процесса самооценки, иными словами, в существующих работах больше внимания уделялось разработке теоретических основ управления вузами, а не прикладным вопросам разработки математических моделей, методов и алгоритмов для поддержки процесса управления вузами.

Система оценивания деятельности вуза нужна, прежде всего, для поддержки принятия стратегических и тактических решений в процессе управления деятельностью вуза. Решения, принимаемые на основе усредненных, некомпетентных заключений могут привести к ошибкам в управлении. Ошибки в стратегических и тактических решениях могут привести не столько к замедлению развития вуза, сколько к необратимым последствиям. Таким образом, разработка математического и программного обеспечения независимой системы оценивания деятельности вуза является актуальной задачей, для решения которой возникает необходимость в использование методов системного анализа (Ю.П. Адлер, В.М. Курейчик, О.И. Ларичев, Б.Г. Литвак, В.Б. Мелас, А.И. Орлов, А.Б. Петровский, В.В. Подиновский, A.C. Рыков, В.Г. Тоценко, D.E. Goldberg, J.H. Holland, C.L. Hwang), в совокупности с методами разработки и проектирования программного обеспечения, которые позволят принимать эффективные управленческие решения на основе адекватной информации о деятельности вуза.

Объект исследования - процесс оценивания образовательной и научно-исследовательской деятельности вуза.

Предмет исследования - математическое и программное обеспечение независимой системы оценивания деятельности вуза.

Целью исследования является разработка математического и программного обеспечения независимой системы оценивания деятельности вуза, позволяющего получить адекватную, всестороннюю информацию для поддержки принятия стратегических и тактических решений в вузе.

Гипотеза исследования - процесс поддержки принятия управленческих решений в вузе будет более эффективным, если использовать разработанное математическое и программное обеспечение независимой системы оценивания деятельности вуза.

Задачи исследования. Для достижения поставленной цели необходимо решить следующие задачи:

1. Разработка критериальной модели оценки деятельности вуза.

2. Разработка метода формализации информации о деятельности вуза.

3. Разработка математической модели предпочтений лица, принимающего решения

ЛПР - менеджер по качеству) по комплексной оценке деятельности вуза.

4. Разработка методики определения компетенции экспертов и их отбора.

5. Разработка алгоритмов обработки индивидуальных оценок, вычисления компетентности и получения групповых оценок экспертов.

6. Разработка базы данных и программного обеспечения для независимой системы оценивания деятельности вуза.

Методы исследования. В работе использованы методы теории принятия решений, методы векторной оптимизации, методы теории измерений, методы обработки экспертной информации, методы оценки компетенции и компетентности экспертов, методы оценки согласованности мнений экспертов, методы дискретной математики, методы глобальной оптимизации, методы математической статистики, методы планирования эксперимента, методы функционального моделирования, методы разработки программного обеспечения, баз данных.

На защиту выносятся:

1. Критериальная модель оценки деятельности вуза.

2. Метод формализации информации о деятельности вуза.

3. Математическая модель предпочтений ЛПР по комплексной оценке деятельности вуза.

4. Модели определения компетенции экспертов и алгоритм их отбора для независимой оценки деятельности вуза.

5. Алгоритмы обработки индивидуальных оценок, вычисления компетентности и получения групповых оценок экспертов.

6. Программное обеспечение и база данных для независимой системы оценивания деятельности вуза.

Достоверность полученных результатов. Достоверность разработанных в рамках диссертационного исследования моделей, метода и алгоритмов обеспечивается использованием методов планирования эксперимента и математической статистики для оценивания статистической достоверность результатов. Результаты расчетов разработанных алгоритмов проверяются в сравнение с результатами расчетов алгоритмов других авторов. Разработанная критериальная модель основана на многократно апробированной модели конкурса Минобрнауки России «Системы качества подготовки выпускников образовательных учреждений профессионального образования» и моделях аккредитации и рейтингования вузов в России и за рубежом. Достоверность экспериментальных данных, полученных в рамках экспертиз деятельности вузов, обеспечивалась применением апробированных методов определения качества эксперта, повторяемостью результатов.

Научная новизна результатов диссертационной работы состоит в следующем:

1. Разработана критериальная модель оценки деятельности вуза, которая в отличие от существующих моделей разработана на основе критериальной модели конкурса Минобрнауки России «Системы качества подготовки выпускников образовательных учреждений профессионального образования» и программ создания и развития НИУ, учитывающая российский и международный опыт аккредитации и составления рейтинга вузов.

2. Впервые разработан метод формализации информации о деятельности вуза на основе системного подхода к управлению, в виде унифицированной информации -«подход-результат», позволяющий дать системное представление о деятельности вуза, как для руководства вуза, так и для экспертов, осуществляющих оценку деятельности вуза.

3. Впервые разработана математическая модель предпочтений ЛПР по комплексной оценке деятельности вуза, учитывающая индивидуальные и «естественные» предпочтения ЛПР, а также концепцию, заложенную в предлагаемую критериальную модель и метод формализации информации о деятельности вуза -сбалансированность подходов и результатов.

4. Разработаны модели определения компетенции экспертов и алгоритм их отбора для независимой оценки деятельности вуза, учитывающие достоинства и недостатки существующих моделей и алгоритмов.

5. Улучшены существующие алгоритмы обработки индивидуальных оценок, вычисления компетентности и получения групповых оценок экспертов, за счет использования методов многокритериального принятия решений.

6. Разработано программное обеспечение и база данных, которое в отличие от существующих программных систем, позволяет на основе интернет-технологий удаленно осуществлять ввод, хранение, обработку и визуализацию информации, необходимой для независимой системы оценивания деятельности вуза. Практическая значимость. Метод описания и критерии оценивания деятельности вуза, модель, формализующая предпочтения ЛПР и алгоритмы обработки экспертных оценок позволяют эффективно принимать управленческие решения на основе анализа компетентных обобщенных оценок, сильных сторон и областей для улучшений деятельности вуза в виде «подход-результат». Предлагаемые модели определения компетенции и алгоритм отбора экспертов позволяют принимать обоснованные решения по включению того или иного эксперта в экспертную группу, учитывая компетенцию эксперта и предпочтения ЛПР. Разработанный программный комплекс позволяет автоматизировать трудоемкие процессы оценивания и поддержки принятия решений для экспертов и ЛПР. Разработанное математическое и программное обеспечение может использоваться Федеральной службой по надзору в сфере образования и науки в процедуре государственной аккредитации вузов, Федеральным агентством по техническому регулированию и метрологии в рамках конкурса на соискание премии Правительства Российской Федерации в области качества, а также для целей общественно-профессиональной аккредитации.

Заключение диссертации по теме «Системный анализ, управление и обработка информации (по отраслям)», Проничкин, Сергей Васильевич

Выводы по четвертой главе

Проведен анализ существующих алгоритмов обработки индивидуальных оценок, вычисления компетентности и получения групповых оценок экспертов. Анализ показал, что существующие алгоритмы обработки индивидуальных оценок, а именно выделение подгрупп экспертов с согласованными мнениями не позволяют: выделять подгруппы экспертов так, чтобы объем подгруппы не зависел от порядка её выделения; учитывать диапазон изменения значений коэффициента конкордации для подгрупп экспертов, иначе согласованность одной подгруппы может сильно отличаться от согласованности другой; выделять подгруппы экспертов с учетом согласованности мнений экспертов по многим критериям, что затрудняет оценку и сопоставление согласованности групп экспертов в рамках экспертиз в целом.

Предложено использовать совместно значения коэффициентов конкордации для оценки согласованности подгрупп экспертов, и стремиться к суммарной максимизации коэффициентов конкордации. При этом обеспечить, чтобы согласованность в подгруппах экспертов не сильно отличалась. Деятельность вуза оценивается каждым экспертом по многим критериям, показана целесообразность выделения подгрупп экспертов с согласованными мнениями по всем критериям с учетом их важности. Таким образом, построена целевая функция для одного критерия как свертка среднего значения и среднего квадратического отклонения коэффициентов конкордации. Тогда для оценки согласованности групп экспертов по множеству критериев построена целевая функция как свертка среднего значения и среднего квадратического отклонения значений целевой функции, сконструированной для одного критерия. Разработан точный алгоритм определения оптимума описанной выше целевой функции.

Проведен анализ существующих алгоритмов определения групповых обобщенных оценок объектов, на основе их многокритериальных оценок множества экспертов. Показано, что существующие алгоритмы определения групповой обобщенной оценки объектов в выделенных подгруппах экспертов (с согласованными мнениями) с учетом их компетентности имеют ряд недостатков, поскольку не позволяют осуществлять анализ групповых обобщенных оценок вуза и компетентности экспертов в рамках экспертиз в целом по многим критериям.

Предложено компетентность эксперта вычислять, учитывая оценки по всем критериям, для этого разработаны алгоритмы, основанные на итеративной процедуре вычисления коэффициентов компетентности.

Разработано программное обеспечение и база данных, позволяющие на основе интернет-технологий удаленно осуществлять ввод, хранение, обработку и визуализацию информации, необходимой для независимой системы оценивания деятельности вуза.

Показано, что разработанное математическое и программное обеспечение независимой системы оценивания деятельности вуза позволяет эффективно принимать управленческие решения.

ЗАКЛЮЧЕНИЕ

Разработана критериальная модель оценки деятельности вуза на основе критериальной модели конкурса Минобрнауки России «Системы качества подготовки выпускников образовательных учреждений профессионального образования» и программ создания и развития НИУ, учитывающая российский и международный опыт аккредитации и составления рейтинга вузов.

Разработан метод формализации информации о деятельности вуза на основе системного подхода к управлению в виде унифицированной информации — «подход-результат», позволяющий дать системное представление о деятельности вуза, как для руководства вуза, так и для экспертов, осуществляющих оценку деятельности вуза.

Разработана математическая модель предпочтений ЛПР по комплексной оценке деятельности вуза, учитывающая индивидуальные и «естественные» предпочтения ЛПР, а также концепцию, заложенную в предлагаемую критериальную модель и метод формализации информации о деятельности вуза - сбалансированность подходов и результатов.

Разработаны модели определения компетенции экспертов и алгоритм их отбора для независимой оценки деятельности вуза, позволяющие принимать обоснованные решения по включению того или иного эксперта в экспертную группу, учитывая компетенцию эксперта и предпочтения ЛПР.

Улучшены существующие алгоритмы обработки индивидуальных оценок, вычисления компетентности и получения групповых оценок экспертов, за счет использования методов многокритериального принятия решений.

Разработано программное обеспечение и база данных, позволяющие на основе интернет-технологий удаленно осуществлять ввод, хранение, обработку и визуализацию информации, необходимой для независимой системы оценивания деятельности вуза.

Показано, что разработанное математическое и программное обеспечение независимой системы оценивания деятельности вуза позволяет эффективно принимать управленческие решения.

По мнению автора, разработанные модели, метод и алгоритмы в совокупности с реализацией предлагаемой процессной модели оценки деятельности вуза позволит обеспечить механизм для демонстрации уровня совершенства деятельности вуза перед заинтересованными сторонами и соответственно повысить степень доверия со стороны представителей надзорных органов и, уменьшить объем инспекционных проверок, проводимых в рамках государственной аккредитации вуза.

Список литературы диссертационного исследования кандидат технических наук Проничкин, Сергей Васильевич, 2011 год

1. Кочетов А.И., Крапухина Н.В., Проничкин C.B. Разработка систем поддержки принятия решений для управления качеством деятельности вуза. Экология человека. 2009. - №9. -С.38-43.

2. Зимняя И. А. Общая культура и социально-профессиональная компетентность человека / И. А. Зимняя // Высшее образование сегодня. — 2005. № 11. - С. 14-20.

3. Айнштейн В. Г. Преподаватель и студент: искусство общения / В. Г. Айннггейн // Высшее образование в России. 2000. — № 6. - С. 85-91.

4. Приказ Рособрнадзора от 30.09.2005 № 1938 «Об утверждении показателей деятельности и критериев государственной аккредитации высших учебных заведений».

5. Приказ Минобразования России от 10.11.2002 № 3906 «Об утверждении перечня документов и материалов, представляемых к лицензионной экспертизе при проведении комплексной оценки деятельности высшего учебного заведения».

6. Приказ Минобразования России от 26.02.2001 № 631 «О рейтинге высших учебных заведений».

7. Приказ Минобразования России от 19.02.2003 № 593 «О внесении изменений в приказ Минобразования России от 26.02.2001 N 631 «О рейтинге высших учебных заведений».

8. Приказ Минобрнауки России от 12.04.2007 г. № 110 «О приказах Минобразования России от 26 февраля 2001 г. № 631 и от 19 февраля 2003 Г. № 593».

9. Методические рекомендации по составлению заявок на участие в конкурсном отборе программ развития университетов, в отношении которых устанавливается категория "национальный исследовательский университет".

10. Программа создания и развития Национального исследовательского технологического университета "МИСиС" на 2009-2017 годы.

11. Приказ Минобрнауки России от 29.07.2009 № 276 «О перечне показателей, критериях и периодичности оценки эффективности реализации программ развития университетов, в отношении которых установлена категория «национальный исследовательский университет».

12. European Foundation for Quality Management, http://wwl.efqm.org.

13. Конти Т. Самооценка в организациях. М: РИА «Стандарты и качество», 2000. 328 с.

14. Шайнберг С. Крах «потемкинских деревень»: история нескольких российских организаций на пути к достижению мировых стандартов управления / С. Шайнберг. Гетебург: Elanders, 2002. 348 с.

15. Салимова Т.А., Еналеева Ю.Р. Самооценка деятельности организации: Учебное пособие. -М.: Академический Проект, 2006. 279 с.

16. Engineering Program Rankings Methodology. http://www.usnews.com/articles/education/best-graduate-schools/2009/04/22/engineering-program-rankings-methodology.html.

17. Council for Higher Education Accreditation, http://www.chea.org.

18. New England Association of Schools and Colleges, http://www.neasc.org.

19. Massachusetts Institute of Technology, http://web.mit.edu.

20. Times Online. The Good University Guide, http://www.timesonline.co.uk.

21. Quality Assurance Agency for Higher Education, http://www.qaa.ac.uk.

22. Руководство для организаций-участников конкурса на соискание Премии Правительства РФ в области качества 2007 года. М.: ВНИИС, 2007. 27 с.

23. Деминг Э. Выход из кризиса: Новая парадигма управления людьми, системами и процессами / Пер. с англ. М.: Альпина Бизнес Букс, 2007. - 370 с.

24. Каплан Роберт С, Нортон Дейвид П. Сбалансированная система показателей. От стратегии к действию. — 2-е изд., испр. и доп. / Пер. с англ. — М.: ЗАО «Олимп-Бизнес», 2003, 320 с.

25. Adam F., Humphreys P. Encyclopedia of Decision Making and Decision Support Technologies. -NY.: Information Science Reference, 2008. 1064 p., Vol. 1, 2.

26. Vira Chankong, Yacov Y. Haimes Multiobjective Decision Making: Theory And Methodology. North-Holland.: Elsevier. 1983,213 p.

27. Drummond H. The Art of Decision Making. Chichester: John Wiley & Sons. 2001.

28. Новиков Д.А. Теория управления организационными системами. М.: МПСИ. 2005. -534 с.

29. Литвак Б.Г. Разработка управленческого решения: Учебник. — 3-е изд., испр. — М.: Дело, 2002. —392 с.

30. Литвак Б.Г. Экспертная информация: Методы получения и анализа. — М.: Радио и связь, 1982. — 184 с, ил.

31. Миллер Г. Магическое число семь плюс или минус два // Инж. Психология. — М.: Прогресс, 1964.

32. Тоценко В.Г. Методы и системы поддержки принятия решений. Киев: Наукова думка. 2002.-381 с.

33. Блинкова А.В. Разработка модели и критериев самооценки вузов для совершенствования их деятельности: Дис. канд. техн. наук: 05.13.10 / М.: МИСиС, 2006. 177 с.

34. Заика И.Т. Разработка модели и технологии оценки системы менеджмента качества вуза и ее применение для целей государственной аккредитации: Дис. канд. техн. наук: 05.02.23 / М.: РГУНГ им. Губкина, 2007.234 с.

35. Этезов Б.Б. Разработка моделей и алгоритмов оценки качества системы высшего образования: Дис. канд. техн. наук: 05.13.17 / М.: МГУП, 2006. 234 с.

36. Радченко Ю.В. Система поддержки принятия решений для управления деятельностью вуза: Дис. канд. техн. наук: 08.00.13 / Ростов-на-Дону: РИНХ, 2003. 163 с.

37. European Association for Quality Assurance in Higher Education (ENQA): Standards and Guidelines for Quality Assurance in the European Higher Education Area. // www.enqa.eu/files/ESG3edition%20(2).pdf.

38. Method for Quality Improvement of Higher Education, TRIS EFQM - model version 4.2, May 2003, TRIS - group Электронный ресурс.: официальный сайт Europees Platform Onderwijs Kwaliteit (EPOK).- Режим ограниченного доступа: www.epok.org

39. Методика самооценки вуза на базе модели Внутривузовской системы менеджмента качества высшего профессионального образования ЛЭТИ. http ://www.tqm. spb.ru/smkpage. shtml

40. Методические рекомендации по внедрению типовой модели системы качества образовательного учреждения / В.В. Азарьева, В.И. Круглов, Д.В. Пузанков и др. СПб.: ПИФ.сот, 2007. 408 с.

41. Материалы проекта MANRU «Повышение качества управления в российском университете», JEP 24090 Электронный ресурс.: сайт консорциума вузов Образовательной сети совершенствования. - Режим доступа: www.manru.uniyar.ac.ru

42. Орлов А.И. Теория принятия решений. Учебное пособие / А.И.Орлов.- М.: Издательство «Экзамен», 2005. 656 с.

43. Адлер Ю.П. «Факты, факты, верти их так и сяк ты!» // Методы менеджмента качества. -2006 г. -№ 6.-С. 38-40.

44. Лалидус В.А. Всеобщее качество (TQM) в российских компаниях / Гос. ун-т управления; Нац. фонд подготовки кадров. М.: ОАО «Типография «Новости», 2000. -432 с.

45. Маслов Д.В., Мазалецкая A.JL, Стид К. Модель EFQM в российском университете. // Методы менеджмента качества. — 2005 г. — № 12. С. 21-25.

46. Roy В. Decisions Avec Critères Multiples. Problèmes et méthodes // Metra Int. 1972. -11, N l.-P. 121-151.

47. Руа Б. Классификация и выбор при наличии нескольких критериев (метод ЭЛЕКТРА) // Вопросы анализа и процедуры принятия решений: Сб. переводов. М.: Мир, 1976. - С. 80-107.

48. Roy В. ELECTRE III: Un Algorithme de Classement Fonde sur une Representation Floue des Préférences en Présence de Critères Multiple // Cah. Cent. Etud. Recherché Oper. 1978. - 20. -P. 3-24.

49. Ларичев О.И., Зуев Ю.А., Гнеденко Л.С. Метод ЗАПРОС (ЗАмкнутые Процедуры у Опорных Ситуаций) решения слабо структурированных проблем выбора при многих критериях / АН СССР. ВНИИСИ. Препр. - М.: 1979. - 75 с.

50. Saaty T.L. The Analytic Hierarchy Process. -N.Y.: McGraw-Hill, 1980.

51. Hwang C.L., Yoon K.L. Multiple Attribute Decision Making: Methods and Applications. Springer Yerlag. - New York, 1981.

52. Кини P.Л., Райфа X. Принятие решений при многих критериях предпочтения и замещения / Пер. с англ. под ред. Шахнова И.Ф. М.: Радио и связь, 1981.

53. Макаров И.М., Виноградская Т.М., Рубчинский А.А., Соколов В.Б. Теория выбора и принятия решений. -М.: Наука, 1982.

54. Емельянов C.B., Ларичев О.И. Многокритериальные методы принятия решений. М.: Знание, 1985.

55. Brans J.P., Vincke Ph. A Preference Ranking Organization Method. The PROMETHEE Method // Manag. Sci. 1985. - 31. - P. 647-656.

56. Korhonen P., Laakso J. A Visual Interactive Method for Solving the Multiple Criteria Problem // Eur. J. Oper. Res. 1986. - 4, N 2. - P. 277-287.

57. Koksalan M.M. Identifying and Ranking a Most Preferred Subset of Alternative in Presence of Multiple Criteria // Naval Res. Log. 1989. - 36. - P. 359-372.

58. Kami R., Sanchez P., Tummala V. A Comparative Study of Multiattribute Decision Making Methodologies // Theory and dec. 1990. - 29. - P. 203-222.

59. Lotfi V., Stewart T.J., Zionis S. An Aspiration-Level Interactive Model for Multiple Criteria Decision-Making // Сотр. and Oper. Res. 1992.

60. Hobbs В .J., Chankong V., Hamaden W., Stakniv E. Does Choice of Multicriteria Method Matter? An experiment in Water Resource Planning // Water Resour. Res. 1992. - 28. - P. 1767-1779.

61. Zankis S., Mandakovic Т., Gupta S., Sahay S., Hong S. A Review of Program Evaluation and Fund Allocation Methods within the Service and Government Sectors // Socio-Econ. Plann. Scic. -1995.-29.-P. 59-79.

62. Olson D.L., Mochkovich H.M., Schellenberger R., Mechitov A.I. Consistency and Accuracy in Decision Aids: Experiments with Four Multiattribute Systems // Decision Sci. 1995. - 26. -P. 723-748.

63. Saaty T.L. Decision Making with Dependence and Feedback // The Analytic Network Process. Pittsburgh: RWS Publications, 1996.

64. Ларичев О.И., Мошкович E.M. Качественные методы принятия решений. Вербальный анализ решений. М.: Наука; Физматлит, 1996.

65. Zankis S.H., Solomon A., Wishart N., Dublish D. Multi-Attribute Decision Making: A Simulation of Select Methods // Eur. J. Oper. Res. 1998. -107. - P. 507-529.

66. Миркин Б.Г. Проблема группового выбора. М.: Наука, 1974.

67. Saaty T.L. Decision Making for Leaders. Pittsburgh: RWS Publications, 2000.

68. Ларичев О.И. Прохоров A.C. и др. Опыт планирования фундаментальных исследований на конкурсной основе // Вестн. АН СССР, 1989. №7. - С. 5-61.

69. Lipovetsky S., Tishler A., Dvir D., Shenhar A. The Relative Importance of Project Success Dimensions // R&D Manag. 1997. - Vol. 27, N 2. - P. 97-106.

70. Daellenbach H., McNickle D. Decision making through systems thinking. Christchurch: Macmillan. 2005.

71. Теория систем и системный анализ в управлении организациями: Справочник: Учеб. пособие/Под ред. В.Н. Волковой и А. А. Емельянова. М.: Финансы и статистика, 2006. — 848 с.

72. Ларичев О. И. Теория и методы принятия решений: Учебник. М.: Логос, 2000. - 296 с: ил.

73. Многокритериальные задачи принятия решений / Под ред. Д.М. Гвишиани и С.В. Емельянова. М.: Машиностроение, 1978.

74. Соболь И.М., Статников Р. Б. Выбор оптимальных параметров в задачах со многими критериями. М.: Наука, 1981.

75. Евланов Л.Г. Теория и практика принятия решений / Редкол.: Е.М. Сергеев и др. М.: Экономика, 1984. -176 с.

76. Парето-оптимальные решения многокритериальных задач. Подиновский В.В., Ногин В.Д. М.: Наука. Главная редакция физико-математической литературы, 1982. — 256 с.

77. Ларичев О.И. Новое направление в теории принятия решений: вербальный анализ решений // Новости искусственного интеллекта. 2001. №3. С. 26-31.

78. Черноруцкий И.Г. Методы принятия решений. СПб.: БХВ-Петербург, 2005. - 416 с.

79. Петровский А.Б. Упорядочение и классификация объектов с противоречивыми признаками. // Искусственный интеллект. 2003. №4. С. 34-43.

80. Múltiple criteria decisión analysis: state of the art surveys. / Ed. by Figueira J., Greco S., Ergott M. -NY.: Springer, 2005, 1085 p.

81. Кини Р. Л. Размещение энергетических объектов: выбор решений. М.: Энергоатомиздат, 1983.

82. Пфанцагль И. Теория измерений. / Пер. с анг. Кузьмина В.Б. М.: Мир, 1976. - 248 с.

83. Рыков А.С. Модели и методы системного анализа: принятие решений и оптимизация; Учебное пособие для вузов. М.: Издательский дом «Руда и металлы», 2005. - 352 с.

84. Ковалев И.В., Смолин В.В., Царев Р.Ю. Система поддержки принятия решений по выбору состава отказоустойчивых систем управления. // Программные продукты и системы. 2007. № 3. С. 71-72.

85. Regenwetter М., Grofman В. Approval votxng. Borda Winners and Condorcet Winners: Evidence from seven Elections// Management Science. 1998. V44. № 4,

86. Литвак Б.Г. Автоматизированные системы экспертного оценивания и аккредитация. -М.: Исследовательский центр проблем качества подготовки специалистов, 1993. 142 с.

87. Литвак Б.Г. Экспертные оценки и принятие решений. М.: Патент, 1996. - 271 с.

88. Многокритериальная оптимизация: Математические аспекты / Б.А. Березовский, Ю.М. Барышников, В.И. Борзенко, Л.М. Кемпнер. -М.: Наука, 1989. 128 с.

89. Айзерман М.А., Алескеров Ф.Т. Выбор вариантов: основы теории. — М.: Наука, 1990. -240 с.

90. К.Н. Spencer Pickett. The essential handbook of internal auditing. -USA: John Wiley & Sons, 2005.

91. ГОСТ P ИСО 19011-2003 «Руководящие указания по аудиту систем менеджмента качества и/или систем экологического менеджмента» —М.: Изд-во стандартов, 2004.

92. Макет федерального государственного образовательного стандарта высшего профессионального образования. // http://www.edu.ru/db/portal/spe/3v/220207m.htm

93. Панкова Л.А., Петровский А.М., Шнейдерман М.В. Организация экспертизы и анализ экспертной информации. М.: Наука, 1984, 120 с.

94. Адамов А.П., Гаджиев У.А., Пирбудагов Г.М., Сотская А.Н. Об определении компетентности экспертов методом взаимооценки. // Автоматика и телемеханика. 1989. ~№ 3. - С. 185-189.

95. Шибанов Г.П. Порядок формирования экспертных групп и проведения коллективной экспертизы. // Информационные технологии. — 2003. № 12. - С. 19-22.

96. Wootton С. Developing Quality Metadata. -NY.: Elsevier, 2007. 545 p.

97. Чамберс Д., Уилер Д. Статистическое управление процессами: Оптимизация бизнеса с использованием контрольных карт Шухарта / Пер. с англ. М.: Альпина Бизнес Букс, 2008.-409 с.

98. Кагарлицкий Ю.В. Разработка документации пользователя программного продукта. Методика и стиль изложения. М.: ООО «Философт Сервисы», 2008. - 210 с.

99. Гарольд Э., Мине С. XML. Справочник. Пер. с англ. - СПб: Символ-Плюс, 2002. -576 с.

100. Рыков A.A., Рыков A.C. Алгоритмы обработки экспертной информации для оценки качества информационных систем. // Экономика, информационные технологии и управление в металлургии. Сборник научных трудов. -М.: МИСиС, 2003. С. 86-90.

101. Якобсон А., Буч Г., Рамбо Дж. Унифицированный процесс разработки программного обеспечения. СПб.: Питер, 2002. - 496 с.

102. Фаулер М„ Скотт К. UML. Основы. Пер. с англ. - СПб: Символ-Плюс, 2002. - 192 с.

103. Трофимов С.А. CASE-технологии: практическая работа в Rational Rose. Изд. 2-е. М.: Бином-Пресс, 2002 г. - 288 с.

104. Трахтенгерц Э.А. Компьютерная поддержка принятия решений: Научно-практическое издание. Серия «Информатизация России на пороге XXI века». М.: СИН'ГЕГ, 1998. - 376 с.

105. Трахтенгерц Э.А. Компьютерная поддержка переговоров при согласовании управленческих решений. Серия "Системы и проблемы управления". М.: СИНТЕГ, 2003. 284 с.

106. Лисичкин В.А. Отраслевое научно-техническое прогнозирование. — М.: Экономика, 1971.

107. Гладков JI.А., Курейчик В.В., Курейчик В.М/ Генетические алгоритмы / Под ред. В.М. Курейчика. 2-е изд., испр. и доп. - М.: ФИЗМАТЛИТ, 2006. - 320 с.

108. Haupt R., Haupt S. Practical genetic algorithms. Hoboken: John Wiley & Sons, 2004.

109. Батищев Д.И., Исаев С.А. Оптимизация многоэкстремальных функций с помощью генетических алгоритмов // Межвузовский сборник научных трудов «Высокие технологии в технике, медицине и образовании». Воронеж: ВГТУ, 1997. С. 4-17.

110. Исаев И.А. Разработка и исследование генетических алгоритмов для принятия решений на основе многокритериальных нелинейных моделей: Дис. . канд. техн. наук: 05.13.17 //Н. Новгород: НГТУ, 2000. 131 с.

111. Круглов В.И., Соловьев В.П., Кочетов А.И., Проничкин C.B. Разработка критериальной модели для независимой оценки деятельности вуза категории «Национальный исследовательский университет». Высшее образование сегодня. — 2010. — №7.-С. 6-16.

112. Растригин Л.А. Современные принципы управления сложными объектами. М.: Сов. радио, 1980.-232 с.

113. Салуквадзе М.Е. Задачи векторной оптимизации в теории управления. Тбилиси: Мецниереба, 1975.-201 с.

114. Адлер Ю.П., Маркова Е.В., Грановский Ю.В. Планирование эксперимента при поиске оптимальных условий. — М.: «Наука». 1976. — 278 с.

115. Большее Л.Н., Смирнов Н.В. Таблицы математической статистики. М.: Наука, 1983. -416с.

116. Федоров В.В. Теория оптимального эксперимента. М.: «Наука», 1971. - 312 с.

117. Dette H., Mêlas V.B., Wong W.K. Locally D-optimal Designs for Exponential Regression // Statistica Sinica, Vol. 16.2006. P. 789-803.

118. Старосельский Ю.М. Исследование оптимальных планов эксперимента для нелинейных по параметрам регрессионных моделей: Дис. канд. физ.-мат. наук: 05.13.18 / СПб.: СПбГУ, 2008.109 с.

119. Draper N.R., Smith H. Applied regression analysis. 3rd ed. - NY.: Wiley., 1998. - 706 p.

120. Налимов B.B., Чернова H.A. Статистические методы планирования экстремальных экспериментов. М.: Наука, 1965. - 340 с.

121. Grunig R., KuhnR. Successful Decision-making. Heidelberg: Springer-Verlag, 2005.

122. Васильева Е.Ю. Рейтинг преподавателей и кафедр в вузе. // Университетское управление: практика и анализ. 2007. №3. С. 39-48.

123. Иванов Б.С. Оценка образовательного процесса на кафедре. // Стандарты и качество. 2003. №8 С. 94-95.

124. Кадочников H.A. Корпоративный имидж как фактор конкурентоспособности высшего профессионального учебного заведения: Диссертация . кандидата экономических наук: 08.00.05 / М.: ВГУЭС, 2005. 130 с.

125. Лоскутов А.Ю., Михайлов A.C. Введение в синергетику: Учеб. руководство. — М.: Наука, 1990.-272 с.

126. Азгальдов Г.Г. Теория и практика оценки качества товаров. Основы квалиметрии. -М.: Экономика, 1982.

127. Азгальдов Г.Г. Построение деревьев показателей свойств объекта // Стандарты и качество. 1996. - №¡11.

128. Азгальдов Г.Г. Определение значений коэффициентов важности // Стандарты и качество. 2000. -№2.

129. Андреева Г.М. Социальная психология. Учебник для вузов. — М.: Аспект Пресс, 2008. -363 с.

130. Майерс Д. Социальная психология. 7-е изд. - СПб.: Питер, 2007. - 794 с.

131. Субетто А.И. Компетентностный подход: онтология, эпистемология, системные ограничения, классификация — и его место в системе ноосферного императива в XXI веке.

132. М.: Уфа: Исследовательский центр проблем качества подготовки специалистов, 2007. — 96 с.

133. Воспитательная деятельность как объект анализа и оценивания. Труды Исследовательского центра / Под общ. ред. профессора Зимней И.А. — М.: Исследовательский центр проблем качества подготовки специалистов, 2003. — 85 с.

134. Twizell E.H. Higher education in the twenty-first century: issues and challenges. NY.: CRC Press, 2008. - 198 p.

135. Соловьев В.П., Бринза B.B. Стратегия управления вузом // Университетское управление: практика и анализ. 2002. №2.

136. Селезнева H.A., Субетто А.И. Теоретико-методологические основы качества высшего образования (научный доклад), http://www.trinitas.ru/rus/doc/0012/001a/00120115.htm.

137. Соловьев В.П., Кочетов А.И., Шестаков А.Л., Шадриков В.Д., Богданова О.В. Стимул и инструмент повышения качества деятельности вузов. //Стандарты и качество, 2002. №4.- С. 52-56.

138. Шадриков В.Д. Образовательный аудит и консалтинг // Качество образования. 2008. №4.-С. 4-17.

139. Scott М. Le Grand, Kenneth М. Merz Jr. The Application of the Genetic Algorithm to the Minimization of Potential Energy Functions // Journal of Global Optimization. Vol. 3. 1993. P. 49-66.

140. Hussain M.F., Al-Sultan K.S. A Hybrid Genetic Algorithm for Nonconvex Function Minimization//Journal of Global Optimization. Vol. 11. 1997. P. 313-324.

141. Haslinger J., Jedelsky D., Kozubek Т., Tvrdik J. Genetic and Random Search Methods in Optimal Shape Design Problems // Journal of Global Optimization. Vol. 16. 2000. P. 109-131.

142. Maaranen H., Miettinen K., Penttinen A. On initial populations of a genetic algorithm for continuous optimization problems // Journal of Global Optimization. Vol. 37. 2007. P. 405-436.

143. Zabinsky Z., Bulger D. Stopping and restarting strategy for stochastic sequential search in global optimization // Journal of Global Optimization. Vol. 46. 2010. P. 273-286.

144. Wall B.J., Conway B.A. Genetic algorithms applied to the solution of hybrid optimal control problems in astrodynamics // Journal of Global Optimization. Vol. 44. 2009. P. 493-508.

145. Иванов Б.Н. Дискретная математика. M.: Лаборатория Базовых Знаний, 2002 - 288 с.

146. Управление качеством как процесс: типовая модель системы качества образовательных учреждений / В.И. Круглов, В.М. Кутузов, Д.В. Пузанков, С.А. Степанов // Аккредитация в образовании. — 2006. № 7. - С. 21-23.

147. Томович Р., Вукобратович М. Общая теория чувствительности. Пер. с сербск. и с англ., под ред. Цыпкина Я. 3., М. Изд-во «Советское радио», 1972. - 240 стр.

148. Сергеев А.Г. Метрология: Учебник. М.: Логос, 2005. - 272 стр.