Исследование и разработка средств оценки качества программных продуктов учебного назначения тема диссертации и автореферата по ВАК РФ 05.13.11, кандидат технических наук Королев, Илья Викторович

• Королев, Илья Викторович
• кандидат технических наук
• 2004

Оглавление диссертации кандидат технических наук Королев, Илья Викторович

Введение.

Глава 1. Оценка качества информационных технологий в образовании и анализ современных методов экспертной оценки.

1.1. Информационные технологии в образовании.

1.2. Системы автоматизированного проектирования и применения ЭУП.

1.3. Международные стандарты оценки качества.

1.4. Экспертная оценка и J11 IF.

1.5. Анализ существующих экспертных систем.

Глава 2. Разработка аттестационной модели и методик согласования экспертных оценок программных продуктов учебного назначения.

2.1. Разработка аттестационной модели жизненного цикла программного продукта учебного назначения.

2.2. Категории процессов, связанные с учебной деятельностью.

2.3. Методика подготовки рекомендаций по повышению зрелости процессов

2.4. Методика определения согласованности экспертных оценок каждого эксперта при использовании метода анализа иерархий.

2.5. Методика определения согласованности экспертных оценок нескольких экспертов при использовании метода анализа иерархий.

2.6. Разработка методики проведения попарной оценки с помощью анкет.

2.7. Итеративная процедура согласования экспертных оценок.

Глава 3. Создание системы оценки качества программных продуктов учебного назначения с использованием разработанных методик.

3.1. Обоснование выбора среды разработки.

3.2. Алгоритм функционирования системы поддержки принятия решений

3.3. Исследование вычислительной сложности алгоритмов умножения матриц попарных сравнений.

3.4. Функциональные возможности разработанной системы.

Глава 4. Применение разработанной системы и методик для решения практических задач.

4.1. Оценка качества программного продукта ТОР.

4.2. Возможные применения результатов диссертации.

Введение диссертации (часть автореферата) на тему «Исследование и разработка средств оценки качества программных продуктов учебного назначения»

Актуальность работы. В настоящее время наблюдается скачкообразный рост количества программных продуктов, выпускаемых как государственными высшими учебными заведениями (ВУЗами), так и коммерческими организациями, работающими в области дистанционного обучения. В связи с этим все более актуальной становятся проблемы оценки качества программных продуктов, используемых в учебном процессе и изучение совместимости программных продуктов различных ВУЗов.

Цель и задачи. Целью настоящей работы является решение следующей научной проблемы: разработка и реализация системы аттестации качества программных продуктов учебного назначения на основе теории принятия решений и международных стандартов оценки качества программных продуктов. В соответствии с поставленной целью требуется решить следующие задачи:

- провести анализ современных образовательных технологий и стандартов оценки качества;

- разработать аттестационную модель для проведения аттестации качества программных продуктов учебного назначения;

- создать методику определения согласованности оценок разных экспертов при использовании метода анализа иерархий (МАИ) на основе теории математической статистики;

- создать методику использования лингвистических переменных при проведении экспертной оценки по МАИ;

- разработать итеративную процедуру согласования экспертных оценок для распределенных систем поддержки принятия решений;

- построить распределенную систему поддержки принятия решений, работающую с применением разработанных методик на основе теории принятия решений;

- решить практические задачи по аттестации качества программных продуктов учебного назначения с помощью построенной системы.

Объект исследования представляет собой порождающий проблемную ситуацию и избранный для изучения процесс аттестации качества программных продуктов учебного назначения.

Предметом исследования являются аттестационные модели, стандарты качества и методы теории принятия решений.

Методы исследования. Для достижения поставленной в работе цели были выбраны методы математической статистики и теории принятия решений. Для создания системы поддержки принятия решений была выбрана технология Active Server Pages и Microsoft SQL Server. Программный код разрабатывался в среде InterDev.

Методологическая основа. Работа выполнена на основе методологии теории принятия решений и методологии объектно-ориентированного (00) построения программных систем.

Достоверность полученных результатов подтверждается теоретической проработкой созданных методик, их практическим применением и апробацией работающей на их основе системы поддержки принятия решений. Научная новизна. Автор видит новизну полученных в работе результатов в следующем:

- разработана аттестационная модель для аттестации качества программных продуктов учебного назначения, учитывающая рекомендации ИСО 15504 и процессы, связанные с образовательной деятельностью;

- впервые разработана методика оценки согласованности экспертных оценок, полученных при использовании МАИ, с использованием распределения Стьюдента;

- разработана методика использования лингвистических переменных в МАИ для составления анкет;

- разработана итеративная процедура согласования экспертных оценок в распределенных системах поддержки принятия решений;

- создана и апробирована оригинальная система оценки качества программных продуктов учебного назначения, позволяющая не только оценить зрелость процессов, составляющих жизненный цикл программных продуктов, но и дать рекомендации по их улучшению.

Оценка теоретической значимости результатов работы. Полученные в работе результаты являются теоретической основой создания распределенных систем для аттестации качества программных продуктов. Методики оценки согласованности экспертных оценок в МАИ и использования лингвистических переменных могут быть использованы в различных задачах, связанных с разработкой распределенных систем поддержки принятия решений.

Практическая ценность результатов работы. Практическая ценность полученных результатов состоит в создании методик использования теории математической статистики, теории принятия решений и работающей на,их основе системы поддержки принятия решений для аттестации качества программных продуктов учебного назначения и получения рекомендаций по повышению качества.

На защиту выносятся следующие положения.

- Аттестационная модель жизненного цикла программного продукта учебного назначения;

- Методика определения согласованности оценок разных экспертов при использовании метода анализа иерархий (МАИ) на основе теории математической статистики;

- Методика использования лингвистических переменных в МАИ для составления анкет;

Итеративная процедура согласования экспертных оценок в распределенных системах поддержки принятия решений;

- Система поддержки принятия решений, работающая на основе разработанных методик и результаты ее апробации.

Внедрение результатов. Программная реализация в виде системы поддержки принятия решений по качеству программных продуктов учебного назначения используется в НИИ Образовательных технологий МЭСИ для самоаттестации разрабатываемых программных продуктов и повышения зрелости процессов, составляющих жизненный цикл программных продуктов. Апробация результатов работы. По основным результатам работы были сделаны научные доклады, которые обсуждались и получили в целом одобрение на Всероссийской конференции "Проблемы научно-методического и организационного обеспечения единого образовательного пространства" Москва, 2001 г., Первой Всероссийской молодежной конференции IT-Youth 2002, г. Москва, 2002 г., Всероссийской конференции "Роль информационных технологий при обучение по программе МВА", Москва, 2003 г.; Личный вклад. Личный вклад автора заключается в разработке аттестационной модели для аттестации качества программных продуктов учебного назначения, методик на основе теории математической статистики и теории принятия решений и их реализации в системе поддержки принятия решений. Публикации. Основные результаты диссертации изложены в 4 научных статьях (3 с соавтором) и 3 тезисах научных докладов (1с соавтором). Структура и объем диссертации. Диссертационная работа состоит из списка основных сокращений, введения, 4 глав, выводов по каждой главе, заключения, списка использованной литературы и приложения.

- В первой главе рассматривается необходимость аттестации качества программных продуктов учебного назначения, проводится обзор информационных технологий, применяемых в образовании, стандартов оценки качества программных продуктов и степени внедрения этих технологий.

- Вторая глава посвящена разработке аттестационной модели для оценки качества программных продуктов учебного назначения и методик согласования экспертных оценок. При разработке аттестационной модели были учтены рекомендации ИСО 15504, а также созданы категории процессов, связанных с образовательной деятельностью.

- В третьей главе дается обоснование выбора платформы для разработки системы поддержки принятия решений, описывается алгоритм функционирования и возможности разрабатываемой системы. В главе также проведено исследование алгоритмов умножения матриц для выбора оптимального алгоритма с точки зрения отношения точность/вычислительная сложность.

- Четвертая глава посвящена применению разработанных методик для решения практических задач по аттестации качества программных продуктов учебного назначения, разработанных в НИИ Образовательных технологий МЭСИ.

Диссертация изложена на 122 страницах, содержит 19 рисунков, 20 таблиц. Список использованной литературы включает 109 наименований, в том числе 44 на английском языке. Приложения на 38 страницах содержат 10 таблиц и 1 акт о внедрении.

Заключение диссертации по теме «Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей», Королев, Илья Викторович

Выводы по главе:

1. Проведена оценка качества программного продукта НИИ Образовательные технологий МЭСИ ТОР, которая показала достаточно высокий (управляемый) уровень процессов, связанных с разработкой и последующим применением программного продукта;

2. Выявлен ряд недостатков, связанных с недостаточной полной документацией по выполнению процессов в НИИ Образовательных технологий, для устранения которых предложено разработать систему качества;

3. Применение методик согласование экспертных оценок обеспечило высокую достоверность полученных результатов аттестации;

4. Проведен анализ различных процедур согласования экспертных оценок, который показал преимущества методов с личными контактами между экспертами.

Заключение

В диссертации представлено решение научной проблемы оценки качества программных продуктов учебного назначения и были получены новые, по отношению к имевшимся ранее результатам научных исследований. По приводимым далее полученным результатам делаются соответствующие выводы, отмечается их теоретическая значимость и практическая ценность.

1. Разработана и внедрена для аттестации качества программных продуктов учебного назначения аттестационная модель на основе стандарта ИСО 15504. Она позволяет получить оценку зрелости процессов жизненного цикла программных продуктов учебного назначения, на основании которой может быть вынесено суждение о конкурентоспособности программного продукта учебного назначения.

2. Создана методика определения согласованности оценок разных экспертов при использовании метода анализа иерархий на основе теории математической статистики, решающая проблему согласования экспертных оценок МАИ в распределенных системах поддержки принятия решений.

3. Предложена и апробирована методика использования лингвистических переменных в методе анализа иерархий для составления анкет. Данная методика значительно облегчает работу экспертов с помощью замены попарных сравнений элементов иерархий на обработку анкеты с лингвистическими переменными. Внедрение данной методики позволяет привлекать в качестве экспертов специалистов не знакомых с методом анализа иерархий, что значительно расширяет сферу применения разрабатываемых систем.

4. Разработана итеративная процедура согласования экспертных оценок в распределенных системах поддержки принятия решений с личными контактами между экспертами и обменом оценками на условиях анонимности. Проведено сравнение различных процедур согласования экспертных оценок, позволившее оценить продолжительность процедуры согласования.

5. Построена система поддержки принятия решений по качеству программных продуктов учебного назначения, позволяющая не только оценить зрелость процессов, составляющих жизненных цикл программных продуктов на основе теории принятия решений и математической статистики, но и дать рекомендации по их улучшению.

6. С помощью построенной системы получены результаты решения практических задач НИИ ОТ МЭСИ, исследованы недостатки в организации технологического процесса и даны соответствующие рекомендации.

Главный смысл работы автор видит в создании аттестационной модели, учитывающей специфику программных продуктов учебного назначения, и разработке методик согласования оценок, полученных с помощью МАИ, в распределенных системах. Это дает дополнительные возможности по использованию МАИ в распределенных системах поддержки принятия решений различного назначения.

В качестве вариантов развития исследуемой темы в работе были отмечены следующие задачи для будущих исследований:

- создание базы знаний для экспертной системы оценки качества программных продуктов учебного назначения;

- разработка аттестационных моделей программных продуктов различного назначения;

- исследование возможности применения методики согласования оценок разных экспертов, основанной на теории математической статистики, в других методах теории принятия решений;

- разработка итеративных процедур согласования экспертных оценок, использующих представленные в работе методики.

Список литературы диссертационного исследования кандидат технических наук Королев, Илья Викторович, 2004 год

1. Адельсон-Вельский F.M., Арлазаров В.П., Донской М.В. Программирование игр. М.: Наука. 1978.

2. Анич И., Ларичев О.И. Метод ЭЛЕКТРА и проблемы ацикличности отношений альтернатив//АиТ. 1996. - N8. - С. 108-118.

3. Березовский Б.А., Барышников Ю.М., Борзенко В.И., Кемпнер Л.М. Многокритериальная оптимизация: математические аспекты. -М.: Наука, 1989.

4. Борзенко В.И., Трахтенгерц Э.А., Шершаков В.М. Аппроксимационная многокритериальная оптимизация в вычислительных системах//АиТ. 1986. -N9.-С. 152-162.

5. Борзенко В.И., Голубенков А.В., Трахтенгерц Э.А., Шершаков В.М. Многокритериальный выбор параметров оптимального режима функционирования в вычислительных системах//АиТ. 1988. - N 2. -С. 173-177.

6. Бурков В.Н., Еналиев А.К., Новиков Д.А. Механизмы функционирования социально-экономических систем с сообщением информации//АиТ. 1996. -N3. - С. 3-25.

7. Бурков В.Н., Новиков В.А. Введение в теорию активных систем. М.: ИПУ, 1996.

8. Брановский Ю., Беляева А. Работа в информационной среде//Высшее образование в России. 2002. - N1. - С. 81-87

9. Ваграменко Я.А., Галкина А.И. О сертификации компьютерных учебных программ//Информатизация базового гуманитарного образования в высшей школе: Тез. докл. Межвузовской науч. метод, конф. - М.: НИИВО, 1995, - С. 55-57.

10. Ваграменко Я. А., Каракозов С. Д. Развитие образовательных телекоммуникаций в России, Международная конференция по программе ЮНЕСКО: Тез. Докл. Социально-экономические проблемы образования в Западно-Сибирском регионе России. Барнаул, 1995.

11. Ваграменко Я.А., Роберт И.В., Львовский B.JI. Концепция использования новых информационных технологий в организационно-методическом обеспечении учебного заведения М.:, 1992.

12. Гершунский Б.С. Философско-методологические основания стратегии развития образования в России//Рос. акад. образ. Ин-т теорет. педагогики и междунар. исслед. в образовании. М.:, 1993. - С. 160

13. Гершунский Б.С. Компьютеризация в сфере образования: проблемы и перспективы. М.: Педагогика, 1987. - 263 с.

14. Гершунский Б.С. Программа научно-методического обеспечения развития образования в России. М.: ИТПИМО, 1993. - 120 с.

15. Гриценко А.В., Королев И.В., Павлов Р.В. Дистанционная аспирантура МЭСИ // Будущее электронного бизнеса в России: Сборник материалов. М.: МЭСИ, 2002.

16. Древе Ю.Г. Корпоративные библиотечные сети как системообразующий элемент открытого образования//Современные информационные технологии -2001. N3 - С. 56-62

17. Зайцева Ж.Н., Рубин Ю.Б., Титарев Л.Г., Тихомиров В.П., Хорошилов А.В., Усков В.Л., Филиппов В.М. Открытое образование стратегия XXI века для России/Под общей редакцией Филиппова В.М. и Тихомирова В.П. - М.: МЭСИ, 2000.

18. Зайцева Ж.Н., Рубин Ю.Б., Титарев Д.Л.,Титарев Л.Г., Тихомиров В.П., Хорошилов А.В., Ярных В.В., Яхшибекян А.А. Интернет-образование: не миф,а реальность/Под общей редакцией Тихомирова В.П. М.: МЭСИ, 2000.

19. Золотарев В.В., Шевцов А.Ю. Способы повышения применимости и эффективности экспертных систем//Современные информационные технологии. 2003. - N4. - С. 185-195

20. Кини Р.Л., Райфа X. Принятие решений при многих критериях: предпочтения и замещения. М.: Радио и связь, 1984.

21. Королев И.В. Исследование качества программных продуктов учебного назначения/Юткрытое образование. 2002. - N6. - С. 5-9.

22. Королев И.В. Исследование качества программных продуктов учебного назначения: Сборник статей конференции "Влияние образовательных технологий на развитие регионов", М.: МЭСИ, 2003. - С. 66.

23. Королев И.В. Экспертная система оценки качества программных продуктов учебного назначения: Сборник тезисов докладов Всероссийской конференции "Роль информационных технологий при обучении по программе MB А", М.: МЭСИ, 2003. - С. 130

24. Королев И.В., Титарев Д.Л. Дистанционная аспирантура МЭСИ//Будущее электронного бизнеса в России: Сборник материалов. М.: МЭСИ, -2002. - С. 278.

25. Королев И.В., Титарев Д.Л., Титарев Л.Г. Стандарты и архитектура технологических систем в образовании//Ведомственные и корпоративные сети и системы (ВКСС Connect). 2001. - N6. - С. 69

26. Королев И.В., Ярных В.В. Использование метода анализа иерархий для принятия решений по качеству учебных ресурсов//Открытое образование. -2004.-N2.-С. 7-10

27. Кузьмин В.Б. Травкин С.И. Теория нечетких множеств в задачах управления и принципах устройства нечетких процессоров //АиТ. 1992. - N2. - С. 7-36.

28. Ларичев О.И. Некоторые проблемы искусственного интеллекта: Сб. трудов М: ВНИИСИ, 1990. - N10. - 3-9 с.

29. Ларичев О.И., Мошкович Е.М. Качественные методы принятия решений. -М.: Наука. Физматлит., 1996.

30. Ларичев О.И. Объективные модели и субъективные решения. М.: Наука, 1987.

31. Липаев В.В. Методы обеспечения качества крупномасштабных программных средств. М.: СИНТЕГ, 2003

32. Макаров И.М., Виноградская Т.М., Рубчинский А.В., Соколов В.Б. Теория выбора и принятие решений. М.: Наука, 1982.

33. Малышев Ю.В. Разработка методик и средств использования статистических и нечетных данных для имитационного моделирования компьютерной сети предприятия: Автореф. дис. канд. тех. наук. М.: -2001,- И с.

34. Маринин A.M., Древе Ю.Г. Поддержка принятия решений в системах управления качеством продукции//Современные информационные технологии. -2003.-N4.-С. 115-125

35. Матюхин Б.Н., Иванов Д.Н., Королев И.В. Принятие решений с использованием метода анализа иерархий в сети Интернет//Дистанционное образование. 2000. - N3. - С. 19-20

36. МОЦНИТ Режим доступа:http://www.mocnit.miee.ru/mocnit 14.03.2003.

37. Оценка и аттестация зрелости процессов создания и сопровождения программных средств и информационных систем (ISO/IEC TR 15504— СММ) / Пер. с англ. А.С. Агапова, С.В. Зенина, Н.Э. Михайловского, А.А. Мкртумяна.- М.: Книга и бизнес, 2001

38. Поспелов F.C., Ириков В.А. Программно-целевое планирование и управление. М.: Советское радио, 1976

39. Прилуцкий М.Х. Многокритериальное распределение однородного ресурса в вычислительных системах//АиТ. 1996. - N2. - С. 139-146.

40. Райфа X. Анализ решений. Введение в программу выбора в условиях неопределенности. М.: Наука, 1977.

41. Роберт И. В. Новые информационные технологии в обучении: дидактические проблемы, перспективы использования. М.: Школа-Пресс, 1994. - 205 с.

42. Роберт И.В. Современные информационные технологии в образовании: дидактические проблемы, перспективы использования. М.: Школа-Пресс, 1994. - 204 с.

43. Руа Б. Проблемы и методы принятия решений в задачах с многими целевыми функциями//Вопросы анализа и процедуры принятия решений. М.: Мир, 1976.

44. Рубин Ю. Б., Самойлов В. А., Шевченко К. К., Технологические системы в открытом образовании: Тезисы конференции Информационные Технологии в Образовании, М.: МЭСИ, 2001

45. Рыбаков Н. Шкала качества//Инфобизнес. 2001. - N44

46. Саати Т. Принятие решений. Метод анализа иерархий. М.: Радио и связь, 1993.

47. Сертификация средств информационных технологий. Режим доступа: http://cert.stankin.ru.

48. Система дистанционного обучения ПРОМЕТЕИ Режим доступа: http://www.prometeus.ru/ 27.02.2003.

49. Скотт Хилайдер, Дениел Мизик Программирование Active Server Page М.: Издательский отдел «Русская редакция» ТОО «Chanel Trading Ltd.», 1999.

50. Спутниковые, телевизионные и компьютерные технологии обучения в СГУ Режим доступа: http://www.video.muh.ru/science/l5.04.2002.

51. Танака К. Итоги рассмотрения факторов неопределенности и неясности в инженерном искусстве/В кн.: Нечеткие множества и теория возможностей под ред. Ягера Р.Я. М.:, Радио и связь, 1986. - с. 37-50

52. Применение новых технологий в образовании: Тез. Докл. X Международная Конференция Фонд новых технологий в образовании "Байтик", Троицк, 1999

53. Трахтенгерц Э.А. Генерация, оценка и выбор сценария в системах поддержки принятия решения//АиТ. 1997. - N3. - С. 167-178.

54. Трахтенгерц Э.А. Компьютерный анализ в динамике принятия решений//Приборы и системы управления. 1997. - N1. - С. 49-56

55. Трахтенгерц Э.А. Методы генерации, оценки и согласования решений в распределенных системах поддержки принятия решений//АиТ. 1995. - N4. - С. 3-52.

56. Трахтенгерц Э.А. Построение распределенных систем группового проектирования//АиТ. 1993. - N9. - С. 154-174.

57. Трахтенгерц Э.А. Представление знаний в экспертных системах//Информатика за рубежом. 1989. - N9. - С. 1-25.

58. Трахтенгерц Э.А. Принятие решений на основе компьютерного анализа. -М.: ИПУ, 1996.

59. Уинстон П. Искусственный интеллект. М.: Мир, 1980.

60. Хейс-Рот Ф., Уотерман Д., Ленит Д. Построение экспертных систем М.:, Мир, 1987.

61. Хомский Н. О некоторых формальных свойствах грамматик. Кибернетический сборник. М.: Изд. иностр. лит., 1962.

62. Шнейдерман М.В. Обратные связи в итеративных экспертных процедурах// АиТ. 1986. - N7. - С. 90-101

63. Шнейдерман М.В. Процедуры коллективного экспертного опроса и их экспериментальное исследование//АиТ. 1988. - N5. - С. 3-16

64. Advances in Programming and Non-Numerical Computation. Ed. by Fox. Pergamon Press, 1966

65. AICC Aviation Industry CBT Committee Режим доступа: http://www.aicc. org 13.05.2003.

66. ARIADNE Project Home Page Режим доступа: http://ariadne.unil.ch 15.05.2003.

67. Backus I.W. The syntax and semantics of the proposed international language of the Zurich ACM-GAMM//Conference ICIP Paris, June, 1959

68. Beroggi C.E. G., Wallace W.A. Operational risk management: a new paradigm for decision making//IEEE Transactions on Systems, Man and Cybernetic, v. 24, 1994, p. 1450-1457

69. Blackboard Режим доступа: http://www.blackboard.com 22.03.2002.

70. Boje D.M., Mumingham J.K. Group confidence pressures in iterative decision//Manag. Sci., V. 28, 1982, p. 1187-1196.

71. Borzenko V.I. Approximational approach problems//Lecture Notes in Economics and Systems. Springes Vertag, 1989, vol.337.

72. Buchanan B.C., Bobrow D., Davis R., Me Dermott j., Shorlife E.M. Knowledge -based systems//Annual Report Computer Science, v. 4, 1990, p. 395-416

73. Craigmyle M. and Fletcher I. Improving IT Effectiveness Through Software Process Assessment//Software Quality Journal, v. 2, 1993, p. 257-264

74. Click21eam Making Knowledge a Tangible Asset Режим доступа:http://www.asymetrix.com. 05.12.2002.

75. Dagan N., Volij O. The bankruptcy problem: a cooperative bargaining approach // Mathematical Social Sciences, v. 3, 1993, p. 205-318

76. Dalxey N.,Helmer O. Experimental application of the Delphi method to the use of experts//Manag. Sci, V. 9, 1963, p. 458-467

77. Durfee E.H., Lesser V.R., Gorkill D.D. Trends in cooperative distributed problem solving/ЯЕЕЕ Trans. Knowledge and Data Eng. March, v. 1, 1989, p. 63-83

78. Findler N.V., Lo R. An examination of distributed planning in the world of air traffic control//Parallel Distributed Computers, v. 3,1986, p. 411-431

79. Franclin J.E., Carmody C.L., Keller K., Levit T.S., Butean B.L. Expert system technology for military selected samples//Proceedings of the IEEE vol. 76, N 10, 1988

80. Ginzberg M.J., Stohr E. A. A decision support: Issues and Perspectives//Processes and Tools for Decision Support. Amsterdam, North Holland Publ. Co, 1983

81. Gpyal S., Worrest R. Expert system applications to network management//Expert Systems Applications to Telecommunications, New York, v. 1, 1988, p.3-44

82. Humphrey W. S. Managing the Software Process. Addison Wesley, 1989.

83. IEEE Режим доступа:http://www.ieee.org 24.05.2003.

84. IMS Global Learning Consortium Режим доступа:http://www.imsproject.org 14.05.2002.

85. ISO International Organization for Standardization Режим доступа: http: //www. iso. org 18.04.2003.

86. Kuvaja P., Simila J., Krzanik L., Bicego A., Koch G. and Saukkonen S. Software Process Assessment and Improvement: The BOOTSTRAP Approach, Blackwell, 1994

87. Mackie C.A. and Rigby P.J. Practical Experience in Assessing the Health of the Software Process//Software Quality Journal, v. 2,1993, h. 265-275

88. Macromedia Coursebuilder for Dreamwever Training Class. Режим доступа: http: //www. coursebuilder-training. com 10.11.2002.

89. Madduck Режим доступа:http://www.madduck.com 10.12.2002.

90. Nash J.F. The bargaining problem//Econometrica, v. 18, 1950, p. 155-162.

91. Paulk M.C., Curtis В., Chrissis M.B. and Weber C.V. Capability Maturity Model, Version 1.1//IEEE Software, V. 10,1993, P. 18-27

92. PROMETEUS Режим доступа: http://prometeus.org 17.04.2003.

93. Quillian M.R. Semantic methodology information processing MIT press. Cambridge Mass, 1968, p. 354-402

94. Saaty T.L. Exploring the interface between hierarchical structures. Fuzzy Sets and Systems, v. 1,1978, p. 57-68

95. Simon H.A. The new science of management decision. Englewood Cliffs, N.Y., Prentice Hall Inc., 1975

96. Simon H., Newell A. Heuristic problem solving: the next advance in operations research//Operations research, v.6,1958

97. Simonovic A., Slobodan P. Decision support for sustainable water resources development in water resources planning in a changing world//Proceeding of International UNESCO symposium, Karlsruhe, Germany, v. 3,1994

98. Smith S.F., Hynynen J.E. Integrated decentralization of production management:an approach for factory scheduling//Intelligent and Integrated Manufacturing Analysis and Synthesis, New York, 1987, P. 427-431

99. Steff R., Camarata S., Narain S., Rothenburg J., Giaria W. Cooperative intelligence for remotely piloted vehicle flight control//Rand Corp. Tech/Report. R-3408-ARPA, oct. 1986.

100. The Learning Space Online Teacher Network Режим доступа: http://www.learningspace.org 15.06.2003.

101. Wagner С. Facilitating space-time differences, group heterogeneity and multysensory task work through a multimedia supported group decision system//Decision Support Systems v. 15, 1995, p.197-210

102. WBT Systems: e-Learning solutions for Online Learning and Web Based Training Режим доступа:http://www.wbtsystems.com 22.04.2003.

103. Webct Режим доступа:http://www.webct.com 15.06.2003.

104. White L.L. Organic structural hierarchies In "Unity and Diversity in Systems". New York. 1969

105. Yamakawa T. Intrinsic Fuzzy electronic circuits for sixth generation computer//Fuzzy Computing, North Holland, 1988, p. 157-171

106. Zimmerman H.J., Zysno P. Decisions and evaluations by hierarchical aggregation of information//Fuzzy Sets and Systems, v. 10,1983, p. 243-260

107. Московский государственный университет экономики, статистики иинформатики1. На правах рукописи