Разработка системы оценки качества программных комплексов для дистанционного обучения тема диссертации и автореферата по ВАК РФ 05.13.11, кандидат технических наук Бабешко, Владимир Николаевич

• Бабешко, Владимир Николаевич
• кандидат технических наук
• 2003

Оглавление диссертации кандидат технических наук Бабешко, Владимир Николаевич

ВВЕДЕНИЕ.

ГЛАВА 1. АНАЛИЗ ПОДХОДОВ К ОЦЕНКЕ КАЧЕСТВА ПРОГРАММНЫХ КОМПЛЕКСОВ ДЛЯ ДИСТАНЦИОННОГО ОБУЧЕНИЯ.

1.1. Исследование состояния современных программных комплексов для дистанционного обучения.

1.2. Обзор государственных и международных стандартов в области качества программных средств.

1.3. Анализ современных подходов к оценке качества программных средств учебного назначения.

1.4. Постановка задачи построения системы оценки качества ПКДО.

1.5. Выводы по ГЛАВЕ 1.

ГЛАВА 2. МЕТОДИКА ПОСТРОЕНИЯ СИСТЕМЫ ОЦЕНКИ КАЧЕСТВА ПКДО.

2.1. Основные принципы построения системы оценки качества ПКДО.

2.2. Построение базовой функциональной модели ПКДО.

2.2.1. Выбор и обоснование метода моделирования.

2.2.2. Методика построения базовой функциональной модели.

2.2.3. Построение базовой функциональной модели ПКДО.

2.3. Формирование системы характеристик качества ПКДО.

2.3.1. Процедура формирования системы характеристик качества ПКДО

2.3.2. Формирование системы функциональных характеристик качества

2.3.3. Формирование системы конструктивных характеристик качества

2.4. Выводы по ГЛАВЕ 2.

ГЛАВА 3. РАЗРАБОТКА МАТЕМАТИЧЕСКОГО И ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ СИСТЕМЫ ОЦЕНКИ КАЧЕСТВА ПКДО.

3.1. Структура процесса оценки качества ПКДО.

3.2. Основные этапы экспертного опроса.

3.3. Математическая модель учета пользовательских предпочтений

3.3.1. Формализация задачи учета пользовательских предпочтений.

3.3.2. Процедура учета пользовательских предпочтений.

3.4. Оценка значений единичных показателей качества ПКДО.

3.5. Анализ оценочной информации: построение обобщенного критерия качества.

3.6. Разработка программного обеспечения системы оценки качества ПКДО.

3.7. Выводы по ГЛАВЕ 3.

ГЛАВА 4. ПРАКТИЧЕСКОЕ ИСПОЛЬЗОВАНИЕ РЕЗУЛЬТАТОВ ИССЛЕДОВАНИЯ.

4.1. Рекомендации по практическому использованию методики оценки качества ПКДО.

4.1.1. Использование обобщенного критерия качества при проектировании и разработке ПКДО.

4.1.2. Использование обобщенного критерия качества при выборе ПКДО

4.2. Использование функциональной модели ПКДО при проектировании документооборота ДО.

4.3. Применение методики построения системы функциональных характеристик к оценке качества образовательных порталов.

4.4. Использование программного комплекса оценки качества ПКДО при проектировании.

4.5. Выводы по ГЛАВЕ 4.

Введение диссертации (часть автореферата) на тему «Разработка системы оценки качества программных комплексов для дистанционного обучения»

Значимость информатизации современного общества такова, что зачастую ее сравнивают по исторической роли с книгопечатанием [74]. Образование отражает объективные социальные процессы в обществе, формируется его объективными потребностями и должно развиваться в русле этих тенденций. Поэтому вполне закономерно, что под влиянием развития информационного общества повсеместное внедрение информационно-телекоммуникационных технологий не обошло стороной и сферу образования [77]. Возникшее в этой связи и развивающееся в нашей стране изначально стихийно по инициативе отдельных образовательных учреждений, дистанционное обучение (ДО) достигло сейчас государственного уровня [61, 93].

Об этом свидетельствует и ряд государственных проектов в рамках отраслевых научно-технических и федеральных целевых программ, таких, например, как проект создания и развития Российского государственного открытого университета, который ведется Министерством образования Российской Федерации в течение последних трех лет (http://www.informika.ru), научно-техническая программа «Создание системы открытого образования» [80], федеральная целевая программа «Развитие единой образовательной информационной среды» и многие другие.

Вместе с тем, развитие рыночных отношений затронуло и сферу образования, и с каждым годом процент негосударственных образовательных учреждений лишь увеличивается. Расширение рынка образовательных услуг в сочетании с перспективными тенденциями выхода России на международный уровень в области открытого образования выводят на передний план вопросы качества дистанционного обучения [69, 51].

В настоящей работе решается одна из основных задач в области обеспечения качества в сфере ДО - задача построения системы оценки качества программных комплексов для дистанционного обучения (ПКДО) как совокупности взаимосвязанных процедур, методик, моделей, математического и программного обеспечения для получения оценки качества ПКДО.

Актуальность настоящего исследования обусловлена, во-первых, весомой ролью технологической подсистемы в системе ДО: современные сетевые информационные технологии являются основным средством доставки учебной информации в процессе ДО, средством взаимодействия всех участников образовательного процесса и инструментом формирования информационно-образовательной среды ДО. Как следствие, технологическая подсистема, которая реализуется ПКДО, являясь интегратором для всех остальных подсистем ДО, оказывает сильное влияние на качество системы ДО в целом. Поэтому одной из основных задач обеспечения качества ДО является повышение качества ПКДО. При этом важно отметить, что характеристики качества ПКДО важны для пользователя не сами по себе, а только как элементы решения общих задач ДО.

Во-вторых, в настоящее время в нашей стране происходит становление нормативной базы в сфере ДО [7, 20]. По заказу Министерства образования РФ проводится ряд научно-исследовательских работ (НИР) в этой области. В частности, несколько ПИР посвящены разработке приложений к «Методике применения дистанционных образовательных технологий (дистанционного обучения) в образовательных учреждениях высшего, среднего и дополнительного профессионального образования Российской Федерации» [61], в числе прочего, направленных на разработку рекомендаций и требований к качеству ДО, стандартизацию процессов проектирования программных средств учебного назначения и разработку методического и программного обеспечения системы оценки качества программных комплексов для Системы открытого образования РФ.

В-третьих, актуальность этого исследования обусловлена тем, что в последние годы наблюдается интенсивное развитие ДО в сочетании с ростом количества разработок ПКДО во всем мире. Это ставит перед образовательными учреждениями задачу научно обоснованного выбора таких программных средств с позиций качества, т.е. с позиций степени соответствия отличительных свойств ПКДО потребностям или ожиданиям, которые установлены, обычно предполагаются или являются обязательными для данного образовательного учреждения. При этом обострилась конкурентная борьба на рынке производителей ПКДО, что привело к необходимости повышения качества проектирования и разработки ПКДО, их сертификации, а также к необходимости разработки инструментальных средств, автоматизирующих эти процессы.

В-четвертых, как показал обзор отечественных и зарубежных публикаций, многие известные подходы к оценке качества программных средств в настоящее время неприменимы к сложным современным информационным системам. Например, модели «черного ящика» или подход, связанный с анализом структуры текста программы, уже не в состоянии полностью отразить всю структурную сложность их функций и данных, а также учесть специфику ДО. При этом большинство подходов направлены на оценку конструктивных показателей качества, в то время как функциональности программных средств уделяется недостаточно внимания.

Таким образом, существующие на сегодняшний день наработки в этой области в чистом виде для решения задачи оценки качества ПКДО неприменимы, однако их фрагменты необходимо учитывать в числе отдельных составляющих комплексной процедуры оценки качества ПКДО.

При этом важно отметить необходимость решения задачи оценки качества ПКДО с позиций пользователей, определяющей составляющей качества для которых является функциональность.

Поэтому, проблема научно обоснованной оценки качества ПКДО при их проектировании, выборе и сертификации сегодня особенно актуальна. Таким образом, можно сделать вывод о необходимости проведения настоящего исследования с целью преодоления разрыва между потребностями практики в современной, сравнительно молодой отрасли дистанционного обучения и отсутствием комплексной методики и программного обеспечения для оценки качества ПКДО с учетом специфики ДО.

Целью данного диссертационного исследования является обеспечение качества ПКДО при их проектировании и разработке, повышение объективности решений при выборе и сертификации ПКДО за счет разработки системы оценки качества ПКДО как совокупности взаимосвязанных процедур, методик, моделей, математического и программного обеспечения для получения оценки степени соответствия отличительных свойств ПКДО потребностям или ожиданиям, которые установлены, обычно предполагаются или являются обязательным.

Для достижения поставленной цели были сформулированы следующие задачи исследования:

1. Построить функциональную модель ПКДО для идентификации объекта исследования с точки зрения функциональности.

2. Разработать систему характеристик качества ПКДО и методику ее формирования.

3. Построить математическую модель учета пользовательских предпочтений для полученной системы характеристик качества.

4. Разработать математическое и программное обеспечение для системы оценки качества ПКДО.

5. Разработать методико-практические рекомендации по применению полученной системы оценки качества ПКДО при проектировании и разработке, при выборе ПКДО и при их сертификации.

Один из аспектов трудоемкости этой задачи связан с тем, что предмет исследования - качество ПКДО - находится на стыке целого ряда научно-практических областей, таких как информационные технологии, управление качеством, методы экспертных оценок, методы оптимизации и принятия решений, педагогика. И лишь синтезом передовых подходов во всех этих областях можно получить адекватное решение поставленной задачи.

Методологическую и теоретическую основу исследования составили труды ведущих отечественных и зарубежных авторов в области проектирования программных средств, дистанционного обучения, экспертных оценок и прикладной статистики, теории принятия решений, методов оптимизации, а также квалиметрии, метрологии, теории управления качеством, репрезентативной теории измерений, функционального моделирования, в числе которых В.Н. Спицнадель, Д.Т. Росс, В.В. Липаев, Т. Саати, Б.Г. Литвак, В.Н. Азаров, В.Г. Домрачев, И.П. Норенков, И.В. Ретинская, М.И. Нежурина, А.И. Орлов, И.Г. Игнатова, И.В. Роберт и др.

В работе использованы следующие методы исследования: методы системного подхода к решению поставленных задач, методология структурного анализа и проектирования, методы квалиметрии, методология структурирования функции качества, методы многокритериальной оптимизации и теории принятия решений, метод анализа иерархий, общенаучные методы сравнительного анализа и аналогий.

Научная новизна диссертационного исследования связана со следующими новыми результатами, полученными в данной работе:

1. Автором построена базовая функциональная модель ПКДО на основе методологии структурного анализа и проектирования с учетом специфики предметной области ДО.

2. Предложена и реализована новая методика формирования системы функциональных характеристик качества сложных сетевых программных комплексов на основе функционального моделирования по стандарту IDEF0.

3. Разработана методика построения системы характеристик качества (СХК) ПКДО с учетом специфики данного класса программных средств, совместимая с методологией структурирования функции качества (QFD).

4. Построена математическая модель учета пользовательских предпочтений для системы характеристик качества ПКДО на основе метода анализа иерархий, позволяющая формализовать принцип ориентации на потребителя.

Практическая значимость результатов работы заключается в следующем:

1. Предложенная система оценки качества ПКДО может использоваться проектными организациями для повышения эффективности проектирования ПКДО, образовательными учреждениями для научно-обоснованного выбора ПКДО в зависимости от целей и предпочтений с учетом соотношения «цена/качество», органами сертификации для формирования сертификационных требований и оценки качества ПКДО.

2. Получена базовая функциональная модель ПКДО для применения на стадии проектирования ПКДО в качестве основы для формирования технического задания, что позволяет повысить эффективность проектирования.

3. Разработанная система характеристик качества и алгоритм ее построения могут быть использованы при формировании нормативной базы ДО в рамках отраслевой стандартизации, что, в частности, позволит создать профиль отраслевого стандарта ПКДО.

4. Разработан сетевой программный комплекс автоматизации оценки качества ПКДО для использования в рамках системы образовательных порталов для автоматизации процедуры экспертных оценок, который снижает трудоемкость экспертного опроса и повышает эффективность оценки качества за счет использования накопленной информации.

5. Благодаря универсальности методологии функционального моделирования, разработанная методика формирования функциональных характеристик качества может быть перенесена на другие предметные области.

Разработанные методики и программное обеспечение системы оценки качества ПКДО внедрены на базе Центра дистанционного обучения МИЭМ и используются для развития, совершенствования и постоянного мониторинга качества программно-методического комплекса информационно-образовательной среды ДО «ДО-он-лайн».

Результаты диссертационной работы использованы при выполнении ряда научно-исследовательских работ в рамках межвузовской научно-технической программы Минобразования РФ «Создание системы открытого образования» 2003-2004 гг.:

• для разработки методического и программного обеспечения системы оценки качества программных комплексов для системы открытого образования РФ;

• при формировании требований к специальной корпоративной информационной системе электронного документооборота дистанционного обучения в образовательных учреждениях высшего, среднего и дополнительного профессионального образования; Разработанные методики использованы в рамках Федеральной целевой программы «Развитие единой образовательной информационной среды» (20012005гг.) для разработки методико-практических рекомендаций по применению современных методов и инструментов управления качеством в системе мониторинга и оценки качества образовательных порталов.

Внедрение результатов настоящего диссертационного исследования подтверждено соответствующими актами (Приложение 4).

Результаты исследований докладывались на 10 международных и всероссийских научных конференциях и семинарах, в числе которых VI Международная студенческая школа-семинар «Новые информационные технологии» (Москва, 1998 г.), ежегодная Всероссийская научно-методическая конференция «Телематика» (С.Петербург, 1999 - 2003 гг.), Международная научно-техническая конференция Российской школы молодых ученых и специалистов «Системные проблемы качества, математического и моделирования и информационных технологий» (Сочи, 2000 г.), IV Международная научно-методическая конференция «Качество образования. Достижения. Проблемы.» (Новосибирск, 2001 г.), Всероссийская конференция «Современная образовательная среда» (Москва, 2001, 2002 г.), XIII Международная конференция «Применение новых технологий в образовании» (Троицк, 2002 г.), 3-я Всероссийская конференция «Электронные учебники и электронные библиотеки» (Москва, 2002 г.), ежегодная научно-техническая конференция студентов, аспирантов и молодых специалистов МИЭМ (1998 — 2003 гг.).

Результаты исследований и практических разработок, полученные в рамках настоящего диссертационного исследования, отмечены:

• дипломом «за лучшую работу, представленную на научно-технической конференции студентов, аспирантов и молодых специалистов МИЭМ» в 2003 г.;

• дипломом Всероссийского выставочного центра «за разработку организационного и программно-методического " комплекса информационно-образовательной среды вуза» в 2002 г. (в составе авторского коллектива).

По результатам открытого конкурса «на поддержку инновационного потенциала научных разработок аспирантов МИЭМ» получен грант Фонда содействия развитию образовательной и инновационной деятельности в высшей школе.

По теме диссертации опубликовано более 28 печатных работ в сборниках трудов, материалах конференций и специализированных периодических изданиях. Основные положения диссертации опубликованы в 9 печатных работах.

Диссертация состоит из введения, 4-х глав, заключения, списка литературы из 103 наименований, 4-х приложений. Объем основной части работы составляет 138 страниц, 19 рисунков и 20 таблиц. Объем приложений 37 страниц.

Заключение диссертации по теме «Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей», Бабешко, Владимир Николаевич

Результаты исследования могут быть использованы проектными организациями при разработке ПКДО для повышения эффективности проектирования, образовательными учреждениями для научно обоснованного выбора ПКДО в зависимости от целей и предпочтений, а также органами сертификации для формирования сертификационных требований и оценки качества ПКДО. Разработанная система характеристик качества может быть использована при формировании нормативной базы ДО в рамках отраслевых стандартов.

Благодаря универсальности методологии функционального моделирования, разработанная методика формирования функциональных характеристик качества может быть перенесена на другие предметные области, например порталостроение.

Важно отметить, что рассмотрение поставленной задачи оценки качества ПКДО проводилось с позиций пользователей, для которых функциональность является определяющей составляющей качества.

ЗАКЛЮЧЕНИЕ

Основными результатами проведенных в диссертации научных исследований и разработок являются следующие:

1. Проведено исследование функциональности современных ПКДО, позволяющее выявить специфику данного класса программных средств как сложных сетевых программных комплексов.

2. Построена функциональная модель ПКДО на основе методологии структурного анализа и проектирования, позволяющая идентифицировать объект исследования с точки зрения функциональности, определить целевые группы потребителей результатов оценивания и пользователей ПКДО, а также выделить состав функциональных характеристик качества для последующей оценки.

3. Разработана новая методика формирования системы функциональных характеристик качества сложных многопользовательских программных комплексов на основе функционального моделирования.

4. Предложена методика формирования системы характеристик качества ПКДО, в соответствии с которой разработана базовая структура системы характеристик качества ПКДО с учетом специфики данного класса программных средств, совместимая с методологией структурирования функции качества (QFD) и повышающая эффективность этапа проектирования ПКДО.

5. Построена математическая модель учета пользовательских предпочтений на основе метода анализа иерархий, позволяющая формализовать принцип ориентации на потребителя.

6. Разработаны методико-практические рекомендации по применению созданной системы оценки качества ПКДО при управлении качеством в проектировании и разработке, при выборе ПКДО и при их сертификации.

7. Спроектирован и разработан сетевой программный комплекс для оценки качества ПКДО, позволяющий автоматизировать процедуру экспертных оценок, что снижает трудоемкость экспертного опроса и повышает эффективность оценки качества ПКДО за счет использования накопленной информации.

Результаты диссертационной работы используются в ЦДО МИЭМ в составе программно-методического комплекса ИОС ДО «ДО-он-лайн». Получены акты внедрения от лаборатории методики и дидактики открытого инженерного образования Научно-методического центра «Инженерное образование», ГНИИ информационных технологий и телекоммуникаций «Информика», ИДО РУДН.

Список литературы диссертационного исследования кандидат технических наук Бабешко, Владимир Николаевич, 2003 год

1. Азгальдов Г.Г. Практическая квалиметрия в системе качества: ошибки и заблуждения // Стандарты и качетво. - 2001. - №3. (http://www.stq.ru/stqsite/magasin/manager/2001/N3/html/030 l2.html)

2. Антошина И.В. Процедуры и модели оценки качества и выбора прикладного программного обеспечения систем обработки информации. Автореф. дис. на соиск. уч. ст. к.т.н.: 05.13.01 / Моск. гос. ун-т леса. М., 2001.

3. Антошина И.В., Домрачев В.Г., Ретинская И.В. Обзор подходов к оценке качества и выбору программных средств // Сб. Индустрия образования / ГОСНИИСИ. 2002. - вып. 6. - С. 140-149.

4. Антошина И.В., Подрезов М.В. О выборе программных средств с учетом личных предпочтений // Информационно-коммуникационные технологии в управлении ВУЗом: Материалы Всерос. науч.-практ. конф. (25-28 февр. 2003 г.) / ПетрГУ. Петрозаводск, 2003. - С. 4-6.

5. Бабешко В.Н. Использование функциональной SADT-модели для оценки качества программных средств дистанционного обучения // Науч.-тех. конф. студентов, аспирантов и молодых специалистов МИЭМ: Тезисы докладов. — М. ~:МГИЭМ, 2003. С. 110-112.

6. Бабешко В.Н. Подходы к оценке качества Информационно-образовательных сред дистанционного обучения // Науч.-тех. конф. студентов, аспирантов и молодых специалистов, посвященная 40-летию МИЭМ: Тез. докл. — М. ~:МГИЭМ, 2002.

7. Бабешко В.Н. Построение системы оценки качества программных комплексов для открытого и дистанционного обучения // Применение новых технологий в образовании: Материалы XIII Междунар. конф. 28-29 июня 2002 г. Троицк, 2002. - С.63-65.

8. Бабешко В.Н. Система контроля знаний в информационно-образовательной среде дистанционного обучения // Науч.-тех. конф. студентов, аспирантов и молодых специалистов МИЭМ: Тез. докл. М. ~:МИЭМ, 2000.

9. Бабешко В.Н., Корешков Р.Ю., Нежурина М.И., Система контроля знаний для программного комплекса дистанционного обучения на базе LOTUS NOTES // Новые информационные технологии: Тез. докл. VI Междунар. студ. школы-семинара. М.: МИЭМ, 1998. - С. 114-115.

10. Ю.Бабешко В.Н., Кочетков В.В. Портал для информационно-образовательной среды дистанционного обучения // Науч.-тех. конф. студентов, аспирантов и молодых специалистов МИЭМ: Тез. докл. М. ~:МИЭМ, 2001. - С. 112-114.

11. Бабешко В.Н., Кочетков В.В., Нежурина М.И. Коммуникационный портал информационно-образовательной среды дистанционного обучения ВУЗа // Современная образовательная среда: Всерос. конф. 21-24 нояб., 2001 г./ ВВЦ -Москва, 2001.-С. 121-124.

12. Бабешко В.Н., Кочетков В.В., Нежурина М.И. Концептуальная модель образовательного портала // Телематика'2002: Труды Всерос. науч.-методич. конф. 3-6 июня, 2002 г. С.-Петербург, 2002. - С.94-96.

13. М.Бабешко В.Н., Кочетков В.В., Нежурина М.И. Портал как новое качество информационно-образовательной среды дистанционного обучения // Качество образования. Достижения. Проблемы: Материалы IV Междунар. науч.-методич. конф / НГТУ. Новосибирск, 2001.

14. Бабешко В.Н., Мирошниченко А.А., Нежурина М.И. Система электронных продаж для информационно-образовательной среды дистанционного обучения. // Современная образовательная среда: Всерос. конф. 21-24 нояб., 2001 г./ВВЦ-Москва, 2001.-С. 124-126.

15. Бабешко В.Н., Нежурина М.И. Базовые принципы построения порталов для информационно-образовательной среды открытого и дистанционного обучения // Бизнес-образование. М. - 2001. — № 1 (10) - С.36-49.

16. Бабешко В.Н., Нежурина М.И. О возможных подходах к оценке качества программных комплексов для образовательных сред // Электронные учебники и электронные библиотеки: Тезисы докладов 3-й Всерос. конф. -М.: Изд-во МЭСИ, 2002. С. 40-45.

17. Бабешко В.Н., Нежурина М.И. О необходимости учёта пользовательских предпочтений при оценке качества программных комплексов для образовательных сред // Открытое и дистанционное образование. — 2002. -№ 4(8). стр. 94 - 96.

18. Бабешко В.Н., Нежурина М.И. Практика обеспечения качества программных комплексов для дистанционного обучения // Качество. Инновации. Образование. — 2003. № 1 (5), январь-март. — С.60-65.

19. Бабешко В.Н., Нежурина М.И. Принципы построения информационно-образовательной среды масштаба вуза // Основные направления развития образовательных электронных изданий и ресурсов: Материалы науч.-практич. конф. -М,~: РМЦ, 2002. С. 124-131.

20. Бабешко В.Н., Нежурина М.И. Реализация системы контроля знаний при дистанционном обучении на базе LotusNotes // Телематика'99: Труды Всерос. науч.-методич. конф. 8-12 мая 1999 г. С.Петербург, 1999.

21. Бабешко В.Н., Нежурина М.И. Телекоммуникационный портал информационно-образовательной среды дистанционного обучения // Телематика 2001: Труды Всерос. науч.-методич. конф. 18-21 июня, 2001 г. -С.Петербург, 2001. С.209-210.

22. Бабешко В.Н., Нежурина М.И., Демин И.В. Некоторые особенности контроля знаний при дистанционном обучении на базе Lotus Notes // Науч,-тех. конф. студентов, аспирантов и молодых специалистов МИЭМ: Тез. докл. М. ~:МИЭМ, 1999.

23. Бабешко В.Н., Нежурина М.И., Кочетков В.В. Концептуальная модель образовательного портала // Телематика'2002: Труды Всерос. науч.-методич. конф. 3-6 июня, 2002 г. С.-Петербург, 2002. - С.94-96.

24. Бадалов JI.M. Экономическое регулирование качества промышленной продукции. — М.: Экономика, 1969.

25. Батоврин В.К., Васютович В.В., Олейников А.Я. и др. Функциональная стандартизация и развитие единой информационной образовательной среды. Труды Всероссийской научно-методической конференции «Телематика 2002», СПб, 2002, С. 53,54.

26. Бешелев С.Д., Гурвич Ф.Г. Математико-статистические методы экспертных оценок. М.: Статистика, 1974.

27. Богданов Д.В., Путилов В.А., Фильчаков В.В. Стандартизация процессов обеспечения качества программного обеспечения. Апатиты, КФ ПетрГУ, 1997.- 161 с.

28. Боэм Б.У. Инженерное проектирование программного обеспечения: Пер. с англ. / Под. ред. А.А.Красилова. М.: Радио и связь, 1985.

29. Вострокнутов И.Е., Теория и технология оценки качества программных средств образовательного назначения. — М.: «Госкоорцентр информационных технологий», 2001.

30. Гантмахер Ф.Р. Теория матриц. Ч. II. Специальные вопросы и приложения. -М.: Наука, 1966.-576 с.

31. ГОСТ 28195-89. Оценка качества программных средств. Общие положения. -М.: Изд-во стандартов, 1989.

32. ГОСТ Р 51141-98. Делопроизводство и архивное дело. Термины и определения. — М.: Изд-во стандартов, 1998. Введен с 1 января 1999 г.

33. Дэвид Г. Метод парных сравнений. — М.: Статистика, 1978.

34. Ионцев Н.Н. Администрирование Lotus Notes версий 4.1х и Lotus Domino версий 4.5х. Изд."Светотон", М., 1997, с.-ЗЗЗ.

35. Ионцев Н.Н., Поляков Е.В., Таранченко О.Г. Программирование в Lotus Domino R5. Изд."Светотон", М., 2000, Administrator's Guide Domino Lotus Notes, release 4.5, Lotus Dev. Corporation, 1997.

36. Козлов B.A., Щербо B.K. Функциональные стандарты в открытых системах. Часть 2. Международные функциональные стандарты. М.: Изд. МЦНТИ, 1997.

37. Компьютерная технология обучения. Словарь-справочник. Под ред. Гриценко В.Ю. и др. Киев: "Наукова думка", 1992.

38. Кречетников К.Г., Методология проектирования, оценки качества и применения средств информационных технологий обучения. Монография — М.: «Госкоорцентр информационных технологий», 2001.

39. Кривошеев А.О. Разработка и использование компьютерных обучающих программ // Информационные технологии. 1996. - №2. - С. 14-18.

40. Кривошеев А.О. Электронный учебник — что это такое? // Университетская книга. 1998. - №2. - С. 13-15.

41. Круглое М.Г., Нежурина М.И. Роль менеджмента качества в развитии системы образования России // Политика ОДО в Европейском Союзе и Российской Федерации: уроки, перспективы и сотрудничество: Сб. докл., проект Дел фи ТАСИС / Изд. РУДН М., 2001.

42. Круглов М.Г., Шишков Г.М. Управление качеством. — Учебное пособие. М.: Станкин, 1999.

43. Липаев В.В. Выбор и оценивание характеристик качества программных средств. Методы и стандарты. СИНТЕГ, М.: 2001.

44. Липаев В.В. Качество программных средств. Методические рекомендации. Под общей ред. Полякова А.А. М.: Янус-К, 2002. — 400с.

45. Липаев В.В. Надежность программных средств. СИНТЕГ, М.: 1998.

46. Липаев В.В., Потапов А.И. Оценка затрат на разработку программных средств. М.: Финансы и статистика, 1988.

47. Литвак Б.Г. Экспертная информация: Методы получения и анализа. М.: Радио и связь, 1982.

48. Майерс Г. Надежность программного обеспечения, М.: Мир, 1980, с. 151.

49. Малышев Ю.А., Нежурина М.И., Шатровский В.А. Об одном подходе к представлению учебных курсов для дистанционного обучения в среде WWW. Научно-технический сборник "Информационные технологии", № б, 1997, С.39-41.

50. Марка Д.А., МакГоуэн К.Л. Методология структурного анализа и проектирования SADT. М., 1993.

51. Методика применения дистанционных образовательных технологий (дистанционного обучения) в образовательных учреждениях высшего, среднего и дополнительного профессионального образования РФ, Приказ № 4452, Минобр. РФ, 18.12.2002.

52. Миллер Д. Магическое число семь плюс минус два: Инженерная психология. -М.: Прогресс, 1964.

53. Нежурина М.И. Принципы организации и разработка специализированной информационно-образовательной среды для дистанционного обучения. Автореф. дис. на соиск. уч. ст. к.т.н. — М., 1998.

54. Нежурина М.И. Принципы организации и разработка специализированной информационно-образовательной среды для дистанционного обучения: Дис. . к.т.н.: 05.13.11 /МИЭМ. М., 1998. - 176 с.

55. Нежурина М.И. Системный подход к решению проблем дистанционного обучения: Монография / Издание международного проекта DELPHI EDRUS 9706.-М., 1999.

56. Нежурина М.И. Создание гибких модульных курсов дистанционного обучения с использованием информационных технологий для специальных технических дисциплин. В журнале "Новые информационные технологии в проектировании и производстве", N 3, 1997, с.7-11.

57. Орлов А.И. Современный этап развития теории экспертных оценок // Заводская лаборатория. — 1996. — №1.

58. Орлов А.И. Устойчивость в социально-экономических моделях. — М.гНаука, 1979.-296 с.

59. Орлов А.И. Эконометрика: Учеб. пособ. для вузов. — М.: Изд-во «Экзамен», 2002.74,Основы открытого образования, под ред. Солдаткина В.И. — Т. 1. — Российский государственный институт открытого образования. — М.: НИИЦ РАО, 2002.

60. Отчет по НИР "Создание интегрированной Среды контроля знаний в информационно-коммуникационных системах по технологии WWW Internet". Нежурина М.И.-научн.рук., отв.исп., № гос.рег. 01970003657, М., МИЭМ, 1997, стр.23.

61. Оценка качества программных средств учебного назначения: Рабочие материалы 2-го науч.-практич. семинара.- М.: РосНИИИС, ноябрь 1996.

62. Позднеев Б.М., Солдатов А.В., Соломенцев Ю.М. Эффктивное управление ресурсами ВУЗа. // Информационно-коммуникационные технологии в управлении ВУЗом: Материалы Всерос. науч.-практ. конф. (25-28 февр. 2003г.) / ПетрГУ. Петрозаводск, 2003. - С. 132-137.

63. Портал дистанционного обучения IBM http://www.educ.ru.

64. НИР / РосНИИ ИС; науч. рук. Кривошеев А.О. на гос. регистрации. - М., 1997.-С. 125.

65. Роберт И.В. Экспертно-аналитическая оценка качества программных средств учебного назначения // Педагогическая информатика. 1993. - №1 — С 54-62.

66. Романов А.Н., Торопцов B.C., Григорович Д.Б. Технология дистанционного обучения в системе заочного экономического образования. М.: ЮНИТИ-ДАНА, 2000.

67. Российский научно-исследовательский институт информационных систем, http://www.riis.ru.

68. Рыжаков В.В., Пятирублевый Л.Г. Основы комплексного оценивания качества продукции: Учеб. пособ. для машиостроительных специальностей. Пенза, 1998.

69. Саати Т. Принятие решений. Метод анализа иерархий: Пер. с. англ. М.: Радио и связь, 1993.

70. Система критериев качества учебного процесса для дистанционного образования: Отчет о НИР / МГТУ им. Н.Э.Баумана; рук. проекта Норенков И.П. М., 2002.

71. Спицнадель В.Н. Системы качества: Учеб. пос. — СПб.: Изд. дом «Бизнес пресса», 2000. 336 с.

72. Статистические модели и многокритериальные задачи принятия решений: Сб. статей / Сост и науч. ред. Шахнов И.Ф. — М.: Статистика, 1979. — 184 с.

73. Тюрин Н.И. Введение в метрологию. Учебное пособие. — М.: Издательство стандартов, 1985.-248 с.

74. Управление качеством: Том 2. Принципы и методы всеобщего руководства качеством Основы обеспечения качества, Под общей ред. Азарова В.Н. М.: МГИЭМ, 2000.-356с.

75. Управление современным образованием: социальные и экономические аспекты. Под ред. Тихонова А.Н. М.: Вита-Пресс, 1998.

76. Федеральный закон №110819-3 от 01.07.2002 «О внесении изменений и дополнений в Закон РФ «Об образовании» и Федеральный закон «О высшем и послевузовском образовании» (в части дистанционных образовательных технологий)».

77. Харитонов Е.В. Согласование исходной субъективной информации в методах анализа иерархий // Математическая морфология. — 1999. Т.З, Вып. 2. (http://www.smolensk.rU/user/sgma/MMORPH/N-5-html/6.htm)

78. Cargill C.F. Information Technologie Stangardisation. Digital Press, 1989.

79. IBM Mindspan Solutions Introduces Lotus LearningSpace 5.http://www.lotus.com/products/learnspace.nsf/95febc 15 8ad081518525674c0065a a5£/l Iba69bbfe89211785256aaa0065e9db?OpenDocument

80. IEEE P1003.23-1998. IEEE Guide for Developing User Organization Open System Environment (OSE) Profiles

81. ISO/IEC 9126: 1991 (E) Information technology Software product evaluation -Quality characteristics and guidelines for their use.

82. ISO/IEC 9126-1:2001. Software engineering. Product quality. Part 1. Quality model.

83. Keeney R.L., Raiffa H. Decisions with Multiple Objectives: Preference and Value Tradeoffs. Wiley, New York, 1976.

84. Londeix B. Cost estimation for software development. Cornwall: Addison-Wesley. 1987.

85. Simon H. Reason in Human Affairs Stanfird Univ. Press, 1983.

86. Technology Based Training & On-line Learning: An overview of Authoring Systems & Learning Management Systems available in the UK. Dean Associates & Technologies for Training Ltd, 2000.