Исследование и разработка методов и средств оценки качества функционирования МАСУ "Безопасность" тема диссертации и автореферата по ВАК РФ 05.22.14, кандидат технических наук Елисов, Герман Львович

• Елисов, Герман Львович
• кандидат технических наук
• 1999

Оглавление диссертации кандидат технических наук Елисов, Герман Львович

СОДЕРЖАНИЕ

Стр.

ВВЕДЕНИЕ

ГЛАВА 1. АНАЛИЗ ВЛИЯНИЯ КАЧЕСТВА ФУНКЦИОНИРОВАНИЯ МАСУ « БЕЗОПАСНОСТЬ » НА БЕЗОПАСНОСТЬ ПОЛЕТОВ В ГРАЖДАНСКОЙ АВИАЦИИ

1.1. Структура системы управления безопасностью полетов на воздушном транспорте

1.2. Анализ структуры и функций МАСУ «Безопасность»

1.3. Анализ методов исследования эксплуатационных свойств АСУ в гражданской авиации

1.4. Качество функционирования МАСУ «Безопасность» как объект исследования

1.5. Теория квалиметрии как аппарат исследования

1.6. Цель и задачи исследования

Библиография к главе 1

Выводы к главе 1

ГЛАВА 2. ИССЛЕДОВАНИЕ ПРОБЛЕМ ОЦЕНКИ КАЧЕСТВА ФУНКЦИОНИРОВАНИЯ МАСУ «БЕЗОПАСНОСТЬ»

2.1. Декомпозиция структуры МАСУ «Безопасность»

2.2. Вероятностная модель ошибки при отказах технических средств и сбоях в информационном обеспечении

2.3. Имитационная модель оценки качества профессиональной подготовки специалистов-операторов

2.4. Аналитическая модель динамики ошибок в программных средствах вычислительной техники

2.5. Качество как интегральный показатель надежности программных средств

2.6. Модель жизненного цикла программных средств вычислительной техники

Библиография к главе 2

Выводы к главе 2

ГЛАВА 3. РАЗРАБОТКА МЕТОДОВ КОМПЛЕКСНОЙ КВАЛИМЕТРИИ МАСУ «БЕЗОПАСНОСТЬ»

з

3.1. Концептуальная модель комплексной квалиметрии МАСУ «Безо-

пасность»

3.2. Методика формирования номенклатур показателей качества

3.3. Методы квалиметрии программных средств вычислительной техники

3.4. Методы квалиметрии программно-технической документации

Библиография к главе 3

Выводы к главе 3

ГЛАВА 4 РАЗРАБОТКА СИСТЕМЫ КВАЛИМЕТРИЧЕСКОГО

МОНИТОРИНГА МАСУ «БЕЗОПАСНОСТЬ»

4.1. Разработка процедур квалиметрии программных средств вычислительной техники

4.1.1. Процедуры экспертизы показателей качества

4.1.2. Процедуры комплексирования показателей качества

4.1.3. Процедуры принятия решений

4.2. Разработка процедур квалиметрии программно-технической документации

Библиография к главе 4

Выводы к главе 4

ЗАКЛЮЧЕНИЕ

ЛИТЕРАТУРА

ПРИЛОЖЕНИЯ

Введение диссертации (часть автореферата) на тему «Исследование и разработка методов и средств оценки качества функционирования МАСУ "Безопасность"»

ВВЕДЕНИЕ.

Современная авиационная транспортная система (АТС) представляет собой сложную иерархическую человеко-машинную структуру с различными информационными уровнями и подсистемами, предназначенную для осуществления безопасных воздушных перевозок.

Безопасность полетов (БП) является главной проблемой гражданской авиации (ГА) и рассматривается как свойство АТС осуществлять воздушные перевозки без угрозы для жизни и здоровья людей.

В соответствии с нормативными документами Международной организации Гражданской Авиации (ИКАО) каждая страна-участник обязана систематически осуществлять анализ состояния безопасности полетов в подведомственном регионе и принимать все необходимые меры для минимизации уровня опасности полетов.

Решение указанной задачи лежит в области развития теории безопасности полетов и разработки систем управления уровнем безопасности полетов.

Проблема управления уровнем БП включает комплекс алгоритмических задач, связанных с регистрацией параметрической информации о состоянии БП на различных иерархических уровнях, ее обработки с помощью соответствующих методов и средств с целью выявления динамических характеристик АТС и ее элементов, анализа полученных результатов с целью выявления тенденций развития негативных факторов, принятия соответствующих управленческих решений и разработки системы мероприятий по снижению уровня опасности, определяемого исследуемыми факторами.

Для решения указанного комплекса задач в ГА разработана и реализована автоматизированная система предотвращения авиационных происшествий, основу которой составляет многоуровневая автоматизированная система управления «Безопасность». МАСУ «Безопасность» функционирует на базе мощных компьютерных средств.

Одним из факторов государственного регулирования уровня безопасности полетов в гражданской авиации является нормативное управление, одной из составляющих которого служит сертификация. Система сертификации на воздушном транспорте РФ регламентирует методы и процедуры сертификации элементов авиационной транспортной системы.

Рассматривая МАСУ «Безопасность» как инструмент системы управления безопасностью полетов естественно предположить, что к ней предъявляются достаточно жесткие требования по различным параметрам, которые и должны быть исследованы в процессе сертификации. С учетом поэтапного внедрения системы сертификации в отрасли следует отметить, что на сегодняшний день МАСУ «Безопасность» не сертифицируется. Поэтому проблема оценки качества функционирования МАСУ «Безопасность» является весьма важной и требует своего решения, особенно в современных условиях.

Попытки оценить результаты функционирования МАСУ «Безопасность» с точки зрения влияния на уровень безопасности полетов осуществлялись по нескольким направлениям.

Одно из направлений связано с понятием устойчивости функционирования АСУ, которое рассматривается как надежность системы и ее живучесть. Понятие надежность связывается с проявлением внутренних для системы факторов, а понятие живучесть определяется динамическим процессом взаимодействия системы со средой.

Подобный подход основан на исследовании МАСУ «Безопасность» с помощью обобщенных показателей, которые, с учетом того факта, что МАСУ «Безопасность» относится к классу сложных систем, не имеют адекватного математического описания. Это приводит к существенной неопределенности в постановке задачи, что существенно снижает функциональную реализуемость полученных результатов.

Второе направление связано с исследованием МАСУ с помощью числовых характеристик, в качестве которых приняты показатели эффективности.

Недостатки этого направления связаны с тем, что категория эффективность в приложении к сложным системам может рассматриваться только как одна из возможных характеристик, что существенно ограничивает область применения результатов исследования.

Наиболее универсальной характеристикой МАСУ «Безопасность» как сложной системы следует считать категорию качество. В данной работе сделана попытка исследовать функционирование МАСУ «Безопасность» через систему показателей качества путем создания методов и средств оценки их количественных значений.

Проблемой количественной оценки качества занимается теория квали-метрии. Большой вклад в развитие теории и практики квалиметрических исследований внесли отечественные ученые: Азгальдов Г.Г., Гличев A.B., Елисов JI.H., Суббетто А.И. и другие. В работе методы и средства квалиметрии адаптируется к процедурам исследования качества функционирования МАСУ «Безопасность». Результаты решения указанной задачи могут быть положены в основу системы квалиметрического мониторинга МАСУ «Безопасность» и использованы при реализации процедур сертификации.

Целью настоящей работы является разработка квалиметрических методов и средств оценки качества функционирования МАСУ «Безопасность» как элемента системы управления безопасностью полетов в гражданской авиации.

Для достижения поставленной цели в работе решены следующие основные задачи:

- установлены роль, место и функции МАСУ «Безопасность» в структуре системы управления безопасностью полетов в гражданской авиации,

- обоснован выбор интегральной характеристики процесса функционирования МАСУ «Безопасность», которой является категория качества;

- обоснован выбор теории квалиметрии в качестве аппарата исследования;

- проведена декомпозиция структуры МАСУ «Безопасность» и определены ее основные элементы, качество функционирования которых оказывает определяющее влияние на безопасность полетов;

- разработана концептуальная модель комплексной квалиметрии МАСУ «Безопасность»;

- разработана методика формирования номенклатур показателей качества;

- разработаны методы квалиметрии программных средств вычислительной техники в составе МАСУ «Безопасность»;

- разработаны методы квалиметрии программно-технической документации;

- разработана система квалиметрического мониторинга МАСУ «Безопасность».

Методы исследований базируются на комплексном использовании теории квалиметрии, теории надежности, теории вероятностей и математической статистики, теории множеств, теории моделирования сложных систем, теории принятия решения и теории графов.

Научная новизна работы заключается в:

- разработке концептуальной модели комплексной квалиметрии МАСУ «Безопасность»;

- разработке методики формирования номенклатур показателей качества;

- разработке методов квалиметрии программных средств вычислительной техники в составе МАСУ «Безопасность»;

- разработке методов квалиметрии программно-технической документации;

- разработке системы квалиметрического мониторинга МАСУ «Безопасность».

На защиту выносятся следующие основные результаты:

- концептуальная модель комплексной квалиметрии МАСУ «Безопасность»;

- методика формирования номенклатур показателей качества;

- методы квалиметрии программных средств вычислительной техники;

- методы квалиметрии программно-технической документации;

- процедуры экспертизы показателей качества;

- процедуры комплексирования показателей качества;

- процедуры принятия решений.

Практическое значение работы подтверждается актами об использовании результатов исследований, представленными в приложении.

Результаты исследований нашли свое применение при подготовке специалистов для гражданской авиации в МГТУГА, СГАУ, ЕАТК, при разработке соответствующих учебно-методических материалов для студентов и слушателей системы повышения квалификации, частично использованы при создании учебника Елисова Л.Н., Баранова В.В. «Управление и сертификация в авиаци-онно-транспортной системе»; используются при организации профессиональной подготовке летного, командно-летного и инструкторского состава летного комплекса в УТЦ Нижневартовского объединенного авиаотряда и в УТЦ АО «Аэропорт Внуково».

Основные результаты работы были представлены и обсуждены на:

- Всероссийском научно-техническом симпозиуме «Квалиметрия человека и образования», VI симпозиум «Проблемы создания комплексного мониторинга качества образования в России», Москва, 1997 г.;

- Всероссийском научно-техническом симпозиуме «Квалиметрия человека и образования», VII симпозиум «Проблемы измеримости образовательных стандартов и квалиметрического мониторинга образования», Москва, 1998 г.;

- Международной научно-технической конференции «Современные научно-технические проблемы гражданской авиации», Москва, МГТУ ГА, 1999 г.

- научно-технических семинарах в МГТУГА (1996,1997, 1998,1999 гг.)

- научно-производственных совещаниях в АО «Аэропорт Внуково».

Основные результаты работы опубликованы в 13 печатных работах.

В первой главе диссертационной работы формируется постановка задачи исследования, определяются цель и задачи диссертации.

На основе анализа структуры системы управления безопасностью полетов на воздушном транспорте определяется роль, место и функции МАСУ «Безопасность» в системе.

Исследуется комплекс функциональных задач МАСУ «Безопасность», определяется зависимость уровня безопасности полетов от надежности функционирования системы. Показано, что известные подходы к исследованию МАСУ «Безопасность» через показатели надежности, живучести и эффективности не обеспечивают уверенности в достоверности получаемых результатов, поэтому предложена интегральная характеристика - качество. Обосновывается выбор в качестве аппарата исследования теории квалиметрии.

Во второй главе решается задача определения элементов МАСУ «Безопасность», качество функционирования которых является определяющим в составе обобщенного показателя качества системы.

В результате декомпозиции структуры МАСУ «Безопасность» по критерию качество выделены следующие компоненты: технические средства, информационное обеспечение, специалисты - операторы, программные средства, программно-техническая документация. На основе исследования соответствующих моделей показано, что отказы, сбои и ошибки указанных элементов проявляются в ошибках программных средств. Отмечено, что ошибки программных средств (ПС) выявляются на всех этапах жизненного цикла. Однако, наиболее значимыми из них для МАСУ «Безопасность» являются те, которые проявляются на этапе сопровождения. Показано, что качество ПС может рассматриваться как интегральный показатель надежности программных средств.

Третья глава посвящена разработке методов комплексной квалиметрии МАСУ «Безопасность».

Разрабатывается концептуальная модель комплексной квалиметрии, основанная на результатах предыдущих разделов. Предлагается методика формирования полных и непротиворечивых номенклатур показателей качества. Разрабатываются методы количественной оценки качества программных средств в

составе МАСУ «Безопасность» и методы квалиметрии программно-технической документации.

В четвертой главе сосредоточены результаты разработки системы ква-лиметрического мониторинга МАСУ «Безопасность». Разработаны процедуры квалиметрии программных средств, включая процедуры экспертизы показателей качества, их комплексирования и принятия решений по результатам экспертизы. Разрабатываются процедуры квалиметрии программно-технической документации.

В заключении обобщаются полученные результаты и формулируются основные выводы.

Список литературы диссертационного исследования кандидат технических наук Елисов, Герман Львович, 1999 год

ЛИТЕРАТУРА.

1. Азгальдов Г.Г. Качество и метрология. "Измерительная техника", N 7, 1970.

2. Азгальдов Г.Г., Райман Э.В. О квалиметрии. - М.: Стандартов, 1973. -160 с.

3. Аоки М. Оптимизация стахостических систем. - М.: Наука, 1971, 360 с.

4. Аткинсон Р., Бауэр Г., Кротэрс Э. Введение в математическую теорию обучения. - М.: Мир, 1969. - 486 с.

5. Байхелвиц Ф., Франкен П. Надежность и техническое обслуживание. -М.: Радио и связь, 1988, 424 с.

6. Барзилович Е.Ю. Модели технического обслуживания сложных систем. - М.: Высшая школа, 1982. - 231 с.

7. Барзилович Е.Ю., Воскобоев В.Ф. Эксплуатация авиационных систем по состоянию. - М.: Транспорт, 1981. - 197 с.

8. Барзилович Е.Ю., Савенков М.В. Статистические методы оценки состояния авиационной техники. - М.: Транспорт, 1987,240 с.

9. 9. Бешелев С.Д. Экспертные оценки в принятии плановых решений. М.: Экономика, 1976. - 240 с.

10. Бешелев С.Д., Гуревич Ф.Г. Математико-статистические методы экспертных оценок. - М.: Статистика, 1980. - 264 с.

11. Берк К. Теория графов и её применение. Пер. с франц. - М.: Мир, 1982. -319 с.

12. Боэм Б. Инженерное проектирование программного обеспечения: пер. с англ.- М.: Радио и связь. 1985 - 512 с.

13. Боэм Б., Браун Дж., и др. Характеристики качества программного обеспечения, М., Мир, 1981.

14. Бусленко Н.П. Моделирование сложных систем. - М.: Наука, 1978. -400 с.

15. Буш Р., Мостеллер Ф. Стохастические модели обучаемости. - М.: Мир, 1962.-86 с.

16. Вентцель Е.С. Теория вероятностей. - М.: Наука, 1969. - 576 с.

17. Вентцель Е.С., Овчаров JI.A. Теория случайных процессов и её нженерные приложения. - М.: Наука, 1991. - 360 с.

18. Вилкас Э.И., Майминас Е.З. Решения: теория, информация, моделирование. - М.: Радио и связь, 1981. - 328 с.

19. Воробьёв В.Г., Зубков Б.В., Уриновский Б.Д. Технические средства и методы обеспечения безопасности полетов. - М.: Транспорт, 1989. - 152 с.

20. Воробьёв В.Г., Константинов В.Д. Техническая эксплуатация авиационного оборудования. - М.: Транспорт, 1990. - 300 с.

21. Гамулин А.Г. и др. Автоматизация управления безопасностью полетов. -М.: Транспорт, 1989. - 116 с.

22. Гантер Р. Методы управления проектированием программного обеспечения. -М.: Мир, 1981. -392 с.

23. Гласс Р., Наузо Р. Сопровождение программного обеспечения. -М.: Мир, 1983, -156 с.

24. Гличев A.B. Прикладные вопросы квалиметрии. - М.: Издательство стандартов, 1983.

25. Гличев A.B., Панов В.П., Азгальдов Г.Г. Что такое качество. - М.: Экономика, 1968. - 135 с.

26. Гоголин A.C., Голиков И.В., Елисов JI.H. Определение тестированием профориентации программистов. - М.: Наука, 1965. - с. 24-25.

27. ГОСТ 27.002-83 Надежность в технике. Термины и определения,- М.: Издательство стандартов, 1983. - 30 с.

28. ГОСТ 23.743-88. Изделия авиационной техники. Номенклатура показателей безопасности полётов, надёжности, контролепригодности, эксплуатационной и ремонтной технологичности. - М.: Госстандарт, 1988. - 25 с.

29. ГОСТ 28.195-89. Оценка качества программных средств. Общие положения. - м.: Издательство стандартов, 1990.

30. ГОСТ 15.467-79. Управление качеством продукции. Основные понятия. Термины и определения. - М.: Изд-во стандартов, 1979. - 26 с.

31. Горский JI.K., Карповский Е.Я., Новиков В.И., Чижов С.А. Оценка показателей надежности программной продукции на этапе сопровождения, Программирование, 1987, N2, с. 85-91.

32. Гримм С. Как писать руководства для пользователей ЭВМ. - М.: Радио и связь. - 1985. -159 с.

33. Дзержинский Ф.Я. Разработка программной документации: понятия и принципы неформального программирования. - М.: Цнииатоминформ, 1980.-84 с.

34. Диагностирование и прогнозирование технического состояния авиационного оборудования/ В.Г. Воробьев, В.В. Глухов, Ю.В. Козлов и др.; Под ред. И.М. Синдеева. - М.: Транспорт, 1984, 191 с.

35. Драммонд М. Методы оценки измерений дискретных вычислитель-ных систем. - М.: Мир, 1977. - 381 с.

36. Дрейпер Н., Смит Г. Прикладной регрессионный анализ. - М.: Статистика, 1973. - 228 с.

37. Дружинин Г.В. Методы оценки и прогнозирования качества. - М.: Радио и связь, 1982. - 160 с.

38. Дубров A.M. Обработка стаистических данных методом главных компонентов. -М.: Статистика, 1978. - 135 с.

39. Евланов Л.Г., Кутузов В.А. Экспертные оценки в управлении. - М.: Экономика, 1978. - 132 с.

40. Евланов Л.Г. Теория и практика принятия решений. - М.: Экономика, 1984.- 176 с.

41. Евланов Л.Г. Контроль динамических систем. - М.: Наука, 1978. - 432 с.

42. Елисов Г.Л., Маркович А.Е., Яманов Д.Н. Методы формирования поляризационно - манипуляционных сигналов с непрерывным изменением поляризационных параметров/ Межв. сб. научн. тр. Радиотехническое оборудование систем дистанционного зондирования. - М.: МГТУ ГА, 1996, с. 56 - 63.

43. Елисов Г.Л., Логвин А.И., Кораблев А.Ю. Поляризационные измерения по определению характеристик обнаружения радиолокационных целей на фоне лесных массивов / там же, с. 107 - 110.

44. Елисов Г.Л. Методология квалиметрического мониторинга подготовки авиаспециалистов по радиолокационному оборудованию / Квалиметрия человека и образования: тез. докл. 6-го симпозиума, Москва, 1997. -М.: Исследовательский центр ПКПС, 1997. — с. 116.

45. Елисов Г.Л., Елисов Л.Н. Мониторинг качества подготовки авиаспециалистов по наземному аэродромному оборудованию / там же, с.118.

46. Елисов Г.Л. Проблема квалиметрии программно - технической документации / Научный вестник МГТУ ГА № 8, серия Радиотехника и радиофизика-М.: МГТУ ГА, 1998, с.41-46.

47. Елисов Г.Л., Елисов Л.Н. Некоторые подходы к созданию модели качества программно - технической документации / там же, с.59-65.

48. Елисов Г.Л., Елисов Л.Н. Концептуальная модель комплексной квалиметрии информационно - аналитического обеспечения безопасности полетов / Научный вестник МГТУ ГА № 7, серия Безопасность полетов. -М.:1998.- с.37-41.

49. Елисов Г.Л. Система мониторинга качества информационно -аналитического обеспечения безопасности полетов / там же, с.49-53.

50. Елисов Г.Л., Елисов Л.Н., Субетто А.И. Мониторинг качества образовательных систем в гражданской авиации / Квалиметрический мониторинг образования: содержание, организация, практика. Тез. докл. 7-го симпозиума. Часть 2. - М.: Исследовательский центр ПКПС, 1998. -с. 41-42.

51. Елисов Г. Л., Елисов Л.Н., Селезнева H.A. Управление качеством профессиональной подготовки авиаспециалистов в системах квалиметрического мониторинга гражданской авиации / Там же, с 42 -43.

52. Елисов Г.Л. Элементы системы информационно - аналитического обеспечения безопасности полетов как объекты квалиметрического мониторинга / Там же, с.45 - 46.

53. Елисов Г.Л., Субетто А.И. Проблемы квалиметрии специалистов, обеспечивающих безопасность полетов в гражданской авиации / Там же, часть 3, с. 54-55.

54. Елисов Г.Л., Елисов Л.Н. Методика квалиметрических исследований МАСУ Безопасность / МНТК Современные научно - технические проблемы гражданской авиации. Тез. докл. - М.: МГТУ ГА, 1999, с.23

55. Елисов Г.Л. Декомпозиция структуры МАСУ Безопасность по критерию качество. - Там же, с. 24.

56. Елисов Г.Л. Процедуры формирования обобщенных оценок показателей качества / В кн. Елисова Л.Н., Богданова В.В. Управление и сертификация в авиационной транспортной системе. - М.: Воздушный транспорт, 1999. - с. 248 - 267.

57. Елисов Л.Н. Концепция управления качеством подготовки специалистов-разработчиков программных средств вычислительной техники / Методы и средства повышения эффективности и качества программных систем: Тезисы докладов Всесоюзной конференции, Севастополь, 1990. - Севастополь.: - СПИ, 1990, - с. 11-12.

58. Елисов Л.Н. О некоторых подходах к проблеме аттестации специалистов-разработчиков программных средств вычислительной техники / Качество программных средств: Тезисы докладов Всесоюзной научно-технического семинара, Тверь, 1990. - Тверь.: Центрпрограммсистем, 1990, - с. 91-91.

59. Елисов Л.Н. Повышение качества подготовки программистов как социальная проблема повышения качества программных средств вычислительной техники. - Тверь.: Центрпрограммсистем, 1990. - с. 92.

60. Елисов Л.Н. Сертификация программ, аттестация их разработчи-ков, аккредитация учебных заведений - системный подход к поблемме качества программной продукции / Программное обеспечение ЭВМ: Тезисы докладов III международной научно-технической конференции, Тверь, 1990. - Тверь.: Центрпрограммсистем, 1990. - с. 36-37.

61. Елисов Л.Н. Роль и место педагогической квалиметрии в управлении качеством программных средств вычислительной техники: Тезисы

докладов II Всесоюзного семинара, Дагомыс, 1990. - М.: ВМНИИПС, 1990. - с.36-37.

62. Елисов JI.H., Богачёв E.H. Социально-экономические вопросы повышения качества ПС ВТ / Управление качеством программных средств вычислительной техники: Тезисы докладов Всесоюзного семинара-совещания, Севастополь, 1989. - Тверь.: Центрпрограммсистем, 1990, - с. 15-16.

63. Елисов Л.Н., Карповский Е.Я., Новиков В.И., Чижов С.А. Качест-во программных средств вычислительной техники. Концепция. - Калинин.: Центрпрограммсистем, 1989, - 26 с.

64. Елисов Л.Н., Карповский Е.Я., Новиков В.И., Чижов С.А. Качест-во программных средств вычислительной техники. Концепция. Редакция 2.- Калинин.: Центрпрограммсистем, 1989, - 26 с.

65. Елисов Л.Н., Василевская И.Л. Номенклатура показателей качества подготовки специалистов по вычислительной технике / Квалиметрия человека и образования: методология и практика: тезисы докладов Первого симпозиума, Москва, 1992. - М.: ИЦ, 1992. - с. 18-20.

66. Елисов Л.Н., Шибицкий В.П. Основы алгоритмического мышления и программирования. Дидактическая система. - М.: МИИГА, 1990. 104 с.

67. Заде Л. Понятие лингвистической переменной и его применение к принятию приближенных решений, М., Мир, 1976.

68. Зелковиц М. и др. Принципы разработки программного обеспечения. -М.: Мир, 1982-368 с.

69. Зубков Б.В. Проблема эргономических исследований в обеспече-нии безопасности полётов. - В сб. Логико-методологические проблемы технической эксплуатации летательных аппаратов и обеспечения безопасности полётов. - М.: МИИГА, 1991.-е. 52-55.

70. Инмон У., Фридман Л. Методология экспертной оценки проектных решений для систем с базами данных. - М.: Финансы и статистика, 1986. -280 с.

71. Карповский Е.Я., Сагач В В., Чернецкий A.A. Надежность алгоритмов управления. - Киев: Техника, 1983. - 112 с.

72. Карповский Е.Я. Надежность специального математического обеспечения управления. - Одесса: Вшца шк., 1982. - 152 с.

73. Кини Р.Л., Райфа X. Принятие решений при многих критериях: предпочтения и замещения - М.: Радио и связь, 1981. - 560 с.

74. Кулаков А.Ф. Оценка качества программ. - К.: Техника, 1984. - 167 с.

75. Крамер Г. Математические методы статистики. - М.: Мир, 1975. - 648 с.

76. Липаев В.В. Качество программного обеспечения. М.: Финансы и статистика, 1983. - 263 с.

77. Литвак Б.Г. Экспертная информация: методы получения и анализа.-М.: Радио и связь, 1982. - 345 с.

78. Майерс Г. Надежность программного обеспечения. М.: МирД 980,360 с.

79. Мелихов А.Н., Берштейн Л.С., Коровин С.Д. Ситуационные советующие системы с нечеткой логикой. - М.: Наука, 1990. - 240 с,

80. Месарович М., Мако Д., Такахара Я. Теория иерархических многоуравневых систем. - М.: Мир, 1973. - 344 с.

81. Месарович М., Такахара Я. Общая теория систем: Математичес-кие основы. - М.: Мир, 1978. - 312 с.

82. Моисеев H.H. Математические задачи системного анализа. - М.: Наука, 1981.-488 с.

83. Мушик Э., Мюллер П. Методы принятия технических решений: Пер. с нем. -М.: Мир, 1990. -208 с.

84. Поспелов Д.А. Ситуационное управление: теория и практика. - М.: Наука, 1986. - 284 с.

85. Райшпке К. Модели надёжности и чувствительности систем. - М.: Мир, 1979. - 320 с.

86. Растригин Л.А. Современные принципы управления сложными объектами. - М.: Сов. радио, 1980. - 240 с.

87. Руководство по предотвращению лётных происшествий. ИКАО, 1985. -47 с.

88. Руководство по эксплуатации системы "Безопасность-Iй. - М.: Воздушный транспорт, 1984. - 110 с.

89. Саката Сиро. Практическое руководство по управлению качест-вом. -М.: Машиностроение, 1980. - 214 с.

90. Сакач Р.В., Зубков Б.В., Давиденко и др. Безопасность полётов. М.: Транспорт, 1989.

91. Селезнева H.A. Смена стратегий в развитии высшего образования и научных исследований. / В сб. научн. трудов: Управление качеством подготовки специалистов в высшей школе. - Горький: ГГУ, 1989, с. 3-5.

92. Селезнева H.A., Беспалько В.П., Соколов H.A. Фонды комплексных квалификационных заданий по специальностям высшего образования. -М.: Гособразование СССР, 1989. - 88 с.

93. Селезнева H.A., Татур Ю.Т. Проектирование квалификационных требований к специалистам с высшим образованием. Труды исследовательского центра. - М.: Гособразование СССР, 1991. - 65 с.

94. Смирнов H.H. Техническая эксплуатация летательных аппаратов. М.: Транспорт, 1987. - 288 с.

95. Суббето А.И. Введение в квалиметрию высшей школы / Труды исследовательского центра, ч. 1-6. М.: ИЦ, 1991, 584 с.

96. Субетто А.И. Квалиметрия. - Ленинград.: ВИКИ, 1986. - 312 с.

97. Субетто А.И. Методы оценки качества проектов и работ. - Ленинград.: ВИКИ, 1982. -126 с.

98. Уолщ Д. Руководство по созданию документации по математическому обеспечению. -М.: Наука. - 1975, -2512 с.

99. Фокс Дж. Программное обеспечение и его разработка. М.: Мир, 1985.386 с.

100. Харман Г. Современный факторный анализ. - М.: Статистика, 1972. - 486 с.

101. Холстед М.Х. Начала науки о программах. - М.: Финансы и статистика, 1981.- 128 с.

102. Цурков В.И. Декомпозиция в задачах большой размерности. - М.: Наука, 1981.-352 с.

103. Шураков В.В. Надежность программного обеспечениясистем обработки данных. М.: Финансы и статистика, 1987.- 272 с.

104. Эргономика и труд в гражданской авиации. Сб. научн. трудов. - Киев.: КИИГА, 1984. - 108 с.

105. Эргономические методы аттестации и рационализации рабочихмест и производственных процессов в гражданской авиации. Сб. научн. трудов. - Киев.: КИИГА, 1988. - 124 с.

106. Эргономические проблемы профессионального отбора, подготовки и адаптации на производстве авиационных специалистов. Сб. научн. трудов. - Киев.: КИИГА, 1985. - 136 с.

107. Юдин. Д.Б. Математические методы управления в условиях неполной информации. - М.: Сов. радио, 1974. - 400 с.

108. Shepperd М. An evolution of software product metrics. - Information and Software Technology, N 3, 1988, pp. 177-188.

109. Shepperd M., Ince D. Metrics, outlier analisis and the software design progress. - Information and Software Technology, 1989, V31, N2, pp. 12-16.

110. Chizhov S., Yelissov L. Software Developers certification by means of pedagogical qualimetry / The human factor in quality management. - Pra-gue, Chechoslovakia, 1991, - pp. 182-186.

111. Yelissov L., Chizhov S. Software Certification and Attestation of Software Developers / EOQ. Quality, V.XXXIV, N 4/90, Bern, Switzeland, 1990, pp. 12-14.