Многоатрибутивное формирование N-вариантных программных структур мультиверсионных систем управления тема диссертации и автореферата по ВАК РФ 05.13.01, кандидат технических наук Ежеманская, Светлана Николаевна

• Ежеманская, Светлана Николаевна
• кандидат технических наук
• 2005

Оглавление диссертации кандидат технических наук Ежеманская, Светлана Николаевна

Введение

1. Проблемы формирования N-вариантных программных структур мультиверсионных систем управления

1.1. Сложность программных структур мультиверсионных систем управления

1.2. Надежностные характеристики программных структур систем управления;

1.2.1. Надежностная характеристика программного модуля

1.2.2. Обеспечение надежности программ с помощью введения избыточности

1.3. N-вариантное программирование как методология проектирования мультиверсионных систем управления 32 Выводы

2. Оптимизационные модели формирования N-вариантных программных структур мультиверсионных систем

2.1. Формирование оптимального состава однофункциональной N-вариантной программной структуры

2.2. Формирование оптимального состава однофункциональной N-вариантной программной структуры с избыточностью

2.3. Формирование оптимального состава модулей многофункциональной N-вариантной программной системы

2.4. Формирование оптимального состава многофункциональной N-вариантной программной системы с избыточностью 58 Выводы

3. Многоатрибутивный выбор варианта модульных структур N-вариантных программных систем

3.1. Многоатрибутивный метод принятия решений на основе качественной информации

Л'- 3.2. Проблемы несовместимости качественных данных

3.3. Многоатрибутивный метод принятия решений, исходя из качественной и количественной информации

3.4. Выбор варианта модульных структур N-вариантных

I программных систем

Выводы

4. Многоатрибутивное формирование N-вариантных программных структур взаимосвязанных проектов систем

4.1. Факторы и ограничения при многоатрибутивном выборе

I*1 проектов мультиверсионных систем

4.2. Общая модель многоатрибутивного формирования

I взаимосвязанных проектов

4.3. Формирование взаимосвязанных проектов различных моделей

N-вариантных систем

4.4. Анализ модели формирования проектов N-ВПС с взаимосвязанными ресурсами

4.5. Программные средства формирования N-вариантных программных структур мультиверсионных проектов

4.5.1. Основные сведения

4.5.2. Программная реализация процедур поиска

4.5.3. Элементы графического интерфейса пользователя разработанных пакетов решения задач 115 Выводы 121 Заключение 123 Список использованных источников

Введение диссертации (часть автореферата) на тему «Многоатрибутивное формирование N-вариантных программных структур мультиверсионных систем управления»

Актуальность работы характеризуется тем, что методологиям мультиверсионного проектирования современных, критичных по надежности; систем управления, выполняющих ключевые функции многих технологических, производственных и организационных процессов, включает этап: формирования; N-вариантных программных структур, реализуемых на базе универсальных или специализированных ЭВМ. Сложность подобных процессов наряду с моделями объекта управления определяет и сложность, программных средств системы управления. А от качества функционирования, подобных систем; зависят безопасность человеческих, жизней и экономическая! стабильность, как отдельных предприятий; так и целых регионов.

N-вариантное программирование, реализующее- методологию избыточности; является с одним из наиболее распространенных подходов к: реализации отказоустойчивости программных систем: [1]. В то время, как разработка программного обеспечения имеет характерные особенности, накладывающие ограничения на реализацию программной составляющей критичных по надежности систем управления, методология; мультиверсионного проектирования, как один из подходов к реализации идеи введения избыточных аналогичных элементов в структуру системы программного»обеспечения; на практике доказала- свою эффективность. С использованием; данной методологии были реализованы программные комплексы систем5 управления; летательными; аппаратами, атомными электростанциями и т.п. [2,14,27,31,33-38,73-75,87-89].

В настоящий момент времени на этапе проектирования системы управления немалое значение приобретают время и финансовые средства, затраченные на разработку [94]. Эффективность технологий проектирования программных структур отражается непосредственно на совокупных затратах; на создание комплексов управления объектами. Кроме того, доступность инструментальных, средств автоматизации для разработки; N-вариантных комплексов программного обеспечения определяет длительность создания комплекса программ и общую производительность труда специалистов в коллективе разработчиков.

Формирование избыточного комплекса программ, как один из этапов проектирования мультиверсионной системы управления, во многом определяет общие показатели производительности. Рациональное структурное построение N-вариантных программных комплексов гарантирует достаточно полное использование ресурсов ЭВМ, являющееся залогом качественного решения функциональных задач систем управления. В свою очередь, задачи формирования N-вариантной структуры, которые могут решаться в любых программных средствах, абстрагированы от конкретной управляющей системы, что позволяет рассматривать методы их решения отдельно от целевого назначения системы управления.

Кроме того, технологические особенности проектирования N-вариантных комплексов программного обеспечения, дополняя проблему структурного программного проектирования, выводят ее в разряд общих проблем разработки методов и автоматизированных систем проектирования сложных программных комплексов систем управления. Потенциальная возможность широкого применения таких систем для различных программных средств делает рентабельной их разработку [52].

Поэтому проблеме формирования программных комплексов, проектируемых на основе принципов программной избыточности, в настоящее время уделяется значительное внимание. Проблематика проектирования программных комплексов с использованием методологии N-вариантного программирования рассматривалась в работах А.Авижиениса, Н.Ашрафи, О.Бермана, М.Катлера, Дж.Ву, К.Яо, Р.К.Скотта, Д.МакАллистера, К.Е.Гросспитча, И.В. Ковалева, Р.Ю. Царева, А.А. Попова и многих других. Однако основной трудностью проводимых до сих пор исследований являлось отсутствие формальных теоретических методов, использующих единый терминологический базис. Следует отметить также и относительно невысокую эффективность используемых до настоящего момента времени методов формирования N-вариантных программных структур мультиверсионных систем управления.

Таким образом,. высокая. сложность и практическая«значимость задачи формирования; N-вариантных программных структур для критичных по надежности мультиверсионных систем управления; необходимость в построении единого базиса* для; решения описанной? проблемы наряду с: высокой» практической; и теоретической значимостью формального математического аппарата обусловили выбор темы диссертационного исследования и определили ее актуальность.

Целью диссертационной работы является разработка и обоснование модельного и программно-алгоритмического аппарата для; решения? задач формирования/ N-вариантных программных структур критичных по надежности мультиверсионных систем управления.

Для достижения поставленной цели решались следующие задачи:

- формализация? задач: формирования N-вариантных программных структур критичных по надежности мультиверсионных систем управления ;

- исследование свойств построенных оптимизационных моделей и определение класса оптимизационных задач;

- изучение свойств полученного класса: оптимизационных задач,, обоснование и построение математических методов и алгоритмов i решения полученных задач оптимизации;

- программная реализация и тестирование построенных алгоритмов;

Методы; исследования. Для решения поставленных задач использовался аппарат теории множеств, теории вероятностей; исследования операций, дискретной оптимизации, математического программирования.

Научная новизна работы:

1. Модифицировано основное уравнение постархитектурной модели Б.У. Боэма СОСОМО II, позволяющее оценить стоимость N-вариантного программного обеспечения мультиверсионных систем управления.

2. Выполнена модификация оптимизационных моделей формирования N- вариантных программных структур для многофункциональных мультиверсионных систем управления, проведена их линеаризация и решение с применением алгоритма схемы .метода ветвей и границ.

3. Впервые предложены многоатрибутивные: драйверы затрат, выбираемые в соответствии? с их общей значимостью для совокупности программных проектов, включая N-вариантные программные структуры мультиверсионных систем; причем каждый драйвер затрат определяет умножающий фактор, который позволяет, оценить эффект действия атрибута на величину трудозатрат.

4. Предложен? и реализован; новый подход, позволяющий включить качественную информацию в процесс: решения; задач многоатрибутивного выбора варианта модульных структур N-вариантного ПО мультиверсионных систем управления.

Значение для теории. Результаты, полученные при выполнении диссертационной работы, создают теоретическую основу для разработки многоатрибутивных методов и алгоритмов; направленных на эффективное формирование N-вариантных программных структур: критичных по надежности мультиверсионных систем управления и обработки информации.

Практическая ценность. Разработан5 формальный аппарат, обеспечивающий компьютерную поддержку методов; многоатрибутивного формирования N-вариантных программных: структур для: информационно-управляющих систем, критичных по надежности. Модельное: и программно-алгоритмическое обеспечение средств компьютерной поддержки позволяет в интерактивном режиме специалисту проблемной области эффективно решать задачи многоатрибутивного выбора и принятия решений по составу системных и прикладных компонентов программной структуры мультиверсионных систем управления, структур подсистем обработки и хранения данных с учетом способов: взаимодействия этих компонентов, обеспечивающих гарантоспособность выполнения информационно-алгоритмических задач в системах управления.

Достоверность полученных результатов подтверждается корректным использованием методологии! многоатрибутивного принятия: решений и теоретических методов анализа и синтеза; структур сложных систем; при обосновании полученных результатов, выводов, рекомендаций. и успешной апробацией и демонстрацией; возможностей! разработанной« системы компьютерной поддержки многоатрибутивного формирования N-вариантных программных структур мультиверсионных систем на практике.

Реализация; результатов работы;

Диссертационная; работа; выполнялась, по проектам межотраслевых программа Минобразования? России и Минатома России- по направлению «Научно-инновационное сотрудничество» (проект VII-12), а также в рамках тематического плана НИР ГУЦМиЗ (2001-2004 гг.), финансируемых из средств федерального бюджета.

Материалы диссертационной' работы введены; в учебные курсы и используются; при чтении лекций; для студентов; Государственного университета цветных металлов и золота:

Основные тезисы, выносимые на защиту.

1. Модифицированное уравнение постархитектурной! модели Б.У. Боэма GOCOMO II позволяет оценить стоимость N-вариантного программного обеспечения? мультиверсионных систем у правления t в период, когда уже сформирована архитектура1 системы, и выполняется дальнейшая? разработка N-вариантных структур программного продукта.

2. Использование предложенных в работе многоатрибутивных драйверов затрат для анализа N-вариантных программных структур мультиверсионных систем управления позволяет оценить эффект действия каждого атрибута на величину трудозатрат.

3. Разработанные; модели и алгоритмы многоатрибутивного формирования! N-вариантных программных: структур мультиверсионных систем управления позволяют использовать качественную информацию в процессе решения задач многоатрибутивного выбора варианта модульной структуры ПО, учитывая многофункциональность системы и взаимозависимости- проектов мультиверсионных систем управления, разделяющих общие ресурсы.

4. Предложенный^ формальный? аппарат многоатрибутивного формирования? N-вариантных программных структур мультиверсионных систем управления, реализованный в; виде системы компьютерной? поддержки, применим для автоматизации этапов анализа и синтеза критичных по: надежности структур сложных систем управления и обработки информации различных классов.

Апробация! работы. Основные положения? и результаты работы прошли всестороннюю апробацию на* Всероссийских и международных конференциях, научных семинарах и научно-практических конференциях. В том числе, на Всероссийских научно-технических конференциях «Перспективные материалы, технологии, конструкции, экономика» (Красноярск, 2000-2004), нат Всероссийской научно-технической конференции «Совершенствование методов поиска и разведки, технология1 добычи и переработки руд» (Красноярск, 1996), на Всероссийских научно-технических конференциях «Проблемы подготовки специалистов» в системе непрерывного образования» (Красноярск, 2002-2004), на международной AMSE-конференции «Modeling and Simulation — MS'2004» (Lyon-Villeurbanne, Франция, 2004), на международной» научной; конференции «Information г Technologies - and Telecommunications in Education ; and Science -IT&T ES'2005» (Турция, 2005). Докладывались на научных семинарах кафедры Информационных технологий ГУЦМиЗ (2001-2005 гг.).

По теме диссертации опубликовано 13 работ общим; объемом 3,4 печатных листа, список приводится в конце автореферата.

Заключение диссертации по теме «Системный анализ, управление и обработка информации (по отраслям)», Ежеманская, Светлана Николаевна

Основные результаты и выводы

1. Проведена; формализация- задач формирования^ N-вариантных программных структур критичных по надежности мультиверсионных систем управления, обеспечивающая учет многофункциональности программных модулей системы. Выполнена; линеаризация разработанных оптимизационных моделей? и их решение с применением* алгоритма;схемы метода ветвей и границ.

2. Разработаны модели и алгоритмы; многоатрибутивного формирования N-вариантных программных структур мультиверсионных систем управления, которые позволили включить качественную информацию в процесс решения? задач многоатрибутивного выбора варианта модульной структуры. ПО,1, а также учесть взаимозависимости проектов мультиверсионных систем у правления, разделяющих общие ресурсы.

3. Выполнена модификация основного уравнения постархитектурной модели Б.У. Боэма= COCOMOTI, что позволило оценить стоимость N-вариантного программного обеспечения мультиверсионных систем.

4. Разработана структура системы; компьютерной поддержки многоатрибутивного формирования; N-вариантных программных структур для взаимосвязанных проектов: мультиверсионных систем управления; включая компоненты баз данных.

Таким образом; в диссертации разработан формальный аппарат многоатрибутивных методов формирования N-вариантных программных структур мультиверсионных информационно-управляющих систем, реализованный в виде интерактивной; системы компьютерной поддержки с использованием современных программно-информационных сред и подходов, что имеет существенное значение для теории и практики системного анализа, методов выбора и принятия решений.

Список литературы диссертационного исследования кандидат технических наук Ежеманская, Светлана Николаевна, 2005 год

1. Движение, А.Н; Гарантоспособные вычисления: от идей до реализации в проектах / А;Ш Движение, Ж.-К. Лаири. ТИИЭР, 1986. - Т. 74. -№ 5. - С. 8-21.

2. Богатырев, В.А. К повышению надежности вычислительных систем на основе динамического распределения функций / Изв. вузов. Приборостроение. 1981.

3. Богатырев, В.А. Отказоустойчивые многомашинные вычислительные системы динамического распределения запросов при дублировании, функциональных ресурсов / Изв. вузов. Приборостроение. 1996. № 4.

4. Боэм, Б. Характеристики качества программного обеспечения / Б. Боэм, Дж. Браун, X. Касиар, М. Липов, Г. Мак-Леод, М. Мерит. М.: Мир, 1981.-208 с.

5. Боэм, Б.У. Инженерное проектирование программного обеспечения / Пер. с англ. -М.: Радио и связь, 1985. -512 с.

6. Буч, Г. Объектно-ориентированный анализ и проектирование с примерами на С++. М.: БИНОМ, 1998.- 560 с:

7. Брукшир, Дж. Г. Введение в компьютерные науки. Общий обзор, 6-е издание/Дж.Г. Брукшир.- М.: Издательский дом «Вильяме», 2001.- 688 с.

8. Ю.Волик, Б.Г. Методы анализа и синтеза структур управляющих систем / Под ред. Б.Г.Волика. М.: Энергоатомиздат, 1988. - 296 с.

9. И.Гантер, Р. Методы управления проектированием программного обеспечения / Под ред. Е.К.Масловского. М.: Мир, 1981. - 392 с.

10. Головкин, Б.А. Расчет характеристик и планирование параллельных: вычислительных процессов / М.: Радио и связь, 1983. — 272 с.

11. Гудман, С. Введение в разработку и анализ алгоритмов / G. Гудман, С. Хидетниеми. Пер. с англ. - М.: Мир, 1981. - 366 с.

12. Ежеманская;С.Н., Ковалев?И.В., Царев Р.Ю., Слободин М.Ю. Система многоатрибутивного формирования мультиверсионных программных средств.- М.: ВНТИЦ, 2004.- № 50200400275.

13. Ежеманская С.Н., Ковалев И.В., Царев5 Р.Ю., Семенько Т.Н. Система поддержки принятия' решений при создании мультиверсионной структуры программного обеспечения.- М.: ВНТИЦ, 2004.- № 50200401373:

14. Ежеманская G.Hi,. Гаврилов Е.С., Ковалев И;ВМ Русаков М.А. Надежностная оценка информационных технологий: при комплексной автоматизации: управления предприятием,- М.: ВНТИЦ, 2005.- № 50200500391.

15. Ковалев, И.В. Автоматизация создания программных средств систем управления / В кн.: Микроэлектронные: устройства: проектирование и технология. Красноярск. КПИ, 1990. - С. 79-85.

16. Ковалев, И.В. Многоатрибутивный метод принятия решений с учетом относительной: близости к лучшей альтернативе / И.В. Ковалев, Р.Ю.

17. Царев; Тез. докл. межрегиональной конференции «Математические модели природы и общества» Красноярск: ТЭИ, 2002. - С. 63-66.

18. Ковалев И.В. Многоатрибутивная модель формирования гарантоспособного набора? проектов мультиверсионных; программных систем / И.В. Ковалев, Р.Ю. Царев; Вестник НИИ СУВГ1Т. Вып.7. -Красноярск: НИИ СУВПТ, 2001. - С. 129-137.

19. Ковалев, И.В. Оптимальное проектирование мультиверсионных систем управления / И.В. Ковалев, А.А. Попов, Л.С. Привалов. Доклады НТК с международным участием «Информационные технологии в инновационных проектах» . — Ижевск: ИжГТУ, 2000. - С. 24-29.

20. Ковалев, И.В1 Параллельные процессы в информационно-управляющих системах. Формирование и оптимизация: Монография/ И.В. Ковалев, Р.Ю; Царев, Ю.Г. Шиповалов. Под ред. д.т.н., проф. Л.В. Медведева. - Красноярск: НИИ СУВПТ, 200 V. - 143 с.

21. Ковалев, И;В; Система мультиверсионного формирования; программного; обеспечения; управления; космическими аппаратами: Диссертация на соискание ученой степени; доктора технических нау к / Красноярск: КГТУ, 1997. 228 с.

22. Ковалев, И.В. Надежность архитектуры программного обеспечения телекоммуникационных технологий / И.В. Ковалев, Н.В. Василенко,

23. Р.В.Юнусов; Международная научная конференция Telematica'2001, Санкт-Петербург, 2001- С. 23-24.

24. Ковалев, И.В. Мультиверсионный метод повышения программной надежности информационно-телекоммуникационных технологий в корпоративных структурах / И.В.Ковалев, Р.В. Юнусов; Телекоммуникации и информатизация образования. 2003. №2, С. 50-55.

25. Колчанов, С.Ю. Использование генетических алгоритмов в задачах формирования мультиверсионных программных систем. / Вестник НИИ СУВПТ: Сб. научн. трудов/ Под общей ред. профессора Н.В. Василенко; Красноярск: НИИ СУВПТ.- 2003. Выпуск 1Г.- С. 166-179.

26. Липаев, В.В. Качество программного обеспечения / М.: Финансы и статистика, 1983. 264 с.

27. Липаев, В.В. Технология проектирования комплексов программ АСУ / В.В. Липаев, Л.А. Серебровский. М.: Радио и связь, 1983. - 264 с.

28. Липаев, В.В. Тестирование программ / М.: Радио и связь, 1986. 234 с.

29. Липаев, В.В. Надежность программных средств/ В.В. Липаев.- М.: СИНТЕГ, 1998. 232 с.

30. Майерс, Г. Надежность программного обеспечения: Пер. с англ./ Под ред. В.Ш.Кауфмана. М.: Мир, 1980. - 360 с.

31. Мамиконов, А.Г. Типизация разработки модульных систем обработки данных / А.Г. Мамиконов, В.В. Кульба, С.А. Косяченко. М.: Наука, 1989. - 165 с.

32. Мамиконов, А.Г. Синтез оптимальных модульных систем обработки данных / А.Г. Мамиконов, В.В. Кульба. М.: Наука, 1986.

33. Орлов, С.А. Технологии разработки программного обеспечения. Разработка сложных программных систем/ С.А. Орлов.- СПб.: Питер, 2002.

34. Поздняков, Д.А. Разработка и исследование среды мультиверсионного исполнения программных модулей. / Д.А. Поздняков, И.С. Титовский, Р.В.Юнусов; Вестник НИИ СУВПТ: Сб. научн. трудов; Красноярск: НИИ СУВПТ.- 2003. Выпуск 13:- С. 155-170.

35. Попов, А.А. Бинарная модель отказоустойчивой системы программного обеспечения: Доклады НТК с международным участием «Информационные технологии в инновационных проектах» / А.А. Попов, А.С. Привалов. Ижевск: ИжГТУ, 2000. - С. 77-83.

36. Раинкшкс, К. Оценка надежности систем с использованием графов / К. Раинкшкс, И.А. Ушаков. М.: Радио и связь, 1988.

37. Саркисян, А.А. Повышение качества программ на основе автоматизированных методов / М.: Радио и связь, 1999. 160 с.

38. Соммервилл, И. Инженерия программного обеспечения, 6-е издание.: Пер. с англ. М.: Издательский дом «Вильяме», 2002. - 624 с.

39. Фокс, Дж. Программное обеспечение и его разработка / Пер. с англ. Под ред. Д.Б.Подшивалова. - М.: Мир, 1985. - 268 с.

40. Фатрелл, Р.Т. Управление программными проектами: достижение оптимального качества при минимуме затрат: Пер. с англ. М.: Издательский дом «Вильяме», 2003.

41. Царев, Р.Ю. Преобразование атрибутов при многоатрибутивном принятии решения / Решетневские чтения. Тез. докл. V Всерос. Научн.-практ. конф. студентов, аспирантов молодых специалистов 12-15 ноября 2001г. Красноярск: САА, 2001. - С.119-120.

42. Юнусов, Р.В. Анализ надежности аппаратно-программного информационно-управляющего комплекса / Вестник НИИ СУВПТ: Сб. научн. трудов/ Под общей ред. профессора Н.В. Василенко; Красноярск: НИИ СУВПТ.2003. Выпуск 11. С. 103-106.

43. Юнусов, Р.В. Оценка надежности программного обеспечения клиент-сервер на примере комплексной системы управления предприятием «Галактика» / Вестник НИИСУВПТ; Красноярск: НИИСУВПТ.-2001 .-Вып.7. С.107-112.

44. Юнусов, Р.В. Оценка надежности и гарантоспособная модель архитектуры программного обеспечения / Вестник НИИСУВПТ; Красноярск: НИИСУВПТ.2001.ВЫП.8. С.194-208.

45. Юнусов, Р.В. Моделирование программных архитектур автоматизированных систем управления / Управляющие и вычислительные системы. Новые технологии: Материалы всероссийской электронной научно-технической конференции. Вологда: ВоГТУ, 2001. С. 60-61.

46. Юнусов, Р.В. Модель формирования гарантоспособной архитектуры программного обеспечения / Решетневские чтения: Тезисы докладов 4

47. Всероссийской Научно-практической конференции студентов, аспирантов и молодых специалистов. Красноярск: САА, 2000. С. 172174.

48. Antamoshkin,, A. System; Analysis, Design and Optimization / A. Antamoshkin, H.P. Schwefel; and others. — Ofset Press, Krasnoyarsk, 1993. -312 p.

49. Ashrafi, N. Optimization Models for Selection of Programs, Considering Cost & Reliability / N. Ashrafi, O: Berman;IEEE Transaction on reliability. Vol.41, No 2, June 1992, P.281-287.

50. Avizienis, A. The N-Version approach to fault-tolerant software / IEEE Trans, on Software Engineering. Vol. SE11, № 12, December, 1985. - P. 1491-1501.

51. Berman, O. Choosing an Optimal Set of Libraries / O. Berman, M. Cutler.; IEEE Transaction on reliability. Vol. 45, No 2, June 1996, P;303-307.

52. Bogomolov, S. Fault Tolerance Software Library Support of Real-Time Embedded Systems / S. Bogomolov, A. Bondarenko, A. Fyodarov; Third European Dependable Computing Conference,EDCC-3, Prague, Czech; Republic , September 15-17, 2001.

53. Cherif, A. Improving the Efficiency of Replication for Highly Reliable Systems/ A. Cherif, M. Toyoshima, T. Katayama; FastAbstract ISSRE Copyright 2003.

54. Choi, J.G. Reliability Estimation of nuclear digital I&C systems using Software Functional Block Diagram and control flow / J.G. Choi, H.G.Kang; FastAbstract ISSRE Copyright 2000.

55. David, Ph. Development of a fault tolerant computer system for the Hermes Space Shuttle / Ph. David, C. Guidal. IEEE Trans., 2003. - P. 641-648.

56. Hamlet, D. Foundational Theory of Software Component Reliability7 D. Hamlet, D. Mason, D. Wiot; FastAbstract ISSRE Copyright, 2000.

57. Hecht, H. Fault tolerant software / IEEE Trans. Reliability, Vol. R-28, 1979. P. 227-232.

58. Hui-Qun, Z. A New Method for Estimating the Reliability of Software System Based on Components / Z. Hui-Qun, S. Jing, G. Yuan; FastAbstract ISSRE and Chillarege Corp. Copyright 2001.

59. Hudak, J. Evaluation & comparition of fault-tolerant software techniques / J. Hudak, B.-H. Suh, D. Sieweorek, Z. Segall.

60. Karunanithi, N. Prediction of Software Reliability Using Connectionist / N. Karunanithi, D.Whitley, Y.K.Malaiya; IEEE transactions on reliability. Models July 1992, Vol. 18, No. 7.

61. Kaszycki,. G. Using Process Metrics to Enhance Software Fault Prediction Models/ FastAbstract ISSRE Copyright 1999:

62. Keene, S. Progressive Software Reliability Modeling/ FastAbstract ISSRE Copyright 1999.

63. Knight, C.J:. An experimental evaluation of the assumption of independence in Multiversion programming / C.J. Knight, N.G. Levenson. IEEE Trans. Software Engineering, Vol. SE-12, 1986. - P. 96-109.

64. Kovalev, I. Optimization Reliability Model for, Telecommunications Software: Systems / I. Kovalev , A. Privalov, Ju. Shipovalov. In: Modelling, Measurement and Control. - AMSE Periodicals, Vol.4-5, 2000. - P. 47-52.

65. Kovalev, I. Software engineering of spacecraft control technological cycles / In: "Modelling, Measurement and Control, B". Vol.56, №3. -AMSE PRESS, 1994.-P. 45-49.

66. Kovalev, I.V. Fault-tolerant software architecture creation model based on reliability evaluation / I.V. Kovalev, R.V.Younoussov; Advanced in Modeling & Analysis, vol. 48, № 3-4. Journal of AMSE Periodicals,2002, P.31-43.

67. Levendel, Y. Reliability analysis of large software systems: Defect data modeling / IEEE Trans. Software Engineering, 1990. Vol. 16. - P. 141152.

68. Liestman, A. Fault-Tolerant Scheduling Problem / A. Liestman, R.-H. Campbell. IEEE Trans, on Software Engineering, 1986. - Vol. SE-12. - P. 1089-1095.

69. Lyu, M.R. Handbook of Software Reliability Engineering / Edited by Michael R. Lyu Published by IEEE Computer Society Press and McGraw-Hill Book Company, 1996, 819 p.

70. Lyu, M.R. Software Fault Tolerance / Edited by Michael R. Lyu Published by John Wiley & Sons Ltd, 1996.

71. McFarlan, F.W. Portfolio approach to information systems / Harvard Business Rev. 59. P. 142-150.

72. Muralidhar, K. Using the analytic hierarchy process for information system project selection 7 K. Muralidhar, R. Santhanam, R. Wilson. Information Mgmt 18, 1990. - P. 87-95.

73. Rosenberg, L. Software Metrics and Reliability / L. Rosenberg, T. Hammer, J. Shaw; Software reliability engineering was presented at the 9-th International Symposium, "Best Paper" Award, November, 1998.

74. Zahedi, F. Software reliability allocation based on structure, utility, price, and cost 7 F. Zahedi, N. Ashrafi. IEEE Trans, on Software Engineering, April 1991. - Vol. 17, No. 4. - P. 345-356.