Методы и алгоритмы расчета загрузки телекоммуникационной сети служебным трафиком сетевых приложений тема диссертации и автореферата по ВАК РФ 05.13.13, кандидат технических наук Кузнецов, Максим Викторович

• Кузнецов, Максим Викторович
• кандидат технических наук
• 2009

Оглавление диссертации кандидат технических наук Кузнецов, Максим Викторович

ВВЕДЕНИЕ.

ГЛАВА 1. ПРОБЛЕМЫ И ЗАДАЧИ ОЦЕНКИ КАЧЕСТВА ПО.

1.1 Понятие качества ПО.

1.1.1 Характеристики качества ПО.

1.1.2 Стандартизация характеристик качества ПО.

1.1.3 Языки моделирования качества ПО.

1.2 Критерии оценки качества ПО.

1.2.1 Метрики качества ПО.

1.2.2 Качество и надежность ПО.

1.3 Методы и средства обеспечения качества ПО.

1.3.1 Качество ПО в процессах жизненного цикла.

1.3.2 Методы управления качеством ПО.

1.3.3 Методы тестирования ПО.

1.4 Проблемы обеспечения и оценки качества в РПС.

1.4.1 Понятие РПС.

1.4.2 Качество современных РПС.

1.4.3 Интеграция сетевых приложений в состав РПС.

1.4.4 Подсистема мониторинга и оценки качества РПС.

Выводы.

ГЛАВА 2. МЕТОДЫ И МОДЕЛИ ОЦЕНКИ НАДЕЖНОСТИ ПО.

2.1 Задача оценки надежности ПО.

2.1.1 Общие положения.

2.1.2 Классификация ошибок в ПО.

2.1.3 Испытания ПО на надежность.

2.2 Методы оценки надежности ПО.

2.2.1 Методы раннего предсказания качества ПО.

2.2.2 Методы, основанные на применении байесовских сетей.

2.2.3 Методы, основанные на величине экономического риска.

2.2.4 Методы, основанные на анализе графа исполнения ПО.

2.2.5 Методы, основанные на статистике выявленных ошибок.

2.3 Математические модели надежности ПО.

2.3.1 Основные модели надежности.

2.3.2 Проблемы и ограничения моделей надежности ПО.

2.3.3 Методы автоматизации процесса анализа надежности ПО.

2.4 Оценка надежности РПС.

2.4.1 Специфика анализа и оценки надежности РПС.

2.4.2 Требования к модели оценки надежности РПС.

Выводы.

ГЛАВА 3. МАТЕМАТИЧЕСКИЕ МОДЕЛИ ДЛЯ ОЦЕНКИ НАГРУЗКИ НА СЕТЕВОЕ ОБОРУДОВАНИЕ.

3.1 Прямая оценка взаимного влияния программных модулей.

3.1.1 Оценка взаимного влияния модулей в сетевых приложениях РПС

3.1.2 Моделирование совместной работы программных модулей.

3.2 Анализ работы сетевого программного комплекса.

3.2.1 Общее описание комплекса и задачи анализа надежности.

3.2.2 Математическая модель появления ошибок в процессе решения задачи.

3.2.3 Вычисление характеристик надежности модулей и РПС в целом

3.2.4 Методика применения модели.

3.2.4 Пример практического применения методики анализа надежности сетевого приложения.

3.3 Анализ подсистемы оценки надежности сетевого приложения.

3.3.1 Описание подсистемы.

3.3.2 Математические модели для анализа подсистемы.

Выводы.

ГЛАВА 4. ПОДСИСТЕМА МОНИТОРИНГА РАБОТЫ СЕТЕВЫХ ПРИЛОЖЕНИЙ.

4.1 Обобщенная структура системы.

4.2 Принципы функционирования системы.

4.2.1 Процесс сбора данных подсистемой мониторинга.

4.2.2 Взаимодействие сетевых компонентов подсистемы мониторинга

4.3 Подсистема оценки загрузки телекоммуникационной сети для РПС "Интеграция".

4.3.1 Назначение и организация РПС "Интеграция".

4.3.2 Структура РПС "Интеграция".

4.3.3 Результаты внедрения методов анализа загрузки в подсистему мониторинга.

Выводы.

Введение диссертации (часть автореферата) на тему «Методы и алгоритмы расчета загрузки телекоммуникационной сети служебным трафиком сетевых приложений»

Применение современных информационных технологий в различных областях деятельности связано, как правило, с активным использованием разнообразного сетевого программного обеспечения (СПО), функционирующего в неоднородной сетевой среде в виде сетевых приложений, каждое из которых можно представить в виде совокупности программных модулей. Набор сетевых приложений, сконфигурированных на исполнение конкретных задач в компьютерной сети, представляет собой распределенную программную систему (РПС).

К настоящему моменту можно выделить ряд специализированных областей применения РПС в составе различных автоматизированных систем обработки информации и управления, когда ошибка или отказ в работе РПС может нанести ущерб, значительно превышающий положительный эффект от ее использования. Примерами таких ответственных областей являются авиационная и космическая промышленность, системы управления на крупных техногенных объектах (химически-опасные производства, атомные электростанции), медицинские системы жизнеобеспечения и ряд других. В этой связи одним из главных вопросов применения СПО в таких системах является обеспечение и оценка его качества. При этом в подавляющем большинстве случаев качество СПО характеризуется надежностью его работы (т.е. отсутствием сбоев и отказов).

Решение задачи обеспечения надежности сетевых приложений требует создания методов оценки данной характеристики и количественной шкалы ее измерения. Данная процедура требует сбора и передачи по каналам связи, хранения и обработки большого количества статистических данных о работе сетевых приложений, составляющих служебный трафик. Эта служебная информация собирается с вычислительных узлов сети, на которых исполняются программные модули сетевых приложений, специализированной подсистемой мониторинга. В результате, помимо нагрузки, создаваемой при взаимодействии самих сетевых приложений, появляется дополнительная нагрузка, вызванная служебным трафиком сетевых приложений. Это связано с тем, что подсистема мониторинга размещается и функционирует в рамках той же компьютерной сети, где исполняются сетевые приложения, что может привести к снижению общего качества работы сетевых приложений и РПС в целом.

Установлено, что имеет место зависимость количества передаваемой служебной информации от надежности работы сетевых приложений. Кроме того, существует специфика совместной работы программных модулей и сетевых приложений в составе РПС, обуславливающая их взаимное влияние, что требует развития известных методов оценки надежности автономных программных модулей.

Задача оценки данных зависимостей является приоритетной, поскольку ее решение позволяет определять параметры служебного трафика и формировать обоснованные требования к характеристикам телекоммуникационного и серверного оборудования сети.

Кроме того, по результатам анализа качества работы сетевых приложений, появляется возможность оптимизации работы РПС путем изменения порядка запуска программных модулей, перемещения их между вычислительными узлами с целью локализации сетевого трафика, реконфигурирования сетевых ресурсов. Все эти меры также позволяют улучшить надежностные характеристики РПС, например, путем точной локализации места возникновения ошибки (сбоя), без приобретения дополнительных аппаратных средств и/или существенной переработки самого ПО, что во многих случаях является экономически более целесообразным.

В связи с изложенным, тематика диссертационной работы является актуальной, а полученные теоретические результаты и практические решения имеют важное прикладное значение.

Цель работы

Разработка и анализ структуры распределенной подсистемы мониторинга работы сетевых приложений, создание математических моделей для количественной оценки параметров служебного трафика и загрузки телекоммуникационного и серверного оборудования сети.

Задачи исследований

Для достижения поставленной цели в работе сформулированы и решены следующие задачи: проведен анализ взаимосвязи качества работы сетевых приложений с параметрами служебного трафика данных об их работе; проведен анализ особенностей построения и функционирования РПС и анализ взаимного влияния программных модулей при совместном функционировании в составе сетевых приложений; разработан комплекс математических моделей для расчета показателей надежности сетевых приложений и связанных с этим параметров трафика служебных сообщений; разработан комплекс математических моделей для оценки нагрузки на сетевое и серверное оборудование служебным трафиком подсистемы мониторинга работы сетевых приложений.

Методы исследований

При решении поставленных в диссертации задач применялись методы теории вероятностей и математической статистики, теории марковских цепей, теории вычислительных сетей, теории математического программирования.

На защиту выносятся:

- метод оценки взаимного влияния программных модулей при сетевом взаимодействии в составе сетевых приложений, позволяющий использовать результаты оценки их надежности при работе в автономном режиме;

- математическая модель надежности функционирования сетевого приложения и метод ее адаптации к системе с произвольной топологией сетевых связей;

- комплексная модель подсистемы мониторинга надежности сетевых приложений в компьютерной сети, схема организации и хранения данных о надежности и методология их обработки;

- математическая модель оценки загруженности вычислительных и телекоммуникационных ресурсов служебным трафиком о работе сетевых приложений.

Научная новизна полученных результатов заключается в комплексном подходе к анализу качества работы и разработке математических моделей для количественной оценки надежности сетевых приложений, учитывающих взаимное влияние составляющих их программных модулей при работе в составе РПС, а также в установлении зависимости между надежностью программных модулей и параметрами служебного трафика, и разработке математических моделей для расчета параметров служебного трафика, связанного с передачей данных о работе сетевых приложений.

Практическая ценность результатов диссертации состоит в создании методов расчета параметров служебного трафика сетевых приложений, основанных на математических моделях оценки качества приложений, инвариантных относительно практического назначения приложений, а также разработке типовой структуры распределенной подсистемы мониторинга работы приложений, что дает возможность обоснованно выбирать параметры серверного оборудования и каналов связи, учитывать вносимую служебным трафиком нагрузку на телекоммуникационное оборудование.

Достоверность и обоснованность результатов, полученных в диссертации, обеспечиваются соответствием разработанных моделей и. алгоритмов известным теоретическим результатам и реальным процессам формирования служебного трафика при работе сетевых приложений и подтверждаются положительными результатами их практической реализации при оценке загруженности ресурсов реальных РПС.

Апробация работы

Основные положения и результаты диссертационной работы докладывались и обсуждались на научно-технических конференциях студентов, аспирантов и молодых специалистов МИЭМ (2004-2006, 2008 гг.), XLI Всероссийской конференции по проблемам математики, информатики, физики и химии, (2005 г.), Международной конференции «Информационные и телекоммуникационные технологии в интеллектуальных системах» (2004 г.), 15-й Международной научно-технической конференции в Рязанском государственном радиотехническом университете (2008 г.). Публикации

Результаты диссертационной работы отражены в 8 опубликованных печатных работах, из них одна в издании, рекомендованном ВАК.

Заключение диссертации по теме «Телекоммуникационные системы и компьютерные сети», Кузнецов, Максим Викторович

Общие выводы

По результатам проведенных исследований и разработок можно сделать следующие заключения и выводы.

1. Проведен анализ особенностей построения и функционирования РПС и сетевых приложений, выявлены основные проблемы оценки их надежности, связанные со спецификой работы приложений в составе РПС. Показано, что для оценки надежности приложений необходимы специальная подсистема мониторинга, которая проводит сбор информации о работе приложений, а также оценка параметров возникающего при этом служебного трафика.

2. Выполнена классификация основных моделей оценки надежности автономных программных модулей, выявлено их общее ограничение, а именно невозможность учета сетевого взаимодействия при их работе в составе РПС. Обоснована необходимость обобщения известных результатов для решения задачи комплексной оценки надежности сетевых приложений.

3. Выбран критерий и разработан метод оценки взаимного влияния программных модулей при взаимодействии в составе сетевого приложения, обоснован вывод о необходимости применения данного метода как предварительного этапа комплексной оценки качества сетевого приложения.

4. Разработана математическая модель функционирования сетевого приложения в компьютерной сети, позволяющая учитывать характеристики надежности входящих в его состав программных модулей, а также универсальный метод адаптации данной модели к произвольной РПС.

5. Разработана математическая модель оценки загрузки телекоммуникационного и серверного оборудования компьютерной сети служебным трафиком сетевых приложений в зависимости от надежности сетевых приложений.

6. На основе разработанных в диссертационной работе методов и алгоритмов созданы эффективные программные реализации, которые были внедрены в структуру информационного программного комплекса "Интеграция". Это позволило существенно улучшить ее эксплуатационные характеристики, идентифицировать наиболее загруженные подсистемы, сформировать количественные требования к сетевым и вычислительным ресурсам.

Результаты диссертационной работы могут быть полезны для разработчиков сетевых приложений и РПС, администраторов вычислительных сетей различного назначения.

Список литературы диссертационного исследования кандидат технических наук Кузнецов, Максим Викторович, 2009 год

1. Антонов А.В., Байбулатов А.А., Масолкин С.И. Применение экспертной оценки качества программного обеспечения при проведении верификационных процедур // Труды ИПУ РАН, Т. XV1.I . - М.: ИПУ РАН, 2002.-с. 85-94.

2. Архангельский Б.В., Черняховский В.В. Поиск устойчивых ошибок в программах. -М.: Радио и связь, 1989. 240 с.

3. Баглюк С.И., Мальцев М.Г., Смагин В.А., Филимонихин Г.В. Надежность функционирования программного обеспечения. СПб.: 1991. - 78 с.

4. Барзилович Е.Ю., Беляев Ю.К., Каштанов В.А. Вопросы математической теории надежности. — М.: Радио и связь, 1983. 376 с.

5. Бендат Дж., Пирсол А. Измерение и анализ случайных процессов./ Под ред. И.Н.Коваленко. -М.:Мир, 1971.-408 с.

6. Блэк Ю. Сети ЭВМ: протоколы, стандарты, интерфейсы./ Пер. с англ. М.А.Болдырева, под ред. В.В.Василькова М.: Мир, 1990. - 510 с.

7. Борисенков С. В., Воропаев А. П., Семенов В. А., Лукашкин А. Н. О точностных характеристиках некоторых моделей надежности программного обеспечения. // Двойные технологии, 1999, №3.

8. Боровков А.А. Математическая статистика: Оценка параметров. Проверка гипотез. -М.: Наука, 1984. 472 с.

9. Бочаров П.П., Печинкин А.В. Теория вероятностей и математическая статистика. -М.: Гардарика, 1998. 326 с.

10. Боэм Б. Инженерное проектирование программного обеспечения./ Пер. с англ. под ред. А.А. Красилова. М.: Радио и связь, 1985. — 511 с.

11. Боэм Б., Браун Дж., Каспар X. и др. Характеристики качества программного обеспечения./ Пер с англ. Е.К.Масловского. М.: Мир, 1981.-206 с.

12. Брауде Э. Дж. Технология разработки программного обеспечения./ Пер с англ. СПб.: Питер, 2004. - 656 с.

13. Брукс Ф. Мифический человеко-месяц или как создаются программные системы./ Пер. с англ. СПб.: Символ-Плюс, 1999. - 304 с.

14. Бутаков Е.А. Методы создания качественного программного обеспечения ЭВМ. -М.: Энергоатомиздат, 1984. 230 с.

15. Вентцель Е.С., Овчаров JI.A. Теория случайных процессов и ее инженерные приложения: Учеб. Пособие для студ. втузов. — 3-е изд., перераб. и доп. М.: Академия, 2003. - 432 с.

16. Вишневский В.М. Теоретические основы проектирования компьютерных сетей. -М.: Техносфера, 2003. 512с.

17. Гантмахер Ф.Р. Теория матриц. 4-е изд., доп. М.: Наука, 1988. - 548 с.

18. Гасел В. Стиль, разработка, эффективность, отладка и испытание программ. М: Мир, 1981. - 214 с.

19. Гласс Р. Руководство по надежному программированию./ Пер. с англ. Ю.П. Кондрапина, В.М. Рабиновича, под ред. В.М.Рабиновича. М.: Финансы и статистика, 1982. — 256 с.

20. Гнеденко Б.В. Случайные процессы, математическая статистика и их приложения. 6-е изд., перераб. и доп. — М.: Изд-во МГУ, 1989. 72 с.

21. Гнеденко Б.В., Беляев Ю.К., Соловьев А.Д. Математические методы в теории надежности. М.: Наука, 1965. - 524 с.

22. Говорский А.Э. Модели надежности информационно-управляющих систем. СПб: СПГУВК, 1997. - 105 с.

23. ГОСТ 28195-89. Оценка качества программных средств. Общие положения. М.: Изд-во стандартов, 1989. - 34 с.

24. Гришин А.В., Никонов С.Н., Ионов А.А. Метрики качества программного проекта. // Нижегородский государственный университетим. Н.И. Лобачевского, факультет вычислительной математики и кибернетики, 2004. 24 с.

25. Ермаков С.М., Михайлов Г.А. Курс статистического моделирования. — М.: Наука, 1976. 320 с.

26. Зиглер К. Методы проектирования программных систем. М: Мир. 1985.-328 с.

27. Ивченко Г.И., Каштанов В.А., Коваленко И.Н. Теория массового обслуживания. -М.: Высшая школа, 1982. 256 с.

28. Игнатьев М.Б., Фильчаков В.В., Осовецкий Л.Г. Активные методы обеспечения надежности алгоритмов и программ. СПб: Политехника, 1992 г.-288 с.

29. Изосимов А.В, Рыжко А.Л. Метрическая оценка качества программ. — М.: Изд-во МАИ, 1989. 96 с.

30. Иыуду К.А., Касаткин А.И., Бахтизин В.В. Прогнозирование надежности программ на "ранних этапах разработки. // Надежность и контроль качества. 1982. - № 5. - С.18-30.

31. Кабак И.С., Рапопорт Т.Н. Оценка надежности программного обеспечения по математической модели. Проблемы создания гибких автоматизированных производств. Под ред. И.М. Макарова, К.В. Фролова, П.Н. Белянина. М.: Наука, 1987. - с. 236-245.

32. Калянов Г.Н. Анализ методологий проектирования программного обеспечения и основные направления их развития. // Материалы семинара "CASE технология". М.: ЦРДЗ, 1993. - с. 60-65.

33. Карлин С. Основы теории случайных процессов./ Пер. с англ. М.: Мир, 1971.-536 с.

34. Карповский Е.Я., Чижов С.А. Надежность программной продукции. -Киев: Техника, 1990. 158 с.

35. Кендалл М. Дж, Стьюарт А. Статистические выводы и связи./ Пер. с англ. под ред. А.Н. Колмогорова. Т. 2. -М.: Наука, 1973. 900 с.

36. Кемени Дж., Снелл Дж. Конечные цепи Маркова. — М.: Наука, 1982. — 320 с.

37. Клейнрок JI. Вычислительные системы с очередями./ Пер. с англ. — М.: Мир, 1979.-600 с.

38. Клейнрок JI. Коммуникационные сети (стохастические потоки и задержки сообщений)./ Пер. с англ. М.: Наука, 1970. 256 с.

39. Клейнрок JT. Теория массового обслуживания./ Пер. с англ. М.: Машиностроение, 1979. -431 с.

40. Климов Г.П., Кузьмин А.Л. Вероятность, процессы, статистика. Задачи с решениями. -М.: изд. МГУ, 1985. 232 с.

41. Коганов А.В., Романюк С.Г. Экономический подход к понятию надежности программы. // Открытые системы, 1995, №3.

42. Корн Г., Корн Т. Справочник по математике для научных работников и инженеров./ Пер. с англ. — М.: Наука, 1974. 831 с.

43. Крамер Г. Математические методы статистики./ Пер. с англ. под ред. А.Н. Колмогорова. М.: Мир, 1975. - 648 с.

44. Крамер Г., Лидбеттер М. Стационарные случайные процессы. М.: Мир. 1969.-400 с.

45. Крейг X. Персональные компьютеры в сетях TCP/IP./ Пер. с англ. — BHV Киев, 1997.-384 с.

46. Кристофидес Н. Теория графов. Алгоритмический подход. М.: Мир, 1978. 432с.

47. Кузнецов В.В., Смагин В.А. Прямая и обратная задачи надежности сложных программных комплексов. // Надежность и контроль качества. -1997.-№ 10.-с. 56-62.

48. Кулаков А.Ф. Управление качеством программных средств ЭВМ. — К.: Техника, 1989.-216 с.

49. Ланкастер П.Л. Теория матриц./ Пер. с англ. С.П. Демушкина. 2-е изд. -М.: Наука, 1982.-269 с.

50. Ларионов A.M. и др. Вычислительные комплексы, системы и сети. — М.: Энергоатомиздат, 1987.-285 с.

51. Липаев В.В. Качество программного обеспечения. М.: Финансы и статистика, 1983. -263 с.

52. Липаев В.В. Надежность программного обеспечения АСУ. — М.: Энергоиздат, 1981.-241 с.

53. Липаев В.В. Надежность программных средств. — М.СИНТЕГ, 1998. — 232 с.

54. Лифпшц А.Л. Статистическое моделирование систем массового обслуживания. М.: Советское радио, 1978. - 210 с.

55. Лонгботтом Р. Надежность вычислительных систем. М.: Энергоатомиздат, 1985.-288 с.

56. Лэнинг Дж.Х, Бэттин Р.Г. Случайные процессы в задачах автоматического управления./ Пер. с англ. М.: Иностранная литература, 1958.-381 с.

57. Майерс Г. Искусство тестирования программ./ Пер. с англ. М.: Финансы и статистика, 1982. - 176 с.

58. Майерс Г. Надежность программного обеспечения./ Пер. с англ. — М.: Мир, 1980.-360 с.

59. Мартин Д. и др. XML для профессионалов./ Пер. с англ. М.: Изд-во "ЛОРИ", 2001.- 1056 с.

60. Миллер Б.М., Панков А.Р. Теория случайных процессов в примерах и задачах. М.: ФИЗМАТЛИТ, 2002. - 320 с.

61. Моисеев Н.Н. Математические задачи системного анализа. М.: Наука,1981. —488 с.

62. Натан А.А. Случайные процессы: Учебное пособие. М.: МФТИ, 1978. -118 с.

63. Олифер В.Г., Олифер Н.А. Компьютерные сети. Принципы, технологии, протоколы. СПб: Питер, 2000. — 672 с.

64. Олифер В., Олифер Н. Новые технологии и оборудование IP-сети. — СПб., 2000.-512 с.

65. Оре О. Теория графов./ Пер. с фр. — М.: Наука, 1968. — 352 с.

66. Осима Ю. Надежность программного обеспечения. // Дзеко сери, 1975. -Т. 16, № 10.-С. 887-894.

67. Осовецкий Л.Г. Сертификация критичных программных средств вычислительных систем. // Дис. д.т.н., СПб, 1993.

68. Пугачев B.C. Теория случайных функций и ее применение к, задачам автоматического управления. — М.: Гостехиздат, 1957. 659 с.

69. Риордан Дж. Вероятностные системы обслуживания. М.:Связь, 1966. -184с.

70. Розанов Ю.А. Введение в теорию случайных процессов. М.: Наука,1982. -128 с.

71. Романовский В.И. Дискретные цепи Маркова. М.; Л.: Гостехтеоретиздат, 1949.-436 с.

72. Романюк С.Г. Оценка надежности программного обеспечения. // Открытые системы, 1994, №4.

73. Рябинин И. А., Черкесов Г.Н. Логико-вероятностные методы исследования надежности структурно-сложных систем. М.: Радио и связь, 1981.-264 с.

74. Саати Т.А. Элементы теории массового обслуживания и ее приложения. -М.: Сов. Радио, 1971. 520с.

75. Саксонов. Е.А. Метод вычисления вероятностей состояний дляоднолинейной системы массового обслуживания с «прогулками» обслуживающего прибора // Автоматика и телемеханика, 1995, № ???. С. 101-106.

76. Свешников А.А. Прикладные методы теории случайных функций. — М.: Наука, 1968.-463 с.

77. Смагин В.А., Солдатенко B.C., Кузнецов В.В. Моделирование и обеспечение надежности программных средств АСУ. — СПб. 1999. — 49 с.

78. Соммервилл И. Инженерия программного обеспечения. 6-е издание./ Пер. с англ. под ред. канд. физ.-мат.наук А.А. Минько. М.: Вильяме, 2002. - 624 с.

79. Таненбаум Э., М. Ван Стен. Распределенные системы. Принципы и парадигмы./ Пер. с англ. СПб.: Питер, 2003. - 877 с.

80. Тейер Т., Липов М., Нельсон Э. Надежность программного обеспечения. -М.: Мир, 1981.-323 с.

81. Феллер В. Введение в теорию вероятностей и ее применения. В 2-х томах./ Пер с англ. М.: Мир, 1987. Т1 - 528с. Т2 - 738с.

82. Фишер Р.А. Статистические методы для исследователей. М.: Госстатиздат, 1958. - 326 с.

83. Хорн Р., Джонсон Ч. Матричный анализ. М.: Мир, 1989. - 655 с.

84. Черкесов Г.Н. Надежность аппаратно-программных комплексов: Учебное пособие. СПб.: Питер, 2005. - 479 с.

85. Штрик А.А., Осовецкий Л.Г., Мессих И.Г. Структурное проектирование надежных программ встроенных ЭВМ. Л.: Машиностроение, 1989. —296 с.

86. Шураков В.В. Надежность программного обеспечения систем обработки данных: Учеб. 2-е изд., перераб. и доп. — М.: Финансы и статистика, 1987. -272 с.

87. Cai К. Censored software-reliability models. // IEEE Transactions on Reliability. 1997. - V. 46, №1. - P. 69-75.

88. Chillarege R., Biyani S., Rosenthal J. Measurement of failure rate in widely distributed software. // Proc. 25th Fault Tolerant Computing Symposium, FTCS-25. 1995. - P. 424-433.

89. Fenton N.E. A Critique of Software Defect Prediction Models. // IEEE Transactions on Software Engineering. 1999. -V. 25, №5. - P. 675-689.

90. Fenton N.E., Ohlsson N. Quantitative Analysis of Faults and Failures in a Complex Software System. // IEEE Transactions on Software Engineering. — 1999.-P. 23.

91. Goel A.L. Software reliability models: Assumptions, limitations, and applicability. // IEEE Transactions on Software Engineering. — 1985. V. SE-11, №12.-P. 1411-1423.

92. Goel A.L., Okumoto, K. Time-Dependent Error-Detection Rate Model for Software Reliability and Other Performance Measures, IEEE Transactions on Reliability. 1979. -V. 28. - P. 206-211.

93. Gokhale S.S., Lyu M.R., Trivedi K.S. Analysis of Software Fault Removal Policies Using a Non-Homogeneous Continuous Time Markov Chain. // Software Quality Journal. 2004. - №12. - P. 211-230.

94. Hamlet, D., Mason D., Woit D. Theory of software component reliability. // In Proc. 23 rd International Conference on Software Engineering, Toronto, Canada.-2001.

95. Happe J. Predicting the Reliability of Component-Based Software Architectures. // Monash University, Faculty of Information Technology, Master Thesis. 2004. - P. 148.

96. Hossain S., Ram Dahiya. Estimating the parameters of a Non-Homogeneous Poisson-Process Model of Software Reliability. // IEEE Transactions on Reliability. 1993. - V. 42, №4. - P. 604-612.

97. Krishnamurthy S., Mathur A.P. On the estimation of reliability of a software system using reliability of its components. // Proceedings of the 8th IEEE International Symposium on Software Reliability Engineering. 1997. - P. 146-155.i

98. Lipov M. Maximum Likelihood Estimation of Software Time-to-Failure Distribution. // TRW report № 2260.1.9-73B-15. 1973.

99. Littlewood B. Software reliability model for modular program structure. // IEEE Transactions on Reliability. 1979. - V. 28, №3. - P. 241-246.

100. Littlewood В., Verrall J. A Bayesian Reliability Growth Model for Computer Software. // Proceedings, IEEE Symposium on Computer Software Reliability, New York. 1973. - P. 70-77.

101. Mason D.V. Probabilistic Program Analysis for Software Component Reliability. // University of Waterloo thesis. 2002. - P. 94.

102. Misra P.N. Software Reliability Analysis. // IBM Systems Journal. 1983. -V. 22, №3.-P. 262-279.

103. Moranda P.B., Jelinski J. Software Reliability Research. // Statistical Computer Performance Evaluation / Ed. by W.Freiberger. — N.Y.: Academic, 1972.

104. Musa J.D. A theory of software reliability and its applications. // IEEE Transactions on Software Reliability. 1975. -V. SE-1, №3. -P. 312-327.

105. Nelson E.N. Estimating software reliability from test data. // Microelectronics Reliability. 1978. - V. 17. - P. 67-74.

106. Ohba M. Software Reliability Analysis Models. // IBM J. Res. Develop. -1984. -V. 28, №4. -P. 428-443.

107. Okumoto K. A statistical method for software quality control. // IEEE Transactions on Software Engineering. 1985. - V. SE-11, №12. - P. 14241430.

108. Schick C.J. Wolverton R.W. Achieving reliability in large scale software system. // Proc. of the Annual Reliability and Maintainability Symposium, Los Angeles. 1974. - P. 302-319.

109. Schneidewind N.F. Reliability Modeling for Safety Critical Software. // IEEE Transactions on Reliability. 1997. - V. 46, №1. - P. 88-98.

110. Shooman M.L. Probabilistic models for software reliability prediction. // in Statistical Performance Evaluation, W. Freiberger, Editor, Academic Press, Inc., New York . 1972. - P. 485-502.

111. Singpurwalla N., Wilson S.P. Software reliability modeling. // International Statistical Review. 1994. -V. 62, №3. - P. 289-317.

112. Sukert C.A. An investigation of software reliability models. // Proc. Annual Reliability and Maintainability Symposium. 1977. - P. 478-484.

113. Weber C.V, Paulk M.C., Wise C.J., Withey J.V. Key Practices of the Capability Maturity Model. // Software Engineering Institute, CMU/SEI-91-TR-25, ADA240604, 1991.

114. Wilson S.P., Samaniego F.J. Non-parametric Analysis of Bug Counting Models in Software Reliability. // Technical Report. 2004. - P. 40. ,

115. Wood A. Software Reliability Growth Models. // Tandem Computers Technical Report 96.1. 1996. - №130056. - P. 38.

116. Yamada S., Osaki S. Software reliability growth modeling: Models and applications. // IEEE Transactions on Software Engineering. 1985. - V. SE-11, №12. - P. 1431-1437.

117. Zhao H.Q, Gao Y. Reliability Analyzing for Software Architecture Based on Components. //MINI-MICRO SYSTEMS. -2001. -V. 3. -P. 100-103.