Комплексные модели анализа и обеспечения отказоустойчивости бортовых вычислительных систем тема диссертации и автореферата по ВАК РФ 05.13.15, кандидат технических наук Камлех Харб

• Камлех Харб
• кандидат технических наук
• 2004

Оглавление диссертации кандидат технических наук Камлех Харб

ВВЕДЕНИЕ

ГЛАВА 1. МЕТОДЫ АНАЛИЗА ГАРАНТОСПОСОБНОСТИ ВЫЧИСЛИТЕЛЬНЫХ СИСТЕМ.

1.1. Анализ гарантоспособности вычислительных систем.

1.1.1. Угрозы гарантоспособности вычислительных систем.

1.1.2. Атрибуты гарантоспособности вычислительных систем.

1.1.3. Способы достижения гарантоспособности вычислительных систем.

1.2. Оценка надежности вычислительных систем.

1.2.1. Сравнительные оценки надежности вычислительных систем.

1.2.2. Вероятностные оценки надежности вычислительных систем.

1.2.3. Внесение неисправностей.

1.3. Математическая модель оценки надежности вычислительных систем.

1.4. Выводы.

ГЛАВА 2. КОМПЛЕКСНЫЕ МОДЕЛИ ОТКАЗОУСТОЙЧИВОСТИ ВС

2.1. Выбор числа процессоров.

2.2. Методы, использующие программную и аппаратную избыточности.

2.3. Интегрированные модели надежности мультипроцессорной ВС с несколькими версиями программ.

2.3.1. Описание модели.

2.3.2. Оценка надежности различных вариантов построения системы.

2.3.3. Анализ влияния сбоев на надежностные характеристики систем.

2.3.4. Влияние программной избыточности на поведения системы.

2.3.5. Зависимость надежности системы от интенсивностей ошибок ПО и отказов аппаратуры.

2.3.6. Зависимость надежности системы от вероятности обнаружения сбоев второго элемента трех элементной системы.

2.4. Выводы.

ГЛАВА 3. АЛГОРИТМЫ ГОЛОСОВАНИЯ И МОДЕЛИ ПОСТРОЕНИЯ РЕШАЮЩИХ БЛОКОВ

3.1. Учет характеристик средств контроля в случае резервирования.

3.2. Методы голосования.

3.3. Исследование характеристик решающих блоков.

3.3.1. Возможности реализации рассмотренных алгоритмов.

3.4. Выводы.

ГЛАВА 4. АНАЛИЗ МЕТОДОВ ОБЕСПЕЧЕНИЯ ОТКАЗОУСТОЙЧИВОСТИ ВС

4.1. Методы обеспечения устойчивости к программным сбоям.

4.1.1. Блоки восстановления.

4.1.2. N-вариантное программирование.

4.1.3. N-самопроверяемое программирование.

4.2. Анализ методов обеспечения отказоустойчивости.

4.2.1. Анализ блоков восстановления.

4.2.2. Анализ N-самопроеряемого программирования.

4.2.3. Анализ N-вариантного программирования.

4.2.4. Сравнение вариантов программ БВ, NBI1 и NCim.

4.3. Анализ надежности отказоустойчивых систем.

4.3.1. Критерии структурирования отказоустойчивых систем.

4.4. Выводы.

Введение диссертации (часть автореферата) на тему «Комплексные модели анализа и обеспечения отказоустойчивости бортовых вычислительных систем»

Широкий диапазон применения вычислительных средств приводит к разнообразию задач, возлагаемых на их программное обеспечение (ПО). Для систем реального времени, особенно со строгими требованиями к работоспособности, требуется системная архитектура, обеспечивающая отказоустойчивость вычислительной системы. Примерами систем, которым необходим такой вид системной архитектуры, является самолетные системы, которые должны сохранять работоспособность в течение всего времени полета.

Разработке методов обеспечения отказоустойчивости вычислительных систем (ВС) посвящено достаточно много работ российских и зарубежных исследователей. Большой вклад в развитие этих методов вносят как российские ученые — К. А. Иыуду [1-7], В. В. Липаев [8,9] и др., так и зарубежные — Ж. К. Лапри [10-14], Ж. Д. Мусса [15], А. Авижиенис [11,16], Б. Ранделл [11,17], и др. [18-27].

Результаты анализа методов и средств, развившихся за последнее сорокалетие, показывают, что существующее положение дел в области создания отказоустойчивых вычислительных систем (ОУВС) может быть описано следующим образом.

В настоящее время имеются различные автоматизированные модели прогнозирования надежности, такие как автоматизированная система оценки надежности CARE III - (computer-aided reliability estimation, Version III) и полумарковский алгоритм оценивания диапазона ненадежности ВС как SURE (Semi-Markov Unreliability Range Estimator). Основным недостатком этих моделей является то, что они направлены на исследование оперативных аппаратных неисправностей и не занимаются исследованием программных неисправностей.

В области программного обеспечения (ПО) появились в последнее время различные методики и средства обеспечения надежности ПО на всех этапах разработки. Например, использование формальной математической спецификации и связанной с ней верификации, предотвращение ошибок и улучшение технико-экономических показателей создания ПО обеспечивается применением современных технологий и систем автоматизированного проектирования, объединенных понятиями CASE и языком четвертого поколения (4GL) [8,28]. В этой области применяется, как язык моделирования архитектуры ADL на этапе анализа и проектирования, так и унифицированный язык моделирования UML.

В области программного обеспечения появилось также устройство MAFALDA, предназначенное для внесения неисправностей программным путем и для определения классов отказов исполняющих систем на базе микроядра (таких, как ОСРВ VxWorks фирмы Wind River Systems, Inc и ОСРВ LynxOS фирмы LynxRTS) [29]. Применяются также упаковщики (wrappers) на уровне операционной системы или прикладной программы [30].

Гарантоспособность вычислительных систем реального времени становится актуальным предметом исследования. Так как в современных условиях появились новые угрозы, которые оказывают большое влияние на надежность функционирования вычислительных систем реального времени, расширялось само понятие надежности — было введено понятие гарантоспособности [10,12].

Проведен обзор существующих работ по обеспечению отказоустойчивости ВС, показал, что основные работы посвящены вопросам разработки методов и алгоритмов обеспечения отказоустойчивости либо аппаратурных, либо программных составляющих ВС. Практически отсутствуют работы по совместным эффектам, вызванным одновременными отказами аппаратуры и программного обеспечения. Теоретические исследования, направленные на обеспечение отказоустойчивости ВС сдерживается как отсутствием алгоритмов разработки решающих блоков, так и отсутствием методов для исследования влияния связанных неисправностей между версиями программного обеспечения.

Общая характеристика работы Актуальность темы. Непрерывно возрастающие требования к задачам, решаемым современными комплексами бортового оборудования (КБО) летательных аппаратов (ДА) различного назначения приводят к усложнению комплексов, к необходимости применения в составе этих комплексов сложных современных вычислительных систем, использующих последние достижения электронной промышленности. Усложнение комплексов выдвигает на первый план проблемы создания отказоустойчивых вычислительных систем (ОУВС), способных нормально функционировать при наличии сбоев и отказов аппаратуры, неисправностей в программах и ошибок в исходных данных. Бортовые ОУВС должны выполнить свои функции (согласно FAA Advisory Circular 25.1309.1А) с интенсивностью отказов не больше Ю-9 за 10 ч полета.

Результаты анализа существующих методов обеспечения отказоустойчивости показывает, что модели, учитывающие взаимосвязь поведения аппаратных и программных составляющих вычислительных систем в нештатных ситуациях в настоящее время практически отсутствуют. Кроме того, известные модели не являются полными в связи с тем, что они не учитывают ряд параметров существенно влияющих на корректное поведение ВС.

Теоретические исследования, направленные на обеспечение отказоустойчивости ВС сдерживается, как отсутствием алгоритмов разработки решающих блоков, так и отсутствием методов для исследования влияния связанных неисправностей между версиями программного обеспечения.

Поэтому задача разработки моделей и методов анализа и обеспечения отказоустойчивости вычислительных систем реального времени с учетом аппаратных и программных составляющих ВС является актуальной. Эта актуальность растет по мере расширения сфер применения и повышения требований к уровню отказоустойчивости и защищенности вычислительных систем. Актуальной также является разработка, как алгоритмов для построения решающих блоков, необходимых для обеспечения надежности отказоустойчивых вычислительных систем, так и методов для исследования влияния связанных неисправностей между версиями программного обеспечения. Поскольку доля отказов, обусловленных программными проектными неисправностями, представляет приблизительно 60% неисправностей ВС [10,11].

Целью диссертационной работы является исследование и разработка комплексных методов и моделей анализа и обеспечения отказоустойчивости бортовых вычислительных систем, учитывающих надежность аппаратного и программного обеспечения.

В соответствии с поставленной целью в диссертации были решены следующие задачи:

- Анализ существующих методов обеспечения гарантоспособности вычислительных систем реального времени;

- Разработка моделей надежности мультипроцессорных вычислительных систем, учитывающих различные варианты размещения программных версий;

- Разработка модели и исследование различных вариантов построения решающих блоков (РБ) отказоустойчивых вычислительных систем;

- Анализ методов повышения отказоустойчивости программного обеспечения и оценки их надежностных характеристик;

- Анализ методов и моделей обеспечения отказоустойчивости вычислительных систем;

- Создание комплекса алгоритмов и программ анализа и оценки надежности различных структур отказоустойчивых вычислительных систем, учитывающих надежность аппаратного и программного обеспечения;

- Разработка методов экспериментальной оценки надежностных характеристик программного обеспечения ОУВС.

Методы исследования. В работе использованы методы теории вероятностей и математической статистики, теории марковских процессов, теории графов и теории надежности.

Научная новизна. Разработана комплексная модель надежности

ОУВС, учитывающая надежностные характеристики аппаратного и программного обеспечения (АЛО) и позволяющая исследовать влияние различных параметров АЛО на отказоустойчивость вычислительной системы.

Разработана модель, учитывающая влияние связанных неисправностей между версиями программного обеспечения, и выработаны рекомендации по повышению отказоустойчивости вычислительных систем в таких ситуациях.

Разработана модель для исследования различных алгоритмов построения решающих блоков, позволяющая обоснованно выбирать структуру РБ и оптимизировать его вероятностные характеристики. Предложены оригинальные алгоритмы построения РБ, упрощающие аппаратную реализацию и обладающие повышенной надежностью.

Получены оценки надежностных характеристик различных вариантов построения программного обеспечения, использующих блоки восстановления, N-вариантное программирование и N-самопроверяемое программирование. Даны рекомендации по построению программного обеспечения, обладающего повышенной отказоустойчивостью.

Практическая ценность. Разработанные модели и методы позволяют адекватно описывать поведение и структуры отказоустойчивых вычислительных систем с учетом надежностных характеристик аппаратного и программного обеспечения.

Предложены инженерные методики, позволяющие обоснованно выбирать структуру и конфигурацию аппаратного и программного обеспечения при проектировании ОУВС с заданными характеристиками.

На основе разработанных моделей и методов обеспечения отказоустойчивости разработан комплекс алгоритмов и программ анализа и оценки надежности различных структур ОУВС, учитывающих надежность аппаратного и программного обеспечения.

Внедрение результатов работы. Полученные в диссертации результаты предназначены для использования при разработке новых ОУВС и использованы в научно-техническом центре и в университете Алеппо (Сирия), а также в учебном процессе при чтении лекции и проведении лабораторных работ и по курсу "управляющие ЭВМ и системы" в Ml ТУ- им. Н.Э. Баумана.

Полученные в диссертации результаты использованы в Научно-учебном комплексе «Информатика и системы управления» Ml "1'У им. Н.Э. Баумана при выполнении опытно-конструкторской работы по созданию отказоустойчивой цифровой вычислительной системы для бортового Фурье-спектрометра, предназначенного для длительного использования в составе научной аппаратуры космического аппарата «Метеор-М».

Апробация работы и публикации. По материалам диссертации опубликованы три статьи и сделан доклад.

Структура и объем работы. Диссертационная работа состоит из введения, четырех глав, общих выводов, списка литературы и приложения. Она изложена на 121 машинописных листах. Содержит 56 рисунков, и 13 таблиц. Список литературы включает 92 наименования.

Заключение диссертации по теме «Вычислительные машины и системы», Камлех Харб

Общие выводы

Настоящая работа посвящена разработке и исследованию комплексных моделей анализа и обеспечения отказоустойчивости бортовых вычислительных систем. Применение таких моделей представляется весьма перспективным в структуре вычислительных систем, поскольку это позволяет упрощать аппаратную реализацию, обладать повышенной надежностью и учитывать ряд параметров существенно влияющих на корректное поведение ВС.

Основными научными и практическими результатами работы являются:

1. Исследованы методы обеспечения гарантоспособности вычислительных систем реального времени, дана классификация методов достижения гарантоспособности.

2. Разработана комплексная модель надежности ОУВС, учитывающая надежностные характеристики аппаратного и программного обеспечения (АПО) и позволяющая исследовать влияние различных параметров АПО на отказоустойчивость вычислительных системы.

3. Разработана модель, учитывающая влияние связанных неисправностей между версиями программного обеспечения, и выработаны рекомендации по повышению отказоустойчивости вычислительных систем в таких ситуациях. На основе разработанной модели показано, что четвертая версия программы улучшает надежность программы только на 0.01% относительно надежности системы с тремя версиями (ВБР одного из которых R = 0-95).

4. Разработана модель для исследования различных алгоритмов построения решающих блоков (РБ), позволяющая обоснованно выбирать структуру РБ и оптимизировать его вероятностные характеристики. Предложены оригинальные алгоритмы построения РБ, упрощающие аппаратную реализацию и обладающие повышенной надежностью. Предложенные оригинальные алгоритмы построения РБ позволяют уменьшить вес и габарит бортовой ВС, упрощают аппаратную реализацию и обладают повышенной надежностью. ВБР полученного РБ РБВ = 0.9833, а ВБР трех процессорной системы Р^ = 0.972.

5. Получены оценки надежностных характеристик различных вариантов построения программного обеспечения, использующих блоки восстановления, N-вариантное программирование и N-самопроверяемое программирование. Предложен метод для вычисления среднего времени выполнения БВ. Даны рекомендации по построению программного обеспечения, обладающего повышенной отказоустойчивостью.

6. Разработана модель ОУВС, использующая блоки восстановления, N-вариантное программирование и N-самопроверяемое программирование и получены оценки их надежностных характеристик.

7. На основе разработанных моделей и методов обеспечения отказоустойчивости разработан комплекс алгоритмов и программ анализа и оценки надежности различных структур ОУВС, учитывающих надежность аппаратного и программного обеспечения.

8. Предложенные модели использованы при проектировании реальных ОУВС а научно-исследовательском центре (SSRC - Сирия) и позволили получить 10-15% повышение надежности систем.

Список литературы диссертационного исследования кандидат технических наук Камлех Харб, 2004 год

1. Иьгуду К. А., Кривощенков С. А. Математические модели отказоустойчивых вычислительных систем. — М.: МАИ, 1989. — 142 с.

2. Иыуду К. А. Теория надежности и живучести бортовых вычислительных машин. М.: МАИ, 1978. - 52 с.

3. Иыуду К. А., Силаева Т. А. Обеспечение надежного функционирования ЭВМ и систем. -М.: МАИ, 1993. 46 с.

4. Иыуду К. А. Задачи и упражнения по основам эксплуатации ЭВМ. — М.: МАИ, 1996.-31 с.

5. Иыуду К. А. Аналитическое моделирование надежности отказоустойчивости вычислительных систем // Приборы и системы управления. —1998. No.ll.-С. 40-42.

6. Иыуду К. А. Надежность, контроль и диагностика вычислительных машин и систем. — М.: Высшая школа, 1989. — 215 с.

7. Иыуду К. А., Садчиков П. И., Шаповалов Ю. В. Вычислительные устройства и системы. М.: Высшая школа, 1988. — 237 с.

8. Липаев В. В. Надежность программных средств. — М.: Синтег, 1998. -232 с.

9. Лгтаев В. В. надежность программного обеспечения АСУ. — М.: Энерго-издат, 1981.-239 с.

10. Laprie J. С. Dependability of software-based critical systems // LAAS Toulouse Paper. -1999 . -№ 99369. -27 p.11 .Avizienis A., Laprie J.C., Randell B. Fundamental concepts of dependability // LAAS Toulouse Paper. -2001 . -№ 01145. -19 p.

11. JLaprie J.C. Surte de fonctionnement informatique I I LAAS Toulouse Paper. — 2001.-№01326. -16 p.

12. Fault tolerant computing / J.C. Laprie, J. Arlat, C. Beounces. et al. I I LAAS Toulouse Paper. -1992. -№ 92532. -20 p.

13. A.Deswarte Y., Kanoim K., Laprie J.C. Diversity against accidental and deliberate faults // LAAS Toulouse Paper. -1999. № 99306. -23 p.

14. Musa J. D., Iannino AOkumoto K. Software reliability measurement, prediction, application. — New York: McGraw-Hill Int. editions computer science series. 1987. -621 p.

15. Avizienis A. The N-version approach to fault-tolerant software // IEEE Trans. On SE. -1985. Vol. SE-11, No.12. -P. 1491-1501.

16. Randell B. System structure for software fault tolerance // IEEE TSE. —1975. -Vol. SE-1. -P. 220-232.

17. Dependable systems of systems: State of the art survey / J. Arlat, J.C. Fabre, V. Isscmry et al. // LAAS Toulouse Paper. -2000. № 00353. 97p.

18. State of the art / J. Arlat, K. Kanoun,H. Madeira, et al. // LAAS Toulouse Paper. -2001. —№ 01605. -61p.

19. Spitzer C. R. Digital Avionics Systems, principles and practice. —NewYork: McGraw-Hill, Inc., second edition, 1993. —277 p.

20. Goal A. L. Software reliability models: assumptions, limitations and applicability // IEEE Trans, on SE. -1985. -Vol. SE11, No.12. -P. 1411-1423.

21. Scott R. K., Gault J. W., Mcallister D. F. Fault-tolerant software reliability modeling // IEEE Trans. On SE. -1987. -Vol. SE-13. No. 5. -P. 582-592.

22. Тейер Т., Липов M, Нельсон Э. Надежность программного обеспечения. — М.: Мир, 1981.-323 с.

23. Software product assurance for autonomy on-board spacecraft / J.P. Blanquart, M. Hemek, C. Honvault. et al. // LAAS Toulouse Paper. -2003. -№ 03022. -61. P

24. Okumoto K. A statistical method for software quality control // IEEE Trans, on software engineering. 1985. -Vol.11, No.12. - P. 1424-1437.

25. Rodriguez M., Fabre J.C., Arlat J. From error detection to error recovery wrappers for real-time systems I ILAAS Toulouse Paper. —2002. —№ 02190. — 20 p.

26. Kanoun K. Dependability evaluation: a survey // LAAS Toulouse Paper. — 2002.-№02382.-9 p.

27. Fault Tolerant computing / J. Arlat, Y. Crouzet, P. David et al // LAAS Toulouse Paper. -1998. -№ 98005. 63 p.

28. ЪЪ.Arlat J., Kanoun K., Laprie J.-C. Dependability modeling and evaluation of software-fault tolerance systems: Recovery blocks, N-version programming and N self-checking programming // LAAS Toulouse Paper. —1990. -№ 90057. — 57 p.

29. Lee P. A. Software faults: the remaining problem in fault-tolerant systems. // Lecture notes in computer science — 1994. —№ 774. —P. 174-189.

30. LlImpuK А. А., Осовецкий JI. Г., Мессих И. Г. Структурное проектирование надежных программ встроенных ЭВМ. —Ленинград: Машиностроение, 1989.-296с.

31. Goal A. L. Software reliability models: assumptions, limitations and applicability // IEEE Trans, on SE. -1985. -Vol. SE11, No.12. -P. 1411-1423.

32. Shin К. G., Lee Y.-H. Error detection process model, design, and its impact on computer performance // IEEE Trans, on computers. -1984. -Vol. C-33, No. 6. -P. 529-540.

33. Матов В. И., Белусов Ю. А., Федосеев Е. П. Бортовые цифровые вычислительные машины и системы. — М.: Высшая школа, 1988. — 215 с.

34. Madeira //., Camoes J., Silva J. G. A watchdog processor for concurrent error detection in multiple processor systems // Microprocessors and Microsystems. — 1991.-Vol. 15, No.3. -P. 37—45.

35. Avi Ziv, Bruk J. An On-line Algorithm for Checkpoint Placement // IEEE Trans, on computers. -1997. -Vol. 46, No. 9. P. 57- 63.

36. Feridun A.M. ,Shin KG. A fault tolerant multiprocessor system with rollback recovery capabilities // IEEE 181 Proc. 2-nd Int. Conf. of distributed сотр. systems. London, 1998. - P. 112- 119.

37. Progressive retry for software failure recovery in message-passing applications / Yi-Min Wang, Y. Huang, W. К Fuchs et al. // IEEE Trans. On computers. — 1997. -Vol. 46, No. 10. -P. 37-45.

38. Росляков Д. И., Терехов И. А. Отказоустойчивая технология фирмы "Sequoia" // Зарубежная радиоэлектроника, —1998. —No.l. -С. 76-79.

39. Waeselynsk Н. Verification de logiciels critiques par le test statistique. — Toulouse, 1993. -178 p. (Technical report LAAS.)

40. Есин Ю. Ф., Максимов В. А., Мамаев В. Я. Автоматизированное проектирование программного обеспечения бортовых систем отображения информации. — М.: Машиностроение, 1993. — 329 с.

41. Laprie J.-C. Dependability evaluation of software systems in operation // IEEE Trans. On SE. -1984. -Vol. SE-10, No. 6. -P. 701-714.

42. Барсуков А.Г., Назаров C.B. Измерительные средства и оптимизация вычислительных систем. -М.: Радио и связь, 1990. 248 с.

43. Капитонова Ю.В., Летичевский АЛ. Математическая теория проектирования вычислительных систем. М.: Наука, 1988. - 295 с.

44. Betous-Lmeida С., Kanoun К. Dependability evaluation: from functional to structural modeling // LAAS Toulouse Paper. -2001. -№01088. 17p.

45. Тассел Д. Ван. Стиль, разработка, эффективность, отладка и испытание программ. Перевод с английского Е.К. Масловского, В.А. Прониной: Под редакцией Э.А. Трахтенгерца. Издание 2-е. — М: Мир, 1985. 332 с.

46. Monsef Y. Modelisation et simulation des systemes complexes. -Paris: TEC DOC, 1996.-277 p.

47. Альянах И. H. Моделирование вычислительных систем. — Ленинград: Машиностроение, 1988. — 223с.

48. Артамонов Г.Т., Брехов О.М. Оценка производительности ВС аналитико-статистическими моделями. — М.: Энергоатомиздат, 1993. — 301 с.

49. Платанов С. В., Романовский А. С., Чухоров С. Ю. Применения компьютерных технологий // Вестник МВТУ. Приборостроение.—1999. No 2. -С. 70-77.

50. Фритч В. Применение микропроцессоров в системах управления. — М.: Мир, 1984.-463 с.

51. Погребинский С. Б., Стрельников В. П. Проектирование и надежность многопроцессорных ЭВМ. — М.: Радио и связь, 1988. — 165 с.

52. TabakD. Multiprocessors. —London: Prentice-Hall Int. Inc, 1989. -287 p.

53. Бахтеяров С. Д., Дудников Е. Е., Евсеев М. Ю. Транспьютерная технология. -М.: Радио и связь, 1993. — 315с.

54. Pattipati К. R., Kurien Th., Lee R.-T. On mapping a tracking algorithm onto parallel processors I I ШЕЕ Trans, on aerospace and electronic systems. —1990. -Vol.26, No. 5.-P. 147-153.

55. Bulter R. W., Johnson S. C. Techniques for modeling the reliability of fault-tolerant systems with the Markov state-space approach // NASA ref. —1996. — Publication 1348. -60 p.

56. Дружинин Г. В. Надежность автоматизированных производственных систем. -М.: Энергоиздат, 1986. — 387 с.

57. Принципы обеспечения отказоустойчивости многопроцессорных вычислительных систем // Сборник трудов института проблем управления. — М., 1987.-С 9-17.

58. Kant К. Performance analysis of real-time software supporting fault-tolerant operation // IEEE Trans. On computers. -1990. -Vol.39, No.7 . -P. 906-918.

59. Minto К D., Vidyasagar M. Design of Reliable Control Systems: Theory and Computations. — Waterloo(Canada): University of Waterloo, 1995. —182 p.

60. Chen J., Patton R. /. Robust Model-Based Fault Diagnosis for Dynamic Systems. Boston: Kluwer Academic Publishers, 1999. —354 p.

61. Росляков Д.И., Терехов И. А. Вычислительные системы и параллельные вычисления // Информационные технологии. —1998. —No. 1. -С. 31 -34.

62. Каган Б. М., Мкртумян И. Б. Основы эксплуатации ЭВМ. — М.: Энергоатом издат, 1988. -429 с.

63. Вентцелъ Е. С. Исследование операций. — М.: Советское радио, 1972. -550 с.71 .Королюк В. С, Турбин А. Ф. Процессы марковского восстановления в задачах надежности систем. —Киев.: Наукова думка, 1982. — 236с.

64. Birolini A. Quality and Reliability of Technical Systems, Theory, Practice, Management. —NewYork: Springer, 1997. — 502 p.

65. Trivedi K. S. Probability and statistics with reliability, queuing and computer science applications. — London: Prentice-Hall, 1982. -624 p.

66. Bass J. M., Shabgahi G. L., Bennett S. Experimental comparison of a voting algorithms in cases of disagreement I I Proc. 23rd Euromicro Conference. — Budapest (Hungary), -1997. -P. 516-523.

67. Stuart Bennet. Real-time computer control, an introduction. -New York: Prentice Hall, 1994. 417p.

68. Billinton R., Ronald N.A. Reliability evaluation of engineering systems: concepts and techniques. -New York: Pitman advanced publishing program, 1983. -365 p.

69. Pradhan D. К. Fault-Tolerant computing theory and technique. — London: Prentice-hall, 1986. 695 p.

70. Patrick D. T. Practical reliability engineering. -London: John Wiley & sons, second edition, 1985. 387p.

71. Mathews J. H. Numerical methods for mathematics, science, and engineering.1.ndon: Prentice Hall international editions, 1992. — 646 p.

72. Пархоменко П. IL, Согомонян Е. С. Основы технической диагностики.- М.: Энергоиздат, 1981. 320 с.

73. Rangarajan S., Don Fussel. A probabilistic method for fault diagnosis of multiprocessor systems // IEEE Trans, on computers. — 1985. -Vol. 34. —P. 278283.

74. Rook P. Software Reliability Handbook. Elsevier Applied Science. —London: Springer, 1991. -542 p.

75. S5.Shin K. G., Lee Y.-H. Design and evaluation of a fault-tolerant multiprocessor using hardware recovery blocks // IEEE Trans, on computers. —1984. —Vol.33, No. 2.-P. 113-124.

76. Согомонян E. С., Слабаков E. В. Самопроверяемые устройства и отказоустойчивые системы. — М.: Радио и связь, 1989. — 208 с. %1.Гнеденко Б. В., Беляев Ю. К., Соловьев А. Д. Математические методы в теории надежности. М: Наука, 1965. — 524 с.

77. Вентцель Е. С., Овчаров Л. А. Теория вероятностей. — М.: Наука, 1973. — 364 с.

78. Гнеденко Б. В. Вопросы математической теории надежности. — М.: Радио и связь, 1983. 526 с.

79. Leitch R.D. Reliability analysis for engineers: an introduction. — London: Oxford science publications, 1995. 235p.