Компонентная распределенная архитектура мультиверсионного программного обеспечения отказоустойчивых систем управления тема диссертации и автореферата по ВАК РФ 05.13.01, кандидат технических наук Чикизов, Алексей Александрович

• Чикизов, Алексей Александрович
• кандидат технических наук
• 2007

Оглавление диссертации кандидат технических наук Чикизов, Алексей Александрович

Содержание.

Введение.

1 Проблемы проектирования компонентных распределенных систем управления.

1.1 Основные понятия компонентных технологий.

1.2 Общие принципы построения распределенных систем.

1.3 Синхронное и асинхронное взаимодействие.

1.4 Транзакции.

1.5 Проблемы проектирования надежного программного обеспечения.

2 Современные технологии программирования распределенного программного обеспечения.

2.1 Технология программирования СОМ+.

2.1.1 Не жестко связанные события.

2.1.2 Компоненты с поддержкой очередей.

2.1.3 СОМ+ безопасность.

2.2 Технология программирования .NET.

2.2.1 Структура .NET Framework.

2.2.2 Библиотека базовых классов.

2.2.3 .NET и СОМ-объекты.

2.2.4 Среда исполнения .NET-программ.

3 Структуры мультиверсионных моделей.

3.1 Блоки восстановления.

3.2 N-версионное программирование.

3.3 N-версионное программирование с самоконтролем.

3.4 Блоки восстановления с согласованием.

3.5 Проблемы мультиверсионного программного обеспечения.

3.5.1 Разработка мультиверсионного программного обеспечения.

3.5.2 Алгоритмы выбора вывода.

3.6 Отказоустойчивость в операционных системах.

3.7 Выводы.

4 Многоверсионность данных и управление параллельными транзакциями.

4.1 Транзакции и параллелизм.

4.2 Временные метки.

4.3 Многоверсионный вариант двухфазного протокола синхронизации.

4.4 Многоверсионный протокол для транзакций, не изменяющих данные.

4.5 MVSG-планировщики.

4.6 Проблемы реализации версионных алгоритмов.

4.7 Выводы.

5 Модели и алгоритмы анализа надежности программных средств.

5.1 Модель анализа на этапе дизайна архитектуры ПО.

5.2 Анализ надежности программного обеспечения на фазе кодирования.

5.3 Анализ надежности программного обеспечения на фазе тестирования системы.

5.4 Операционные профили тестирования компонент.

5.4.1 Оценивание вероятностей сбоя.

5.4.2 Ведение таблиц параметров профилей.

5.4.2 Пример применения операционных профилей.

5.5 Модели надежности объектно-ориентированного программного обеспечения.

5.5.1 Фаза построения архитектуры объектно-ориентированного программного обеспечения.

5.5.2 Фаза кодирования.

5.5.3 Фаза тестирования.

5.5.4 Оценка параметров надежности.

5.5.6 Модель оценки транзакционной надежности объектно-ориентированного программного обеспечения.

Введение диссертации (часть автореферата) на тему «Компонентная распределенная архитектура мультиверсионного программного обеспечения отказоустойчивых систем управления»

Современная программная индустрия подразумевает огромные тиражи продуктов среднего качества, имеющих множество недокументированных и, следовательно, неизвестных пользователю, а, возможно, и разработчику свойств; команду разработчиков средней квалификации, кругозор которых ограничен возможностями узкоспециализированных инструментов и технологий; упрощенную систему обучения, ориентированную на быструю подготовку специалистов узкой квалификации; неприхотливость массового пользователя, который имеет неверные ожидания относительно функций и качества приобретаемых программ и связан круговой порукой с разработчиком за счет вовлечения в процесс тестирования.

Исследования последних лет показывают, что качество работы любой системы управления напрямую зависит от надежности и отказоустойчивости программного обеспечения. За прошедшие десятилетия было создано множество методов и моделей обеспечения требуемого уровня надежности программных средств, каждый из которых давал приемлемые результаты для своей уникальной части программных систем, но не являлся универсальным.

Таким образом, учитывая возможности современной программной индустрии и ограничения, накладываемые на системы управления, необходимо выбрать новые методы, которые позволят объективно оценивать надежность будущих систем управления.

Одним из подходов к созданию современных отказоустойчивых систем управления является мультиверсионная методология избыточности. Мультиверсионное программирование позволяет добиться программной избыточности, призванной предупредить случайные сбои. Причем работа системы управления застрахована также и от сбоев, вызванных ошибками, сгенерированными еще во время проектирования и разработки программного обеспечения. Очевидно, что чем больше глубина мультиверсионности, т. е. чем больше число мультиверсий, обеспечивающих исполнение программных модулей, тем выше вероятность корректного функционирования мультиверсионного программного обеспечения.

Системы управления, разработанные по мультиверсионной методологии, исходят из того, что возникновение сбоя в функционально эквивалентных модулях происходит в различных точках, благодаря чему сбои могут быть обнаружены и исправлены. Мультиверсионная методология основывается на разнообразии входных данных, которое может быть введено в следующих элементах процесса разработки мультиверсионного программного обеспечения: языки программирования модулей; алгоритмы решения типовых задач; средства программирования; методы тестирования.

Эффективность мультиверсионного подхода заключается в независимости сбоев различных модулей и является одной из основ мультиверсионного программного обеспечения. Если модули работают в едином адресном пространстве памяти, разделяют одни и те же ресурсы операционной системы, то могут возникнуть дополнительные зависимости между модулями мультиверсионного программного обеспечения. Это создает техническую проблему изоляции исполнительного кода версии модулей мультиверсионного программного обеспечения, что позволит повысить отказоустойчивость и транзакционную надежность программного обеспечения

Разработка методов и моделей совместного использования современных технологий, с поддержкой транзакционной модели для отказоустойчивости функционирования распределенного мультиверсионного программного обеспечения представляют собой научную проблему.

Заключение диссертации по теме «Системный анализ, управление и обработка информации (по отраслям)», Чикизов, Алексей Александрович

ОСНОВНЫЕ РЕЗУЛЬТАТЫ И ВЫВОДЫ

• Проведен анализ современных методов отказоустойчивости программных систем, существующих методик и моделей построения избыточного программного обеспечения, сформированы основные требования выполнения мультиверсий.

• Проведен анализ современных методов проектирования распределенного программного обеспечения, основные требования которых заключается в обеспечении максимально простого доступа к большому количеству ресурсов, повышение надежности путем дублирования отдельных узлов системы.

• Исследованы современные объектно-ориентированные технологии проектирования программного обеспечения, выявлены их основные преимущества при создании мультиверсионного программного обеспечения; технологии СОМ+ и .NET включают в себя все требования мультиверсионных методов.

• Разработан механизм восстановления состояния мультиверсий во время функционирования системы управления, основное назначение которого сохранять состояние и делать откат в случае отказа.

• Сформированы требования к изолированному исполнению мультиверсионных программных модулей и их реализация.

• Решена задача планирования транзакции при работе мультиверсий с СУБД, использование разработанного метода MVSG планировщика позволило сократить время доступа версий к базе данных.

• Применены современные методы компонентного программирования при создании распределенного мультиверсионного программного обеспечения систем управления с поддержкой транзакций, результаты работы показывают, что мультиверсионный подход значительно повышает надежность и отказоустойчивость программ.

Заключение

Разработанная в диссертации компонентная распределенная архитектура мультиверсионных программных систем позволяет исключить взаимное влияние мультиверсионных модулей друг на друга, что обеспечивает независимость отказов отдельных программных модулей. Созданные таким образом программно-информационные системы и системы управления обладают высоким уровнем отказоустойчивости. Кроме того, разработаны транзакционные методы одновременного доступа версий к базам данных, позволяющие повысить быстродействие всей системы в целом, а также повысить отказоустойчивость.

Список литературы диссертационного исследования кандидат технических наук Чикизов, Алексей Александрович, 2007 год

1. С. Szyperski. Component Software Beyond Object-Oriented Programming. Boston, MA: Addison-Wesley and ACM Press, 1998.

2. F. Bachmann, L. Bass, C. Buhman, S. Comella-Dorda, F. Long, J. Robert, R. Seacord, K. Wallnau. Volume II: Technical Concepts of Component-Based Software Engineering, 2nd Edition/ Technical Report CMU/SEI-2000-TR-008.

3. Э. Таненбаум, M. ван Стеен. Распределенные системы. Принципы и парадигмы. СПб.: Питер, 2003.

4. G. Alonso, F. Casati, Н. Kuno, V. Machiraju. Web Services. Concepts, Architectures and Applications. Springer-Verlag, 2004.

5. Michael R. Lyu, editor, Software Fault Tolerance, John Wiley & Sons, 1995.

6. Russell J. Abbott, Resourceful Systems for Fault Tolerance, Reliability, and Safety, ACM Computing Surveys, Vol. 22, No. I, March 1990, pp. 35 68.

7. Гантер, P. Методы управления проектированием программного обеспечения: Пер. с англ./ Р. Гантер, Е. К. Масловский. М.: Мир, 1981. -392 с.

8. Липаев, В. В. Качество программного обеспечения. / В. В. Липаев. М.: Финансы и статистика, 1983. - 263 с.

9. Мамиконов, А. Г. Проектирование АСУ. / А. Г. Мамиконов. М.: Высшая школа, 1987. - 304 с.

10. Липаев, В. В. Проектирование программных средств: Учеб. пособие для вузов по спец. "Автом. сист. обр. информ. и упр.". / В. В. Липаев. М.: Высшая школа, 1990. - 303 с.

11. П.Соммервилл И. Инженерия программного обеспечения / И. Соммервилл. Вильяме, 2002. 624 с.

12. Software Considerations in Airborne Systems and Equipment Certification, RTCA/DO-178B, RTCA, Inc, 1992.

13. Roger S. Pressman, Software Engineering: A Practitioner's Approach, The McGraw-Hill Companies, Inc., 1997.

14. Peter J. Denning, Fault Tolerant Operating Systems, ACM Computing Surveys, Vol. 8, No. 4, December 1976, pp. 359 389.

15. T. Anderson and P.A. Lee, Fault Tolerance: Principles and Practice, Prentice/Hall, 1981.

16. DavidJ. Taylor, Redundancy in Data Structures: Improving Software Fault Tolerance, IEEE Transactions on Software Engineering, Vol. SE-6, No. 6, November 1980, pp. 585 594.

17. David J. Taylor, Redundancy in Data Structures: Some Theoretical Results, IEEE Transactions on Software Engineering, Vol. SE-6, No. 6, November 1980, pp. 595-602.

18. J. P. Black, Introduction to Robust Data Structures, Digest of Papers FTCS-10: The Eleventh Annual International Symposium on Fault-Tolerant Computing, October 1 3,1980, pp. 110 -112.

19. J. P. Black, A Compendium of Robust Data Structures, Digest of Papers FTCS-11: The Eleventh Annual International Symposium on Fault-Tolerant Computing, June 24 26,1981, pp. 129 -131.

20. Dhiraj K. Pradhan, Fault-Tolerant Computer System Design, Prentice-Hall, Inc., 1996.

21. Herbert Hecht and Myron Hecht, Fault-Tolerance in Software, in Fault-Tolerant Computer System Design, Dhiraj K. Pradhan, Prentice Hall, 1996.

22. Brian Randell and Jie Xu, The Evolution of the Recovery Block Concept, in Software Fault Tolerance, Michael R. Lyu, editor, Wiley, 1995, pp. 1-21.

23. Brian Randell, Predictably Dependable Computing Systems, Springer, 1995.24Jim Gray, Why Do Computers Stop and What Can Be Done About It?,

24. Proceedings of the Fifth Symposium On Reliability in Distributed Software and Database Systems, January 13-15,1986, pp. 3-12.

25. Paul E. Ammann and John C. Knight, Data Diversity: An Approach to Software Fault Toleran ce, IEEE Transactions on Computers, Vol. 37, No. 4, April 1988, pp. 418-425.

26. Algirdas Avizienis, The Methodology of N-Version Programming, in R. Lyu, ed itor, Software Fault Tolerance, John Wiley & Sons, 1995.

27. R. Keith Scott, James W. Gau It, and David F. McAllister, Fault-Tolerant Software Reliability Modeling, IEEE Transactions on Software Engineering, Vol. SE-13, No. 5, May 1987, pp. 582 592.

28. Peter Bishop, Software Fault Tolerance by Design Diversity, in R. Lyu, editor, Software Fault Tolerance, John Wiley & Sons, 1995.

29. A. Avizienis, The UCLA DEDIX System: A Distributed Testbed for Multiple-Version Software, Digest of Papers: The Fifteenth Annual International Symposium on Fault-Tolerant Computing (FTCS 15), Ann Arbor, Michigan, June 19-21,1985, pp. 126 134.

30. A. Avizienis, The N-Version Approach to Fault-Tolerant Software, IEEE Transactions on Software Engineering, Vol. SE-11, No. 12, December 1985, pp. 290 300.

31. A. Avizienis and Jean-Claude Laprie, Dependable Computing: From Concepts to Design Diversity, Proceedings of the IEEE, Vol. 74, No. 5, May 1986, pp. 629-638.

32. A. Avizienis, In Search of Effective Diversity: A Six-Language Study of Fault-Tolerant Flight Control Software, Digest of Papers FTCS-18: The Eighteenth International Symposium on Fault-Tolerant Computing, June 27 -30,1988, pp. 15-22.

33. A. Avizienis, Software Fault Tolerance, Information Processing 89, Proceedings of the IFIP lit h World Computer Congress, 1989, pp. 491 -498.

34. А. Avizienis, Dependable Computing Depends on Structured Fault Tolerance, Proceedings of the 1995 6t h International Symposium on Software Reliability Engineering, Toulouse, France, 1995, pp. 158-168.

35. A. Avizienis, Toward Systematic Design of Fault-Tolerant Systems, Computer, April 1997, pp. 51 58.

36. Thomas C. Bressoud, TFT: A Software System for Application-Transparent Fault Tolerance, Digest of Papers: Twenty-Eight Annual International Symposium on Fault-Tolerant Computing, Munich, Germany, June 23 25, 1998, pp. 128-137.

37. F. Saglietti, Strategies for the Achievement and Assessment of Software Fault-Tolerance, IF AC 1990 World Congress, Automatic Control. Vol. IV, IF AC Symposia Series, Number 4,1991, pp. 303 308.

38. J. C. Knight, et al, A Large Scale Experiment in N- Version Programming, Digest of Papers FTCS-15: The 15th Annual International Conference on Fault Tolerant Computing, June 1985, pp. 135 139.

39. J. C. Knight and Nancy G. Leveson, An Experimental Evaluation of the Assumption of Independence in Multiversion Programming, IEEE Transactions on Software Engineering, Vol. SE-12, No. 1, January 1986, pp. 96 109.

40. Dave E. Eckhardt, An Experimental Evaluation of Software Redundancy as a Strategy for Imp roving Reliability, IEEE Transactions on Software Engineering, Vol. 17, No. 7, July 1991, pp. 692 702.

41. Tom Anderson, A Structured Mechanism for Diverse Software, Proceedings of the Fifth Symposium on Reliability in Distributed Software and Database Systems, January 1986, pp. 125 129.

42. Paul R. Lorczack, A Theoretical Investigation of Generalized Voters for Redundant Systems, Digest of Papers FTCS-19: The Nineteenth International Symposium on Fault-Tolerant Computing, 1989, pp. 444 451.

43. R. В. Broen, New Voters for Redundant Systems, Transactions of the ASME, Journal of Dynamic Systems, Measurement, and Control, March 1975, pp. 41-45.

44. Judith Gersting, A Comparison of Voting Algorithms for N-Version Programming, Proceedings of the 24t h Annual Hawaii International Conference on System Sciences, Volume II, January 1991, pp. 253 262.

45. P. R. Croll, Dependable, Intelligent Voting for Real-Time Control Software, Engineering Applications of Artificial Intelligence, vol. 8, no. 6, December 1995, pp. 615-623.

46. J. M. Bass, Voting in Real-Time Distributed Computer Control Systems, PhD Thesis, University of Sheffield, October 1995.

47. John P. J. Kelly, Multi-Version Software Development, Proceeding of the Fifth IFAC Workshop, Safety of Computer Control Systems, October 1986, pp. 43 49.

48. Kam Sing Tso and Algirdas Avizienis, Community Error Recovery in Inversion Software: A Design Study with Experimentation, Digest of Papers FTCS-17: The Seven teenth International Symposium on Fault-Tolerant Computing, July 6-8,1987, pp. 127- 133.

49. Frederic Salles, MetaKernels and Fault Containment Wrappers, Digest of Papers: Twenty-Ninth Annual International Symposium on Fault-Tolerant Computing, Madison, Wisconsin, June 15-18,1999, pp. 22 29.

50. Philip Koopman, Comparing Operating Systems Using Robustness Benchmarks, Proceedings of the 1997 16th IEEE Symposium on Reliable Distributed Systems, October 1997, pp. 72 79.

51. Mark Russinovich, Application Transparent Fault Management in Fault Tolerant Mach, Digest of Papers: The Twenty-Third International Symposium on Fault-Tolerant Computing (FTCS-23), Toulouse, France, June 22 24,1993, pp. 10-19.

52. Mark Russinovich, Application Transparent Fault Managemet in Fault Tolerant Mach, in Foundations of Dependable Computing System Implementation, Gary M. Koob and Clifford G. Lau, editors, Kluwer Academic Publishers, 1994, pp. 215 -241.

53. Mark Russinovich and Zaiy Segall, Fault-Tolerance for Off-The-Shelf Applications and Hardware, Digest of Papers: The Twenty-Fifth International Symposium on Fault-Tolerant Computing, Pasadena, CA, June 27 30, 1995, pp. 67-71.58.

54. Буч Г. Объектно-ориентированный анализ и проектирование с примерами на С++. / Г. Буч. М.: БИНОМ, 1998. - 560 с.60.

55. Бокс Д. Сущность технологии СОМ. Библиотека программиста. / Д. Бокс. СПб.: Питер, 2001. - 400 с.

56. Роджерсон Д. Основы СОМ. / Д. Роджерсон Русская Редакция, 2000 г. -400 с.

57. Гамма Э. Приемы объектно-ориентированного проектирования. Паттерны проектирования. / Э. Гамма, Р. Хелм, Р. Джонсон СПб.: Питер, 2001 -368 с.

58. Коберниченко A. Visual Studio 6. Искусство программирования / А. Коберниченко М.:Нолидж, 1999 - 255 с.

59. Рихтер Дж. Windows для профессионалов: создание эффективных Win32 приложений с учетом специфики 64-разрядной версии Windows / Дж. Рихтер. М.: Издательско-торговый дом "Русская Редакция", 2001. -752 с.

60. Bogomolov, S. Fault Tolerance Software Libraiy Support of Real-Time Embedded Systems / S. Bogomolov, A. Bondarenko, A. Fyodarov; Third European Dependable Computing Conference,EDCC-3, Prague, Czech Republic, September 15-17,1999

61. Cherif, A. Improving the Efficiency of Replication for Highly Reliable Systems/ A. Cherif, M. Toyoshima, T. Katayama; FastAbstract ISSRE Copyright 1999

62. Choi, J.G. Reliability Estimation of nuclear digital I&C systems using Software Functional Block Diagram and control flow / J.G. Choi, H.G.Kang; FastAbstract ISSRE Copyright 2000

63. Clasen, U. Eine Moeglichkeit der numerischen Behandlung von zeitlich-stochastischen Netzplaenen / In: "Operations Research Proceedings", Springer Verlag Berlin-Heidelberg, 1994. P. 46-51

64. Costa, D. On the Extention of Exception to Support Software Faults Models / D. Costa, T. Mendez; FastAbstract ISSRE Copyright 2000

65. David, Ph. Development of a fault tolerant computer system for the Hermes Space Shuttle / Ph. David, C. Guidal. IEEE Trans., 1993. - P. 641-648

66. Dunham, J.R. Eds. Production of reliable flight crucial software: Validation method research for fault-tolerant avionics and control systems sub-working-group meeting / J.R. Dunham, C.J. Knight.- NASA Conf. Pub. 2222, NASA, 1985

67. Grams T. The Poverty of Reliabiliy Growth Models/ FastAbstract ISSRE Copyright 1999

68. Goseva-Popova К. How Different Architecture Based Software Reliability Models are Reealated / K. Goseva-Popova, K.S. Trivedi, A.P.Mathur; FastAbstract ISSRE Copyright 2000

69. Hamlet, D. Foundational Theory of Software Component Reliability / D. Hamlet, D. Mason, D. Wiot; FastAbstract ISSRE Copyright 2000

70. Hecht, H. Fault tolerant software / IEEE Trans. Reliability, Vol. R-28, 1979. -P. 227-232

71. Hui-Qun, Z. A New Method for Estimating the Reliability of Software System Based on Components / Z. Hui-Qun, S. Jing, G. Yuan; FastAbstract ISSRE and Chillarege Corp. Copyright 2001

72. Hudak, J. Evaluation & comparition of fault-tolerant software techniques / J. Hudak, B.-H. Suh, D. Sieweorek, Z. Segall

73. Karunanithi, N. Prediction of Software Reliability Using Connectionist / N. Karunanithi, D.Whitley, Y.K.Malaiya; IEEE transactions on reliability. Models July 1992, Vol. 18, No. 7

74. Kaszycki,. G. Using Process Metrics to Enhance Software Fault Prediction Models/ FastAbstract ISSRE Copyright 1999

75. Keene, S. Progressive Software Reliability Modeling/ FastAbstract ISSRE Copyright 1999

76. Knight, C.J. An experimental evaluation of the assumption of independence in Multiversion programming / C.J. Knight, N.G. Levenson. IEEE Trans. Software Engineering, Vol. SE-12,1986. - P. 96-109

77. Kovalev, I.V. An Approach for the Reliability Optimization of N-Version Software under Resource and Cost/Timing Constraints /16th International Computer Measurement Group Conference, Nashville, TN, USA, December 9-13,1991

78. Kovalev, I. Computer-Aided Modelling of Production Cycles Optimal Sequence in: Letunovsky V.V.(Editor-in-chief): Problems of products qualityassurance in machine-building: Proceedings of Int. Conf. KSTU / Krasnoyarsk, 1994. P. 43-48

79. Kovalev, I. Optimization Reliability Model for Telecommunications Software Systems /1. Kovalev , A. Privalov, Ju. Shipovalov. In: Modelling, Measurement and Control. - AMSE Periodicals, Vol.4-5, 2000. - P. 47-52

80. Kovalev, I. Software engineering of spacecraft control technological cycles / In: "Modelling, Measurement and Control, B". Vol.56, №3. -AMSE PRESS, 1994.-P. 45-49

81. Kovalev, I.V. Fault-tolerant software architecture creation model based on reliability evaluation / I.V. Kovalev, R.V.Younoussov; Advanced in Modeling & Analysis, vol. 48, № 3-4. Journal of AMSE Periodicals,2002, P.31-43

82. Levendel, Y. Reliability analysis of large software systems: Defect data modeling / IEEE Trans. Software Engineering, 1990. Vol. 16. - P. 141-152

83. Liestman, A. Fault-Tolerant Scheduling Problem / A. Liestman, R.-H. Campbell. IEEE Trans, on Software Engineering, 1986. - Vol. SE-12. - P. 1089-1095

84. Lyu, M.R. Handbook of Software Reliability Engineering / Edited by Michael R. Lyu Published by IEEE Computer Society Press and McGraw-Hill Book Company, 1996,819 p

85. Lyu, M.R. Software Fault Tolerance / Edited by Michael R. Lyu Published by John Wiley & Sons Ltd, 1996

86. McFarlan, F.W. Portfolio approach to information systems / Harvard Business Rev. 59. P. 142-150

87. Microsoft Business Solution Axapta. Axapta developers best practice handbook/Microsoft Business Solution, 2003. http://www.msbs.ru

88. Microsoft Business Solution Axapta. Axapta developers guide /Microsoft Business Solution, 2003. http://www.msbs.ru

89. Microsoft Business Solution Axapta. MorphX Integration master /Microsoft Business Solution, 2003. http://www.msbs.ru

90. Microsoft Business Solution Axapta. X++ Advanced master/Microsoft Business Solution, 2003. http://www.msbs.ru

91. Microsoft Business Solution Axapta. Administration users guide /Microsoft Business Solution, 2003. http://www.msbs.ru

92. Muralidhar, K. Using the analytic hierarchy process for information system project selection / K. Muralidhar, R. Santhanam, R. Wilson. -Information Mgmt 18,1990. P. 87-95

93. Oracle Education. Introduction to Oracle: SQL & PL/SQL , Volume 1: Students Guide, Production 1.1.2000

94. Oracle Education. Introduction to Oracle: SQL & PL/SQL , Volume 2: Students Guide, Production 1.1. 2000

95. Oracle University. Enterprize DBA Part 1: Perfomance and tunning . Volume 1: Students Guide, Production 1.0. 2000

96. Oracle University. Enterprize DBA Part 2: Perfomance and tunning . Volume 2: Students Guide, Production 1.0. 2000

97. Pai, G.J. Enhancing Software Reliability Estimation Using Bayaesan Network and Fault Trees / G.J. Pai, J.B. Dugan; FastAbstract ISSRE and Chillarege Corp. Copyright 2001

98. Rosenberg, L. Software Metrics and Reliability / L. Rosenberg, T. Hammer, J. Shaw; Software reliability engineering was presented at the 9-th International Symposium, "Best Paper" Award, November, 1998

99. Shooman, M.L. Software Reliability for Use During Proposal and Early Design Stages / FastAbstract ISSRE Copyright 1999

100. Silayeva, Т. K.-E. An Innovative Method for Program Reliability Evaluation / T. Silayeva, K.-E. Grosspietsch. Euromicro '95. Como (Italy), September 1995

101. Tai, A. Performability Enhancement of Fault-Tolerant Software / A. Tai, J. Meyer, A. Avizienis. IEEE Trans, on Reliability, 1993. - Vol. 42, No. 2 . - P. 227-237

102. Wattanapongsakorn, N. Reliability Optimization for Software Systems with Multiple Applications./ FastAbstract ISSRE and Chillarege Corp. Copyright 2001

103. Whitehouse, G. E. Applied operations research: a survey, Wiley, Inc. / G. E. Whitehouse, B. L. Wechsler. New York, 1976. - 424 p

104. Xie, M. Regression Goodness-Of-fit Test for Software Reliability Model Validation / M. Xie, B.Yang; FastAbstract ISSRE Copyright 2000