Разработка математических и имитационных моделей надежности программного обеспечения систем реального времени тема диссертации и автореферата по ВАК РФ 05.13.11, кандидат технических наук Лисс, Владимир Александрович

• Лисс, Владимир Александрович
• кандидат технических наук
• 2006

Оглавление диссертации кандидат технических наук Лисс, Владимир Александрович

Содержание.

Введение.

Глава 1. Анализ проблемы прогнозирования надежности информационных систем

1.1 Основные показатели надежности программного обеспечения.

1.2 Модель Джелинского-Моранды.

1.3 Простая экспоненциальная модель.

1.4 Модель Шика-Уолвертона.

1.5 Модели Липова.

1.6 Геометрические модели.

1.7 Модель Шнейдевинда.

1.8 Модели, основанные на методе «посева» ошибок.

1.9 Выводы.

Глава 2. Математические модели потока отказов программного обеспечения систем реального времени.

2.1 Математическая модель потока отказов программного обеспечения.

2.2 Математическая модель распределения среднего времени наработки на отказ для множественных источников программных отказов.

2.3 Выводы.

Глава 3. Математические модели надежности программного обеспечения систем реального времени.

3.1 Математическая модель процесса отладки программного обеспечения для одиночного источника отказов.

3.2 Математическая модель процесса отладки для множественных источников программных отказов.

3.3 Прогнозирование надежности программного обеспечения в процессе тестирования и отладки.

3.4 Методика прогнозирования продолжительности тестирования и отладки ПО

3.5 Выводы.

Глава 4. Прогнозирование надежности программного обеспечения информационных систем различного типа.

4.1 Структурная организация информационных систем.

4.2 Принципы прогнозирования надежности мультикомпьютерных систем.

4.3 Надежность мультикомпьютерных систем конвейерного типа.

4.4 Надежность мультикомпьютерных систем с резервированием.

4.5 Выводы.

Глава 5. Инструментальный программный комплекс контроля и прогнозирования надежности.

5.1 Укрупненная структурная схема инструментального комплекса.

5.2 Описание технических решений инструментального комплекса.

5.3 Иллюстрация применения инструментального комплекса.

5.4 Выводы.

Введение диссертации (часть автореферата) на тему «Разработка математических и имитационных моделей надежности программного обеспечения систем реального времени»

Архитектура современных вычислительных и информационно-управляющих систем реального времени является, как правило, функционально распределенной. Она характеризуется многопроцессной организацией вычислений, при которой процессы реализуются параллельно и распределяются по нескольким процессорам (ЭВМ). Основным средством реализации функций обработки информации и управления в таких системах является программное обеспечение (ПО), объем которого часто составляет десятки и сотни тысяч строк текста. Создание ПО такого объема возможно только коллективами программистов, работающих совместно в течение всего жизненного цикла системы. Длительность жизненного цикла систем реального времени, включающего все фазы разработки и сопровождения, составляет от нескольких месяцев до нескольких лет.

Существенной особенностью систем реального времени является требование непрерывности процессов ввода и обработки информации, цикличный характер вычислительных процессов. В связи с этим важнейшей проблемой, неизбежно возникающей при создании информационных систем реального времени, является обеспечение высокого уровня надежности их функционирования. В информационных системах, архитектура которых обеспечивает возможность полного или частичного резервирования аппаратных средств, основным фактором, определяющим надежность функционирования, является программное обеспечение.

Многочисленные научные публикации и накопленный опыт разработки программных систем в России и за рубежом свидетельствуют о том, что в начальных фазах жизненного цикла системы надежность программного обеспечения является крайне низкой, что вызывает многочисленные инциденты (отказы, остановы, зависания вычислительного процесса) при функционировании системы [66,67,74].

Причиной большинства отказов являются ошибки в ПО. Теоретически все ошибки можно устранить, тем не менее, создание идеальных программ остается недостижимой целью. Главная причина этого заключается в сложности исходного текста. Программа, состоящая из нескольких сотен строк, может содержать десятки решений, приводящих к тысячам альтернативных путей выполнения. Программа может принять неправильное решение потому, что какое-то конкретное сочетание входных данных, вызвавших неожиданную ситуацию, не встречалось на стадии отладки.

Считается, что в начальных фазах жизненного цикла системы в программах содержится в среднем 1-3 ошибки на 1000 строк текста, приводящих к многочисленным инцидентам вычислительного процесса [65,68]. В связи с этим время непрерывной работы системы в начальных фазах жизненного цикла составляет от нескольких минут до нескольких десятков минут. По мере устранения ошибок ПО частота проявления инцидентов уменьшается, и надежность функционирования системы возрастает. Однако достаточно уверенно прогнозировать уровень надежности функционирования системы весьма трудно. Проблема заключается в том, что в настоящее время отсутствуют научно обоснованные методы и модели прогнозирования надежности ПО, пригодные для практического применения.

В связи с изложенным актуальность решения указанной проблемы очевидна. Настоящая работа призвана дать ответы на важные вопросы, возникающие при создании и эксплуатации распределенных систем реального времени с большим объемом ПО, а именно:

- какова продолжительность отладки ПО, обеспечивающая получение заданных значений показателей надежности?

- как зависит надежность решения задачи от времени ее решения и от продолжительности отладки?

- как зависит продолжительность отладки ПО от квалификации программистов?

- как связаны надежность решения задачи и время наработки на отказ ПО?

Таким образом, цель работы заключается в разработке математических моделей, позволяющих осуществлять расчеты и прогнозирование надежности функционирования информационной системы в зависимости от длительности цикла решения функциональных задач, продолжительности отладки ПО и квалификации программистов, участвующих в создании системы.

Для достижения поставленной цели решены следующие задачи:

1. Выполнен анализ современного состояния проблемы прогнозирования надежности программных систем и подходов к ее решению. Отмечены недостатки существующих моделей надежности и предложены пути их совершенствования.

2. На основе анализа статистики функционирования информационных систем реального времени предложены и обоснованы математические модели потока отказов программного обеспечения для одиночного и множественных источников отказов.

3. Выполнен анализ процессов отладки программного обеспечения и разработаны математические модели надежности ПО, учитывающие вероятностный характер процесса устранения программных ошибок и квалификацию коллектива программистов.

4. Разработана имитационная модель, подтвердившая корректность предложенных математических моделей надежности ПО.

5. Предложен подход к оценке надежности функционирования распределенных информационных систем реального времени на основе вероятности безотказного функционирования системы в процессе решения задачи, а также среднего времени наработки на отказ.

6. С использованием разработанных моделей выполнены расчеты надежностных характеристик, подтвержденные экспериментальными данными функционирования реальных систем.

7. Предложен алгоритм прогнозирования среднего времени наработки на отказ в процессе отладки и тестирования программного обеспечения, основанный на аппроксимации экспериментальной зависимости времени наработки на отказ от времени отладки кривой первого или второго порядка.

8. Разработана структура и программное обеспечение системы сбора и обработки экспериментальных данных для прогнозирования надежности информационных распределенных систем.

9. Результаты диссертационной работы использованы при разработке гидроакустических систем МГК-520.6, МГК-400ЭМ-03.

Объектом исследования данной работы являются информационные системы реального масштаба времени.

Предметом исследования являются процессы тестирования и отладки программного обеспечения и методы прогнозирования его надежности.

Методы проведения исследования базируются на технологиях проектирования программного обеспечения, теории надежности информационных систем, аппарате теории случайных процессов и потоков, теории вероятностей и математической статистики, методах математической логики, математического и имитационного моделирования.

Научной новизной обладают следующие результаты исследования:

1. Геометрическая модель, описывающая распределение средних значений периодов проявления ошибок ПО;

2. Статистическая модель потока отказов ПО, вызванных множественными источниками ошибок;

3. Математическая модель надежности ПО, учитывающая вероятностный характер процесса отладки ПО, остаточное количество программных ошибок и квалификацию программистов;

4. Подход к расчету надежностных характеристик распределенной информационной системы реального времени с учетом возможности декомпозиции системы на независимые подсистемы;

5. Методика прогнозирования продолжительности отладки системы, обеспечивающей достижение заданных значений показателей надежности;

6. Структура системы сбора и обработки данных о надежности в процессе отладки программного обеспечения.

Практическая значимость полученных результатов заключается в разработке рабочих методик, алгоритмов и программ прогнозирования надежности информационных систем реального времени и расчета времени отладки системы, достаточного для достижения заданных значений показателей надежности.

Результаты диссертационного исследования внедрены в процессы проектирования гидроакустических систем в ОАО «Концерн «Океанприбор» при создании ГАК МГК-520.6 и ГАК МГК-400ЭМ-03.

Основные положения, результаты исследований и выводы, содержащиеся в диссертационной работе, обсуждались в широком кругу специалистов, ученых и разработчиков распределенных систем в ОАО «Концерн «Океанприбор», в ОАО «НИЦ ЭТУ», на кафедре МО ЭВМ СПбГЭТУ «ЛЭТИ», а также на научно-технических конференциях:

1. VIII Международная конференция по мягким вычислениям и измерениям SCM-2005, г. Санкт -Петербург.

2. IX Международная конференция по мягким вычислениям и измерениям SCM-2006, г. Санкт -Петербург.

3. Конференция «Технологии Microsoft в теории и практике программирования, г. Санкт -Петербург, 2006 г.

4. 7-ая Всероссийская научно-техническая конференция «Теоретические и прикладные вопросы современных информационных технологий» ТиПВСИТ '2006, г. Улан-Удэ.

Основные результаты диссертационной работы отражены в 4 печатных научных трудах [69 - 72].

Заключение диссертации по теме «Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей», Лисс, Владимир Александрович

Результаты работы реализованы при создании гидроакустических систем и комплексов различного назначения в ОАО «Концерн «Океанприбор», а также внедрены в учебный процесс в Санкт-Петербургском государственном электротехническом университете «ЛЭТИ».

Заключение и выводы

В процессе выполнения диссертационной работы получены следующие научные и практические результаты:

1. На основе обработки статистики функционирования реальных гидроакустических систем обосновано экспоненциальное распределение интервалов времени между отказами ПО с параметром 1 /Т ; в качестве потока отказов принят пуассоновский поток с параметром Я = \/Тср.

2. Модель потока для множественных источников программных отказов ПО представлена в виде суммы случайных потоков, обусловленных отдельными ошибками, каждый из которых описывается пуассоновским процессом со случайным параметром \/Т*.

3. Для описания распределения математических ожиданий случайных параметров Т' предложена и обоснована геометрическая модель, связывающая средние периоды Г, проявления ошибок. На основе метода максимального правдоподобия предложен алгоритм оценки параметров модели.

4. Получено выражение для вероятности устранения ошибки со средним периодом ее проявления Т за время отладки t. В выражении присутствует параметр (л, характеризующий квалификацию коллектива программистов, участвующих в отладке ПО.

5. На основе полученного выражения для вероятности, предложена рандомизированная модель прогнозирования надежности ПО в процессе его тестирования и отладки.

6. Исследовано поведение прогнозных оценок в зависимости от объема ПО, квалификации программистов, участвующих в отладке ПО и при наличии «аномальных» ошибок.

7. Наряду с оценкой надежности по средней наработке на отказ, предложена методика оценивания надежности системы по интенсивности устранения ошибок ПО.

8. Предложен алгоритм прогнозирования надежности ПО на основе оценки среднего времени наработки на отказ по результатам промежуточных прогонов системы. Экспериментально показана сходимость прогнозной оценки к истинному значению.

9. Показано, что при разбиении интегрированной системы на подсистемы, решающие независимые группы задач, продолжительность отладки ПО, необходимая для достижения заданного уровня надежности (вероятности безотказной работы или среднего времени наработки на отказ) сокращается, пропорционально количеству подсистем. В случае, когда подсистемы являются зависимыми, сокращения продолжительности отладки не наблюдается.

10.11олучены зависимости вероятности безотказной работы от среднего времени наработки на отказ для программных систем с различной глубиной резервирования. По результатам анализа полученных зависимостей сделан вывод о том, что резервирование элементов системы приводит к уменьшению времени отладки ПО, необходимого для достижения заданных значений показателей надежности системы.

11. Предложен подход к проектированию информационных систем реального времени с учетом требований по надежности их функционирования, основанный на разбиении на непересекающиеся кластеры задач и расчете показателей надежности ПО кластеров.

12. Создан инструментальный программный комплекс мониторинга надежности систем реального времени. Приведено описание структуры, логики работы комплекса и его табличного и графического интерфейса. Представлены некоторые результаты, иллюстрирующие работу программного комплекса.

В результате выполнения диссертационной работы разработан теоретический аппарат и созданы рабочие методики прогнозирования надежности программного обеспечения информационных систем реального времени, учитывающие архитектуру системы, условия выполнения разработки и особенности процессов отладки их программного обеспечения.

Список литературы диссертационного исследования кандидат технических наук Лисс, Владимир Александрович, 2006 год

1. Angus J.E., Schafer R.E., Suckert A. Software reliability model validation. In: PARMS, 1980, p. 191-199.

2. Bates M.D. A practical approach toward achieving software reliability.1.: Proc. IEEE National Aerospace and Electron. Conf., 1984, vol.2, p.l224-1228

3. Bhargard B. Software reliability in real-time systems. Proc. of IFIP Intern. Computer Conf., 1981, p.297-315.

4. Bihari Т.Е., Schwan K. A comparison of four adaptation algorithms for increasing the reliability of real-time software. In: Real-Time Systems Symp.,1988, v.232-241.

5. Brown J.R., Lipow M. Testing for software reliability. -In: ICRS75, p.518-527.

6. Everett W.W., Musa J.D. A software reliability engineering practice. Computer, 1993, v.26, N 3, p.77-79.

7. Hoang Pham Software Reliability. Springer-Verlag. ISBN: 981-3083-840, 2000.

8. Lipow M. Some variation of a Model for Software Time-to-Failure

9. TRW Systems Group. Correspondence ML-74-2260, 19-21 Aug., 1974.

10. Lipow M. Number of faults per line of code. TSE, 1982, v.8, N 5, p.437-439.

11. Lipow M. Prediction of software errors. JSS, 1979, v.l, N 1, p.71-75.

12. Lyu M.R. Handbook of Software Reliability Engineering. Computer Society Press. ISBN: 0-07-039400-8. 1996.

13. Mills H.D., "On the statistical validation of computer programs", in: Software Productivity, Little, Brown, Boston, 1983.

14. Mills H.D., "On the Statistical Validation of Computer Programs," IBM Federal Syst. Div., Gaithersburg, MD, Rep. 72-6015,1972.

15. Moranda P.B. Probability-Based Models for the Failures During Burn

16. Phase Joint National Meeting ORSAII Tims. Las Vegas; N.Y.; Nov., 1975.

17. Moranda P.B., Jelinsky J. Final Report of Software Reliability Study.-McDonnell Douglas Astronautic Company. MDC Report №63921. Dec. 1972.

18. Moranda P.B., Jelinsky J. Software Reliability Research // Statistical Computer Performance Evaluation / Ed. by W. Freiberger. -N.Y.:Academic, 1972.

19. Moranda P.B., Jelinsky J.Applications of a Probability // Based Model to a Code Reading Experiment, April 30 May 2,1973. - P. 73-83.

20. Musa J.D. Software reliability data. DACS, RADC. New York, 1980.

21. Musa J.D. Software Reliability Engineering: More Reliable Software, Faster Development and Testing by. McGraw-Hill. ISBN: 0-07-913271-5,1999.

22. Musa J.D. Software reliability measurement. JSS, 1980, v.l, N 3, p.223-241.

23. Musa J.D., Janino A. Software reliability modelling accounting for program size variation due to integration or design changes. - PER, 1981, v. 10, N 2, p.16-25.

24. Nelson E.C. Estimation software reliability from test data // Microelectronics and reliability. 1978. - Vol. 17. - P.61-74.

25. Nelson E.C. Software reliability FTC-5 Internat. Symp. Fault Tolerant Computing. Paris; N.Y., 1975.-P.24-28.

26. Norman F. Schneidewind: Body of Knowledge for Software Quality Measurement. IEEE Computer 35 (2): 77-83,2002.

27. Norman F. Schneidewind: Software quality control and prediction model for maintenance. Ann. Software Eng. 9: 79-101,2000.

28. Norman F. Schneidewind: Software Quality Maintenance Model. ICSM 1999: 277-286.

29. Norman F. Schneidewind: Software Reliability Model with Optimal Selection of Failure Data. IEEE Trans. Software Eng. 19(11): 1095-1104, 1993.28.0benza R. Rate monotonic analysis for real-time systems. Computer, 1993, v.26, N 3, p.73-74.

30. Peled D.A.Software Reliability Methods. Springer-Verlag. ISBN: 0-387-95106-7,2001.

31. Rudner, В. Seeding/tagging estimation of software errors: Models and estimates. Rome Air Development Centre, Rome, NY, RADC-TR-77-15, 1977.

32. Shick C.J., Wolwerton R.W. Achieving reliability in large scale software system // Proc. of the Annual Reliability and Maintainability Symp. Los Angeles, 1974 -P.302-319.

33. Shick C.J., Wolwerton R.W. Assessment of Software Reliability // Proc. 11-th Annual Meeting of the German Operation Research Society. Hamburg, Germany, 6-8 Sept., 1972.

34. Sommerville I., Software Engineering, 7 edition: Addison-Wesley, 2004.

35. Авен О.И., Турин H.H., Коган Я.А. Оценка качества и оптимизация вычислительных систем. М.: Наука, 1982.

36. Айрленд Э.А. Обеспечение качества и надежности сложных электронных систем: Аппаратные и программные средства. (Обзор).1. ТИИЭР, 1988, N 1, с.4-20.

37. Александровская J1.H., Афанасьев А.П., Лисов А.А. Современные методы обеспечения безотказности сложных технических систем. М.: Логос, 2003.

38. Архангельский Б.В., Черняховский В.В. Поиск устойчивых ошибок в программах. М.: РиС, 1989.

39. Афонин В.А., Ладыгин И.И. Построение отказоустойчивых вычислительных систем. М.: Изд. МЭИ, 1987.

40. Байхелы Ф., Франкен П. Надежность и техническое обслуживание. Математический подход. М.: Радио и связь, 1988.

41. Безбородое Ю.М. Индувидуальная отладка программ. М.: Наука, 1982.

42. Благодатских В.А. и др. Уч.: Экономика, разработка и использование программного обеспечения ЭВМ. М.: Финансы и статистика, 1995.

43. Борзов Ю.В. Методы тестирования и отладки программ ЭВМ. Рига: изд-во Латв. ун-ва, 1980.

44. Боэм Б., Браун Дж., Каспар X. Харакгерисшки качества программного обеспечения. М.: Мир, 1981.

45. Бутаков Е.А. Методы создания качественного программного обеспечения ЭВМ. М.: Энергия, 1984.

46. Вентцель Т.С., Овчаров J1.A. Теория случайных процессов и её инженерные приложения. -М.: Высшая школа, 2000.

47. Вентцель Е.С. Теория вероятностей, М.: Высшая школа, 1998.

48. Власов В.Е. Классификация методов обнаружения ошибок в системах реального времени. В кн.: Вопросы управления в сложных технических системах. - М., 1992, с.139-146.

49. Волков Ю.М. Некоторые вопросы надежности распределенных вычислительных систем. В кн.: Вычислительные системы. Вып.73. - Н., 1978, с.122-131.

50. Вопросы кибернетики. Вып. 160. Отказоустойчивые параллельные вычислительные системы реального времени. М., 1990.

51. Гласс Р. Руководство по надежному программированию. М.: Финансы и статистика, 1983.

52. Голинкевич Т.А. Прикладная теория надежности. -М.: Высшая школа, 1977.

53. Головкин Б.А. Надежное программное обеспечение. (Обзор). -ЗР, 1978, N 12, с.3-6.

54. Дружинин Г.В. Методы оценки и прогнозирования качества. М.: РиС, 1982.

55. Дружинин Г.В. Надежность автоматизированных систем. М.: Энергия, 1977.

56. Ершов М.С. Основы теории надежности. -М.: ГАНГ им. И.М. Губкина, 1993.

57. Иыуду К.А. Надежность, контроль и диагностика вычислительных машин и систем. М.: Высшая школа, 1989.

58. Кинг Д. Создание эффективного программного обеспечения. М., "Мир", 1991.

59. Копп В.Я., Оберин Ю.Е., Песчанский А.И. Стохастические модели автоматизированных производственных систем с временным резервированием / Сев. ГТУ,-Севастополь, 2000.

60. Корнеев В.В. Параллельные вычислительные системы. М.: Москва, 1999.

61. Корнеев В.В., Киселев А.В. Современные микропроцессоры. М.: Нолидж, 2000.

62. Корнеева Т.К. Толковый словарь по метрологии, измерительной технике и управлению качеством. -М.: Русский язык, 1990.

63. Крамер Г. Математические методы статистики.-М.:Мир, 1975.

64. Кузнецов О.П., Адельсон-Вельский Г.М. Дискретная математика для инженеров. -М.: Энергия, 1980.

65. Лескин А.А., Мальцев П.А., Спиридонов A.M. Сети Петри в моделировании и управлении. Л.: Наука, 1989,

66. Липаев В.В. Качество программного обеспечения. М.: Финансы и статистика, 1993.

67. Липаев В.В. Надежность программного обеспечения АСУ, М.: Энергоиздат, 1981.

68. Липаев В.В. Надежность программных средств. -М.: Синтег, 1988.

69. Липаев В.В. Тестирование программ. М.: РиС, 1986. - 296с.

70. Лисс, В. А. Математические модели надежности программного обеспечения распределенных систем/В. А. Лисс//Известия СПбГЭТУ «ЛЭТИ». Сер. Информатика,- 2005 Вып. 2 - С. 26-32.

71. Лисс, В. А. Прогнозирование надежности программного обеспечения в процессе тестирования/ В.А. Лисс// Международная конференция по мягким вычислениям и измерениям SCM 2006: Сб. докл.; г. Санкт-Петербург, 2729 июня 2006 г.- СПб, 2006 - С. 201-203.

72. Лоигботтом Р. Надежность вычислительных систем. М.: Энергоатомиздат, 1985.

73. Майсре Г. Надежность программною обеспечения. М.: Мир, 1980. 360с.

74. Майерс Г.Д. Искусство тестирования программ. М.: Финансы и статистика, 1982.

75. Максимов Ю.Д. Вероятностные разделы математики,- СПб,: Иван Федоров, 2001.

76. Мартин Дж, Программирование для вычислительных систем реального времени. М., "Наука", 1975.

77. Мизин И.А., Богатырев В.А., Кулешов А.П. Сети коммутации пакетов. М.: Радио и связь. 1986.

78. Надежность и эффективность в технике: Справ-к! Ред. сов. Лвлуевский B.C. и др. М.: Машиностроение, 1986.

79. ВО.Ошрсйковскин В.А. Теория надежноеги. -М.: Высшая школа, 2003.8!.Пальчуте В.П., Юсупов P.M. Оценка надежности программного обеспечения. С.-Петербург.: Наука. 1994.

80. Питерсон Дж. Теория сетей Петри и моделирование систем. М.: Мир, 1984

81. Политехнический словарь. Акустика, вычислительная техника., диагностика, измерения и смертельная гехника, неразрушающий Ktmipo.ib. мсфолшия. управление качеством. Термины и определения. -М., 1999.

82. Таненбаум X ван Стеен М. Распределенные системы. Принципы и иарадшмы. С11б.:Г1итер, 2003.

83. Таннснбаум Э. Современные операционные системы. СПб.: Пктер, 2002.

84. Тейер Т., Липов М., Нельсон Э. Надежность программного обеспечения. М.: Мир. 1981.

85. Ушаков И.Л. Вероятностные модели надежности информаиионно-вычислительных систем. М.: CP, 1991.

86. Ушаков И.А. Оценка, прогнозирование и обеспечение надежности сетей ЭВМ. М.: Машиностроение, 1989.

87. Черкесов Г.Н. Надежность аппаратно-программных комплексов. -СПб.:Питер, 2005.

88. Черкесов Г.Н. О расчете надежности обслуживаемых систем при ограниченном ЗИП с периодическим пополнением запасов // Надежность.-2003 .-№2(5).-С. 16-34.

89. Черкесов Г.Н. Проектирование систем контроля с учетом надежности.-М.:3нание, 1989.

90. Черкесов Г.Н., Можаев А.С. Логико-вероятностные методы расчета надежности структурно-сложных систем. -М.: Знание, 1991.93.1Пураков В.В. Надежность программного обеспечения систем обработки данных. М.: Статистика, 1981.

91. Янг С. Алгоритмы и языки реального времени. М.: Мир, 1985.

92. Ястребенецкий М.А., Иванова Г.М. Надежность автоматизированных систем управления техническими процессами. М.: Энергоиздат,1989.