Модели надежности и планирования испытаний программных средств тема диссертации и автореферата по ВАК РФ 05.13.18, кандидат технических наук Тырва, Алексей Владимирович

• Тырва, Алексей Владимирович
• кандидат технических наук
• 2010

Оглавление диссертации кандидат технических наук Тырва, Алексей Владимирович

Введение.

1. Объект, цель, задачи исследования.

1.1. Описание объекта исследования.

1.2. Требования к ПС.

1.3. Выбор и обоснование показателей надежности ПС.

1.4. Программные метрики сложности.

1.5. Обзор моделей надежности ПС.

1.6. Постановка задачи исследования.

1.7. Выводы по разделу.

2. Модели надежности программных средств на основе распределений фазового типа.

2.1. Экспоненциальная модель надежности ПС.

2.2. Метод Кокса для представления немарковских распределений.

2.3. Модели надежности ПС с неэкспоненциальным временем обнаружения программных ошибок.

2.4. Модели надежности ПС с неэкспоненциальным временем устранения программных ошибок.

2.5. Общая модель надежности ПС.

2.6. Выводы по разделу.

3. Планирование испытаний программных средств.

3.1. Моделирование надежности ПС при использовании различных стратегий испытаний.

3.2. Метод планирования испытаний многомодульных программных средств.

3.3. Выводы по разделу.

4. Программная реализация и оценка достоверности разработанных моделей.

4.1. Описание программной реализации.

4.2. Методика задания исходных данных.

4.3. Оценка достоверности результатов.

4.4. Выводы по разделу.

5. Практическое применение результатов исследований.

5.1. Объекты внедрения.

5.2. Результаты моделирования надежности ПС.

5.3. Сравнение стратегий испытаний ПС.

5.4. Оценка эффективности.

5.5. Выводы по разделу.

Введение диссертации (часть автореферата) на тему «Модели надежности и планирования испытаний программных средств»

Развитие предприятий любой отрасли экономики невозможно без внедрения, современных информационных технологий и программных средств (ПС). На железнодорожном транспорте используется широкий набор сложного специализированного программного обеспечения, участвующего в управлении технологическими процессами. Вопрос обеспечения качества таких программных средств имеет важное значение. Очевидно, что в таких отраслях, как железнодорожный транспорт, где необходимо обеспечивать безопасность перевозок, к качеству ПС должны предъявляться самые высокие требования. Для обеспечения этих требований'должны применяться специальные процедуры повышения качества при производстве, сертификации и эксплуатации ПС.

Качество ПС — сложное многостороннее понятие, надежность — одна из составляющих, важнейшая для ПС, эксплуатируемых на железнодорожном транспорте и производстве, связанном с безопасностью людей. Очевидно, что отказы таких ПС, как, например, систем управления процессом перевозок, могут приводить к значительным экономическим убыткам и человеческим жертвам. Поэтому задача обеспечения высокой надежности таких ПС является важной.

Одним из действенных средств, направленным на повышение надежности ПС, является их сертификация. Сертификация ПС по требованиям качества проводится в Системе добровольной сертификации на железнодорожном транспорте Российской Федерации. Основными нормативными документами, содержащими требования к качеству (и надежности) ПС и используемыми при сертификации, являются следующие стандарты: ГОСТ Р ИСО/МЭК 9126-93, ГОСТ Р ИСО/МЭК 12207-99, ряд ГОСТ ЕСПД, регламентирующих оформление и содержание программных документов.

Задача оценивания надежности ПС является актуальной и важной не только при испытаниях готовых продуктов для определения их пригодности, но и в процессе производства ПС. С ней связана другая важная задача -сокращение сроков и стоимости разработки. Сложность разрабатываемых ПС, большие команды разработчиков, распределенный характер приложений - эти факторы создают объективные трудности и зачастую приводят к срыву сроков сдачи проектов и превышению бюджета разработки. Сокращение сроков (следовательно, и затрат) на разработку может быть достигнуто не только за счет использования более совершенных технологий, сред разработки и средств автоматизации тестирования, но и за счет грамотного и эффективного планирования разделения ресурсов при разработке.

Так как этапы тестирования и испытаний являются особенно важными при разработке высоконадежных ПС, оптимизация затрат на этих этапах может приводить к значительному повышению эффективности разработки в целом. С другой стороны, эффективное планирование тестирования ведет к повышению надежности разрабатываемого программного продукта. При разработке сложных многомодульных ПС такое планирование может быть выполнено путем обоснованного распределения ресурсов тестирования между отдельными модулями приложения с целью сокращения сроков разработки (повышения надежности системы в целом).

Для решения поставленных задач могут быть использованы средства математического моделирования надежности ПС. Этой теме уделяется большое внимание в научной литературе ([14, 27, 77, 93]). Было разработано большое количество различных моделей для оценивания и предсказания надежности ПС. Однако, как показано в первом разделе, модели надежности обладают рядом недостатков, ограничивающих их »использование для решения названных задач:

• модели не обладают общностью (для описания временных характеристик процесса устранения программных ошибок используются конкретные виды распределений, как правило, экспоненциальное);

• модели описывают процесс обнаружения, но не устранения программных ошибок, что делает невозможным их применение собственно для планирования испытаний;

• модели невозможно использовать для обоснования стратегий испытаний и распределения ресурсов тестирования между модулями ПС.

Объектом исследования является программное средство на этапе проектирования, реализации или тестирования. Предмет исследования — модели надежности и планирования испытаний ПС. В понятие испытаний в работе вкладывается не только установление соответствия ПС заданным требованиям и программным документам (то есть процессы тестирования и верификации), но и приведение ПС в соответствие предъявляемым требованиям. Таким образом, под испытаниями понимается отладка ПС, в которой участвуют как непосредственно программисты, так и тестеры и пользователи.

Целями исследования являются повышение точности моделирования надежности ПС и повышение эффективности планирования испытаний ПС в процессе их проектирования и разработки.

Для достижения целей исследования в работе сформулированы следующие задачи:

• обоснование показателей надежности ПС;

• разработка обобщенных моделей надежности ПС, учитывающих временные характеристики процессов поиска и устранения ошибок, стратегии испытаний;

• обоснование математических соотношений для перехода от вероятностных характеристик ПС к показателям их надежности;

• разработка метода планирования испытаний многомодульных ПС;

• разработка методики задания исходных данных для моделирования надежности и планирования испытаний ПС;

• разработка комплекса программ расчета надежности и планирования испытаний ПС.

Основные научные результаты, выносимые на защиту:

• комплекс моделей для расчета показателей надежности ПС, основанный на использовании распределений фазового типа; I

• модели надежности ПС для обоснования выбора стратегий испытаний ПС;

• метод планирования испытаний многомодульных ПС на основе информации о сложности и структуре ПС.

Научная новизна работы состоит в разработке и совершенствовании моделей и расчетных схем оценивания надежности ПС и определения стратегий испытаний на основе распределений фазового типа, а также планирования испытаний многомодульных ПС с учетом их характеристик надежности и информации о сложности и структуре ПС.

Практическая значимость состоит в повышении точности расчета показателей надежности ПС, сокращении времени испытаний ПС на основе выбора стратегии отладки и улучшения планирования их испытаний, а также доведении разработанных моделей до инженерных методик и программ, готовых к непосредственному применению. Разработан комплекс программ расчета надежности и планирования испытаний ПС. Результаты могут быть использованы при производстве широкого круга ПС.

Достоверность основных научных результатов обеспечивается корректным применением математических методов исследования и подтверждается близостью результатов расчетов, полученных с использованием различных разработанных моделей, с результатами имитационного моделирования, а также апробацией на научно-технических конференциях и публикациями в научных изданиях.

В качестве методов исследования использована теория надежности, теория массового обслуживания, математическая статистика, теория вероятностей.

5 8

Структура диссертации. Диссертация общим объемом 143 страницы состоит из введения, пяти разделов, заключения, списка использованных источников и приложения. Основной материал диссертации изложен на 121 странице машинописного текста, содержит 30 рисунков и 12 таблиц. Библиографический список включает 93 наименования.

Заключение диссертации по теме «Математическое моделирование, численные методы и комплексы программ», Тырва, Алексей Владимирович

5.5. Выводы по разделу

Результаты исследований нашли применение при разработке и тестировании ряда ПС (учебного курса «Управление качеством при разработке программного обеспечения на основе современных стандартов и моделей», программных проектов ООО «Эксиджен Сервисис» ЬаЫса и 81агТгек, комплекса горочного микропроцессорного Ростовского филиала ОАО «ВНИИАС»).

Результаты внедрены в учебный процесс Петербургского государственного университета путей сообщения, нашли отражение в учебном пособии «Модели надежности программного обеспечения» [88].

Разработанные модели надежности ПС на основе распределений фазового типа использованы для моделирования надежности ПС по исходным данным о временных характеристиках процессов поиска и 6

1I.I11I т—-10 5 10 15 20 25 30 35 40 Р(0)=0.2 Р(б)=0.5 Время тестирования, час.

45 50 Р(50)=0,99 устранения ошибок, собранных при разработке программного обеспечения проекта ЬаЬка ООО «Эксиджен Сервисис» и учебного курса ПГУПС. Выполнен расчет показателей надежности ПС, представлены графики их зависимости от времени испытаний. Выполнено моделирование изменения показателей надежности при использовании трех различных базовых стратегий испытаний ПС. Данная информация может быть использована менеджерами проектов для планирования, распределения работ и ресурсов, определения сроков выпуска продукта.

Результаты исследований имеют следующий практический эффект:

• повышение точности моделирования надежности ПС до 8-12% (за счет использования разработанных обобщенных моделей надежности);

• возможность учета временных характеристик процесса устранения ошибок при моделировании надежности;

• возможность выбора и обоснования стратегий испытаний;

• повышение эффективности планирования испытаний многомодульных ПС до 5%.

Заключение

В результате решения поставленной в работе научно-технической задачи получены следующие научные и практические результаты:

• разработана экспоненциальная модель надежности ПС Л/(/)/М(/)/7У;

• разработан комплекс обобщенных моделей надежности ПС Н2{1)1МЦ)Ш, Ж(0/Я2(/)/Ж, Е2{1)1Е2(])1Ы, С2(7)/С2(/Ж и др. на основе распределений фазового типа;

• разработаны модели для обоснования стратегий испытаний ПС;

• получены математические соотношения для вычисления показателей надежности с использованием результатов моделирования;

• выбраны и обоснованы показатели, применяемые для оценивания надежности ПС: вероятность безотказной работы, среднее число неисправленных ошибок, вероятность отсутствия ошибок;

• разработана методика задания исходных данных для моделирования и планирования испытаний ПС и исследовано влияние вида распределения исходных данных на надежность ПС;

• выполнена оценка надежности проекта ЬаЬка, разработанного ООО «Эксиджен Сервисис», и учебного курса «Управление качеством при разработке программного обеспечения на основе современных стандартов и моделей»;

• разработан метод планирования испытаний многомодульных ПС;

• разработан комплекс программ расчета надежности и планирования испытаний программных средств.

Внедрение результатов исследования позволяет получить следующий эффект:

• повышение точности расчета показателей надежности ПС на 8-12% за счет использования аппроксимации распределениями фазового типа общих видов распределения длительностей интервалов времени обнаружения и устранения ошибок; • повышение вероятности безотказной работы многомодульного ПС до 5% за счет эффективного разделения ресурсов тестирования между модулями ПС с учетом данных о временных характеристиках функционирования и сложности каждого модуля.

Список литературы диссертационного исследования кандидат технических наук Тырва, Алексей Владимирович, 2010 год

1. Asad С. A., Ullah M. I., Rehman M. J.-U. An Approach for Software

2. Reliability Model Selection // Proceedings of the 28th Annual International Computer Software and Applications Conference (COMPSAC'04), 2004. P. 534-539:

3. Bansiya J., Davis C. A Hierarchical Model for Object-Oriented Design Quality Assessment // IEEE Transactions on Software Engineering, 2002, V. 28, Iss. 1. P. 4-17.

4. Basili V.R., Briand L.C. A validation of object-oriented design metrics as quality indicators,// IEEE Transactions on Software Engineering, 1996, V. 22, Iss. 10. P. 751-761.

5. Briand.L., Devanbu, P., Melo, W. An Investigation into Coupling Measures for С++ // Proceedings of the 1997 (19th)'International Conference on Software Engineering, 1997. P. 412-421.

6. Cheung R. C. A User-Oriented Software Reliability Model // IEEE Transactions On Software Engineering, 1980, Y. 6, Iss. 2. P. 118-125.

7. Chidamber S.R., Kemerer C.F. A metrics suite for object oriented design // IEEE Transactions on Software Engineering, 1994, V. 20, Iss. 6. P. 476^93.

8. Cox P.R. A use of complex probabilities in the theory of stochastic processes // Proc. Cambr. Soc, 1955, V.51. P. 313-319.

9. Darcy D.P., Kemerer C.F. OO Metrics in Practice // Software, 2005, V.22, N. 6. P. 17-19.

10. E1-Emam K., Mclo W., Machado J.G. The prediction of faulty classes using object^oriented'design metrics // Journal of Systems and Software, 2001, V. 56. P. 63-75.

11. Fair W. Software: Reliability & SMERFSA3. A Methodology and: Tool for Software Reliability Assessment Электронный ресурс.; Goddard Space Flight: Center NASA, 2002. Режим доступа: http://www.slingcode.com/smerfs/downloads/NASATrainingMar2002.zip.

12. Fenton N.E., Neil, M. A critique of software defect prediction models // IEEE Transactions on Software Engineering, 1999, V. 25, Iss. 5. P. 675-689:

13. Genero Ml, Piattini M., Caleron C. A survey of metrics for IJML class diagrams // Journal of Object Technology, 2005, V. 4, N. 9. P. 59-92.

14. Guo P., Lyu M.R. Software Quality Prediction Using Mixture Models with I'M Algorithm // Proceedings of the The First Asia-Pacific Conference on Quality Software, 2000. P. 69-78.

15. Hosmer D. W., Lemeshow S. Applied Logistic Regression, Second Edition: -New York: Wiley, 2000. 392 p. .

16. Huang C.-Y., Huang W.-C. Software Reliability Analysis and Measurement Using Finite and Infinite Server Queuing Models // IEEE Transactions On Reliability, 2008, V. 57, N. 1. P. 192-203.

17. Jelinski Z., Moranda P.B. Software Reliability Research // Proceedings of the Statistical Methods for the Evaluation of Computer System Performance. Academic Press, 1972. PI 465-484.

18. Kan S.H. Metrics and Models in Software Quality Engineering, Second Edition..-Addison Wesley, 2002.-344p.

19. Khomonenko A.D., Bubnov V.P. A use of Coxian distribution for iterative solution' of M/G/n/R<oo queueing systems // Probl. Of Control and Inform: Theory, 1985, V. 14, N 2. P. 143-153.

20. Khoshgoftaar T. M., Munson J. C., Bhattacharya B. B., .Richardson G. D. Predictive Modeling Techniques of Software Quality from Software Measures // IEEE Transactions on Software Engineering, 1992, V. 18, Iss. 11. P. 979987.s

21. Khoshgoftaar T.M., Woodcock T.G. Software Reliability Model Selection: A Case Study // Proceedings of International Symposium on Software Reliability Engineering, 1991. P. 183-191.

22. Lee A. T., Gunn T., Pham T., Ricaldi R. Software Analysis Handbook: Software Complexity Analysis and Software Reliability Estimation and Prediction. Technical Memorandum 104799: National Aeronautics and Space Administration, 1994. 91 p.

23. Li S., Yin- Q., Guo P., Lyu M. R. A hierarchical mixture model for software reliability prediction // Applied Mathematics and Computation, 2007, V. 185, Iss. 2. P. 1120-1130.

24. Littlewood B., Verrall J. A Bayesian Reliability Growth Model for Computer Software // Journal of the Royal Statistical Society, series C, V. 22, N. 3, 1973. P. 332-346.

25. Lyu M.R. Handbook of Software Reliability Engineering. McGraw Hill, 1996.-819 p.

26. Classes Developed Using Highly Iterative or Agile Software Development Processes // IEEE Transactions on Software Engineering, 2007, V. 33, N. 6. P. 402-419.

27. PuIlum L.L. Software Fault Tolerance Techniques and Implementation. -Artech House, 2001. 360 p.

28. Wallace D.R. Practical Software Reliability Modeling // 26th Annual NASA Goddard Software Engineering Workshop, 2001. P. 147-155.

29. Wang W.-L., Wu Y., Chen M.-H. An Architecture-Based Software Reliability Model // Proceedings Of Pacific Rim International Symposium on Dependable Computing, 1999. P. 143-150.

30. Wohlin C. Estimation of Software Reliability Growth Model Parameters Электронный ресурс.: Proceedings of Workshop on Reliability Analysis of System Failure Data, 2007. Режим доступа: http://www.deeds.informatik.tu-darmstadt.de/papers/claeswohlin.pdf.

31. Yadav A., Khan R. A. Critical Review on Software Reliability Models // International Journal of Recent Trends in Engineering, 2009, V. 2, N. 3. P. 114116.

32. Yang В., Yao L., Huang H.-Z. Early Software Quality Prediction Based on a Fuzzy Neural Network Model // Third International Conference on Natural Computation, 2007. P. 760-764.

33. Yao L., Yang B. An Approach to Early Prediction of Software Quality // Journal of Electronic Science and Technology of China, 2007, V. 5 N. 1. P. 2328.

34. Благодатских B.A., Волнин B.A., Поскакалов К.Ф. Стандартизация разработки программных средств: Учеб. пособие. — М.: Финансы и статистика, 2005. —288 с.

35. Бочков К.А., Харлап С.Н., Шевченко Д.Н. Обзор методов и средств анализа на функциональную безопасность систем ЖАТ // Юбилейная научно-техническая конференция «Инновации на железнодорожном транспорте-2009», 2009. С. 48-58.

36. Бубнов В.П., Сафонов В.И. Разработка динамических моделей нестационарных систем обслуживания. — СПб.: Издательство "Лань", 1999.-64 с.

37. Бубнов В.П., Тырва A.B., Хомоненко А.Д. Обоснование стратегии отладки программ на основе нестационарной модели надежности // Научно-технические ведомости Санкт-Петербургского государственного политехнического университета, 2010, № 2(97). С. 85-92.

38. Бураков В.В. Управление качеством программных средств. Монография. -Санкт-Петербургский государственный университет аэрокосмического приборостроения, 2009. 287 с.

39. ГОСТ 19.101—77. Единая система программной документации. Виды программ и программных документов.

40. ГОСТ 19.202—78. Единая система программной документации. Спецификация. Требования к содержанию и оформлению.

41. ГОСТ 19.301-78. Единая система программной документации. Программа и методика испытаний. Требования к содержанию и оформлению.

42. ГОСТ 19.401-78. Единая система программной документации. Текст программы. Требования к содержанию и оформлению.

43. ГОСТ 19.402-78. Единая система программной документации. Описание программы. Требования к содержанию и оформлению.

44. ГОСТ 19.501-78. Единая система программной документации. Формуляр. Требования к содержанию и оформлению.

45. ГОСТ 19.502-78. Единая система программной документации. Описание применения. Требования к содержанию и оформлению.

46. ГОСТ 19.505-78. Единая система программной документации. Руководство оператора. Требования к содержанию и оформлению.

47. ГОСТ 27.002-89. Надежность в технике. Основные понятия. Термины и определения.

48. ГОСТ 28195-89. Оценка качества программных средств. Общие положения.

49. ГОСТ Р 51901.15-2005. Менеджмент риска. Применение марковскихметодов.

50. ГОСТ Р ИСО/МЭК 12207-99. Информационная технология. Процессы жизненного цикла программных средств.

51. ГОСТ Р ИСО/МЭК 9126-93. Информационная технология. Оценка программной продукции. Характеристики качества и руководства, по ихприменению.

52. Калошин A.M., Пчелинцев JI.A., Кузнецов И.И., Ершов A.C. Наземная отработка космических аппаратов. М.: КомКнига, 2005. — 176 с.

53. Канер С., Фолк Д., Нгуен Е.К. Тестирование программного обеспечения. Фундаментальные концепции менеджмента бизнес-приложений: Пер. с англ. К.: Издательство «ДиаСофт», 2001. - 544 с.

54. Кузнецов В.В., Смагин В.А. Прямая и обратная задачи надежности сложных программных комплексов. — Надежность и контроль качества, № 10, 1997. С. 56-62.

55. Липаев В.В. Программная инженерия. Методологические основы. — М.: ГУ ВША, 2006. 608 с.

56. Микони C.B. Многокритериальный выбор на конечном множестве альтернатив. СПб.: Лань, 2009. - 272 с.

57. Орлов С.А. Технологии разработки программного обеспечения: Учебник для вузов. 3-е изд. СПб.: Питер, 2004. - 527 с.

58. Перечень программных средств, в отношении которых предусмотрена сертификация в Системе сертификации на федеральном железнодорожном транспорте (ССФЖТ), утвержден Первым заместителем Министра A.C. Мишариным, 2001.

59. Петрухин В.А., Лаврищева Е.М. Методы и средства инженерии программного обеспечения информация Электронный ресурс. Режим 1 доступа: http://www.intuit.ru/department/se/swebok/

60. Половко A.M., Гуров C.B. Основы теории надежности. СПб.: БХВ-Петербург, 2006. - 702 с.

61. Романюк С. Г. Оценка надежности программного обеспечения Электронный ресурс. // Открытые системы, 1994, № 4. Режим доступа: http://www.osp.ru/os/1994/04/178540/.

62. Рыжиков Ю.И. Имитационное моделирование. Теория и технологии. — СПб.: КОРОНА принт; М.: Альтекс-А, 2004. 384 с.

63. Рыжиков Ю.И. Эффективность и эксплуатация программного обеспечения. Министерство обороны СССР, 1985. —263 с.

64. Смагин В.А. Об одном методе исследования немарковских систем // Известия АН СССР. Техническая кибернетика, 1983, №6. С. 31-36.

65. Смагин В.А. Техническая синергетика. Вероятностные модели сложных систем СПб.: ВИКА им. А.Ф. Можайского, 2004. - 171 с.

66. Смагин В.А., Бубнов В.П., Филимонихин Г.В. Расчет вероятностно-временных характеристик пребывания задач в сетевой модели массового обслуживания // Известия ВУЗов. Приборостроение, 1989, Т. XXXII, № 2. С. 23-25.

67. Тамре J1. Введение в тестирование программного обеспечения.: Пер. с англ. М.: Издательский дом «Вильяме», 2003. - 368 с.

68. Тырва A.B. Анализ подходов к оцениванию качества программного обеспечения для железнодорожного транспорта // Шаг в будущее. Неделя науки-2008: материалы конференции, 2008. С. 152-156.

69. Тырва A.B. Методика задания исходных данных для моделей надежности программных средств железнодорожного транспорта // Известия Петербургского университета путей сообщения, 2010, № 2 (23). С. 250261.

70. Тырва A.B. Методика сертификационных испытаний программного обеспечения системы «Горочная автоматическая централизация микропроцессорная с ведением накопления вагонов в сортировочном парке (ГАД МН)» 86246294.50 5200 020-01, 2009. 18 с.

71. Тырва A.B. Методика сертификационных испытаний программного обеспечения комплексной системы автоматизации управлениякомпрессорной станцией (ПО КСАУКС) 86246294.50 5200 002-01, 2010. 25 с.

72. Тырва A.B. Разработка^ приложения для планирования проведения тестирования комплексов программ // Шаг в» будущее. Неделя науки-2009: материалы конференции, 2009. С. 178-180.

73. Тырва A.B., Хомоненко А.Д. Планирование проведения тестирования комплексов программ на основе проектных метрик сложности // Труды Всероссийской, научно-практической конференции «Транспорт-2009», 2009,4. 1.С. 80-82.

74. Холстед М. X. Начала науки о программах. — М.: Финансы и статистика, 1981.-128 с.

75. Хомоненко А.Д. Численные методы анализа систем и сетей массового обслуживания. Министерство обороны СССР, 1991. - 197 с.

76. Черкесов Г.Н. Надежность аппаратно-программных комплексов. Учебное пособие. СПб.: Питер, 2005. - 479 с.