Тестирование объектно-ориентированного программного обеспечения на основе моделирования конечными автоматами тема диссертации и автореферата по ВАК РФ 05.13.01, кандидат технических наук Малинин, Сергей Николаевич

• Малинин, Сергей Николаевич
• кандидат технических наук
• 2010

Оглавление диссертации кандидат технических наук Малинин, Сергей Николаевич

1.1 Жизненный цикл ПО.

1.2 Качество ПО.

1.3 Структурная сложность.

1.4 Тестирование.

1.5 Классификация ошибок.

1.6 Постановка задачи.

ГЛАВА 2. БАЗОВАЯ МОДЕЛЬ ОБЪЕКТНО-ОРИЕНТИРОВАННОГО ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ.

2.1 Особенности ОО ПО по сравнению с традицинным ПО.

2.2 Автоматная модель объектно-ориентированного программного обеспечения.

2.3 Автотрассировка.

2.4 Выводы по главе 2.

ГЛАВА 3. ДИАГНОСТИЧЕСКАЯ МОДЕЛЬ. МЕТОДЫ И АЛГОРИТМЫ ТЕСТИРОВАНИЯ ОБЪЕКТНО-ОРИЕНТИРОВАННОГО ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ.

3.1 Модель и стратегия определения состояния объектно-ориентированного программного обеспечения

3.2 Оптимизация выбора тестов по информационному критерию.

3.3 Принятие решения о векторе состоянии автомата но критерию максимума апостериорной вероятности

3.4 Выводы по главе 3.

ГЛАВА 4. ПРАКТИЧЕСКИЕ АСПЕКТЫ ТЕСТИРОВАНИЯ ОО ПО.

Введение диссертации (часть автореферата) на тему «Тестирование объектно-ориентированного программного обеспечения на основе моделирования конечными автоматами»

Актуальность темы. Несмотря на сравнительно недавнее появление объектно-ориентированных (ОО) языков, таких как Smalltalk, Object Pascal, С++, Ada, объектно-ориентированное программирование (ООП) стало наиболее широко используемым стилем разработки программного обеспечения (ПО) в мире. ООП — методология программирования, основанная на представлении программы в виде совокупности объектов, каждый из которых является экземпляром определенного класса, а классы образуют иерархию наследования. ООП подразумевает событийную управляемость. Бертран Мейер, один из основателей ООП, определял объекты как "нечто имеющее идентичность, состояние, поведение". С целью управления качеством ОО ПО необходимо решать задачи автоматизации тестирования, что требует разработки новых моделей, методов и алгоритмов, приспособленных к ОО ПО.

Фундаментальные теоретические и прикладные вопросы тестирования ПО изложены в работах В.В. Липаева, П.П. Пархоменко, В.И. Сагунова, G. Myers, В. Beizer, D. MacGregor, В. Boehm, C.V. Ramamoorthy и ряда других отечественных и зарубежных ученых. В качестве модели тестирования ПО в этих работах предлагается использовать управляющий граф программы. Однако, методы, разработанные для данной модели, хорошо зарекомендовали себя при тестировании традиционного (процедурного) ПО, но при непосредственном применении к ОО ПО имеют трудно решаемые проблемы.

Удобным средством описания ОО ПО является модель, построенная на основе теории конечных автоматов: она обладает ясностью семантики (трактовки элементов модели), наглядностью и выразительностью, и в то же время достаточно строга и формальна. Среди отечественных ученых множество работ по проблеме проектирования и реализации ПО с помощью конечных автоматов принадлежит Шалыто А.А. Представление программы с использованием элементов автоматной модели: состояний, событий, действий, переходов позволяет повысить эффективность тестирования ПО за счет проверки не только возвращаемых кодов, но и содержащихся в объекте данных. 4

Несмотря на то, что конечные автоматы используются уже давно для формального описания поведения систем, моделей, приспособленных к тестированию 00 ПО, нет. Классическая автоматная модель обладает рядом недостатков: отсутствие понятия параметров, в том числе и с бесконечной областью определения, отсутствие понятия времени, не определена семантика взаимодействия нескольких автоматов. Таким образом, разработка новых моделей и методов тестирования ОО ПО на основе теории конечных автоматов является актуальной задачей.

Цель работы. Разработка и исследование моделей, методов и алгоритмов тестирования ОО программ на граф-моделях переходов конечных автоматов с целью поиска ошибки в исходном коде программы.

Задачи работы. Достижение намеченной цели требует решения следующих задач:

• анализ существующих моделей, методов и алгоритмов тестирования ПО и выявление ограниченности возможности их использования применительно к ОО ПО;

• разработка тестов с учетом особенностей ОО парадигмы;

• обоснование целесообразности применения конечных автоматов для моделирования ОО ПО;

• оптимизация процедуры тестирования;

• формирование методики тестирования ОО ПО;

• программная реализация разработанных алгоритмов тестирования;

• применение полученных в диссертации научных результатов на практике.

Методы исследования, применяемые в работе, основаны на теории множеств, теории графов, теории автоматов, теории информации, теории надежности, методах оптимизации. Для практической апробации разработанных алгоритмов применено компьютерное моделирование, реализованное на языке С++.

Научная новизна работы.

1. На основе теории конечных автоматов разработана новая диагностическая модель, приспособленная для тестирования объектно-ориентированного программного обеспечения.

2. В рамках предложенной модели сформулированы и решены следующие задачи оптимизации: выбор множества тестов по информационному критерию для локализации ошибок произвольной кратности;

- принятие решения о состоянии объектно-ориентированного программного обеспечения по критерию максимума апостериорной вероятности.

Обоснованность и достоверность результатов диссертационной работы подтверждается корректностью использования математического аппарата и представленными результатами компьютерного моделирования.

Практическая ценность работы. Разработаны средства автоматизации внедрения разработанной модели в программный проект с минимальной модификацией программного кода.

Полученные в диссертационной работе результаты могут использоваться для решения практических задач тестирования ОО ПО событийно-управляемых систем, в том числе телекоммуникационных, систем контроля и управления физическими устройствами, а также для тестирования функциональности ПО с точки зрения пользовательского интерфейса. Результаты настоящей работы были использованы при разработке программ в ЗАО "Интел А/О".

Результаты работы использованы в госбюджетной НИР (Отчет по НИР «Диагностика технических и программных систем с использованием современных информационных технологий». № государственной регистрации 01.2009.00405 от 28.01.09 - Н.Новгород: НГТУ), выполненной по целевой межвузовской программе «Диагностические и информационно-поисковые системы».

Апробация работы. Основные положения диссертации и результаты диссертационной работы представлялись и докладывались на следующих научных конференциях:

X Международной конференции «Фундаментальные и прикладные проблемы приборостроения и информатики» (Москва, 2007);

VII Международной конференции «НТИ-2007. Информационное общество. Интеллектуальная обработка информации. Информационные технологии» (Москва, 2007);

VII Международной молодежной научно-технической конференции «Будущее технической науки» (Нижний Новгород, 2008);

Международных научно-технических конференциях «Информационные системы и технологии (ИСТ-2008, ИСТ-2009)» (Нижний Новгород);

Международном симпозиуме «Интеллектуальные системы INTELS'08» (Нижний Новгород, 2008);

XIII Международной открытой научной конференции «Современные проблемы информатизации» (Воронеж, 2008);

XII Международной научно-практической конференции «Системный анализ в проектировании и управлении» (Санкт-Петербург, 2008).

На конкурсе научных работ аспирантов X Международной конференции «Фундаментальные и прикладные проблемы приборостроения и информатики» (Москва, 2007) и VII Международной молодежной научно-технической конференции «Будущее технической науки» (Нижний Новгород, 2008) доклады автора были отмечены дипломами первой и третьей степени.

Публикации. По теме диссертации опубликовано 12 работ, в том числе 1 статья в журнале из перечня ВАК РФ, свидетельство о государственной регистрации программы для ЭВМ.

Структура работы. Диссертация состоит из введения, четырех глав, заключения и списка литературы, включающего 128 наименований. Работа изложена на 118 страницах, содержит 11 таблиц и 15 иллюстраций.

Заключение диссертации по теме «Системный анализ, управление и обработка информации (по отраслям)», Малинин, Сергей Николаевич

3.4 Выводы по главе 3

1. Разработана базовая (основная) модель объектно-ориентированного программного обеспечения как результат изучения и отображения его поведения, как в исправном состоянии, так и при всевозможных неисправностях (ошибках) в фоновом режиме на основе построения граф-модели переходов конечного автомата.

2. Установлены свойства информационного канала связи между множеством векторов состояний автомата и множеством результатов тестирования, на основании которых разработана стратегия определения состояния объектно-ориентированного программного обеспечения.

Алгоритм определения минимального количества тестов и локализации ошибок состоит из следующих этапов:

1. Нумерация всех состояний автомата.

2. Построение матрицы проверок В на допустимом множестве тестов.

3. Выбор оптимального множества тестов по информационному критерию.

4. Построение матрицы проверок В на оптимальном множестве тестов.

5. Проверка результатов тестирования и построение вектора Zj.

6. Выбор оптимального подмножества состояний автомата, подозреваемых на наличие ошибок.

ГЛАВА 4. ПРАКТИЧЕСКИЕ АСПЕКТЫ ТЕСТИРОВАНИЯ ОО ПО

4.1.1 Описание тестируемой системы

Результаты настоящей работы были использованы при разработке программ в ЗАО "Интел А/О". В качестве примера рассмотрим приложение Video Studio, предназначенное для декодирования и транскодирования аудио и видео файлов (рис.4.1.1).

Рисунок 4.1.1 - Интерфейс приложения Video Studio

Интерфейс приложения содержит 7 кнопок и окно вывода диагностической информации.

4.1.2 Описание методики построения схемы, описывающей функционирование приложения

Предполагаем, что диагностические сообщения выводятся в определенных состояниях приложения, а переходы между этими состояниями осуществляются по событиям.

Выделяются несколько типов событий, воздействующих на приложение и инициирующих переход от одного состояния к другому (табл. 4.1.1).

ЗАКЛЮЧЕНИЕ

В ходе теоретических и экспериментальных исследований, выполненных в диссертационной работе, были получены следующие научные и практические результаты.

1. Разработана базовая (основная) модель объектно-ориентированного программного обеспечения как результат изучения и отображения его поведения, как в исправном состоянии, так и при всевозможных неисправностях (ошибках) в фоновом режиме на основе построения граф-модели переходов конечного автомата.

2. Разработана диагностическая модель объектно-ориентированного программного обеспечения, включающая методы и алгоритмы решения задач тестирования с учетом особенностей ОО парадигмы, а именно: алгоритм определения минимального количества тестов по информационному критерию для обеспечения заданной глубины состояния ОО ПО; алгоритм определения глубины локализации состояния ОО ПО при заданном множестве тестов.

3. Разработана стратегия определения состояния ОО ПО по критерию максимума апостериорной вероятности.

4. Выполнена программная реализация разработанных алгоритмов для их практического применения.

Список литературы диссертационного исследования кандидат технических наук Малинин, Сергей Николаевич, 2010 год

1. Андерсон Р. Доказательство правильности программ: Пер. с англ. М.: Мир, 1982.

2. Балыков Е., Царев В. Тестирование программных средств // RSDN Magazine. 2006. №4.

3. Бейзер Б. Тестирование черного ящика. Технологии функционального тестирования программного обеспечения и систем. СПб.: Питер, 2004.

4. Безбородов Ю.М. Индивидуальная отладка программ.-М.:Наука, 1982,-192с.

5. Бичевский Я.Я., Борзов Ю.В. Развитие методов символического тестирования программ // Автоматика и телемеханика.-1982.-№2.-С.93-102.

6. Блау С.А., Липаев В.В., Позин Б.А. Эффективность тестирования структуры программных модулей // АиТ, 1984 №4. С. 139 — 148.

7. Блау С.А., Позин Б.А. Анализ планов тестирования программных модулей с учетом нереализуемых маршрутов //Программирование.- 1988.-№4.-С. 26-34.

8. Боэм Б., Браун Дж., Каспар X. Характеристики качества программного обеспечения: Пер. с англ. М.: Мир, 1981.

9. Борзов Ю.В. Тестирование программ с использованием символического исполнения //Программирование.-1980.-№1.-С.51-59.

10. Борзов Ю.В., Дишлерс Г.Э., Медведис И.Э., Уртанс Г.Б. Система символического тестировании ПЛ/1 -программ //УСиМ ,-1986.-№6.-С.75-79.

11. Буч Г. Объектно-ориентированное проектирование с примерами применения / Г. Буч. М.: Конкорд, 1992.

12. Буч Г., Рамбо Дж., Якобсон И. UML. 2-е издание. СПб.: Питер,2005.

13. Верзаков Г. Ф. и др. Введение в техническую диагностику. Под ред. К. Б. Карандеева. М.: Энергия, 1968.

14. Воеводин В.В. Вычислительная математика и структура алгоритмов. М.: Изд-во МГУ, 2006.

15. Веденеев В.В. Автоматизация тестирования использования программных интерфейсов приложений на основе моделирования конечными автоматами, http://is.ifino.ru/testing/vedeneev/

16. Гаганов П.Г., Липаев В.В., Просвирин В.Н. Динамика процесса отладки больших управляющих систем // Управляющие системы и машины, №1, С. 19-28, 1975.

17. Гаганов П.Г., Липаев В.В. Характеристики ошибок в процессе разработки комплексов программ.//Программирование, №2, С.36-41, 1975.

18. Гаганов П.Г., Липаев В.В., Просвирин В.Н., Волков В.Н. Анализ ошибок в сложных программах систем управления объектами. // Управляющие системы и мшины, №3, С.31-38, 1973.

19. Дал У., Дейкстра Э., Хоор К. Структурное программирование // «Мир», 1975.

20. Дейкстра Э. Взаимодействие последовательных процессов / Языки программирования. М.: Мир, 1972.

21. Дробушевич Л.Ф. Оценка структурной сложности программ //Программирование.-1987.-№1.- С.81-90.

22. Дробушевич Л.Ф. Метод оценки топологической сложности программ//УСиМ.-1988.-№4.-С.69-74.

23. Долбак Л.В. Методика отладки и испытаний управляющих алгоритмов и программ АСУ //Программирование.- 1984.-ЖЗ.-С.62-69.

24. Ермаков Г.В. Тестирование MIXAL программ с помощью символического исполнения //Программирование.- 1988.-№5.-С.12-18.

25. Ершов A.M. Средства, расширяющие возможности отладки программ на языке КОБОЛ ОС ЕС//УСиМ.-1988.-№2.-С.45-48.

26. Ершов Н.М. Построение графов вычислительных алгоритмов методом автотрассировки // Программирование. 2000. №6. С.8-16.

27. Е.А. Жоголев. Введение в технологию программирования (конспект лекций). -М.: "ДИАЛОГ-МГУ", 1994.

28. Зелковец М., Шоу А., Гэннон Дж. Принципы разработки программного обеспечения. М.: Мир, 1982. - С. 11.

29. Зиглер К. Методы проектирования программных систем. М.: Мир, 1985.-С. 15-23.

30. Иванова Г.С, Ничушкина Т.Н., Пугачев Е.К. Объектно-ориентированное программирование. М.: Издательство МГТУ имени Н.Э.Баумана, 2000.

31. Иыуду К.А.,Арипов Н.М. Тестирование программы на основе минимального покрытия ее графа /УСиМ.//985.-М.-С.69-71.

32. Иыуду К.А., Арипов Н.М. Автоматизация генерации путей для тестирования программ, записанных на Фортране //Программирование.--1986.-№2.-С.24-31.

33. Йордан Э., Аргила С. Структурные модели в объектно-ориентированном анализе и проектировании. 1999. 288 с.

34. Карпов Ю.Г. Теория автоматов. СПб.: Питер, 2003.

35. Касьянов В. Н., Евстигнеев В. А. Графы в программировании: обработка, визуализация и применение. СПб.: БХВ-Петербург, 2003.

36. Катков В.Л., ШимаровВ.А. Средства поддержки структурного тестирования программ //УСиМ.-1986.-№2.-С.54-59.

37. Катков В.Л., Ермаков Г.В. Система автоматизации тестирования MIXAL -программ //Программирование.- 1985.-№3.-С.50-58.

38. Коган Б.И., Шалфеева Е.А. Оценка качества и исследование программных продуктов: языково-ориентированный подход. Модели и метрики объектно-ориентированных проектов и программ: Препринт 26-2000, Владивосток: ИАПУ ДВО РАН, 2000, 50 с.

39. Косяченко С.А., Дульба В.В., Мамиконов Л.Г., Соколова Е.Б. Использование сетей Петри для локализации ошибок в процессе системнойотладки комплексов программ //Автоматика и телемеханика,- 1988.-№5.-С. 165-177.

40. Коростиль Ю.М., Гуляев В.А. Комплекс программ для диагностирования программных модулей микропроцессорных систем //УСиМ.-1988.-№3.-С.55-58.

41. Колякин Ю.Д. Отладка программного обеспечения в диалоговой многотерминальной системе// УСиМ.-1983.-№2.-С.56-60.

42. Котляров В.П. Основы тестирования программного обеспечения, Интернет-университет информационных технологий ИНТУИТ.ру, 2006.

43. Кузьмин Е.В., Соколов В.А. Структурированные системы переходов. М.: ФИЗМАТЛИТ, 2006. - 176 с.

44. Кузьмин Е. В., Соколов В. А. Моделирование спецификация и верификация «автоматных» программ // Программирование. 2008, № 1. http://is.ifmo.ru/download/2008-03-12verification.pdf

45. Кристофидес Н. Теория графов. Алгоритмический подход. — М.:Мир, 1978.-432 с.

46. Липаев В.В., Гаганов П.Г., Просвирин В.Н. Прогнозирование рациональной длительности отладки больших управляющих систем // Управляющие системы и машины, №4, С.8-14, 1975.

47. Липаев В.В. Проектирование математического обеспечения АСУ. М.:Сов. радио, 1977.

48. Липаев В.В. Обеспечение качества программных средств. Методы и стандарты. М.:СИНТЕГ,2001.

49. Липаев В.В. Обеспечение качества крупномасштабных программных средств. Методы и стандарты. М.:СИНТЕГ,2003.

50. Липаев В.В. Тестирование программ. М.: Радио и связь, 1986.

51. Липаев В.В. Качество программного обеспечения. М.: Финансы и статистика, 1983. - С. 18-30.

52. Липаев В.В. Надежность программных средств. М.: СИНТЕГ, 1998.

53. Липаев Б.Н. Отладка систем управляющих алгоритмов ЦВМ реального времени // Сов. радио, 1974.

54. Майерс Г. Надежность программного обеспечения. М.: Мир, 1980. С. 32 - 48.

55. Майерс Г. Искусство тестирования лрограмм.-М.:Финансы и статистика ,1982.-178с.

56. Макгрегор Джон, Сайке Девид. Тестирование объектно-ориентированного программного обеспечения. Практическое пособие: Пер. с англ. / Джон Макгрегор, Девид Сайке. К.: ООО "ТИД "ДС", 2002.

57. Мейер Б. Объектно-ориентированное конструирование программных систем. М.: Русская Редакция, 2005.

58. Месарович М., Мако Д., Такахара И. Теория иерархических систем: Пер. с англ. М.: Мир, 1973.

59. Оре О. Теория графов. Главная редакция физико-математической литературы издательства "Наука", 1968.

60. Отладка систем управляющих алгоритмов ЦВМ реального времени /Под редакцией В.В.Липаева.-М.: -Сов.радио, 1974, 326 с.

61. Пархоменко П.П. Теория вопросников (обзор) // АиТ, 1970 №4. С. 140- 152.

62. Пархоменко П.П., Правильщиков П.А. Диагностирование программного обеспечения //Автоматика и телемеханика.-1980.-C.II7-I4I.63. Полигамияhttp://ru.wikipedia.org/wiki/%D0%9F%D0%BE%D0%BB%D0%B8%D0%B3%D0 %В 0%D0%B C%D0%B 8%D 1 %8F

63. Поликарпова Н.И., Шалыто А.А. Автоматное программирование. — Спб.: Питер, 2010.-176 с.

64. Правильщиков П.А. Построение тестов для программ.// АиТ. , №5, С.147-161, 1977.

65. Правильщиков П.А. Построение тестов для программ //Автоматика и телемеханика. -1977. -№5. -С. I47-I6I.

66. Просвирин В.Н. Статистическая процедура определения продолжительности тестовых испытаний управляющих программ // Управляющие системы и машины, №5, С.54-57, 1977.

67. Рамбо Дж., Якобсон А., Буч Г. Унифицированный процесс разработки программного обеспечения. СПб.: Питер, 2002.

68. Риндфлайт Д. Отладка программ в системах 360/370 на основе дампов памяти ОС.-М.: Машиностроение,1982.-144 с.

69. Средства отладки программ в ОС ЕС ЭВМ / В.И.Ерофеев и др.-М.: Статистика, 1979.- 245 с.

70. Сагунов В.И. Диагностирование кратных ошибок в программных модулях //Программирование.- 1988,-№4.-С.34-38.

71. Тамре Л. Введение в тестирование программного обеспечения. Вильяме, 2003. — 368 с.

72. Торопов Д.И. 0 построении тестирующих маршрутов программы, //УСиМ. -1987. -№6.-С. 74-77.

73. Туккель Н. И., Шалыто А. А. Система управления танком для игры Robocode. Объектно-ориентированное программирование с явным выделением состояний. СПбГУ ИТМО. 2001. http://is.ifmo.ru/projects/tanks/

74. Уртанс Г.Б. Функции путей программы //Программирование.-1987.-№4.-С.69-78.

75. Фокс Дж. Программное обеспечение и его разработка. М.: Мир, 1985.-С. 53-67, 125-130.

76. Хорев П.Б. Технологии объектно-ориентированного программирования / Павел Борисович Хорев. М.: Издательский центр "Академия", 2004.-448 с.

77. Шварц Дж.Т. Обзор ошибок. В кн. «Средства отладки больших систем», под ред. Р.Растина, С. 17-27, «Статистика», 1977.

78. Шимаров В.А. Об одном методе тестирования программы на основе минимального покрытия ее графа//УСиМ .-1988.-№5.-С.51-53.

79. Шимаров В.А. Средства поддержки структурного тестирования программ //УСиМ,- 1988. -№2. -С. 54-59.

80. Шлеер С., Мейлор С. Объектно-ориентироваяный анализ: моделирование мира в состояниях. Киев: Диалектика, 1993.

81. Б. Шнейдерман. Психология программирования. М.: Радио и связь, 1984.-С. 99-103.

82. ГОСТ 28195-89. Оценка качества программных средств. Общие положения.

83. ГОСТ Р ИСО/МЭК 9126-93. Информационная технология. Оценка программной продукции — характеристики качества и руководства по их применению.

84. ИСО 8402-94. Управление качеством и обеспечение качества. Словарь.

85. ГОСТ 15467-79. Управление качеством продукции. Основные понятия. Термины и определения.

86. ГОСТ Р ИСО/МЭК 12007-99. Информационная технология. Процессы жизненного цикла программных средств.

87. ГОСТ 19.102-77 Стадии разработки программ и программной документации.

88. ISO 9126, 1991 ИТ Оценка программного продукта. Характеристики качества и руководство по их применению.

89. Akiyama F. An Example of Software System Debugging.// IFIP Conference Proceeding, pp.31-42, Ljubljana TA-3, Yugoslavia, August 1971.

90. Alfotd M.W. A requirements engineering methodology for real-time processing requirements.// IEEE Trans. Software Engng, v.3, №1, pp.60-69, 1977.

91. Binder R.V. Testing Object-Oriented Systems: Models, Patterns, and Tools, Addison-Wesley, 2000.

92. Boehm B.W. McClean R.K., Urfrig D.B. Some experience with automated aids to the design of larg-scale reliable software.// IEEE Trans. Software Engng, v.l, №2, pp.125-153, 1975.

93. De Millo R.A. Hints on test data selection: help for the practicing programmer.// Computer, №4, pp.34-41, Apr.1978.

94. Endres A. An analysis of errors and their causes in system programs. // Proc. Int. Conf. Reliable Software, Los Angeles, Calif., pp.327-336, 1975.

95. Gallagher L., Offutt J. Integration Testing of Object-oriented Components Using FSMS: Theory and Experimental Details // GMU Technical Report ISE-TR-04-04, July 2004.

96. Gerhart S.L., Yelowitz L. Observations of Fallibility in Applications of Modern Programming Methodologies.// IEEE Trans. Software Engng, v.SE-2, №3, pp. 195-207, 1976.

97. Harel D., Pnueli A. On the development of reactive systems /Logic and model of computer systems. Ed. K.R. Apt. NY: Springer-Varlag, 1985.

98. Harel D., Polity M. Modeling Reactive Systems with Statechart. The Statemate Approach. NY: McGraw-Hill, 1998.

99. HISSA. http://hissa.ncsl.nist.gov.

100. Hoffman D., Strooper P. ClassBench: a Framework for Automated Class Testing. Software Maintenance: Practice and Experience, Vol. 27, No. 5, May 1997, pp. 573-579.

101. Howden W.E. Reliability of the path analysis testing strategy.// IEEE Trans. Software Engng, v.SE-2, №3, pp.208-215, 1976.

102. Howden W.E. Symbolic Testing and the DISSECT Symbolic Evolution System.// IEEE Trans. Software Engng, v.SE-2, №3, pp.266-279, 1977.

103. Ibramsha M. Rairman V. Detection off logical errors in detection table programs // CACM. 1978. Vol. 21. № 12. P. 1016-1024.

104. Meyer B. Design by Contract, Technical Report TR-EI-12/CO. Interactive Software Engineering Inc., 1986.

105. Miller G. The Psychological review. 1956.

106. Miller W., Spooner D.L. Automatic Generation of floating-point test data.// IEEE Trans. Software Engng, v.SE-2, №3, pp.208-215, 1976.

107. Panzl D.J. Automatic software test drivers.// Computer, №4, p.44-50, apr.1978.

108. Parasoft Homepage, http://www.parasoft.com/isp/home.isp.

109. Rubey R.J., Dana J.A., Biche P.W. A equatitative aspect of software validation.// IEEE Trans. Software Engng, v.SE-1, №2, pp.150-155, June 1975.

110. Rumbaugh J., Blaha M., Premerlani W., Eddy F., and Lorensen W., Object Oriented Modeling and Design, Prentice Hall, 1991.

111. Schneidewind N.F. Analysis of error processis in computer software. // Proc. Int. Conf. Reliable Software, Los Angeles, Calif., pp.337-376, 1975.

112. Shoomon M.L., Bolsky M.I. Types, distribution end test end correction times for programming errors. // Proc. Int. Conf. Reliable Software, Los Angeles, Calif., pp.347-357, 1975.

113. Thayer R.H., Hinton E.S. Software reliability — a method that works. // AFIPS Conf. Proc., v.44, Montvale, N.Y., pp.877-883, 1975.

114. Turner C.D., Robson D.J. The State-based Testing of Object-Oriented Programs. Proc. IEEE Conf. Software Maintenance, 1993, pp. 302-310.

115. Walden K., Nerson J.-M. Seamless Object-Oriented Software Architecture: Analysis and Design of Reliable Systems. Prentice Hall, Hemel Hempstead (U.K.), 1995.

116. Youngs E.A. Human errors in programming.// Int. J. Man-Mach. Stud., v.6, №3, pp.361-376, 1974.

117. Малинин, С.Н. Об одном методе тестирования объектно-ориентированного программного обеспечения Текст. / С.Н. Малинин, JI. С. Ломакина // Материалы VII Международной НТК «Будущее технической науки», 16 мая 2008 г. Н.Новгород: НГТУ, 2008. - С.349.