Анализ взаимовлияний при интеграции новой функциональности в существующую систему средствами верификации и тестирования тема диссертации и автореферата по ВАК РФ 05.13.11, кандидат технических наук Тихомиров, Владимир Александрович

• Тихомиров, Владимир Александрович
• кандидат технических наук
• 2009

Оглавление диссертации кандидат технических наук Тихомиров, Владимир Александрович

ВВЕДЕНИЕ.

1 ОБЗОР ЛИТЕРАТУРЫ: ТЕХНОЛОГИИ И ИНСТРУМЕНТЫ РЕШЕНИЯ ПОСТАВЛЕННОЙ ЗАДА ЧИ.

1.1 Виды тестирования.

1.2 Интеграционное тестирование.

1.2.1 Задачи и г\ели интеграционного тестирования.

1.2.2 Методы интеграционного тестирования.

1.2.2.1 Классификация существующих методов интеграционного тестирования по структурному принципу.

1.2.2.2 Классификация существующих методов интеграционного тестирования по временному критерию.

1.2.2.3 Сравнительный анализ методов интеграционного тестирования.

1.2.3 Сравнение программных инструментов интеграционного тестирования.

1.3 Формальные методы интеграционного тестирования.

1.3.1 Нотации описания систем.

1.3.2 Дедуктивные методы верификации.

1.3.3 Методы проверки на модели (model checking).

1.3.3.1 Метод State-based тестирования.

1.3.3.2 Метод Event-based тестирования.

1.3.3.3 Метод, основанный на теории частичных спецификаций.

1.3.4 Сравнение формальных методов интеграционного тестированияЪЪ

1.4 ВЫВОДЫ.

2 МОДЕЛЬ ВЗАИМОДЕЙСТВИЯ НОВОГО КОМПОНЕНТА И СУЩЕСТВУЮЩЕЙ СИСТЕМЫ В РАМКАХ ТЕОРИИ АТРИБУТНЫХ ТРАНЗИЦИОННЫХ СИСТЕМ И БАЗОВЫХ ПРОТОКОЛОВ.

2.1 Атрибутные транзиционные системы.

2.1.1 Абстракции атрибутных транзиционных систем.

2.2 Агенты и среды.

2.2.1 Среда для интеграгрюнного контроля спецификаций.

2.3 Базовые протоколы.

2.4 Реализация системы базовых протоколов.

2.5 Язык базовых протоколов.

2.6 Конкретные реализации системы базовых протоколов для интеграционного анализа.

2.7 Интеграционное множество базовых протоколов.

2.8 Функция погружения интеграционного множества базовых протоколов.

2.9 ВЫВОДЫ. л.

3 РЕАЛИЗАЦИЯ КОМПЛЕКСА МЕТОДИК ИНТЕГРАЦИОННОГО: ТЕСТИРОВАНИЯ.

3.1 Методика идентификации интерфейса взаимодействия и его описания

3.1.1 Методика идентификации и описания интерфейса взаимодействия для процедурных языков программирования.

3.1.2 Методика идентификации и описания интерфейса взаимодействия для объектно-ориентированных языков программирования.

3.1.3 Инструменты автоматизации идентификации и описания, интерфейса взаимодействия для процедурных и объектно-ориентированных языков.

3.1.4 Методика идентификации и описания интерфейса взаимодействия для языков спецификаций.

3.2 Методика идентификации и описания регионов взаимодействующего кода.

3.3 Методика построения модели для интерфейса взаимодействия на основе описания регионов взаимодействующего кода.

3.3.1 Методика построения модели интерфейса взаимодействия для процедурных и объектно-ориентированных языков.

3.4 Методика построения модели для интерфейса.взаимодействия;.на основе спецификаций Системы и Компонента.

3.5 Методика верификации построенной модели.

3. б Методика автоматической генерации тестов для построенной модели

3.7 ВЫВОДЫ.

4 РЕЗУЛЬ ТА ТЫ ПРИМЕНЕНИЯ РАЗРАБОТАННЫХ МЕТОДОВ И СРЕДСТВ ИНТЕГРАЦИОННОГО ТЕСТИРОВАНИЯ И ВЕРИФИКАЦИИ

4.1 Состав экспериментального комплекса.

4.2 Применение технологии на примере разработки мобильного телефона (объектно-ориентированный язык).

4.3 Применение технологии при разработке мобильного устройства (процедурный язык).

4.4 Применение технологии для учебных проектов.

4.5 Общая статистика и анализ результатов применения технологии.

4.6 ВЫВОДЫ.

Введение диссертации (часть автореферата) на тему «Анализ взаимовлияний при интеграции новой функциональности в существующую систему средствами верификации и тестирования»

1. Актуальность работы. На сегодняшний день, в связи с постоянным увеличением объема разрабатываемых программных систем, процесс интеграции новых компонентов в уже существующую версию программного продукта становится ключевым. Это связано с тем, что процесс разработки программного компонента часто проводится независимо от других компонентов, поэтому работоспособность всей системы зависит от того, как будет проводиться интеграция компонентов. Например, при интеграции нового программного компонента в платформу мобильного устройства зачастую требуется более пятидесяти циклов интеграции и тестирования системы.

Возрастающая сложность программного обеспечения (ПО) в промышленных технологиях производства требует применения интеграционного тестирования, для реализации которого необходимы:

- поддержка интеграционного тестирования, начиная с ранних этапов разработки;

- организация распределенного интеграционного тестирования для поддержки распределенной разработки ПО;

- использование методов, предоставляющих детализированные результаты тестирования;

- локализация области, содержащей найденную ошибку;

- поддержка автоматической генерации и выполнения тестов;

- организация тестирования на разных этапах разработки с обеспечением преемственности (переиспользования) уже полученных результатов и наработок.

Таким образом, при постоянном сокращении сроков разработки ПО и увеличении его сложности, необходимо создание методик и инструментальных средств, которые позволили бы проводить интеграционное тестирование в заданные сроки и с определенным качеством.

Проведенный анализ предметной области показал, что текущее применение формальных подходов к интеграционному тестированию затруднено по причине отсутствия методов и средств настройки на тестирование интерфейса взаимодействия, в отрыве от тестирования всей системы. В существующих подходах интеграционного тестирования требуется создание полной модели всех компонентов, что для промышленных систем является очень трудоемким процессом и сложно применимым в процессе разработки ПО. Среди проанализированного инструментария для интеграционного тестирования существует очень ограниченный набор средств, позволяющий проводить тестирование на уровне интеграции компонентов и обнаруживать ошибки на ранних стадиях разработки ПО. Стоит отметить, что такие инструменты обладают тем же недостатком, что и формальные подходы, на которых они основаны - для их применения необходимо создание полных формальных моделей всех компонентов.

Тема диссертационной работы посвящена актуальной проблеме интеграционного тестирования на уровне интеграции* компонентов. В диссертации автором разработана технология создания систем интеграционного тестирования на основе применения теоретических основ инсерционного программирования и метода проверки на моделях.

2. Цель диссертационной работы заключается в разработке комплекса технологических процедур и инструментальных средств интеграционного тестирования ПО, разрабатываемого на языках формальных спецификаций, процедурных или объектно-ориентированных языках программирования. Разработанный комплекс процедур должен обеспечивать сокращение трудозатрат и времени на фазе интеграционного тестирования при отсутствии регрессии качества создаваемого ПО .

Для достижения цели в работе решены задачи:

- анализа существующих методов и инструментария интеграционного тестирования, определение их недостатков и преимуществ; построения модели взаимодействия системы и интегрируемого компонента с возможностью обеспечения контроля построенной модели для ее последующей верификации; разработки технологической цепочки интеграционного тестирования программного обеспечения, включающей в себя комплекс взаимосвязанных технологических процедур; проверки работоспособности предложенных методик и инструментальных средств на четырех проектах.

Разработка и результаты решения этих задач выносятся на защиту.

3. Предметом исследования,являются методы и инструментарий интеграционного тестирования программного обеспечения, для которого задана спецификация на формальном языке, либо реализация на процедурном или объектно-ориентированном языке.

4. Методы исследования. В диссертации используется теория атрибутных транзиционных систем и принципы инсерционного программирования, теория агентов и сред.

5. Обоснованность и достоверность полученных результатов обусловлена корректным использованием теории. инсерционного программирования; совпадением результатов по достижению качества программного обеспечения, полученных различными методами; положительными результатами использования предложенных методов и средств в реальных проектах, и положительным опытом эксплуатации программного обеспечения, интеграционное тестирование которого осуществлялось с использованием предложенных технологических процедур.

6. Научные результаты и их новизна. В диссертации разработаны методологические основы технологии создания систем интеграционного тестирования. Суть этих результатов сводится к следующему.

1. Предложен механизм верификации взаимодействия формализованного компонента и системы на основе теории'агентов и сред. Механизм позволяет проводить интеграционные проверки на стадии контроля и интерпретации спецификаций.

2. Впервые разработана модель интерфейса взаимодействия системы и компонента в терминах базовых протоколов, для чего построены интеграционное множество базовых протоколов, среда для погружения и функция погружения. Для данной модели разработан механизм верификации с использованием теории инсерционного программирования.

3. Формализован процесс определения интерфейсов взаимодействия для формальных, процедурных и объектно-ориентированных языков. Разработан соответствующий инструментарий, автоматизирующий построение взаимодействующих сущностей для процедурных. и объектно-ориентированных языков программирования.

4. Разработан процесс выделения взаимодействующих регионов кода для процедурных и объектно-ориентированных языков программирования, позволяющей идентифицировать области кода, отвечающие за взаимодействие.

5. На базе взаимодействующих регионов кода разработан метод построения, модели взаимодействия в терминах базовых протоколов и метод создания модели для случая формализованных компонентов. Предложенные методы обеспечивают построение модели взаимодействия в соответствии с созданной теоретической моделью (п.2).

6. Предложена методика верификации модели взаимодействия с использованием разработанного механизма и существующего инструментария. Предложена методика автоматической генерации и выполнения тестов на целевую платформу с учетом особенностей построенной модели.

7. Практическая значимость работы. На базе полученных научных результатов разработан комплекс технологических процедур и программных средств, предназначенных для интеграционного тестирования программного обеспечения. Комплекс технологических процедур и поддерживающие программные средства используются для интеграционного тестирования программных компонентов, разрабатываемых на формальных, процедурных и объектно-ориентированных языках (Basic Protocols (MSC), С, С++, Java).

Применение созданной технологии интеграционного тестирования позволило в среднем сократить время интеграционного тестирования на 30%.

8. Апробация работы. Основные результаты и выводы диссертации докладывались на конференции "Технологии Microsoft в теории и практике программирования" в 2007 г, на международной научной конференции "12th International Olympiad on Automatic Control" (СПб, 2008 г.), конференции "Motorola Technology Day" (СПб, 2007 г.). По материалам диссертации опубликовано 5 печатных работ, в том числе статья в издании из перечня ВАК, где изложены основные результаты работы.

9. Внедрение. Разработанная технология интеграционного тестирования внедрена в ЗАО "Моторола ЗАО", ФГУП НПП «Сигнал» и использована при разработке учебно-методического материала СПбГПУ по курсу «Теоретические основы технологии программирования» на кафедре "Информационных и управляющих систем". Практическое использование представляемых на защиту результатов подтверждено соответствующими актами о внедрении.

10. Структура и объем работы. Работа содержит введение, 4 главы и заключение. Объем работы 165 страниц, количество иллюстраций 58, список использованной литературы содержит 94 наименования.

Заключение диссертации по теме «Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей», Тихомиров, Владимир Александрович

4.6 ВЫВОДЫ

По результатам проведения апробации и анализа применения технологии в промышленных и учебных проектах можно сделать следующие выводы:

1. Технология может быть эффективно использована в проектах различной сложности от небольших проектов с объёмом требований в несколько десятков, до больших промышленных проектов с объёмом требований в несколько тысяч.

2. Наибольшая эффективность использования технологии возникает в случае её использования на протяжении всего цикла производства ПО, начиная со стадии дизайна кода и заканчивая стадией тестирования продукта.

3. Эффективность использования технологии возрастает с ростом сложности проекта за счёт эффективности формального описания и появления большего количества, потенциально опасных с точки зрения возникновения дефектов, мест в спецификациях интерфейса взаимодействия

4. Сокращение времени разработки за счёт применения технологии колеблется от 27% до 35% в зависимости от сложности построения модели взаимодействия.

5 Заключение

Целью работы являлось создание технологии интеграционной верификации и тестирования для производства промышленного- ПО, позволяющей существенно сократить трудозатраты и время на процесс интеграционного тестирования. Результатом исследований, проведенных в работе, является технология интеграционной верификации, включающая комплекс взаимосвязанных методик и средства инструментальной поддержки. Технология, основана на принципах инсерционного программирования и алгебры поведений, что обеспечивает широкую область применения разработанных методик.

Для достижения цели в работе решены следующие задачи: анализа существующих методов и инструментария интеграционного тестирования, определение их недостатков и преимуществ; построения модели взаимодействия системы и интегрируемого компонента с возможностью обеспечения контроля построенной модели для ее последующей верификации; разработки технологической цепочки интеграционного тестирования программного обеспечения, включающей в себя комплекс взаимосвязанных технологических процедур; проверки работоспособности предложенных методик и инструментальных средств на четырех проектах.

Результат решения поставленных задач следующий.

1. Предложен механизм верификации взаимодействия формализованного компонента и системы на основе теории агентов и сред. Механизм позволяет проводить интеграционные проверки на стадии контроля и интерпретации спецификаций.

2. Впервые разработана модель интерфейса взаимодействия, системы и, компонента в терминах базовых протоколов, для чего построены интеграционное множество базовых протоколов, среда для погружения и функция погружения. Для данной модели разработан механизм верификации с использованием теории инсерционного программирования.

3. Формализован процесс определения интерфейсов взаимодействия для формальных, процедурных и объектно-ориентированных языков. Разработан соответствующий инструментарий, автоматизирующий построение взаимодействующих сущностей для процедурных и объектно-ориентированных языков программирования.

4. Разработан процесс выделения взаимодействующих регионов кода для процедурных и объектно-ориентированных языков программирования, позволяющей идентифицировать области кода, отвечающие за взаимодействие.

5. На базе взаимодействующих регионов кода разработан метод построения модели взаимодействия в терминах базовых протоколов и метод создания модели для случая формализованных компонентов. Предложенные методы обеспечивают построение модели взаимодействия в соответствии с созданной теоретической моделью (п.2).

6. Предложена методика верификации модели взаимодействия с использованием разработанного механизма и существующего инструментария. Предложена методика автоматической генерации и выполнения тестов на целевую платформу с учетом особенностей построенной модели.

Эффективность разработанных методик была подтверждена экспериментально, путем сравнения с результатами ручного тестирования проектов. Эксперименты показали, что разработанная технология позволяет обнаружить большинство ошибок, которые были найдены при ручном тестировании.

На базе полученных научных результатов был разработан комплекс программных средств, предназначенных для интеграционного тестирования. Программный комплекс был использован в компании Motorola и в научно-производственном предприятии «Сигнал» в 4 программных проектах по разработке мобильных устройств и телекоммуникационных станций. Созданные методики и программные средства могут быть использованы для обеспечения качества реактивных систем в широком спектре встроенных применений.

Общий объем разработанного программного обеспечения, вошедшего в программный комплекс поддержки технологии интеграционной верификации и тестирования, составил около 250 килобайт исходного кода на языках С, Perl и Java.

По материалам диссертационной работы опубликовано 5 печатных работ, из них одна работа опубликована в издании, входящем в перечень ВАК. Разработанная технология автоматизации тестирования внедрена в ЗАО "Моторола ЗАО", ФГУП НПП «Сигнал» и использована при разработке учебно-методического материала СПбГПУ по курсу " Теоретические основы технологий программирования" на кафедре "Информационных и управляющих систем".

Практические результаты, полученные в ходе работы, позволяют сделать вывод, что поставленные задачи решены, и констатировать достижение цели всей работы. По своей значимости работа относится к новым технологическим средствам поддержки процесса разработки промышленного программного обеспечения, позволяющим повысить качество разрабатываемого ПО.

Список литературы диссертационного исследования кандидат технических наук Тихомиров, Владимир Александрович, 2009 год

1.Е.Н.Бритвина,С.Г.Грошев, А.Монахов, А.К.Петренко, О.Л.Петренко Тестирование на основе моделей, ж. «Открытые системы» №9/03

2. Коул Д., Томас Г., МакДональд М., Спарджеон Р., Принципы тестирования ПО, ж. Открытые Системы #02/98

3. Брукс Ф. Как проектируются и создаются программные комплексы. М.: Наука, 1979

4. IEEE standard glossary of Software Engineering Terminology, IEEE Std 610.12-1990

5. Котляров В.П., Пинаев Д.В. Методы и средства автоматизации тестирования программного проекта. Санкт-Петербург, 1998.6. http://matlab.exponenta.ni/stateflow/bookl/l .php

6. А.В. Хорошилов Спецификация и тестирование систем с асинхронным интерфейсом, ИСП РАН,http://www.citforum.ru/SE/testing/asynchronousinterface/)

7. Beizer В. Software Testing Techniques. ITP, 1990. 550 pp.

8. Синицын C.B., Налютин Н.Ю Верификация программного обеспечения, БИНОМ. Лаборатория знаний, Интернет-университет информационных технологий, 2008

9. Hong Zhu, Xudong Не An Observational Theory of Integration Testing for Component-Based Software Development, compsac,pp.363, 25th Annual International Computer Software and Applications Conference (COMPSAC'Ol), 2001

10. Hashim, N.L.; Ramakrishnan, S.; Schmidt, H.W. Architectural Test Coverage for Component-Based Integration Testing, Quality Software, 2007. QSIC apos;07. Seventh International Conference on Volume , Issue, 11-12 Oct. 2007 Page(s):262 -26

11. Marinissen, E.J.; Zorian, Y.; Kapur, R.; Taylor, Т.; Whetsel, L Towards a standard for embedded core test: an example IEEE International Test Conference, 1999.

12. Burnstein I, Practical Software Testing. A process-oriented approach, Springer-Verlag, New York, 2003, 732 p

13. Э. Йордан, С. Аргила Структурные модели в объектно-ориентированном анализе и проектировании, М.:Лори, 1999

14. Майерс Г. Искусство тестирования программ, М.: Финансы и статистика, 1982

15. Murphy G., Townsend P., Wong P Experiences with cluster and class testing, Communications of the ACM, Vol. 37, No. 9, 1994', pp. 39-47

16. Г.М.Лодыженский Технология "клиент-сервер" и мониторы транзакций Открытые системы, N 3, 1994

17. The Standish Group. "Client-Server Goes Business Critical. Transaction Processing Monitors, Key to Next Generation of Applications".

18. Tasktop Tech] http://tasktop.com/blog/eclipse/the-tasktop-and-interface21 -partnership-people-technologies-and-eclipse

19. ITKO] http ://www. itko. com/site/products/soatesting.j sp

20. Netvantage] http://www.netvantagetech.com/FunctionalTester/

21. Ranorex] http://www.ranorex.com/products/ranorex-studio-test-automation-environment.html

22. STOpen Source] http://staf.sourceforge.net/docs.php

23. Atomic Object] http://www.atomicobject.com/pages/Svstem+Testing+in+Ruby

24. Eclipse] http://www.eclipse.org/tptp/home/documents/index.php

25. SPIRAN] http://www.unitesk.com/

26. Sun Microsystems] http://faban.sunsource.net/28. Rational]http://www.ibm.com/software/awdtools/developer/rose/enterprise/index.html29. vrs] VRS User's Manual © 2001-2005 MOTOROLA

27. Boehm B. Software Engineering Economic Prentice-Hall,Inc, N.J. 1981. -767 pp.

28. Брукс Ф. Мифический человеко-месяц или как создаются программные системы

29. СПб.: Символ-Плюс, 1999. 304с.

30. Непомнящщий В.А., Рякин О.М. Прикладные методы верификации программ //М.:Радио и связь, 1988.

31. M.Y. Vardi and P. Wolper, An Automata-Theoretic Approach to Automatic Program Verification, Proc. First IEEE Symp. Logic in Computer Science, pp. 322-331, 1986

32. IEEE standard glossary of Software Engineering Terminology, IEEE Std 610.12-1990

33. E. N. Yourdon Classics in software engineering. Yourdon Press, 1979.

34. E.N. Yourdon Writings of the Revolution, Yourdon Press, 1982.

35. С. A. R. Hoare. An axiomatic basis for computer programming. Communications of the ACM, 12(10):576-585, October 1969.

36. R. W. Floyd. Assigning meaning to programs. Proc. of Symposium in Applied Mathematics. J. T. Schwartz, ed. Mathematical Aspects of Computer Science, 19:19-32, 1967.

37. E. A. Dijkstra. Discipline of programming. Prentice Hall, 1976.

38. Русский перевод: Э. Дейкстра. Дисциплина программирования. М.: Мир, 1978.

39. S. Owicki, D. Gries. Verifying properties of parallel programs: an axiomatic approach. Communications of the ACM, 19(5), 1976.42. http://www.cs.utexas.edu/~moore/acl2/.

40. M. Kaufmann, J. S. Moore. Design Goals for ACL2. Proc. of 3-rd International School and Symposium on Formal Techniques in Real Time and Fault Tolerant Systems, pp. 92-117, 1994.44. http://www.eprover.org/.

41. B. Beckert, R. Hahnle, P. H. Schmitt, eds. Verification of Object-Oriented Software: The KeY Approach. Springer, 2007.

42. A. Riazanov, A. Voronkov. The Design and Implementation of Vampire. AI Communications, 15(2):91-110, September 2002.50. http://www.mpi-inf.mpg.de/~hillen/waldmeister/.51. http://combination.cs.uiowa.edu/Darwin/.52. http://www.cs.miami.edu/~tptp/CASC/.

43. E. Denney, B. Fischer, J. Schumann. An Empirical Evaluation of Automated Theorem Provers in Software Certification. International Journal on Artificial Intelligence Tools, 15(1):81-107, 2006.

44. Э. Кларк, О. Грамберг, Д. Пелед. Верификация моделей программ: Model Checking. М.: МЦНМО, 2002.

45. И. Б. Бурдонов, А. В. Демаков, А. С. Косачев, А. В. Максимов, А. К. Петренко. Формальные спецификации в технологиях обратной инженерии и верификации программ. Труды Института системного программирования, 1999 г., том 1, стр. 35-47

46. Е.Ю.Парийская. Сравнительный анализ математических моделей и подходов к моделированию и анализу непрерывно-дискретных систем. // Дифференциальные уравнения и процессы управления, 1997, №1, с. 91120.

47. Manna. Z., Pnueli A.: The Temporal Logic of Reactive and Concurrent Systems. Springer-Verlag, 1992.

48. W. K. Chan, T. Y. Chen, Т. H. Tse An Overview of Integration Testing Techniques for Object-Oriented Programs Proceedings of the 2nd ACIS

49. Annual International Conference on Computer and Information Science (ICIS 2002)

50. S. Lyer and S. Ramesh. Apportioning: a technique for efficient reachability analysis of oncurrent object-oriented programs. IEEE Transactions on Software Engineering, 27(1): 1037-1056,2001.

51. S. C. Cheung and J. Kramer. Context constraints for compositional reachability analysis. ACM Transactions on Software Engineering and Methodology, 5(4):334-377, 1996.

52. P.V. Koppol, R. H. Carver, and K.-C. Tai. Incremental integration testing of concurrent programs. IEEE Transactions on Software Engineering, 28(6):607— 623, 2002.

53. R. H. Carver and K.-C. Tai. Use of sequencing constraints for specification-based testing of concurrent programs. IEEE Transactions on Software Engineering, 24(6):471-490, 1998.

54. Easterbrook S., Callahan J. Formal Methods for Verification and Validation of partial specifications: A Case Study. // Virginia University symposium,- vol. 1, 1997

55. Johnsen E.B., Owe O. Composition and Refinement for Partial Object Specifications. Parallel and Distributed Processing Symposium, 2002, P.210-217.

56. Hendrix J., Clavel M., Meseguer J. A Sufficient Completeness Reasoning Tool for Partial Specifications. // Proceedings of the 16h International Conference on Rewriting. LNCS, vol.3467, 2005

57. Тихомиров B.A., Котляров В.П. Подход к тестированию наведенных дефектов. Системное программирование. Вып. 3: Сб. Статей, Изд-во СПбГУ, 2008

58. J.A.Bergstra, A.Ponse, S.A.Smolka, (Eds) Handbook of Process Algebra, North-Holland, 2001

59. R.Milner, A Calculus of Communicating Systems, LNCS 92, 1980.

60. D.Park, Concurrency and automata on infinite sequences, LNCS 104, 1981.

61. A.Letichevsky, D.Gilbert, A Model for Interaction of Agents and Environments, In D.Bert, C.Choppy, P.Moses (Eds), Resent Trends in Algebraic Development Techniques, LNCS 1827, 311-328, 1999.

62. A.Letichevsky, D.R.Gilbert, Agents and environments, 1st International scientific and practical conference on programming, Glushkov Institute of Cybernetics, National Academy of Sciences of Ukraine, Proceedings 2-4 September, 1998.

63. Ю.Г. Карпов Верификация распределенных алгоритмов и протоколов, курс лекций.

64. A.A.Letichevsky, D.R.Gilbert, A general theory of action languages, Cybernetics and System Analysis, 1, 1998, p. 16-36.

65. Distilled Second Edition A Brief Guide to the Standard Object Modeling Language Martin Fowler, Kendall Scott Publisher: Addison Wesley Second Edition August 18, 1999 ISBN: 0-201-65783-X, 224 pages

66. ITU Recommendation Z.120. Message Sequence Charts (MSC), 11/99

67. ITU-T z.100 (08/2002)// Telecommunication standardization sector of UTI, 202c.http://www.itu.int/rec/recommendation.asp?type=items&lang=e&parent=T-REC-Z. 100-200208-1

68. А.А.Летичевский, Ю.В.Капитонова, В.А.Волков, А.А.Летичевский (мл.), С.Н.Баранов, В.П.Котляров. Спецификация систем с помощью базовых протоколов, 2005

69. A.Letichevsky, D.Gilbert, A Model for Interaction of Agents and Environments, In D.Bert, C.Choppy, P.Moses (Eds), Resent Trends in Algebraic Development Techniques, LNCS 1827, 311-328, 1999

70. Mauw S., Reniers M.A., Operational Semantics for MSC'96. Computer Networks and ISDN systems, 1998

71. Code Analyzer http://sourceforge.net/proiects/codeanalyze-gpl/

72. IntelliJ IDEA http://www.ietbrains.com/idea/features/codeanalysis.html82. http://www.appperfect.com/products/codeanalvzer.html

73. TAT+Beta User's Manual © 2001-2005 MOTOROLA

74. Test Central 4.0 User's Manual © 2001-2007 MOTOROLA

75. В. W. Boehm. Software Engineering; R&D Trends and Defense Needs. In R. Wegner, ed. Research. Directions in Software Technology. Cambridge, MA-MIT Press, 1979.

76. Кружков O.A., Ильин, B.B., Карпов A.H., Зыбин К.Г., Салиева М.Н., Paper for. the International! Conference on Circuits and Systems for Communications (IEEE sponsored), MESSAGE SEQUENCE BASED TEST

77. GENERATION VS. MANUAL TEST CONSTRUCTION: PROS AND CONTRAS

78. Настоящий акт составлен о том, что при выполнении проекта по разработке программного обеспечения комплекса специализированной аппаратуры связи были использованы следующие результаты диссертационной работы Тихомирова В.А.:

79. Комплекс взаимосвязанных методик по идентификации, формализации, верификации и тестированию взаимодействия модулей системы.

80. Программные средства поддержки комплекса методик интеграционной верификации и тестирования.

81. Применение разработанной в рамках диссертационной работы технологии интеграционной верификации и тестирования для встроенного ПО мобильных телефонов привело к следующим результатам:

82. Интеграционные ошибки, найденные при ручном тестировании, были * выявлены в процессе верификации модели взаимодействия и выполнениясгенерированного тестового набора.

83. Относительно ручного тестирования достигнуто сокращение трудозатрат в 1,5 раза на проведение процесса интеграционного тестирования.

84. Выигрыш применения технологии относительно «ручного подхода с учетом трудозатрат на системы интеграционно! шная с 3-4-х циклов тестирования.1. Руководитель проекта