Методы и средства генерации данных для тестирования встроенного бортового программного обеспечения тема диссертации и автореферата по ВАК РФ 05.13.11, кандидат технических наук Батаев, Алексей Владимирович

• Батаев, Алексей Владимирович
• кандидат технических наук
• 2008

Оглавление диссертации кандидат технических наук Батаев, Алексей Владимирович

ВВЕДЕНИЕ.

ГЛАВА 1. МЕТОДЫ РАЗРАБОТКИ ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ. МЕТОДЫ И СРЕДСТВА ВЕРИФИКАЦИИ.

1.1. Модели процесса создания программного обеспечения.

1.2. Критические системы.

1.2.1. Жизненный цикл разработки встроенного бортового программного обеспечения.

1.3. Методы и средства автоматического доказательства корректности программ.

1.3.1. Метод индуктивных утверждений.

1.3.2. Аксиоматический метод доказательства частичной корректности программ.

1.4. Методы автоматической генерации тестовых данных.

1.4.1. Проблемы систем генерации тестовых данных.

1.4.2. Применение методов генерации тестовых данных для тестирования встроенного бортового программного обеспечения.

1.5. Методы и средства тестирования программного обеспечения.-.

1.5.1. Статическое тестирование.

1.5.2. Динамическое тестирование.

1.5.3. Методы тестирования программного обеспечения.

1.5.3.1. Функциональное тестирование.

1.5.3.2. Тестирование встроенного бортового программного обеспечения.

1.6. Обзор существующих систем тестирования.

1.6.1. VectorCAST.

1.6.2. AdaTEST 95.

1.6.3. LDRA Testbed.

1.6.4. Telelogic TAU Generation2.

1.6.5. SOFTWARE TESTWORKS.

1.6.6. UniTesK.

1.7. Средства разработки системы генерации тестов.

1.8. Проблемы тестирования встроенного бортового программного обеспечения.

1.9. Постановка задачи.

1.10. Выводы.

ГЛАВА 2. МЕТОД ГЕНЕРАЦИИ ТЕСТОВЫХ ДАННЫХ НА ОСНОВЕ ФУНКЦИОНАЛЬНЫХ ТРЕБОВАНИЙ.

2.1. Описание метода генерации тестовых данных.

2.1.1. Суть подхода.

2.1.2. Выделение областей эквивалентностей.

2.1.3. Метод решения логических ограничений.

2.2. Модификация метода генерации тестовых данных для определения достижимости заданной точки в программе.

2.3. Автоматизация процесса тестирования встроенного бортового программного обеспечения.

2.4. Метод генерации тестовых данных и «недоопределенная» математика.

2.5. Выводы.

ГЛАВА 3. ПРОТОТИП СИСТЕМЫ ПОДДЕРЖКИ МОДЕЛИРОВАНИЯ И ТЕСТИРОВАНИЯ ВСТРОЕННОГО БОРТОВОГО ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ ADACS.

3.1. Проект системы моделирования и помощи разработки.

3.1.1. Подсистема разбора исходного кода 1{елевого языка.

3.1.2. Подсистема хранения и анализа семантической информации.

3.1.3. Подсистема моделирования исполнения исходного кода.103'

3.1.4. Интерфейс взаимодействия пользователя с системой.

3.1.5. Подсистема сбора и анализа степени покрытия кода.

3.1.6. Подсистема решения логических уравнений.

3.2. Тестирование на основе моделирования.

3.3. Выводы.

ГЛАВА 4. ПРИМЕНЕНИЕ ПРОТОТИПА СИСТЕМЫ МОДЕЛИРОВАНИЯ И ТЕСТИРОВАНИЯ АИАС8 И МЕТОДА ГЕНЕРАЦИИ

ТЕСТОВЫХ ДАННЫХ.

4.1. Анализ и практика применения разработанных методов генерации тестовых данных.

4.2. Использование метода генерации тестовых данных в системе генерации тестов

MatLaber.

4.3. Выводы.

Введение диссертации (часть автореферата) на тему «Методы и средства генерации данных для тестирования встроенного бортового программного обеспечения»

Актуальность. В последнее время программное обеспечение проникло во все области промышленности и с каждым годом распространяется все больше и больше, становясь одной из важнейших компонент различных систем. Отказы в работе таких систем могут приводить к существенным материальным или временным потерям или представлять угрозу жизням людей.

В первую очередь, эти проблемы связаны с потенциальной сложностью программного обеспечения, в особенности одного из важнейших видов программного обеспечения - промышленных программных систем. Существенная черта промышленной программы - уровень сложности: один разработчик практически не в состоянии охватить все аспекты такой системы, то есть сложность промышленных программ превышает возможности человеческого интеллекта. И эта сложность присуща всем большим* программным системам и здесь неизбежна: с ней иногда можно справиться; но избавиться от нее нельзя.

Существует особый класс промышленных программных систем - критические системы, ошибки в которых могут привести к крупным материальным потерям или связаны с риском'для жизни людей. Данный аспект влияет на требования, предъявляемые к подобным программным системам, и трудоемкость и стоимость их разработки по сравнению с программными системами общего назначения возрастает.

К такому классу систем относится встроенное бортовое программное обеспечение. К этому классу программного обеспечения предъявляются повышенные требования по надёжности, поскольку от данной программной системы зависят жизни людей или же большие материальные ценности.

Ключом к решению этих проблем является организация и структуризация процесса создания ПО, реализация технологических принципов промышленной разработки программных систем. Эти технологии и методы регламентируются рядом отечественных и международных стандартов, таких как: ISO 9001 (общий стандарт, регламентирующий требования к системе управления качества), IEC 61508 (CENELEC) [103] (общеевропейский стандарт для всех критичных систем), RTCA/DO-178B [75; 122; 123] (международный стандарт, обеспечивающий требования к безопасности и пригодности ПО для использования на борту самолета), ED-12B (европейский стандарт, аналог RTCA/DO-178В), КТ-178А (отечественный стандарт, аналог RTCA/DO-178B). Согласно этим стандартам, необходимым условием обеспечения качества программной системы является обязательная верификация всех результатов работы на каждом из этапов жизненного цикла программной системы.

Проблема верификации встроенного бортового программного обеспечения вызывает существенные трудности. Это связано с тем, что существует масса факторов, которые не позволяют провести полную и корректную верификацию системы:

• недостаток времени;

• большое количество входных параметров системы;

• трудности с определением ожидаемых выходов;

• проблемы неполноты и корректности требований;

• отсутствие подготовленных кадров и курсов их подготовки;

• неприспособленность существующего инструментария;

• недооценка процессов верификации со стороны менеджмента.

Работы в данной области ведутся в течение нескольких десятков лет силами многих российских и зарубежных ученых: Р. Андерсон [4], P.JI. Бейбер [18], Б. Бейзер [19; 81], Б. Корел [108], В.В. Кулямин [54; 57; 136], В.В. Липаев [41; 42; 43; 44], Г. Майерс [45; 46], А.Д. Оффут [91; 113; 114; 98] и др. Вместе с тем существует достаточно небольшое количество работ, связанных с автоматизацией процесса разработки тестов при тестировании на основе требований.

Работа посвящена одному из аспектов верификации программного обеспечения - методам и средствам покомпонентного тестирования встроенного бортового программного обеспечения на основе требований и методам автоматической генерации тестовых данных на основе требований.

Объект и предмет исследования. Объектом исследования является процесс покомпонентного тестирования встроенного бортового программного обеспечения в соответствии со стандартом КТСАЯ)0-178В. Предметом исследования данной диссертации являются методы и средства автоматизированной и автоматической генерации тестовых данных, используемые при структурном и динамическом тестировании программных систем, призванные помочь тести-ровщикам увеличить количество обнаруживаемых дефектов и степень покрытия исходного кода исследуемых программных систем. Данные методы рассматриваются с точки зрения возможности их приложения к тестированию встроенного бортового обеспечения с применением метода тестирования на основе моделирования.

Цель диссертационной работы состоит в разработке методов и средств генерации наборов входных данных для тестирования встроенного бортового программного обеспечения-на основе требований для обнаружения дефектов. Объектом анализа является исходный код тестируемой системы, а ограничения строятся либо автоматически, исходя из предположения, что программа должна в процессе выполнения достичь некоторой контрольной точки, либо вручную на основе функциональных требований-к системе. Данная цель предполагает решение нижеприведенных задач:

• ■> исследовать существующие методы» и средства тестирования программ, подходы,к доказательству корректности программ и генерации тестовых данных и их применимость к тестированию встроенного бортового программного обеспечения;

• разработать метод генерации тестовых данных, позволяющий выявить дефекты в коде программной системы, связанные с несоответствием кода функциональным требованиям, и недокументированные возможности;

• разработать метод генерации тестовых данных, который бы позволил автоматически получать наборы входных значений, позволяющие обеспечить покрытие кода, и обнаруживать недостижимые участки кода;

• разработать прототип системы анализа встроенных бортовых программ и помощи при разработке тестов;

• экспериментально проверить разработанные методы и программные средства.

Методы исследования. При разработке математического и программного обеспечения в диссертационной работе используются методы теории доказательства корректности программ, методы генерации тестовых данных, теории построения трансляторов, математического программирования и оптимизации и методы объектно-ориентированного, программирования.

Научная новизна работы заключается в следующем:

• разработана классификация отказов и дефектов программного обеспечения, вызванных несоответствием между кодом и предъявляемым к нему функциональным требованиям;

• на основе метода вывода предусловий и постусловий, разработан метод построения < логических ограничений, описывающих области входных значений, приводящих к возникновению отказов в соответствии с разра ботанной классификацией отказов и дефектов на основе требований;

• i разработан метод поиска решения логических уравнений вида Р(Х) = I f = True на основе метода внешних точек (внешних «штрафных» функций) i

Чг к для задачи математического программирования;

• на основе комбинации'методов'построения логических ограничений и решения логических уравнений разработаны методы генерации тестовых данных, при которых возникают отказы встроенного бортового программного обеспечения, вызванные несоответствием кода требованиям.

Практическая значимость состоит в том, что разработанные методы генерации тестовых данных позволяют обнаруживать дефекты при компонентном тестировании встроенного бортового программного обеспечения в соответствии с функциональными требованиями, а также автоматизировать работу по составлению тестовых планов и сократить общие временные и материальные затраты на этапе тестирования. f

Реализация результатов. Результаты, полученные в работе, имели следующие научно-практические приложения: 1

• на основе разработанного метода генерации тестовых данных был реализован и использовался в учебном процессе прототип системы поддержки тестирования и генерации тестов ADACS, что подтверждается актом об использовании результатов диссертации от 14 сентября 2007 года;

• на основе метода генерации тестовых данных был разработан метод тестирования логических схем, описанных в системе Matlab;

• метод тестирования логических схем был реализован в рамках проекта разработки ядра XMath для системы генерации тестов MatLaber и использовался в проектах по тестированию встроенного бортового программного обеспечения ООО «ДС БАРС», что подтверждается актом об использовании результатов диссертации от 21 сентября 2007 года.

Апробация работы. По теме диссертации опубликованы 13 работ и сделаны доклады на следующих семинарах и конференциях:

• Научные сессии МИФИ, 2001 и 2003-2005 гг.;

• XII, XIII, XV, XVI Международные научно-технические семинары «Современные технологии в задачах управления, автоматики и обработки информации», Алушта, 2003, 2004, 2006, 2007 гг.;

• The 9th International Workshop on Computer Science and Information Technologies (CSIT'2007), Уфа, 2007 г.

На защиту выносятся:

• классификация отказов и дефектов встроенного бортового программного обеспечения, вызванные несоответствием кода требованиям;

• метод построения логических ограничений на основе разработанной классификации дефектов;

• метод решения логических уравнений на основе метода внешних точек для задачи математического программирования;

• метод генерации тестовых данных, при которых возникают отказы встроенного бортового программного обеспечения, вызванные несоответствием кода требованиям, на основе комбинации методов построения логических ограничений и решения логических уравнений;

• программные реализации прототипа системы поддержки тестирования и генерации тестов ADACS и ядра XMath для системы генерации тестов MatLaber, реализующие разработанные методы генерации данных.

Структура работы. Диссертация изложена на 143 стр. основного текста (с приложениями — 177 стр.), состоит из введения, четырех глав, заключения, списка литературы из 140 наименований и четырех приложений. Содержит 37 рисунков, восемь таблиц.

Заключение диссертации по теме «Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей», Батаев, Алексей Владимирович

Результаты работы показывают, что поставленные цели разработки метода и средств генерации тестовых данных можно считать достигнутыми.

ЗАКЛЮЧЕНИЕ

В диссертационной работе были рассмотрены существующие подходы к верификации компонент встроенного бортового программного обеспечения в соответствии со стандартом 11ТСАЛЮ-178В, а также рассматривались методы и средства увеличения производительности труда тестировщиков и повышения количества обнаруживаемых дефектов программного обеспечения, вызванных несоответствием кода требованиям. При выполнении данной работы были получены следующие результаты.

1. Предложена классификация дефектов программного обеспечения на основе классификации отказов, вызванных несоответствием поведения программы предъявленным к ней требованиям.

2. Сформулирована и решена задача об определении входных данных, позволяющих обнаруживать несоответствия между двумя модельными представлениями некоторой компоненты программной системы. Модельные представления представляют собой логические предикаты, описывающие поведение компоненты программы на основе исходного кода и требований.

3. Разработан метод генерации тестовых данных, позволяющих обнаруживать дефекты компонент встроенного бортового программного обеспечения. Предложена модификация метода, позволяющая определять достижимость некоторой точки в программе. Проведенные эксперименты показали эффективность и корректность разработанного метода генерации тестовых данных.

4. Разработан прототип системы моделирования и помощи разработки тестов АБАСЗ, позволяющая проводить компонентное тестирование в соответствии со стандартом 11ТСА/ЕЮ-178В, который использовался в учебном процессе, что подтверждается актом о внедрении.

5. На основе разработанного метода генерации тестовых данных, разработано ядро ХМаЙг системы генерации тестов Ма^аЬег. Данная система используется в проектах тестирования встроенного бортового программного обеспечения в ООО «ДС БАРС», что подтверждается актом о внедрении.

6. Проведенное исследование существующих методов и средств тестирования программного обеспечения показало, что на сегодняшний день отсутствуют удобные средства для выполнения работ по верификации программного обеспечения. Большинство существующих САБЕ-средств, присутствующих на рынке, направлены на поддержку процесса проектирования и кодирования систем, но не обеспечивают поддержки процессов верификации. Отдельные системы тестирования предоставляют лишь относительно небольшой набор инструментов для анализа систем и их верификации, и при этом требуют достаточно больших материальных затрат.

Поэтому существует необходимость в интегрированной системе поддержки процесса верификации, которая позволяла бы автоматизировать большинство работ по тестированию и анализу верифицируемого программного обеспечения.

Список литературы диссертационного исследования кандидат технических наук Батаев, Алексей Владимирович, 2008 год

1. Александреску, А. Современное проектирование на С++ / А. Александреску ; пер. с англ. И.В. Красикова. М.: Издат. дом «Вильяме», 2002. - 336 с.

2. Аммерааль, Л. STL для программистов на С++ / Л. Аммерааль ; пер. с англ. Ю.А. Баранова, под ред. И.М. Захарова. М.: ДМК, 1999. - 240 с.

3. Андерсон, Р. Доказательство правильности программ / Р. Андерсон ; пер. с англ. Б.Н. Зобниной, под ред. Д. Б. Подшивалова. М.: Мир, 1982. - 168 с.

4. Батаев, A.B. Комбинированный метод верификации программ / A.B. Батаев // Научная сессия МИФИ-2002 : сб. научных труд. : в 14 т. М.: МИФИ, 2002. -Т. 2. - С. 55-56.

5. Батаев, A.B. Автоматизированная генерация тестовых данных / A.B. Батаев, C.B. Синицын // Научная сессия МИФИ-2003 : сб. научных трудов : в 14 т. -М.: МИФИ, 2003. Т. 2. - С. 53-54.

6. Батаев, A.B. Система символического моделирования АДА-программ / A.B.

7. Батаев, C.B. Синицын // Современные технологии в задачах управления, автоматики и обработки информации : труды XIII Международного научно-технического семинара, сентябрь 2004 г., Алушта : в 3 т. М.: Издат. МЭИ, 2004. — Т. 1.-С. 62-64.

8. Батаев, A.B. Система символического моделирования АДА-программ / A.B. Батаев, C.B. Синицын // Научная сессия МИФИ-2004 : сб. научных трудов : в15 т. М.: МИФИ, 2004. - Т. 2. - С. 72-73.

9. Батаев, A.B. Тестирование вариантов использования / A.B. Батаев, C.B. Синицын // Научная сессия МИФИ-2005 : сб. научных трудов : в 16 т. М.: МИФИ, 2005. - Т. 2. - С. 57-58.

10. Батаев, A.B. Автоматизированная система моделирования программ / A.B. Батаев, C.B. Синицын // Научная сессия МИФИ-2005 : сб. научных трудов : в16 т. М.: МИФИ, 2005. - Т. 2. - С. 59-60.

11. Батаев, A.B. Тестирование на оснбве моделирования / A.B. Батаев // Научная сессия МИФИ-2006 : сб. научных трудов : в 16 т. М.: МИФИ, 2006. - Т. 2. -С. 102-103.

12. Батаев, A.B. Математические методы доказательства правильности встроенного бортового программного обеспечения / A.B. Батаев, C.B. Синицын // Безопасность информационных технологий. 2007. - № 2. - С.57-60.

13. Бейбер, P.JI. Программное обеспечение без ошибок / P.JI. Бейбер ; пер. с англ., под ред. Д.И.Правикова. М.: Джон Уайли энд Санз, Радио и связь, 1996.- 176 с.

14. Бейзер, Б. Тестирование черного ящика. Технологии функционального тестирования программного обеспечения и систем / Б. Бейзер ; пер. с англ. Раздо-барин А. СПб.: Издат. дом «Питер», 2004. - 318 с.

15. Бек, К. Экстремальное программирование / К. Бек ; пер. с англ. СПб.: Издат. дом «Питер», 2002. - 224 с.

16. Брауде, Э.Д. Технология разработки программного обеспечения / Э.Д. Брау-де ; пер. с англ. СПб.: Издат. дом «Питер», 2004. - 656 с.

17. Браун, С. Операционная система UNIX / С. Браун ; пер. с англ. М.: Мир, 1986.-463 с.

18. Вендров, A.M. Проектирование программного обеспечения экономических информационных систем: учебник / A.M. Вендров. — 2-е изд., перераб. и доп. -М.: Финансы и статистика, 2000. 352 с.

19. Гласс, Р. Руководство по надежному программированию / Р. Гласс ; пер. с англ. М.: Финансы и статистика, 1982. - 256 с.

20. Грешилов, A.A. Прикладные задачи математического программирования: учебное пособие / Грешилов A.A. 2-е изд, доп. - М.: Логос, 2006. - 288с.

21. Гриффите, A. GCC. Полное руководство / А. Гриффите ; пер. с англ. К.: Издательство «ДиаСофт», 2004. - 624 с.

22. Дастин, Э. Автоматизированное тестирование программного обеспечения: внедрение, управление и эксплуатация / Э. Дастин, Д. Рэшка, Д. Пол ; пер. с англ. М.: Изд. «Лори», 2003. - 568 с.

23. Дунаев, С. UNIX System V. Release 4.2: Общее руководство / С. Дунаев. -М.: Диалог-МИФИ, 1995. 287 с.

24. Епифанов, H.A. Методы реализации регрессионного тестирования по расширенным тестовым наборам: дис. . канд. техн. наук: 05.13.11 : защищена 26.02.2004 / H.A. Епифанов; С-Петерб. гос. политехи, ун-т. СПб, 2003. - 149 с.

25. Ершов, А.П. Смешанные вычисления // А.П. Ершов. В мире науки, 1984. -№ 6. - С. 28-42.

26. Калбертсон, Р. Быстрое тестирование / Р. Калбертсон, К. Браун, Г. Кобб ; пер. с англ. М.: Издат. дом «Вильяме», 2002. - 384 с.

27. Калянов, Г.Н. CASE-технологии. Консалтинг при автоматизации бизнес-процессов / Г.Н. Калянов. 2-е изд., перераб. и доп. - М.: Горячая линия -Телеком, 2000. - 320 с.

28. Калянов, Г.Н. Методы и средства системного структурного анализа и проектирования / Г.Н. Калянов. М.: НИВЦ МГУ, 1995. - 59 с.

29. Кознов, Д.В. Апробация технологии тестирования UniTESK / Д.В. Кознов, H.A. Арчак// Системное программирование: сб. ст. СПб.: Изд. С.-Петерб. гос. ун-т, 2004. - С. 335-347.

30. Коллинз, Г. Структурные методы разработки систем: от стратегического планирования до тестирования / Г. Коллинз, Д. Блей ; пер. с англ. М.: Финансы и статистика, 1986. - 264 с.

31. Лавров, С.С. Программирование. Математические основы, средства, теория / С.С. Лавров. СПб.: БХВ-Петербург, 2001. - 320 с.

32. Леффингуэлл, Д. Принципы работы с требованиями к программному обеспечению. Унифицированный подход / Д. Леффингуэлл, Д. Уидриг ; пер. с англ., ред. Ореховой H.A. М.: Издат. дом «Вильяме», 2002. - 448 с. 6

33. Липаев, В.В. Методы обеспечения качества крупномасштабных программных средств / В.В. Липаев. М.: СИНТЕГ, 2003. - 520 с.

34. Липаев, В.В. Отладка сложных программ: Методы, средства, технология / В.В. Липаев. М.: Энергоатомиздат, 1993. - 384 с.

35. Липаев, В.В. Системное проектирование сложных программных средств для информационных систем / В.В. Липаев. М.: СИНТЕГ, 1999. - 224 с.

36. Липаев, В.В. Тестирование программ / В.В. Липаев. М.: Радио и связь, 1986.-296 с.

37. Майерс, Г.Д. Искусство тестирования программ / Г.Д. Майерс ; пер. с англ. М.: Финансы и статистика, 1982. - 176 с.

38. Майерс, Г.Д. Надежность программного обеспечения / Г.Д. Майерс ; пер. с англ. М.: Мир, 1980. - 360 с.

39. Марка, Д.А. Методология структурного анализа и проектирования (SADT) / Д.А. Марка, К. Мак-Гоуэн ; пер. с англ. М.: МетаТехнология, 1993. - 240 с.

40. Макгрегор, Д. Тестирование объектно-ориентированного программного обеспечения. Практическое пособие / Д. Макгрегор, Д. Сайке ; пер. с англ. К.: ООО «ТИД «ДС», 2002. - 432 с.

41. Нариньяни, A.C. Введение в недоопределенность / A.C. Нариньяни. -М.:Российский НИИ Искусственного Интеллекта, 2005. 36 с.

42. Нариньяни, A.C. Модель или алгоритм: новая парадигма информационной технологии / A.C. Нариньяни // «Информационные технологии», 1997. № 4. -С. 11-16.

43. Орлов, С.А. Технологии разработки программного обеспечения. Разработка сложных программных систем: Учебное пособие / С.А. Орлов. — 2-е изд. — СПб.: Издат. дом «Питер», 2003. 480 с.

44. Петренко, А.К. Тестирование на основе формальных спецификаций в процессах разработки программных комплексов: автореф. дис. . д-ра физ.-мат. наук: 05.13.11: защищена 21.02.2003 / А.К. Петренко; Ин-т сист. прогр. РАН. -М., 2003.-36 с.

45. Подход UniTesK к разработке тестов / В.В. Кулямин, А.К. Петренко, A.C. Косачев, И.Б. Бурдонов // Программирование, 2003. — № 29(6). С. 25-43.

46. Поляк, Б.Т. Введение в оптимизацию / Б.Т. Поляк. М.: Наука, 1983. - 384 с.

47. Программирование в ограничениях и недоопределенные модели / A.C. Нариньяни, В.В. Телерман, Д.М. Ушаков, И.Е. Швецов // «Информационные технологии», 1998. № 5. - С. 13-22.

48. Саттер, Г. Решение сложных задач на С++ / Г. Саттер ; пер. с англ. И.В. Красикова. М.: Издат: дом «Вильяме», 2002. - 400 с.

49. Соммервилл, И. Инженерия программного обеспечения / И. Соммервил ; пер. с англ. 6-е изд. — М.: Издат. дом «Вильяме», 2002. - 624 с.

50. Страуструп, Б. Язык программирования С++, 3-е изд. / Б. Страуструп ; пер. с англ. 3-е изд. - СПб.; М.: «Невский Диалект» - «Издательство БИНОМ», 1999.-991 с.

51. Хоар, Ч. Взаимодействующие последовательные процессы / Ч. Хоар ; пер. с англ. М.: Мир, 1989. - 264 с.

52. Чарнецки, К. Порождающее программирование: методы, инструменты, применение. Для профессионалов / К. Чарнецки, У. Айзенекер ; пер. с англ. -СПб.: Питер, 2005.-731 с.

53. Черноножкин, С.К. Задача автоматического построения тестов и статический анализ / С.К. Черноножкин // Программирование, 2001. № 2. - С. 47-59.

54. Шаллоуей, А. Шаблоны проектирования. Новый подход к объектно-ориентированной разработке / А. Шаллоуей, Дж.Р. Тротг ; пер. с англ. М.: Издат. дом «Вильяме», 2002. - 288 с.

55. Шафер, Д. Управление программными проектами: достижение оптимального качества при минимуме затрат / Д. Шафер, Р. Фатрелл, JI. Шафер ; Пер. с англ. М.: Издат. дом «Вильяме», 2003. - 1136 с.

56. Шлее, М. Qt. Профессиональное программирование на С++ / М. Шлее ; пер.с англ. СПб.: БХВ-Петербург, 2005. - 544 с.

57. Штойер, Р. Многокритериальная оптимизация. Теория вычисления и приложения / Р. Штойер ; пер. с англ. М.: Радио и Связь, 1992. - 504 с.

58. Элджер, Дж. С++: библиотека программиста / Дж. Элджер ; пер. с англ. Е. Матвеева. СПб.: Издат. дом «Питер», 2000. - 320 с.

59. Элиенс, А. Принципы объектно-ориентированной разработки программ, 2-е изд. / А. Элиенс ; пер. с англ. М.: Издат. дом «Вильяме», 2002. - 496 с.

60. Юртаев, А.В. Недоопределенные модели нетрадиционный подход к математическим исследованиям экономики / А.В. Юртаев // «Информационные технологии», 1999. - № 4. - С. 36-41.

61. Якобсон, А. Унифицированный процесс разработки программного обеспечения / А. Якобсон, Г. Буч, Дж. Рамбо ; пер. с англ. В. Горбункова. СПб.: Издат. дом «Питер», 2002. - 496 с.

62. A practical tutorial on Modified Condition / Decision Coverage: Technical Memorandum / K.J. Hayhurst, D.S. Veerhusen, J.J. Chilenski, L.K. Rierson. -NASA, 2001.-85 p.

63. Ada Semantic Interface Specification Electronic resource. / ASIS Working Group. Electronic data. - ASIS Workgroup (ASISWG), 2005- . - Режим доступа: http://www.sigada.org/wg/asiswg/, свободный. - Загл. с домашней страницы Интернета.

64. Aspect Oriented Programming / К. Mens, С. Lopes, В. Tekinerdogan, G. Kiczales // Proceedings of the ECOOP'97 Workshop on Aspect-Oriented Programming, 1997.-P. 220-242.

65. Bauer, R.J. Genetic Algorithms and Investment Strategies / R.J. Bauer. Wiley Finance, 1994.-318 p.

66. Basili, V. The Experience Factory / V. Basili, G. Caldiera, D. Rombach // Encyclopedia of Software Engeeniring. John Wiley & Sons, Inc., NY, 1994. - Vol. 2. -P. 469-476.

67. Beizer, B. Software Testing Techniques / B. Beizer. 2nd edition. - Van Nos-trand Reinhold Company, Inc., 1990. - 503 p.

68. Binder, R.V. Testing Object-Oriented Systems: Models, Patterns and Tools / R.V. Binder. Addison-Wesley, 1999. - 1248 p.

69. Blanchette, J. C++ GUI Programming with Qt 3 / J. Blanchette, M. Summerfield. Prentice Hall PTR, 2004. - 464 p.

70. Boehm, B.W. A spiral model of software development and enhancement / B.W. Boehm // IEEE Computer, 1988. -№ 21(5). P. 61-133.

71. Chiba, S. A Metaobject Protocol for C++ / S. Chiba // Proceedings of the 10th Annual Conference on Object Oriented Programming, Systems, Languages and Applications (OOPSLA'95), ACM SIGPLAN Notices, 1995. № 30(10). - P. 285-299.

72. Chilenski, J.J. An investigation of three forms of the Modified Condition Decision Coverage (MCDC) Criterion: Final Report / J.J Chilenski. -DOT/FAA/AR-Ol/18,2001. 214 p. .

73. Cleanroom Software Engineering: Technology and Process / S.J. Prowell, C.J. Trammel, R.C. Linger, J.H. Poore. Reading, MA: Addison-Wesley Longman, 1999.-416 p.

74. Cordy, J. Practical Metaprogramming / J. Cordy, M. Shukla // Proceedings of CASCON'92, IBM Center for Advanced Studies Conference, 1992. Vol. 1. - P. 215-224.

75. Clarke, L.A. J. Applications of symbolic evaluations / L.A. Clarke, D. Richardson // The Journal of Systems and Software, 1985. № 5(1). - P. 15-35.

76. DeMillo, R.A. Constraint-based automatic test data generation / R.A. DeMillo, A.J. Offut // IEEE Transactions on Software Engineering, 1991. № 17(9). - P. 900-910.

77. Domain-specific software architectures for guidance, navigation and control / P. Binns, M. Englehart, M. Jackson, S. Vestal // International Journal of Software Engineering and Knowledge Engineering, 1996. № 6(2). - P. 201-227.

78. Donnelly, C. Bison. The YACC-compatible Parser Generator / C. Donnelly, R. Stallman. Free Software Foundation, Cambridge, 1992. - 132 p.

79. El-Far, I.K. A. Model-Based Software Testing / I.K. El-Far, J.A. Whittaker // Encyclopedia of Software Engineering. Wiley, 2001. - Vol. 1. - P. 825-837.

80. Ferguson, R. The chaining approach for software test data generation / R. Ferguson, B. Korel // IEEE Transactions on Software Engineering, 1996. № 5(1). - P. 63-86.

81. Frankl, P.G. ASSET: A system to select and evaluate tests / P.G. Frankl, S.N. Weiss, E.J. Weyuker // Proceedings of the Conference on Software Tools, 1985. P. 72-79.

82. Fröhlich, P. Automated Test Case Generation from Dynamic Models / P. Fröhlich, J. Link // Proceedings of the 14th European Conference on Object-Oriented Programming, 2000. P. 472-492.

83. Generating Test Data From State-based Specifications / J. Offutt, S. Liu, A. Ab-durazik, P. Ammann // The Journal of Software Testing, Verification and Reliability, 2003.-Vol. 13(1).-P. 25-53.

84. Generative Programming and Active Libraries / K. Czarnecki, U.W. Eisenecker, R. Gluck, D. Vandervoorde, T. Veldhuizen // Proceedings of the Dagstul Seminar 98171 on Generic Programming, 1998.-P. 17-24.

85. Hagar, J. D. Testing Critical Software: Practical Experiences / J.D. Hagar, G. Green // Safety and Reliability in Emerging Control Technologies, 1996. P.134.142.

86. Hoare, C.H.R. An axiomatic basis for computer programming / C.H.R. Hoare // Comm. ACM, 1969. № 12(10). - P. 576-583.

87. Horgan, J.R. ATAC: A data flow coverage testing tool for С / J.R. Horgan, S. London // Proceedings of the Symposium of Quality Development Tools, 1992. P. 2-10.

88. IEC 61508. Functional safety of electrical/electronic/programmable electronic safety-related systems. International Electrotechnical Commission: Draft Standard. -Geneva, 1998. 143 p.

89. Information Processing Ltd. AdaTEST 95 2.0 Electronic resource.: Technical Brief / IPL Software Products Group. Electronic text data. - IPL, 2007. - 2 p. -Режим доступа: http://www.ipl.com/pdf/p00Q7.uk.pdf, свободный. — Загл. с экрана.

90. Ingber, L. Genetic Algorithms and Very Fast Simulated Reannealing: A Comparison / L. Ingber, B. Rosen // Mathematical and Computer Modelling, 1992. № 16(11).-P. 87-100.

91. Ingber, L. Adaptive Simulated Annealing: Lessons learned / L. Ingber // Control and Cybernetics, 1996. № 25(1). - P. 33-54.

92. Korel, B. Automated software test data generation / B. Korel // IEEE Transactions on Software Engineering, 1990. № 16(8). - P. 870-879.

93. Korel, B. Assertion-oriented automated test data generation / B. Korel, A.M. Al-Yami // IEEE Transactions on Software Engineering, 1996. № 16(8). - P. 71-80.

94. LDRA Technical Description Electronic resource. / LDRA Ltd. Electronic data. - LDRA Group of companies, 2008- . - Режим доступа: http://www.ldra.co.uk/downloadsliterature.asp, свободный. - Загл. с домашней страницы Интернета.

95. Model-Based Testing in Practice / S.R. Dalai, A. Jain, N. Karunanithi, J.M. Leaton, C.M. Lott, G.C. Patton, B.M. Horowitz // Proceedings of the 21st international conference on Software engineering, 1999. P. 285-294.

96. Multiplatform ANSI С++ Standard Library implementation STLport Electronic resource. / STLport Electronic data. - STLport Consulting, 2005- . -Режим доступа: http://stlport.com/doc/index.html, свободный. - Загл. с домашней страницы Интернета.

97. Sy, N.T. Automatic Test Data Generation for Programs with Integer and Float Variables / N.T. Sy, Y. Deville // Proceedings of the 16th IEEE international conference on Automated software engineering, 2001. P. 13.

98. Offut, A. J. A semantic model of program faults / A.J. Offut, J. Hayes // International Symposium on Software Testing and Analysis (ISSTA 96), ACM Press, 1996.-P. 195-200.

99. Offut, A.J. The dynamic domain reduction procedure for test data generation / A.J Offtit, Z. Jin, J. Pan // Software Practice and Experience, 1997. № 29(2). - P. 167-193.

100. Paradkar, A. A New Solution to Test Generation for Boolean Expression / A. Paradkar // Proceedings of the conference of the Centre for Advanced Studies on Collaborative research, 1995. P. 48.

101. Petkovic, M. Complex Interval Arithmetic and Its Applications / M. Petkovic, L. Petkovic. Wiley and Sons, 1998. - 284 p.

102. Pritchett, W. A Static Analysis Tool for High-Integrity Systems: Phase 1 Final Report / W. Pritchett, J. Riley. DCS Corporation, 1998. - 53 p.

103. Ramamoorthy, С. V. On the automated generation of program test data / C.V. Ramamoorthy, S.F. Ho, W.T. Chen // IEEE Transactions on Software Engineering, 1976. № SE-2(4). - P. 293 - 300.

104. Redmill, F. IEC 61508: Principles and use in the management of safety / F. Redmill // IEE Computing and Control Engineering Journal, 1998. № 9(10). - P. 205-218.

105. Royce, W.W. Managing the development of large software systems: conceptsand techniques / W.W. Royce // Proceedings of the 9th international conference on Software Engineering, 1987. P. 328-338.

106. RTCA/DO-178B. Software considerations in airborne systems and equipment certification. RTCA, Inc., Washington, DC, 1992. - 112 p.

107. RTCA/DO-248B. Final report for clarification of DO-178B "Software considerations in airborne systems and equipment certification". RTCA, Inc., Washington, DC, 2001.- 154 p.

108. Smart, J. Cross-Platform GUI Programming with wxWidgets / J. Smart, K. Hock, S. Csomor. Prentice Hall, 2005. - 744 p.

109. Springl, М. Software Testing / М. Springl. SENG 621, Software Process Management, 2001. - 1 Op.

110. Sthamer, H.-H. The Automatic Generation of Software Test Data Using Genetic Algorithms / H.-H. Sthamer. University of Glamorgan, 1995 - 205 p.

111. Steindl, C. Program Slicing for Large Systems / C. Steindl // ReTIS'97, 1997. -P. 131-143.

112. Tel Developer Xchange. Tcl/Tk graphical user interface toolkit. Practical Programming in Tel and Tk / Tel Developer Xchange. — Prentice Hall, 2003. — 960 p.

113. Telelogic AB. Telelogic TAU Generation2 Electronic document. / Telelogic AB. Electronic data. - Telelogic AB, 2005. - Режим доступа: http:// www.telelogi с. com/ corp/products/tau/g2/o verview. cfm. - Загл. с домашней страницы Интернета.

114. Telelogic AB. Telelogic TAU SDL Suite Electronic document. / Telelogic AB.- Electronic data. Telelogic AB, 2005. — Режим доступа: http://www.telelogic.-сот/соф/products/tau/sdl/overview.cfin. — Загл. с домашней страницы Интернета.

115. The С++ Standard Template Library / P.J. Plauger, A.A. Stepanov, L. Meng, D.R. Musser. Prentice Hall PTR, 2001. - 485 p.

116. The management of software engineering / H.D. Mills, D. O'Neill, R.C. Linger, M. Dyer, R.E. Quinnan // IBM System Journal, 1980. № 24(2). - P. 414 - 477.

117. Tip, F. A survey of program slicing techniques: Technical report CS-R-9438 / F. Tip. Computer Science/Department of Software Technology, 1994. - 68 p.

118. UniTesK: Model Based Testing in Industrial Practice / V.V. Kuliamin, A.K. Petrenko, A.S. Kossatchev, I.B. Bourdonov // Proc. of the 1st European Conference on Model-Driven Software Engineering, 2003. P. 55-63.

119. Vector Software, Inc. VectorCAST Product Overview Electronic resource. / Vector Software. Electronic data. - Vector Software Inc., 2004- . - Режим доступа: http://www.vectors.com/downloadlit.htm. — Загл. с домашней страницы Интернета.

120. Watson, А.Н. Structured Testing: A Testing Methodology Using the Cyclomatic Complexity Metric / A.H. Watson, T.J. McCabe, D.R. Wallace National Institute of Standards and Technology, 1996. - 123 p.

121. Leow, W.K. Automated Generation of Test Programs From Closed Specifications of Classes and Test Cases / W.K. Leow, S.C. Khoo, Y. Sun // Proceedings of the 26th International Conference on Software Engineering, 2004. P. 96-105.

122. Weyuker, E. J. Automatically Generating Test Data from a Boolean Specification / E.J. Weyuker, T. Goradia, A. Singh // IEEE Transactions on Software Engineering, 1994. Vol. 20(5). - P. 353-363.