Автоматизированная система тестирования операционных систем реального времени микропроцессорных управляющих комплексов тема диссертации и автореферата по ВАК РФ 05.13.06, кандидат технических наук Домарацкий, Ярослав Александрович

• Домарацкий, Ярослав Александрович
• кандидат технических наук
• 1999

Оглавление диссертации кандидат технических наук Домарацкий, Ярослав Александрович

1. ОГЛАВЛЕНИЕ.

2. ВВЕДЕНИЕ.

3. ОСОБЕННОСТИ ТЕСТИРОВАНИЯ ОПЕРАЦИОННЫХ СИСТЕМ РЕАЛЬНОГО ВРЕМЕНИ.

3.1. Специфика систем управления реального времени.

3.1.1. Среда разработки приложений ОС.

3.1.2. Особенности ОС.

3.1.2.1 .Многозадачность.

3.1.2.2.Объем памяти.

3.1.2.3.Быстродействи е.

3.1.2.4.Повышенная надежность.

3.1.2.5.Большое число контролируемых объектов.

3.1.2.6.Масштабируемост ь.

3.1.2.7.Многоплатформност ь.

3.1.2.8.Уменыпенное энергопотребление.

3.1.2.9.3ащита от сбоев.

3.1.3. Характеристика некоторых промышленных ОС.

3.1.4. Требования, предъявляемые к системам управления.

3.2. Классификация тестовых комплектов.

3.2.1. Делимость.

3.2.2. Переход в базовое состояние.

3.2.3. Интерпретация результата работы.

3.2.4. Контроль исполнения.

3.2.5. Повторяемость.

3.2.6. Возможность автоматизации.

3.2.7. Анализ отличительных признаков.

3.3. Способы организации тестовых комплектов.22

3.3.1. Неделимый ТК с внешней интерпретацией результата.

3.3.2. Неделимый ТК с внутренней интерпретацией результата.

3.3.3. Делимый ТК с контролем исполнения.

3.3.4. Тестовый комплект, управляемый данными.

3.4. Виды тестирования.

3.4.1. Модульное тестирование.

3.4.1.1 .Задача модульного тестирования.

3.4.1.2.Требования к модульным тестам.

3.4.1.3.План модульного тестирования.

3.4.1.4.Методики создания модульных тестов.

3.4.1.4.1.Разработка списка модульных тестов на основе анализа спецификаций.

3.4.1.4.2. Составление списка модульных тестов на основе анализа кода

3.4.1.5.Специфика реализации модульных тестов.

3.4.1.6.Способы реализации модульных тестов.

3.4.2. Интеграционное тестирование.

3.4.3. Тестирование работоспособности.

3.4.4. Системное тестирование.

3.4.4.1.Поиск дефектов на этапе системного тестирования.

3.4.4.2.Циклы системного тестирования.

3.4.4.3.Требования, предъявляемые к системным тестам ОС.

3.4.4.4,Основные виды системного тестирования ОС.

3.5. Выводы по Разделу 2.

4. СИСТЕМНОЕ ТЕСТИРОВАНИЕ ОПЕРАЦИОННЫХ СИСТЕМ РЕАЛЬНОГО ВРЕМЕНИ.

4.1. Основные виды системного тестирования.

4.1.1. Функциональное тестирование.

4.1.2. Тестирование версий ядра ОС.

4.1.3. Сценарное тестирование.

4.1.4. Тестирование производительности.

4.1.5. Граничное тестирование.

4.1.6. Тестирование защиты системы.

4.1.7. Тестирование исходного кода системы.

4.1.8. Инстоляционное тестирование.

4.1.9. Тестирование документации.

4.1.10.Выходное тестирование.

4.2. Этапы создания тестового комплекта.

4.2.1. Анализ требований.

4.2.2. Создание списка элементарных тестов.

4.2.3. Разработка описаний и структур элементарных тестов.

4.2.4. Реализация элементарных тестов.

4.3. Формальное представление тестовых комплектов.

4.3.1. Виды элементарных тестов.

4.3.2. Структура тестов ОС.

4.3.3. Плоские схемы.

4.3.4. Тестовые комплекты, управляемые данными.

4.3.5. Интерпретатор плоских схем.

4.3.6. Построение тестов производительности на основе ИПС.

4.3.7. Формат описания плоских схем.

4.4. Выводы по Разделу 3.

5. АВТОМАТИЗАЦИЯ ТЕСТИРОВАНИЯ ОС.

5.1. Основные требования к автоматизированному ТК.

5.1.1. Структурированность ТК.

5.1.2. Использование распространенных программных и аппаратных ресурсов.

5.1.3. Возможность исполнения отдельных групп тестов.

5.1.4. Связь ТК с системой отслеживания дефектов.

5.1.5. Возможность перезапуска целевой аппаратуры.

5.1.6. Возможность перезапуска ТК после прерывания в работе.

5.1.7. Возможность приостановки и возобновления исполнения ТК.

5.1.8. Возможность адаптации к целевой аппаратуре.

5.1.9. Запуск каждого теста из стандартного начального состояния.

5.1.10.Создание подробных отчетов о проведении тестирования.

5.1.11.Возможность отключения определенных тестов.

5.1.12.Легкость модификации существующих тестов и создания новых тестов.

5.1.13.Тесты уникальны и зависимости между тестами определены.

5.1.14.ТК адаптируем к различным версиям системы.

5.1.15.Возможность включения новых тестов и исправления старых.

5.1.1 б.Временные заглушки документированы.

5.1.17.ТК хорошо документирован.

5.2. Автоматизация разработки ТК.

5.2.1. Автоматизация этапа анализа требований.

5.2.2. Автоматизация этапа создания списка элементарных тестов.

5.2.3. Автоматизация этапа реализации элементарных тестов.

5.2.3.1.Реализация ТК, базирующаяся на использовании интерпретатора плоских схем.

5.2.3.2.Реализация ТК, базирующаяся на применении средств моделирования.

5.3. Автоматизация процесса проведения тестирования.

5.3.1. Автоматизация процесса построения тестовых комплектов.

5.3.2. Автоматизация загрузки, запуска и интерпретации работы тестовых комплектов.

5.3.3. Автоматизация процесса измерения покрытия кода ОС.

5.3.3.1.Измерение покрытия кода, базирующееся на использовании аппаратных средств.

5.3.3.2.Измерение покрытия кода, основанное на использовании средств профилирования кода.

5.3.3.3.Измерение покрытия кода, основанное на разработке собственных средств измерения покрытия.

5.4. Выводы по Разделу 4.

6. ОРГАНИЗАЦИЯ ПРОЦЕССА ТЕСТИРОВАНИЯ ОС.

6.1. Набор требований для разработки процесса тестирования ПИ.

6.1.1. Модель СММ разработки ПИ.

6.1.2. Пятиуровневая модель разработки ПИ.

6.1.2.1 .Первый уровень.

6.1.2.2.Второй уровень.

6.1.2.3.Третий уровень.

6.1,2.4.Четвертый уровень.

6.1.2.5.Пятый уровень.

6.1.3. Модель жизненного цикла ПИ.

6.1.3.1 .Концептуализация проекта ПИ.

6.1.3.2.Планирование и составление требований.

6.1.3.3.Проектирование ПИ.

6.1.3.4.Кодирование и отладка.

6.1.3.5.Системное тестирование.

6.1.3 ^.Заключительная фаза.

6.1.3.7.Сопровождение ПИ.

6.1.4. Стандартный процесс тестирования ПИ.

6.2. Критерии завершения тестирования ПИ.

6.2.1. Учет дефектов на всех стадиях разработки ПИ.

6.2.2. Анализ распределения дефектов по уровням серьезности.

6.2.3. Сравнение распределения дефектов на каждом цикле тестирования

6.2.4. Полное покрытие функциональных требований к ПИ.

6.2.5. Число циклов системного тестирования.

6.3. Метрики, характеризующие процесс тестирования ПИ.

6.3.1. Число тестов.

6.3.2. Размер тестового комплекта.

6.3.3. Степень покрытия требований.

6.3.4. Степень покрытия кода.

6.4. Автоматизированная система тестирования ОС реального времени

6.4.1. Структура автоматизированной системы тестирования ОС.

6.4.2. Описание тестируемой ОС и аппаратно-программного окружения

6.4.3. Описание тестового комплекта.

6.4.4. Средства сборки ТК.

6.4.5. Исполнение и интерпретация результатов работы ТК.

6.5. Выводы по Разделу 5.

Введение диссертации (часть автореферата) на тему «Автоматизированная система тестирования операционных систем реального времени микропроцессорных управляющих комплексов»

Тестирование является неотъемлемой частью разработки любого программного изделия (ПИ), системное тестирование - это завершающая фаза жизненного цикла разработки ПИ. Любой процесс тестирования должен быть направлен на выполнение главной цели тестирования. Главная цель тестирования состоит в обнаружении дефектов в тестируемом объекте, выявлении расхождений между спецификациями проектирования, требованиями заказчика к ПИ и его реальным поведением.

Тестирование ПИ является не только средством верификации (модульное, интеграционное тестирование и тестирование работоспособности) и валидации ПИ (системное тестирование), но и средством обеспечения требуемого уровня его качества. В связи с этим процессу тестирования должно быть уделено особое внимание. Наиболее сложным является системное тестирование.

Разделяют два типа затрат на системное тестирование:

• затраты на создание тестового комплекта (составление плана и процедуры системного тестирования, разработка и отладка отдельных тестов и тестового комплекта в целом);

• затраты на исполнение собственно тестов, входящих в состав тестового комплекта (исполнение тестов, регистрация дефектов и составление отчетов о системном тестировании).

Наибольшая трудоемкость в системном тестировании приходится на создание тестового комплекта (ТК), поскольку трудоемкость исполнения тестов можно снизить во много раз за счет создания высокоавтоматизированного тестового комплекта. По опыту работы Санкт-Петербургского института информатики и автоматизации РАН (СПИИРАН) трудоемкость системного тестирования составляет 29% от трудоемкости разработки ПИ в целом, а трудоемкость создания новых тестовых комплектов составляет до 70% от трудоемкости системного тестирования. Поэтому снижение затрат на разработку тестового комплекта для системного тестирования является актуальной задачей.

Решение задачи сокращения трудоемкости создания тестовых комплектов обычно осуществляется за счет применения специальных языков программирования и специализированных инструментальных средств. Однако такой подход до сего дня не дал существенных выгод в сокращении затрат на выполнение фазы системного тестирования ПИ.

В настоящей работе предлагается решение этой актуальной задачи за счет создания формализованных описаний сценариев тестирования (тестов и последовательностей тестов), разработки эффективных методов построения высокоавтоматизированных тестовых комплектов (разработки автоматизированной системы тестирования - ACT).

Цель работы состоит в разработке автоматизированной системы тестирования операционных систем реального времени, управляемых событиями, для микропроцессорных управляющих комплексов, обеспечивающей сокращение трудоемкости тестирования за счет введения набора процедур, автоматизации разработки, создания высокоавтоматизированных тестовых комплектов путем использования разработанных для этой цели формальных описаний сценариев тестирования.

Методы исследования основаны на использовании аппарата системного подхода, теории алгебраических систем, математической логике, теории графов, математической статистики, теории вероятностей и теории случайных функций, техники тестирования программных изделий, а также математического моделирования.

Научная новизна состоит в следующем:

2.1. На основе общего подхода к задаче тестирования ПИ исследованы и обобщены методы тестирования Операционных Систем (ОС) реального времени. По результатам обобщения выделены наиболее трудоемкие разновидности тестирования и разработана классификация тестов. Предложенная классификация тестов позволила сформулировать требования к тестам, которые обусловили эффективную реализацию автоматизированных тестовых комплектов.

2.2. Проанализированы, исследованы и обобщены объектно-ориентированные описания тестовых комплектов и способы построения автоматизированных тестовых комплектов. На основе полученных обобщений предложены возможные варианты организации тестовых комплектов, обеспечивающие эффективную автоматизацию их построения, сформулированы требования к формализованному описанию логики построения тестов.

2.3. Разработано формализованное описание логики построения тестов в виде плоских схем, что позволило создавать хорошо структурированные и наглядные описания тестов, сеансов тестирования и разработать эффективный метод реализации тестов в виде процессов, управляемых данными, обеспечить построение высокоавтоматизированных тестовых комплектов.

2.4. Предложена структура автоматизированной системы тестирования встраиваемых ОС реального времени с возможностью автоматической генерации тестовых комплектов. Разработаны алгоритмы программной реализации тестов на основе плоских схем. Определен метод построения параметрических тестов для ОС реального времени, предложен способ измерения покрытия кода ОС тестами.

По материалам диссертационного исследования подготовлен для практического использования метод проведения тестирования операционных систем реального времени микропроцессорных управляющих комплексов (стандартный процесс тестирования) в соответствии с требованиями пятиуровневой модели процесса разработки ПИ (модели СММ).

На ПЭВМ типа IBM РС486 в среде Windows NT осуществлена программная реализация высокоавтоматизированного тестового комплекта для тестирования операционных систем реального времени микропроцессорных управляющих комплексов.

Результаты диссертационной работы использованы в СПИИРАН при проведении системного тестирования в ходе разработки программных изделий, в том числе при разработке операционных систем реального времени микропроцессорных управляющих комплексов. Использование результатов автора позволило почти на 50% сократить трудоемкость создания тестовых комплектов и на 35% - системного тестирования.

Научные результаты и основные положения диссертации докладывались на Международной конференции «Региональная информатика 96», городском научном семинаре «Информатика и компьютерные технологии», научных семинарах базовой кафедры СПИИРАН в СПГЭТУ в раках программы «Интеграция».

По результатам диссертационной работы опубликовано пять печатных работ.

Диссертационная работа состоит из введения, четырех глав и заключения (132 страници машинописного текста), списка литературы (68 наименований), 21 рисунка и 3 таблиц.

Заключение диссертации по теме «Автоматизация и управление технологическими процессами и производствами (по отраслям)», Домарацкий, Ярослав Александрович

6.5. Выводы по Разделу 5

6.5.1. Определен набор требований для успешной разработки процесса тестирования ОС (ПТ) в соответствие пятиуровневой моделью СММ. Эти требования являются результатом обобщения практических данных, полученных в СПИИРАН при работе над реальными проектами программных изделий (ПИ) в различных предметных областях в течение более, чем трех лет, в которых автор принимал участие.

6.5.2. Сформулированы критерии завершения тестирования ПИ. Эти критерии обусловливают необходимость сбора и анализа метрик процесса тестирования не только на фазе системного тестирования, но и на всех фазах жизненного цикла разработки ПИ.

6.5.3. Приведено краткое описание автоматизированной системы проведения системного тестирования ОС, которая была разработана с использованием результатов диссертационной работы при непосредственном участии автора. Автоматизированная система тестирования ОС состоит из исходных кодов набора тестов, средств автоматизации сборки ТК, средств автоматизации загрузки, запуска и интерпретации результатов работы ТК, средств автоматизации процедуры измерения покрытия и набора процедур, определяющих процесс тестирования.

7. Заключение

В заключение сформулируем основные результаты диссертационной работы.

7.1. Разработано формализованное описание логики построения тестов в виде плоских схем. Применение плоских схем при разработке элементарных тестов и тестовых комплектов позволило уменьшить как трудоемкость их разработки, так и трудоемкость прогона тестовых комплектов на реальных целевых аппаратных средствах.

7.2. Предложен эффективный метод организации тестов в виде процессов, управляемых данными, который обеспечил возможность реализации быстрой автоматической обработки плоских схем. Применение метода плоских схем позволило также автоматизировать процесс системного тестирования и тем самым обеспечил снижение трудоемкости фазы системного тестирования ОС реального времени.

7.3. На основе метода плоских схем разработан язык описания сеансов тестирования, положенный в основу реализации автоматической генерации тестовых комплектов. Создан монитор автоматизированной системы тестирования и интерпретатор плоских схем. Предложен метод измерения временных характеристик встроенных ОС реального времени и метод измерения степени покрытия тестируемых кодов ОС

7.4. Разработана и реализована автоматизированная система выполнения системного тестирования встроенных ОС реального времени, которая использовалась для проведения системного тестирования ПИ, разрабатываемых в СПИИРАН. Автоматизированная система обеспечила выпуск ПИ с требуемым качеством при сокращении трудоемкости фазы системного тестирования на 35% по сравнению с ранее существующими методами.

7.5 Осуществлено обобщение практических данных по тестированию ПИ, полученных в СПИИРАН при работе над реальными программными проектами в течение более, чем трех лет, по результатам обобщения сформулирован набор требований для успешной разработки процесса тестирования ПИ в соответствие с требованиями модели СММ.

Список литературы диссертационного исследования кандидат технических наук Домарацкий, Ярослав Александрович, 1999 год

1. S.T. Allworth and Zobel, R.N. 1.troduction to Real-time Software Design. Second Edition, Springer-Verlag, New York, 1987.

2. Quirk W.J., Editor, Verification and Validation of Real-Time Software, Springer-Verlag, New York, 1985.

3. С Cross Compiler User's Guide, COSMIC Software, 1996.

4. HI-CROSS+ User's Manual, HIWARE Inc., 1996.

5. D-CC/D-C++ Optimizing Compiler Suite. User's Manual. Diab Data Inc., 1997.6. http://www.gnu.org/.

6. SDS Single Step User's Manual. Version 7, Software Development Systems Inc., 1996.

7. Comer, Douglas. Operating System Design, The XINU Approach. Englewood Cliffs, New Jersey, Prentice Hall, Inc. 1984.

8. HC08, M68HC08 Central Processor Unit, Reference Manual.

9. MC68F333 User's Manual, MC68F333UM/AD, Motorola Inc., 1993.

10. CPU32 Reference Manual, CPU32RM/AD, Motorola Inc., 1996.

11. Fault Tolerance Enablers in the CHORUS Microkernel, J. Lipkis, M. Rozer, Chorus Systems Technical Report, CS/TR-93-45, June 1993.

12. RTXC Real-Time Kernel User's Manual, Embedded Systems Products, Inc., 1994.14. http://www.kadak.com/.15. http://www.atinucleus.com/.

13. Portable Operating System Interface (POSIX), Part 1: System Application Interface, Amendment 1: Real-time Extension C language], IEEE std 1003.1b-1993.

14. QNX System Architecture, QNX Software Systems Ltd.

15. Glenfor J. Myers, "The Art of Software Testing", John Wiley & Sons, 1979.

16. Marick B. The Craft of Software Testing. Prentice Hall, 1995.

17. Beizer, B. Software Testing Techniques, Second Edition. Van Nostrand Reinhold, 1990.

18. Brian W. Kernighan and Dennis M. Richie, The С Programming Language, Second Edition, Prentice-Hall Software Series, 1988.

19. Institute for Electrical and Electronics Engineers, An American National Standard: IEEE Standard for Software Unit Testing, ANSI/IEEE Std 1008 1987, The Institute of Electrical and Electronics Engineers, Inc., New York, 1986.

20. Balfour B. On 'Unit Testing' and other Uses of the Term 'Unit', MCC'88 Military Computing Conference, Molitary Computing Institute, 1988, pp. 127 -130.

21. Roper M. Software Testing. McGraw-Hill, International Quality Assurance Series, 1994.

22. Домарацкий Я. А. Модульное тестирование операционной системы реального времени. // Программные продукты и системы. 1998. - №4. -с.37 - 40.

23. Institute for Electrical and Electronics Engineers, An American National Standard: IEEE Standard for Software Verefication and Validation Plans, ANSI/IEEE Std 1012 1986, The Institute of Electrical and Electronics Engineers, Inc., New York, 1986.

24. Specialist Interest Group on Software Testing: Standard for Software Component Testing, Working Draft 3.1 Date: 16 July 1996.

25. Shankar K.S. A Functional Approach to Module Verification. IEEE Transactions on Software Engineering, Vol SE-8, No. 2, March 1982, pp. 147 -160.

26. Evangelist M. An Analysis of Control Flow Complexity. Proceedings of the Eighth International Computer Software and Applications Conference, Chicago, Illinois, November 7-9, 1984, pp. 235 237, 239.

27. Herington D.E., Nichols P.A., Lipp R.D. Software Verification Using Branch Analysis. Hewlett-Packard Journal: technical information from the laboratories of Hewlett-Packard Company, 38(6), pp. 13 22, June 1987.

28. D. Harel et al., "STATEMATE: A Working Environment for the Development of Complex Reactive Systems," IEEE Trans. Soft. Eng., Apr. 1990, pp. 403-414.

29. Corbett J.C. Constructing abstruct models of concurrent real-time software. Proceedings of the 1996 International Symposium on Software Testing and analysis, pp. 250 260, ACM Press, January 8- 10, 1996.

30. Perry, W.E. Effective Methods for Software Testing. John Wiley & Sons, 1995.

31. Никифоров В. В., Домарацкий Я. А. Системное тестирование программных изделий. // Программные продукты и системы. 1998. - №4. -с.40-44.

32. В. С. Пугачев. Теория случайных функций, Физматгиз, М., 1960, 883 с.

33. Bradley S. Software testing cycles. Dr. Dobb's Journal of Software Tools, 19(2), February 1994.

34. Musa J., Ackerman A.F. Quantifying Software Validation: When to Stop Testing? IEEE Software, Vol. 6, No. 3, May 1989, pp. 19 -27.

35. Horgan J.R., London S., Lyu M.R. Achieving Software Quality with Testing Coverage Measures. IEEE Computer, September 1994, pp. 60 68.39. "Black Box Testing", Boris Beizer, John Wiley & Sons, 1995, ISBN: 0471120944.

36. DeMillo A. Progress Toward Automated Software Testing. Proceedings of the 13th International Conference on Software Engineering, pp. 180 183, May 1991.

37. Howden W. Software Engineering and Technology: Functional Program Testing, McGrew-Hill, New York, 1987.

38. Домарацкий Я.А., Никифоров B.B. Тестирование механизмов межзадачных взаимодействий в операционных системах реального времени. // V Санкт-Петербургская Международная конференция «Региональная информатика 98», тезисы докладов, часть 2, с. 223 - 224.

39. Rubin J. Handbook of usability testing: how to plan, design, and conduct effective tests. New York: Willey, 1994.

40. Никифоров В. В., Домарацкий Я. А. Построение тестов для базовых функций встраиваемых операционных систем. // Программные продукты и системы. 1998. - №4. - с.44 - 46.

41. Fault-Tolerant System Design, S. Levi, A. K. Agrawala, McGraw-Hill Series on Computer Engineering, 1994.

42. ISO/IEC 9899:1990, Programming Languages С (technically identical to ANS X3.159-1989).

43. Davis A. Software Requirements, Analysis & Specification, Prentice-Hall, Englewood Cliffs, NJ, 1990, pp. 1 38.

44. IEEE Guide to Software Requirements Specifications, IEEE Std. 830-1984.

45. Никифоров В. В., Домарацкий Я. А. Применение метода плоских схем для разработки тестовых комплектов для встраиваемых операционных систем. // Программные продукты и системы. 1998. - №4. - с.33 - 37.

46. Tai К.С. On Testing Concurrent Programs, Proceedings of COMPSAC'85, IEEE Computer Society Press, Silver Spring, Maryland, October, 1985, pp. 310 -317.

47. Long D.L., Clark L.A. Task Interaction Graphs for Concurrent Analysis. Proceedings of the Second Workshop on Software Testing, Verification, and

48. Analysis, 19-21 July 1988, Banff, Canada, IEEE Catalog Number 88TH0225-3, 1988, pp. 134- 135.

49. С. Кейслер. Проектирование Операционных Систем для Малых ЭВМ. М. -Мир, 1986.

50. ClearDDTS User's Guide, v.4.1, Rational Software Inc., 1998.

51. Rundlet, Nancy and Miller, William D., "Requirements Management: DOORS to the Battlefield of the Future." Proceedings of NCOSE (Fourth Annual International Symposium of the National Concil on System Engineering), 1994.

52. Poston M. Automating Specification-Based Software Testing, IEEE Computer Society, 1996.

53. Software QA Magazine, Vol.3 No.3, Test Case Design Using Classification Trees and the Classification-Tree Editor CTE.

54. D. Harel, "Statecharts: A Visual Formalism for Complex Systems," Sci. Computer Prog., July 1987, pp. 231-274; also see Tech. Report CS84-05, The Weizmann Inst, of Science, Rehovot, Israel, 1984.

55. B. Selic, G. Gullekson, and P. Ward, Real-Time Object-Oriented Modeling, John Wiley & Sons, New York, 1994.

56. D. Harel and M. Politi, Modeling Reactive Systems with Statecharts, McGraw-Hill, New York (to be published); for abridged version, see The Languages of STATEMATE, tech. report, i-Logix, Andover, Mass., 1991.

57. HP 16500C/16501A Logic Analysis System. User's Guide, 1997.

58. Paulk, M.C., B.Curtis, M.B.Chrissis, Ch.V.Weber (1993) Capability Maturity Model for Software, Version 1.1.CMU/SEI-93-TR-24; ESC-TR-93-177. Key Practices of the Capability Maturity Model, Version 1.1. CMU/SEI-93-TR-25; ESC-TR-93-178.

59. Ackerman A.F., Buchwald L., Lewsky F. Software Inspections: An Effective Verification Process, IEEE Software, Vol. 6 No. 3, May 1989, pp 31 36.

60. Kit E. Software Testing in the Real World: Improving the Process. ACM Press/Addison-Wisley, 1995.

61. DeMacro T. Controlling software projects. Englewood Cliffs: Prentice Hall, 1982.

62. Boehm B. W. Software Engineering Economics. Englewood Cliffts: Prentice Hall, 1981. Рус. пер.: Боэм Б. У. Инженерное проектирование программного обеспечения/ Пер. с англ. - М. Радио и связь, 1985.

63. Grady R. В. Practical Software Metrics for Project Management and Process Improvement Reading: Addison-Wisley, 1989.

64. Institute for Electrical and Electronics Engineers, Proceedings of the Second Workshop on Software Testing, Verification, and Analysis, 19-21 July 1988, Banff, Canada, 1988.

65. MKS Toolkit Reference Manual, Mortice Kern Systems Inc., 1994.