Информационное обеспечение оценки качества программного продукта при управлении процессом тестирования технической документации тема диссертации и автореферата по ВАК РФ 05.13.06, кандидат технических наук Мишкутёнок, Владимир Владимирович

• Мишкутёнок, Владимир Владимирович
• кандидат технических наук
• 2005

Оглавление диссертации кандидат технических наук Мишкутёнок, Владимир Владимирович

УСЛОВНЫЕ ОБОЗНАЧЕНИЯ.

ВВЕДЕНИЕ.

1. ОБЗОР ОСНОВНЫХ МЕТОДОВ, ТЕХНОЛОГИЙ И СТАНДАРТОВ, ОПРЕДЕЛЯЮЩИХ

КАЧЕСТВО ПО.И

1.1 Введение в определение уровня программных продуктов.

Стандарты и программные продукты.

CASE-технологии.

Capability Maturity Model (СMM).

ISO/1EC 15504 (SPICE).

ISO 9126:1991 (ГОСТ P ИСО / МЭК 9126-93).

Показатели качества ПО.

1.2 Обзор методов анализа программного обеспечения.

Методологии стандарта ISO 14598.

Методология и инструментарий IBM Rational.

Выводы.

2. МЕТОДЫ ПРИНЯТИЯ РЕШЕНИЯ О КАЧЕСТВЕ ПС.

Введение.

2.1. Автоматизированная система градации стандартов.

Апачиз синтаксиса.

Анализ семантики.

2.2. Структурирование функции качества.

Идеология метода СФК.

Ключевые элементы и инструменты СФК:.

Дом Качества (ДК).

2.3. Методы верификации ПП.

2.4. Методы принятия решения.

Выводы.

3. РЕАЛИЗАЦИЯ МЕТОДОВ ПРОЕДЛОЖЕННЫХ МОДЕЛЕЙ.

Введение.

3.1. Автоматизированная система градации стандартов.

3.2. Программный продукт HQEasy.

3.3. Методика оптимальных статистических решений.

3.4. Методика тест-циклов.

Выводы.

4. ОЦЕНКА ЭФФЕКТИВНОСТИ И КОРРЕКТНОСТИ ПРАКТИЧЕСКИХ ИССЛЕДОВАНИЙ.

Введение.

4.1. Описание программного комплекса.

4.2. Экспериментальное применение системы.

Выводы.

Введение диссертации (часть автореферата) на тему «Информационное обеспечение оценки качества программного продукта при управлении процессом тестирования технической документации»

Обязательным условием разработки любого программного продукта (ПП) является наличие заказчика (потребителя), а цель разработки -формируют его требования. Потребителей условно можно разделить на конкретного заказчика, который знает какой должен быть «релиз» ПП и массового потребителя, неопределенного в своих требованиях, а соответственно и в качестве желаемого продукта. Следствие такого разделения приводит к делению понятия качества ПП на «качество разработчика ПП» и «качество пользователя ПП». Качество разработчика ПП

При ориентации разработчика на конкретного заказчика, качество ПП регулируется степенью формализации требований, количеством ошибок в коде программы, временем выполнения заказа. Количество ошибок в коде программы и время выполнения заказа зависит от освоенных разработчиком технологий программирования, стандартов, методов тестирования, т.е. качество разработчика ПП определяется качеством нормативной документации и методами контроля её исполнения. Качество разработчика ПП понятие далеко не новое, количество предлагаемых стандартов, технологий разработки программного обеспечения, методов его тестирования очень большое, как показывает практика, многие производители, утверждая свою позицию, приводят статистику ошибок на количество строк в программном коде. Обширный анализ данной области можно найти в трудах профессора Липаева В.В. [36-42], стандартах ИСО и др. источниках, тем не менее, диаграмма доходов российского рынка от средств автоматизированного тестирования программного обеспечения (рис. 1)[3] показывает преобладание зарубежных компаний в силу перечисленных ниже сложностей. Проблемы достижения качества разработчика ПП

• Несовершенство методов формализации требований заказчика при подготовке технического задания на создание программных комплексов и информационных проектов

• Избыточность номенклатуры документов предлагающей стандартизированные и нормативные подходы для реализации различных информационно-технических решений и концепций

• Многообразие узко направленных методов тестирования 1111, приводящих к увеличению времени ввода в эксплуатацию

Решение обозначенных проблем повысит рыночную долю российского производителя ПЛ.

Ш Mercury Interactive

Rational

Compuware

Segue Software 0 Empirix

Ш RadView Software

Borland Software

McCabe & Associates

Quest Software

Telelogic

Другие

Рис. 1. Доходы российского рынка средств автоматизированного тестирования программного обеспечения

Качество пользователя ПП

Хорошо известная фраза разработчиков ПП «потребитель сам не знает, что хочет», раскрывает массового потребителя как непараметрический объект, динамически изменяющий свои свойства во времени, делая неполноценным понятие качество ПП, показывая слабую изученность данной области. Причинами такого явления могут быть: большой масштаб области; субъективность мнений, порождающая сложные высококоррелированные связи; плохо адаптированные для информационных технологий закономерности изменения функции качества и в следствие плохая предсказуемость.

400 350 300 250 200 150 100 50 0

Mercury Interactive Rational

Compuware Segue Software Empirix

RadVew Software Borland Software McCabe & Associates Quest Software Telelogic Другие

Однако, являясь прибыльной и важной с позиции государства, заинтересованного в повышении качества информатизации страны, затрагивающая практически все отрасли область, требует более детального изучения. Наиболее близкими к качеству 1III с позиции потребителя, автору видятся методы определения качества японских ученых [14, 19, 32].

Массовый потребитель не обращается к разработчику, а ждет его предложений, которые могут его удовлетворить. Сложно определить границы требуемого качества, складывается ощущение независимости от потребителя, но проблемы определенные ниже, с которыми сталкиваются и разработчик, и массовый пользователь, отрицательно сказываются на качестве ПЛ.

Проблемы достижения качества пользователя ПП

• Сильная коррелированность метрик характеризующих программный продукт, факторов и закономерностей, определяющих качество программного обеспечения

• Несовершенство методов формализации требований заказчика при подготовке технического задания на создание программных комплексов и информационных проектов

• Почти полное отсутствие автоматизированных методов определения метрик характеризующих качество ПП, их взаимосвязанности, важности (избыточности) для пользователя

• Отсутствие комплексной методологии оценки качества ПП, при огромном количестве 1111 направленных на выполнение одинаковых функций

• Неопределенность понятий «качественный ПП», «качественный процесс разработки ПП», «качественная ИС», в силу абстракции стандартов, регламентирующих понятие «качество», прозрачной для особенностей Г1Г1

Отмеченные недостатки качества разработчика ПП и качества пользователя ПП определяют нишу диссертационного исследования. Актуальность, которой подчеркивают действия российских и зарубежных фирм по созданию дорогостоющих отделов, решающих эти вопросы.

На практике исследование проводится с сервисными ПП -отвечающими за автоматизацию обслуживания ЭВМ, в частности файловыми менеджерами.

Цель исследования - повышение эффективности процессов принятия решения о качестве программного обеспечения для пользователя в сервисных сферах применения продуктов на основе разработки и автоматизации процедур определения и формализации семантического представления программного продукта.

В соответствии с поставленной целью в диссертации решены следующие задачи.

• Системный анализ основных факторов и закономерностей, определяющих качество программного обеспечения.

• Разработка моделей автоматизированных процедур: выбор нормативных документов для определения показателей качества, формализация требований заказчика, определение корреляции метрик характеризующих программный продукт (ПП), принятие решений о качестве ПО с учетом предпочтений пользователя.

• Разработка информационного и программного обеспечения реализующего методику частотно-контекстного определения семантики документа, структурирования функций качества, сбора и обработки статистики необходимой в принятии решения о качестве программного продукта.

• Разработка парадигмы оптимизации тестирования программного обеспечения фрагментированных процессов разработки.

Методами исследования являются принципы системного анализа, теории управления качеством, методы классификации, квалиметрии, математического моделирования, теории графов, теории автоматов, математической статистики, теории принятия решений, методы прикладного программирования.

Научная новизна состоит в том, что разработанная модель, метод и алгоритмы позволяют эффективнее решать задачи обеспечения качества ПО с позиции конечного пользователя по количественным и качественным оценкам.

• Разработана методика автоматизированной градации стандартов, в которой предлагается ранжировать нормативные документы, используя автоматизированные методы распознавания контекстных образов основанные на графовых моделях.

• Произведена автоматизация структурирования функции качества ПО с целью определения весовых коэффициентов, корреляций и свертывания показателей качества с учетом требований заказчика.

• Разработана методика оптимальных статистических решений распределения метрик качества ПО, необходимая для выбора базовых (эталонных) показателей качества.

• Обоснованы методы воздействия на лицо принимающее решение

ЛПР), и механизмы адаптации, улучшающие качество выбора, при построении автоматизированных процедур оценивания программного * продукта.

Результаты исследования

Основные теоретические результаты подтверждены экспериментально при физическом моделировании, а также при внедрении основных выводов и положений диссертационной работы. Правительство Санкт-Петербурга отметило важность полученных результатов, оказывая материальную л поддержку в виде гранта.

Основные положения диссертации, разработанные модели, рекомендации и методики использованы и внедрены в учебном процессе Санкт-Петербургского государственного университета аэрокосмического приборостроения, на холдинговой компании «Ленинец», ОАО «Авангард», ЗАО «Пантес». Программа автоматизации структурирования функции качества является официально зарегистрированным программным продуктом I» в российском фонде алгоритмов и программ.

Основные результаты исследования по теме диссертации отражены в 11 печатных работах.

Структура диссертации

Диссертация состоит из введения, четырех глав, заключения, списка используемых источников и приложения. Общий объем работы составляет 181 страницу, в том числе 73 рисунка, 24 формулы, 21 таблица, список I используемых источников из 136 наименований.

Заключение диссертации по теме «Автоматизация и управление технологическими процессами и производствами (по отраслям)», Мишкутёнок, Владимир Владимирович

Выводы

Результаты экспериментальных исследований успешно подтвердили выдвинутые ранее теоретические положения. Тестирование программной реализации разработанного метода и алгоритмов показало высокую точность и корректность полученных значений.

Вместе с тем, стоит отметить сложность оценки полученных результатов, и значительное влияние субъективной составляющей, присутствующей при оценке. Отчасти это вызвано характером и особенностью решаемых в данной работе задач, отчасти отсутствием формализованных методик оценки подобных исследований. Разработка таких методик может значительно упростить анализ результатов и однозначно определить их корректность и точность.

ЗАКЛЮЧЕНИЕ

В работе рассмотрены теоретические и практические вопросы решения задачи автоматизации принятия решения о качестве ПП. Можно выделить следующие основные результаты, полученные в диссертации:

• Проведен системный анализ основных факторов и закономерностей, определяющих качество программного обеспечения.

• Разработаны модели: выбора нормативных документов для определения показателей качества, формализация требований заказчика, определение корреляции метрик характеризующих программный продукт (ПП), принятие решений о качестве ПО с учетом предпочтений пользователя.

• Разработано программное обеспечение реализующего методику частотно-контекстного определения семантики документа, структурирования функций качества, сбора и обработки статистики необходимой в принятии решения о качестве программного продукта.

• Предложена парадигма оптимизации тестирования ПП фрагментированных процессов разработки.

Разработанная модель, метод и алгоритмы позволяют значительно повысить точность и адекватность анализа ПП. Их реализация применительно к решению задач позволяет значительно повысить качество и эффективность ПП. Программное обеспечение, разработанное в рамках диссертационной работы, нашло свое применение в ряде инженерных проектов, ориентированных на решение задач консалтинга и информационно-справочного обеспечения.

Разработанный аппарат исследования позволяет на основании проверенных оценок показателей формальных показателей провести объективный выбор конкретного ПО, отвечающего индивидуальным требованиям потребителя.

Основные положения и отдельные результаты работы докладывались и обсуждались на 6 международных и 8 российских конференциях. Правительство Санкт-Петербурга отметило важность полученных результатов, оказывая материальную поддержку в виде гранта. Принималось участие в подготовке заключения о перспективе развития проекта «Консалтинг производителей программного обеспечения» СПИИРАН, 2005г. Прототип инновационной коммерческой системы на основе результатов диссертационной работы был представлен в фонд Бортника по программе СТАРТ 2005 и рекомендован для следующего этапа конкурсного отбора.

Список литературы диссертационного исследования кандидат технических наук Мишкутёнок, Владимир Владимирович, 2005 год

1. Агафонов В.Н. Спецификация программ: Понятийные средства и их организация. Новосибирск: Наука, 1987.

2. Безкоровайный М. М., Костогрызов А. И., Львов В. М. Инструментально-моделирующий комплекс для оценки качества функционирования информационных систем. М.: "Вооружение, политика, конверсия, 2001, 303с

3. Безопасность информации. Сборник материалов международной конференции. М.: СИП РИА. 1997.

4. Беллман Р., Заде Л. Принятие решений в расплывчатых условиях//Вопросы анализа и процедуры принятия решений. М.: Мир, 1976.

5. Боэм Б.У. Инженерное проектирование программного обеспечения: Пер. с англ. / Под ред. А.А. Красилова. М.: Радио и связь, 1985.

6. Бурков В.Н., Новиков Д.А. Как управлять проектами. М.:СИНТЕГ.1997.

7. Буч Г. Объектно-ориентированное проектирование с примерами применения. Пер с англ.- М.: Конкорд, 1992.

8. Варжапетян А.Г. и др. Принятие решений о качестве , управляемом заказчиком . М Вузовская книга , 2004 , 390 с.

9. Варжапетян А.Г. и др. Системы Управления. Инжиниринг качества . М. Вузовская книга .2001, 319 с.

10. Варжапетян А.Г., Анохин В.В., Варжапетян А.А., Коршунов Г.И, Левицкий Т.Г., Семенова Е.Г.: Системы управления. Инжиниринг качест-ва: Монография. М., Вузовская книга, 2001. - 326 с.

11. Варжапетян А.Г., Мишкутёнок В.В., Матрица СФК инструмент прогнозирования в технических системах // Системность структур техники и бизнеса, Сборник трудов летней школы семинара аспирантов и студентов СПб ГУАП. СПБ: Политехника, 2003. С. 296-312

12. Введение в операционные системы, А. Колин, МИР 1975

13. Вендров A.M. CASE технологии. Современные методы и средства проектирования информационных систем. М.: Финансы и статистика,1998.

14. Гантер Р. Методы управления проектированием программного обеспечения: Пер. с англ. /Под ред. Е.К. Масловского. М.:Мир, 1981.

15. Герасименко В.А. Защита информации в автоматизированных системах обработки данных. Книга 1 и 2. М.: Энергоатомиздат, 1994.16,17,18,19,2021,22,23