Модели и методики оценки качества прикладных программных систем тема диссертации и автореферата по ВАК РФ 05.13.01, кандидат технических наук До Хонг Куанг

• До Хонг Куанг
• кандидат технических наук
• 2006

Оглавление диссертации кандидат технических наук До Хонг Куанг

Условные обозначения и сокращения.

Введение.

Глава 1. Анализ подходов к оценке качества.

1.1.Основные понятия и модели качества. Управление качеством.

1.1.1. Понятие качества.

1.1.2. Модели качества.

1.1.3. Управление качеством и стандарты качества.

1.2.0сновные подходы к сравнению и выбору продуктов (объектов).

1.2.1. Матричные методы.

1.2.2. Графовые методы.

1.2.3. Методы качественного оценивания.

1.2.4. Методы количественного оценивания.

1.3. Модели и метрики оценки надежности программных продуктов. ф 1.3.1. Аналитические и эмпирические модели надежности.

1.3.2. Анализ моделей надежности ПО.

1.3.3. Метрики, применяемые при оценке показателей качества ПО.

1.4. Качество программных продуктов.

1.4.1. Показатели качества программных продуктов.

1.4.2. Управление качеством программных продуктов.

1.5. Постановка задачи диссертационного исследования.

1.6. Результаты и выводы по главе 1.

Глава 2. Метод оценки качества.

2.1. Двухуровневая модель оценки качества.

2.1.1. Требования к модели.

2.1.2. Требования к методу оценки. ф 2.1.3. Двухуровневая модель взаимосвязи показателей.

2.1.4. Особенности построения модели и оценки структуры показателей.

2.2. Методика (основные стадии и этапы) оценки качества.

2.3. Подходы к построению ступенчатой иерархии.

2.3.1. Подход, основанный на принципе вычеркивания.

2.3.2. Подход, основанный на принципе дополнения.

2.4. Методика построения иерархической ступенчатой структуры.

4 2.4.1. Способ приведения неиерархической структуры к иерархической.

2.4.2. Методика приведения неступенчатой иерархической структуры к ступенчатой иерархической структуре. 2.5. Оценка возможных ошибок при удалении малозначимых элементов.

2.6. Способ комплексирования мнений экспертов.

2.7. Результаты и выводы по главе 2.

• Глава 3. Двухуровневая иерархическая модель структуры показателей качества ППС.

3.1. Построение иерархической модели взаимосвязей показателей качества ППС верхних ступеней на первом уровне.^

3.2. Построение нижнего уровня ступенчатой иерархии показателей каче

• стваППС.

3.3. Анализ зависимости влияния показателей нижнего уровня от соотношений приоритетов «Эффективность» и «Стоимость».

3.3.1. Анализ весовых коэффициентов.

3.3.2. Непосредственное определение весов элементов нижней ступени.

3.4. Результаты и выводы по главе 3.

Глава 4. Алгоритмы и экспериментальная оценка качества ППС.

4.1 .Алгоритмы оценки качества ППС и выбора наилучшего ПП.

4.1.1. Обобщенный алгоритм оценки качества ППС.

4.1.2. Вычислительные и оценочные процедуры.

4.1.3. Программное обеспечение.

4.2. Цели и задачи эксперимента оценки качества ППС.

4.3. Первая стадия эксперимента оценки качества ППС.

4.3.1. Условия проведения эксперимента.

4.3.2. Проведение эксперимента.

4.3.3. Анализ результатов эксперимента.

4.3.4. Результаты эксперимента.

4.3.5. Интерпретация результатов эксперимента.

4.4. Вторая стадия эксперимента оценки качества ППС.

4.4.1. Условия проведения эксперимента.

4.4.2. Проведение эксперимента.

4.4.3. Результаты эксперимента.

• 4.4.4. Методика анализа результатов эксперимента.

4.4.5. Интерпретация результатов эксперимента.

4.5. Результаты и выводы по главе 4.

Введение диссертации (часть автореферата) на тему «Модели и методики оценки качества прикладных программных систем»

Увеличивающая в мировом масштабе конкуренция среди разработчиков и производителей различной продукции, повышение требований конечного пользователя к качеству продукции привело разработчиков к пониманию важности вопросов стандартизации в области качества [50].

Для того чтобы поддерживать конкурентоспособность своей организации и продукции разработчики должны применять все более эффективные, рентабельные методы, технологии, инструментальные средства, способствующие постоянному повышению качества и более совершенному удовлетворению потребителей.

Требования потребителей часто включаются в технические условия (ТУ) или представляются в виде неформализованных требований [6, 18, 50], описанных на некотором вербальном языке. Однако технические условия и неформализованные требования сами по себе не гарантируют их удовлетворение в конечном продукте. Это соображение привело к разработке стандартов, руководств, руководящих документов, относящихся к системам качества и дополняющих релевантные требования к продукции, установленные в соответствующих технических требованиях. Международные стандарты серии ИСО 9000 впервые создали общую основу для стандартов на системы качества, применимые в различных областях деятельности человека.

Концептуальной основой стандартов серии ИСО 9000 является тот факт, что любая организация создает, совершенствует и обеспечивает (управляет) постоянный уровень качества своей продукции с помощью управляемой сети процессов.

Как показывает опыт, наибольшую трудность в процессе управления качеством любой продукции, в том числе и программной, вызывает установление, выявление причин (факторов), которые ухудшают те или иные характеристики (показатели) качества. Еще более сложной и в то же время необходимой процедурой является их оценка, дающая объективную основу для выработки оперативных и экономически эффективных управляющих воздействий [6] на организацию процесса в целом, на деятельность структурных подразделений и отдельных сотрудников. Поэтому актуальным является выбор и внедрение методов, обеспечивающих выявление конкретных зависимостей между факторами и характеристиками качества, методов, позволяющих принимать обоснованные решения и осуществлять конкретные мероприятия.

Зачастую на рынок конкурирующими фирмами выбрасываются сходные изделия и системы, отличающимися некоторыми (неявными) функциональными различиями, стоимостью, технологией и др. В данном случае специалисты не всегда могут точно определить: на какой сегмент пользователей рассчитан тот или иной продукт. Возникает проблема: как из множества однотипных продуктов выбрать такой продукт, который наилучшим образом отвечает слабоформализуемым требованиям и предпочтениям пользователя.

При этом предлагаемый способ определения «наилучшего» (в смысле требований данного пользователя) продукта должен быть достаточно прост и понятен. Наличие такого способа позволит разработчикам заранее, моделируя требования различных пользователей, настраиваться на определенный сегмент рынка, т.е. на определенный контингент пользователей.

К сожалению, на сегодняшний день такой способ отсутствует

Таким образом, существует противоречие между необходимостью рационального выбора пользователем продукта и отсутствием моделей, методов и средств, позволяющих обеспечить решение этой задачи с учетом нужд и возможностей пользователя.

Наличие этого противоречия определяет существование актуальной научно-технической задачи — необходимости разработки моделей, методик и алгоритмов, реализующих поддержку принятия решения при оценке качества изделий (систем).

Выбор изделий (систем) в качестве объектов для апробации теоретических результатов работы обоснован следующими соображениями:

1. Развитие программирования за 50 лет [50, 13] привело к формированию понятия программного продукта (ПП). Этот продукт является результатом нового вида современного промышленного производства. Из объекта научного творчества и произведения искусства отдельных программистов программы превратились в объект планомерной разработки, эксплуатации и сопровождения, массовое тиражирование и реализация которого приносит фирмам-разработчикам огромные доходы.

2. Рост доверия к программам и к их возможностям выполнять различные функции не только увеличил объем разработки, но и значительно повысил важность и ответственность выполняемых ими функций. Возрастание значения результатов функционирования пакетов прикладных программных систем

ППС) повысило интерес пользователей к анализу качества создаваемых и эксплуатируемых программных продуктов.

3. Пользователи, работающие над схожими задачами и использующие схожие программы, по своим индивидуальным пожеланиям и требованиям к тем или иным характеристикам и возможностям этих программ могут очень сильно различаться. Поэтому большое количество ПП, не столь мощных и многофункциональных, как лидеры данной области находят, тем не менее, своего потребителя, поскольку и стоят, как правило, дешевле. Таким образом, основным вопросом потребителя является: «Какую программу выбрать для данной проблемной области с учетом качества и стоимости?». Для того чтобы сделать этот выбор нужно обладать не только некоторой информацией по данному классу программных средств, но и иметь достаточно четкий и понятный механизм анализа [A3, А5].

4. Одной из причин снижения качества программного обеспечения (ПО) является отсутствие единого подхода и методик, позволяющих оценить качество различных систем [50]. Стандарты ISO (ИСО) или ГОСТы (в частности управления качеством) не позволяют провести сравнительный анализ различного ПО. Следовательно, производителям не приходится соревноваться друг с другом по объективным показателям, достаточно управлять соотношением цена/функциональность и обеспечить продвижение продукта за счет умелого маркетинга. Поэтому, прежде всего, следует определить, что именно подразумевается под качеством ПП, а затем уже то, как его можно измерить.

5. Качеству ПО посвящено много публикаций различного характера [6, 56]. Их авторы обычно ссылаются на одни и те же стандарты серии ISO 9000, а также на национальную нормативную базу. Основным способом обеспечения и подтверждения качества ПО предлагается считать использование процедур сертификации на соответствие этим стандартам, но этого явно не хватает для реального обеспечения качества ПО. Практический опыт свидетельствует об относительной действенности сертификации; жизнь постоянно ставит разработчиков перед необходимостью реально решать задачи обеспечения, поддержания и повышения качества своих ПО. Качество имеет вполне осязаемое стоимостное выражение. Именно это заставляет разработчиков обеспечивать необходимый уровень качества ПО. Хотя так называемые «чистые» потери из-за неудовлетворительного качества ППС встречаются довольно редко, довольно распространены косвенные потери. Компании-разработчики содержат значительные штаты служб технической поддержки и сопровождения, тестирования, консультирования, призванные в оперативном порядке выявлять причины претензий, устранять ошибки, документировать изменения и осуществлять необходимые мероприятия по улучшению и поддержанию качества ПО. Общая численность таких служб может превышать количество программистов, непосредственно занятых созданием продукта. ПО периодически совершенствуются разработчиками, однако при этом обычно возникают новые дефекты; растут и расходы на поддержание необходимого уровня качества.

6. Для того, чтобы было возможно при сравнении ПО оперировать численными показателями, для основных характеристик качества ПО должна быть проработана методика оценки.

Данное диссертационное исследование, посвященное решению научно-технической задачи разработки моделей, методик и алгоритмов для оценки уровня качества изделий и прикладных программных систем, с учетом мнений пользователей и разработчиков, непосредственно базируется на результатах исследований следующих ученых:

1) в области методов оценки качества и эффективности сложных систем и технологий - А. Н. Анохин, С. Д. Бешелев, А. И. Губинский, В. В. Липаев, А. А. Терехов, Т. Саати и др.

2) в области информационных технологий: Б. Я. Советов, С.А. Яковлев,

A. М. Заяц и др.

3) в области оценки надежности и эффективности программных средств: - А. В. Копыльцов, В. В. Липаев, Г. Майерс, Э. Нельсон, П. И. Падерно, Б. П. Пальчун, О. В. Щербакова и др.

4) в области эргономической экспертизы - А. Н. Анохин, В. Г. Евграфов,

B. М. Львов, П. И. Падерно и др.

Актуальность исследования определяется существованием:

1) проблемы обеспечения необходимого качества;

2) отсутствием единых взглядов на оценку качества;

3) необходимостью учета мнений пользователей при оценке качества;

4) возможными противоречиями между формулировкой требований к качеству со стороны разработчика и пожеланиями пользователей.

Целью исследования являлось обеспечение объективности всесторонней оценки качества изделий и системы в соответствии с поставленными требованиями, ограничениями, назначением и специфическими особенностями конкретных продуктов.

Для реализации поставленной цели в работе решаются следующие задачи:

Определение особенностей структуры показателей качества и построение модели, позволяющей реализовать всестороннюю оценку качества.

2. Разработка методики построения модели, позволяющей применять для оценки комплексного качества метод анализа иерархий.

3.Разработка методики, позволяющей получать объективные оценки качества в соответствии с поставленными требованиями, ограничениями, назначением и специфическими особенностями изделия и системы.

4. Разработка математических моделей взаимосвязей частных и общих показателей качества ППС, на всех уровнях и ступенях.

5.Разработка алгоритмической поддержки (комплекса алгоритмов), реализующей автоматизированное решение задачи выбора (оценки качества ППС) в режиме диалога с пользователем.

6.Проведение экспериментальной проверки адекватности разработанных моделей, методик и алгоритмов.

Решение этих задач и составляет содержание исследования.

Объектом исследования являются изделия, в т.ч. прикладные программные системы, а предметом — оценка качества прикладных программных систем с учетом разнородных требований.

Основные научные результаты и их новизна состоят в следующем:

1. Разработанная математическая модель структуры показателей качества, отличается от известных моделей иерархической структурой, наличием двух уровней, что дает возможность учитывать зависимости значимости компонент, находящихся на разных уровнях: - значимость компонент верхнего уровня зависит от пользователей; - значимость компонент нижнего уровня от специфики и назначения объекта.

2. Методика, реализующая построение структуры показателей качества, отличается новым способом приведения исходной структуры к ступенчатой иерархии, что позволяет всесторонне учитывать взаимосвязи различных показателей качества.

3. Методика, реализующая оценку с использованием метода анализа иерархий, отличается возможностью корректно комплексировать мнения различных экспертов, что позволяет осуществлять контроль качества создаваемого изделия на всех этапах разработки, путем этапе формирования обоснованных требований.

Практическая ценность диссертационной работы заключается в разработке модели и комплекса методик, явившихся методологической основой для алгоритмов автоматизированной поддержки процесса оценки качества изделий (систем) в режиме диалога.

Результаты внедрены в учебный процесс СПбГЭТУ «ЛЭТИ» и ВМИРЭ им. A.C. Попова, а программный модуль апробируется в ЗАО «КОМПАНИЯ ГИПЕРМЕТОД», о чем имеются соответствующие акты.

Достоверность обоснованных в диссертации положений и полученных научных результатов: обеспечена: - корректным комплексированием известных подходов к оценке качества (в том числе качества ППС), - использованием апробированных математических моделей и методов для их оценки; подтверждена: - результатами экспериментов, - достаточной апробацией и публикацией полученных результатов, а также внедрением.

Апробация работы.

Основные результаты работы докладывались и обсуждались на: ежегодных научно-технических конференциях профессорско - преподавательского состава СПбГЭТУ в 2004 - 2006 гг.; международной конференции «Региональная информатика: РИ-2004», Санкт-Петербургское Общество информатики, вычислительной техники, систем связи и управления (СПОИСУ), 2004г.; научно-практической конференции «Ананьевские чтения - 2005: Развитие специальной психологии в изменяющейся России», 2005г. СПбГУ.

Публикации. По теме диссертации опубликованы 6 печатных работ, в том числе 3 статьи и 3 тезиса докладов.

Структура и объем диссертационной работы. Диссертационная работа состоит из введения, четырёх глав, заключения, списка литературы, включающего 91 наименование, шести приложений. Основная часть работы изложена на 142 страницах машинописного текста. Работа содержит 67 рисунков и 41 таблица.

Заключение диссертации по теме «Системный анализ, управление и обработка информации (по отраслям)», До Хонг Куанг

Вывод

Умножить все элементы на элемент предок

ЗАКЛЮЧЕНИЕ

Целью исследования являлось обеспечение объективности всесторонней оценки качества изделий в соответствии с поставленными требованиями, ограничениями, назначением и специфическими особенностями конкретных прикладных программных систем.

Данную цель предполагалось достичь на основе решения научно-технической задачи разработки моделей, методик и алгоритмов оценки качества ППС, представленного в виде иерархической структуры показателей.

Теоретическую основу исследования составили основные положения системного анализа, работы:

- в области методов оценки качества и эффективности сложных систем и технологий;

- в области информационных технологий;

- в области оценки надежности и эффективности программных средств;

- в области эргономической экспертизы, а также постулируемое положение о том, что если один частный показатель качества влияет на другой показатель качества, то он находится на более низкой ступени иерархии.

На базе анализа подходов к оценке (экспертизе) качества была сформулирована следующая гипотеза исследования:

Оценка качества изделия должна давать возможность учета разнородных требований и ограничений (потребностей и возможностей) пользователей, а также учитывать возможность ее оценки различными категориями разработчиков.

В качестве конкретного изделия для апробации разработанного подхода были выбраны прикладные программные продукты.

Для реализации поставленной цели исследования в работе были выполнены:

1. Определение особенностей структуры показателей качества и построение модели, позволяющей реализовать всестороннюю оценку качества.

2. Разработка методики построения модели, позволяющей применять для оценки комплексного качества продукта метод анализа иерархий.

3. Разработка методики, позволяющей получать объективные оценки качества в соответствии с поставленными требованиями, ограничениями, назначением и специфическими особенностями продукта.

4. Разработка математических моделей взаимосвязей частных и общих показателей качества ППС, на всех уровнях и ступенях.

5. Разработка алгоритмической поддержки (комплекса алгоритмов), реализующей автоматизированное решение задачи выбора (оценки качества ППС) в режиме диалога с пользователем.

6. Проведение экспериментальной проверки адекватности разработанных моделей, методик и алгоритмов.

Решение задач 1, 2 и 3 позволило построить двухуровневую модель показателей качества прикладных программных средств. Построение велось в несколько этапов:

- построение базовой иерархии;

- проведение экспериментальной проверки адекватности предложенной структуры;

- корректировка структуры по результатам эксперимента;

- проведение второй стадии эксперимента и проверка работы алгоритмов и программ по оценке качества ППС.

Комплекс разработанных алгоритмов и программ был (частично) апробирован при проведении эксперимента.

Экспериментальная проверка работоспособности разработанных моделей, методик и алгоритмов установила, что полученные на их основе оценки влияния частных показателей качества на более общие показатели достаточно адекватно отражают мнения пользователей (для верхнего уровня) и мнения различных категорий разработчиков ППС (для нижнего уровня).

В результате проведенного исследования получены четыре новых достоверных научных и практических результата:

1. Двухуровневая математическая модель структуры показателей качества, позволяющая учитывать зависимости значимости компонент, находящихся на разных уровнях:

- значимость компонент верхнего уровня зависит от пользователей;

- значимость компонент нижнего уровня от специфики и назначения объекта.

2. Методика, реализующая построение ступенчатой иерархической структуры показателей качества, позволяющая всесторонне учитывать взаимосвязи различных показателей.

3. Методика, реализующая комплексную оценку качества продукта с использованием метода анализа иерархий, обеспечивающая корректное комплек-сирование мнений различных экспертов и позволяющая осуществлять контроль качества создаваемого продукта на всех этапах разработки, путем этапе формирования обоснованных требований.

4. Модель структуры частных показателей качества прикладных программных продуктов, отражающая как видение потребителей (пользователей) - верхний уровень иерархии, так и представление разработчиков - нижний уровень иерархии.

Достоверность основных положений и полученных научных результатов обеспечена:

- корректным комплексированием известных подходов к оценке качества (в том числе качества ППС),

- использованием апробированных математических моделей и методов для их оценки;

И подтверждена:

- результатами экспериментов,

- достаточной апробацией и публикацией полученных результатов, а также внедрением.

Очевидно, что полученные результаты не полностью покрывают все теоретические и прикладные аспекты формирования моделей структуры показателей качества, в которых, вообще говоря, могут быть и прямые взаимосвязи на одном уровне. Возможность наличия таких взаимосвязей, в том числе и обратных, определяет одно из перспективных направлений дальнейших исследований.

Список литературы диссертационного исследования кандидат технических наук До Хонг Куанг, 2006 год

1.Анохин А. Н. Методы эксперных оценок (применение в задачах эргономического обеспечения деятельности оператора АЭС) Текст./ А. Н. Анохин: Учеб. пособие. Обнинск: ИАТЭ, 1996. - 148с.

2. Антошина И. В. Методика составления системы характеристик качества для программных средств Текст./ И.В. Антошина, В.Г. Домрачев, И.В. Ретин-ская// Информационные технологии в менеджменте качества и инновационном менеджменте.- 2002.- №3, С.57-60.

3. Аншина М. Страсти по качеству программного обеспечения Текст./ М. Анши-на// Открытые системы.- 1998.- № 6. [http://text.marsu.ru/osp/os/1998/06/46.htm]

4. Ашеров А. Т. Эргономика информационных технологий Текст./ А.Т.Ашеров, С.А.Капленко, В.В.Чубук:Учеб. издание. Харьков: ХГЭУ, 2000 -224с.

5. Ашеров А. Т. Информационно-управляющие человеко-машинные системы. Исследование, проектирование, испытания: справочник.Текст./ А.Т.Ашеров,

6. A.И.Губинский, В Г Евграфов, Е А Лавров, П. И Падерно, Е Б Цой,- М.: Машиностроение, 1993.- 527с.

7. Баутов А. Оценка факторов, влияющих на качество программных продуктов Текст./ А. Баутов// Открытые системы.- 2001.- №11. [http://www.osp.ru/cio/ 2001/1 l-12/048.htm].

8. Бешелев С. Д. Математико-статистические методы экспертных оценок Текст./ С. Д. Бешелев, Ф. Г.Гурвич. М.: «Статистика», 1980. -263 с.

9. Благодатских В. А. Стандартизация разработки программных средств Текст./

10. B. А. Благодатских, В. А. Волнин, К. Ф. Поскакалов, О. С. Разумова: Учеб. пособие. -М.: Финансы и статистика, 2003. -288с.

11. Ю.Боем Б. Характеристики качества программного обеспечения Текст./ Б.Боем, Дж. Браун и др. М.: Мир, 1981. -206с.

12. П.Волченков Е. Стандартизация пользовательского интерфейса Текст./ Е. Вол-ченков// Открытые системы.- 2002.- № 4. [http://www.osp.ru/os/2002/04/037.htm]

13. Большая энциклопедия Кирилла и Мефодия: e-book Москва: Большая Российская энциклопедия, 2003. (www.megabook.ru).

14. Боронин С. Методика оценки основных характеристик программного обеспечения Текст./ С. Воронин// Virtual research group.- 2003.- №7. [http://www. vrg.ru]

15. Воробьев В. И. Методы и модели оценивания качества ПО Текст./ В. И. Воробьев, А. В. Копыльцов, Б. П. Пальчун, Р. М. Юсупов. СПб.: СПИИРАН, 1992. -33с.

16. Вронский К. Стандарты ISO и управление качеством проектов ИТ Текст./ К. Вронский// Центр программных систем.- 2001.- №2. [http://www.interface.ru/ qad/mfg/isoit.htm].

17. Вычислительная техника и новые информационные технологии. Русско-английский терминологический словарь. -М.: ВНИИКИ, 1992. -131с.

18. Гаврилов В. М. Оптимизация по последовательно применяемым критериям Текст./ В. М. Гаврилов, В. В. Подиновский. М.: Сов. радио, 1975. -192с.

19. ГОСТ Р ИСО/МЭК 9126 93. Информационная технология. Оценка программной продукции. Характеристики качества и руководство по их применению. -М.: Изд-во стандартов, 1994. -16с.

20. ГОСТ Р ИСО/МЭК 28195 89. Оценка качества программных средств. Общие положения. - М.: Изд-во стандартов, 1989.

21. ГОСТ Р ИСО/МЭК 12207 99. Информационная технология. Процессы жизненного цикла программных средств (Издание официальное). - М.: Изд-во стандартов, 1999. -53с.

22. ГОСТ Р ИСО 9003-96. Системы качества. Модель обеспечения качества при окончательном контроле и испытаниях. -М.: Изд-во стандартов, 1996. -12с.

23. ГОСТ 15467-79, Управление качеством продукции. Основные понятия. Термины и определения-М.: Изд-во стандартов, 1979.

24. Губинский А. И. Надежность и качество функционирования эрготических систем Текст./ А. И. Губинский. Д.: Наука, 1982. - 270с.

25. Губинский А. И. Эргономическое проектирование судовых систем управления Текст./ А. И. Губинский, В. Г. Евграфов. JI.: Судостроение. 1977, - 224с.

26. Даниляк В. И. Эргодизайн, качество, конкурентоспособность Текст./ В. И. Даниляк, В. М. Мунипов, М. В. Федоров,- М.: Изд-во стандартов, 1990. 200с.

27. Джеффри В. Качество программного обеспечения: восемь мифов Текст./ В. Джеффри// Открытые системы.- 1999.- №9-10. [http://www.text.marsu.ru/osp/ os/1999/042.htm]

28. Дэвид Г. Метод парных сравнений Текст./ Г. Дэвид. Пер. с англ. М.: Статистика, 1978. -218с.

29. Евграфов В. Г. Автоматизация эргономического обеспечения исследований и разработок автоматизированных систем обработки информации и управления Текст./ В. Г. Евграфов, П. И. Падерно: Учеб. пособие.- СПбГЭТУ, 1999. -60с.

30. Евграфов В. Г. Эргономическое обеспечение создания автоматизированных систем обработки информации и управления Текст./ В. Г. Евграфов, П. И. Падерно: Учеб. пособие.- СПбГЭТУ, 1999. -60с.

31. Иванов Д. Н. Принятие решений с использованием метода анализа иерархий в сети Интернет Текст./ Д. Н. Иванов, И. В. Королев, Б. Н. Матюхин// М.:-ФАПСИ.- 2000.- №3. [http://www.mesi.ru/joe/2000].

32. ИСО (ISO) 9000. Стандарты семейства ИСО 9000. Общее руководство качеством и стандарты по обеспечению качества. Руководящие указания по выбору и применению, http://www.iso9000.ru.

33. ИСО (ISO) 9000:2000. Системы управления качеством основные положения и словарь.- М.: Изд-во стандартов, 2000. -54с.

34. ИСО 8402-94. Управление качеством и обеспечение качества словарь.

35. Карповский Е. Я. Надежность программной продукции Текст./ Е. Я. Кар-повский, С. А. Чижов Киев: Техника, 1990. -160с.

36. Ковалевская Е. В. Практикум по дисциплине «Метрология и сертификация ПО» Текст./ Е. В. Ковалевская.-М.: МГУЭСИ, 2002. -30с.

37. Копыльцов А. В. Об оценке качества программных продуктов Текст./ А. В. Копыльцов// Проблемы информатизации (теоретический и научно-практический журнал).- 1994.- Вып. 3-4.- С.46-48.

38. Королюк В. С. Справочник по теории вероятностей и математической статистике Текст./ В. С. Королюк, Н. И. Портенко, А. В. Скороход, А. Ф.- Турбин.-Киев: «Наукова думка», 1978.- 581с.

39. Кречетов Н. Рынок программных средств. Технологии оценки качества программных продуктов Текст./ Н. Кречетов// По материалам Database Programming & Design Pick World.- 1996.- № 25. c.27-32. [http://www.info-system.ru/ quality/marketjsoftware.html].

40. Ларичев О. И. Теория и методы принятия решений Текст./ О. И. Ларичев: Учеб. пособие.- М.: Логос, 2000.- 296 с.

41. Липаев В. В. Анализ качества баз данных Текст./ В. В. Липаев// Открытые системы.-2002.- №3 С. 54-57.

42. Липаев В. В. Качество программного обеспечения Текст./ В. В. Липаев.- М.: Финансы и статистика, 1983.- 263 с.

43. Липаев В. В. Надежность программного обеспечения АСУ Текст./ В. В. Липаев- М.: Энергоиздат, 2002.- 240 с.

44. Липаев В. В. Оценка затрат на разработку программных средств Текст./ В. В. Липаев, А. И. Потапов.- М.: Финансы и статистика, 1988 168 с.

45. Липаев В. В. Тестирование программ Текст./ В. В. Липаев.- М.: Радио и связь, 1986.- 295 с.

46. Липов М. Надежность программного обеспечения Текст./ М. Липов, Э. Нельсон, Т. Тейер.- М: Мир, 1981.- 323 с.

47. Литвак Б. Г. Экспертные оценки и принятие решений Текст./ Б. Г. Литвак.- М. Патент, 1996.- 271 с.

48. Ломако А. Г. Стандартизация процессов обеспечения качества программного обеспечения Текст./ А. Г. Ломако. Учеб. СПб.: ГУАП, 2001. Режим доступа: [http://www.aanet.ru/webk46/textbooks/stdpro/vvst.htm].

49. Львов В. М. Человеко-компьютерное взаимодействие Текст./ В. М. Львов, В. Д. Магазанник: Учеб. пособие.- Тверь, 2005.- 199 с.

50. Майерс Г. Искусство тестирования программ Текст./ Г. Майерс: Пер. с англ. Позина Б. А — М.: Финансы и статистика, 1982.- 156 с.

51. Майерс Г. Надежность программного обеспечения Текст./ Г. Майерс.- М.: Мир, 1980.-360 с.

52. Мартыненко М. В. Человеко-машинные процедуры поддержки организационно-управленческих решений Текст./ М. В. Мартыненко, П. И. Падерно, О. И Шеховцов: Учеб. пособие. СПбГЭТУ, 2001.- 68 с.

53. Моргунов Е. Б. Человеческие факторы в компьютерных системах Текст./ Е. ф Б. Моргунов.- М.: Тривола, 1994. -268 с.

54. Маркова Н. Пристальный взгляд на качество программ Текст./ Н. Маркова// Открытые системы.- 1999.- №4. [http://text.marsu.ru/osp/os/1999/07-08/034.html].

55. Падерно П. И. Оценка погрешности в оценочном векторе при удалении малозначимых связей в иерархии Текст./ П. И. Падерно// Человеческий фактор. ЧФ: Проблемы психологии и эргономики.- 2005.- №3/1.- Тверь.- С.61-62.

56. Полаженко С. Оценка характеристик безопасности в рамках процесса оценки качества ПС в соответствии с международными стандартами ISO/IEC Текст./ С. Полаженко// Тестирование и Качество.- 2005,- №5.- С. 36-42.

57. Попов А. Метрики качества программного обеспечения Текст./ А Попов// Aplana Software.- 2003.- № 3. 20 с. [http://www.pmprofy.ru/content/rus/67/672]

58. Романов В. Ю. Метрики для измерения качества программного обеспечения Текст./ В. Ю. Романов.- М.: МГУ им. Ломоносова. Постоянный адрес статьи: [http://master.cmc.msu.ru/romanov/russian/pub/MartinMetrics.html]

59. Чк 67.Романюк С. Г. Оценка надежности программного обеспечения Текст./ С. Г.

60. Романюк М.: НИИСИ РАН: Открытые системы.- 1994.- №4. Режим доступа: http://text. marsu.ru/osp/os/1994/04/68.htm.

61. Саати Т. Принятие решений. Метод анализа иерархий Текст./ Т. Саати. Пер. с англ.- М.: «Радио и связь», 1993. -320 с.

62. Советов Б. Я. Информационная технология Текст./ Б. Я Советов.- М.: Высшая школа, 1994.- 368 с.

63. Советов Б. Я. Автоматизированное управления современным производством ^ Текст./ Б. Я. Советов, В. В. Цехановский.- JL: Машиностроение, 1988.- 167 с.

64. Советов Б. Я. Моделирование систем Текст./ Б. Я. Советов, С. А. Яковлев: Учебник для ВУЗов.- М.: Высшая школа, 1998.- 158 с.

65. Терехов А. А. Современные модели качества программного обеспечения Текст./ А. А. Терехов// Статья в журнале BYTE, Россия.- 1999.- №12.

66. Управление качеством продукции. Справочник.- М.: Издательство стандартов, 1985.- 199 с.

67. Холстед M. X. Начала науки о программах Текст./ M. X. Холстед.- М: Финансы и статистика, 1981. -128с.

68. Хубаев Г. Н. Сравнение сложных программных систем по критерию функ-^ циональной полноты Текст./ Г. Н. Хубаев// Программные продукты и системы (Software and Systems).- 1998.- № 2.- С.6-9.

69. Хубаев Г. Н. Сложные системы: экспертные методы сравнения Текст./ Г. Н. Хубаев// Известия высших учебных заведений. Северо-Кавказский регион. Серия «Общественные науки».- 1999,- №3.- С. 7-24.

70. Шубинский И. Б. Активная защита от отказов управляющих модульных вычислительных систем Текст./ И. Б. Шубинский, В. И. Николаев, С. К. Колга-нов, А. И. Заяц. -1993.- 284 с.

71. Щербаков О. В. Аппаратно-программные средства автоматизированных систем управления Текст./ О. В. Щербаков, Н. Р. Андронатий, А. А. Федулов идр. Ин-т математики с вычислит, центром. Кишинев: Штиинца.- 1989, 234 с.

72. Щербаков О. В. Автоматизированные системы управления Текст./ О. В.ф Щербаков, В. Д. Скугарев, А. А. Федулов,- М.: Воениздат, 1981.- 287 с.

73. Avison D. E. Software Quality Standards in Practice: The Limitations of Using ISO-9001 to Support Software Development Текст./ D. E. Avison, H. U. Shah, D. N. Wilson// Software Quality Journal.- 1994.- №3, P. 105-111.

74. Carnegie Mellon Software Engineering Institute. Capability Maturity Model for Software (SW-CMM). Website address: http://www.sei.cmu.edu/cmm.

75. Chrissis M. B. Capability Maturity Model for Software Текст./ M. B. Chrissis, B. Curtis, M. C. Paulk, С. V. Weber// IEEE Software, Version 1.1.- 1993.- P.18-27.

76. ISO/IEC Software Process Assessment, SPICE, Consolidated product, version 1.00, July 1995,451 p., Режим доступа: http://www.sqi.gu.edu.au/spice.

77. Lewis J. P. Large Limits to Software Estimation. ACM Software Engineering Notes, Vol 26, No. 4 July 2001, pages 54-59.

78. Simon H.A. The New Science of Management Decision. N.Y.: Harper and Row Publishers, 1960r.

79. Sunita D. C. Modeling Software Defect Introduction. USC Center for Software Engineering, Los Angeles, CA 90089-0781. №8, 61-70, 1999.

80. Список публикаций по теме диссертаций

81. А2. До Хонг Куанг. Оценка качества программных продуктов Текст./ До Хонг Куанг, П. И. Падерно// Региональная информатика-2004 «РИ-2004»: Материалы 9-й междунар. конф., г. С.-Петерб., 22-24 июня 2004. СПб., 2004. - С.46-47.

82. А4. До Хонг Куанг. Оценка качества ПП с помощью метода анализа иерархий Текст./ До Хонг Куанг, П.И. Падерно // Известия СПбГЭТУ "ЛЭТИ", Сер.«Информатика, управление и компьютерные технологии».- СПб., 2005.-Вып. 1.-С. 18-20.

83. А6. До Хонг Куанг. Двухуровневая модель оценки качества ПП с точки зрения конечного пользователя Текст./ До Хонг Куанг, П.И. Падерно // Сборник трудов симпозиума,- Сумы, Украина, 2006. -5 с. (в печати).