Разработка и исследование информационных систем для оценки характеристик потребительского качества программных продуктов, построенных с использованием СУБД MS Access, IC Предприятие, ORACLE тема диссертации и автореферата по ВАК РФ 08.00.13, кандидат экономических наук Кривошеева, Мария Александровна

• Кривошеева, Мария Александровна
• кандидат экономических наук
• 2004

Оглавление диссертации кандидат экономических наук Кривошеева, Мария Александровна

Введение

1. Качество программных средств: понятие, характеристики, подходы к оценке

1.1. Экономическое содержание категории качества программных средств и его характеристики

1.2 Анализ существующих методик оценки качества программных средств

1.3 Подходы к оценке качества функционирования информационных систем, использующих технологию «клиент-сервер»

2. Автоматизация оценки потребительского качества программных средств

2.1 Выбор базовых методик для построения автоматизированной системы оценки потребительского 44 качества программных средств

2.2. Моделирование программной системы для оценки характеристик потребительского качества информационных продуктов для экономических приложений

2.3. Особенности проведения оценки характеристик качества программных систем, ориентированных на использование баз данных

2.4. Проблемы автоматизации процесса оценки потребительского качества программных средств

2.5. Описание программных систем различного назначения, оцениваемых в данном исследовании

3. Экспертная оценка характеристик качества программных продуктов

3.1 Особенности экспертной оценки характеристик качества программных продуктов, ориентированных на 82 использование баз данных щ) 3.2 Автоматизация проведения экспертных исследований

3.3 Экспертная оценка важности характеристик качества программных продуктов для автоматизации исследуемых 89 предметных областей

3.3 Экспертная оценка характеристик качества экономических информационных систем

4. Оценка потребительского качества программных средств с помощью активных экспериментов

4.1 Теория оптимального планирования эксперимента и ее использование для оценки качества программных средств

4.2 Автоматизация оценки качества программных продуктов для экономических приложений по критерию «быстродействие»

4.3 Способы сохранения целостности исследуемой базы данных при проведении активных экспериментов с программными продуктами щ 4.4 Планирование и реализация активных экспериментов с программными системами различного назначения

Введение диссертации (часть автореферата) на тему «Разработка и исследование информационных систем для оценки характеристик потребительского качества программных продуктов, построенных с использованием СУБД MS Access, IC Предприятие, ORACLE»

За последнее десятилетие область применения компьютерной техники значительно расширилась, и рынок программного обеспечения также существенно вырос. Особенностью рынка программного обеспечения является быстрая смена его наполнения, появление новых программных продуктов, выход новых версий уже существующего программного обеспечения. Отметим, что до 95 % всех затрат на создание программно-аппаратного комплекса приходится на долю программного обеспечения, поэтому рост конкурентоспособности программного обеспечения основывается на снижении его стоимости и повышении качества.

Говоря о качестве программного обеспечения, мы подразумеваем такую совокупность свойств, которая обусловливает его пригодность удовлетворять потребности пользователя, то есть, мы говорим о качестве в общепринятом, нормативном понимании этого термина. Так, согласно [82] «качество продукции — социально-экономическая категория, характеризующая степень удовлетворения конкретной потребности единицей данной потребительной стоимости», а «потребительское качество -совокупность свойств продукции, проявляющихся в процессе ее потребления. Выбор свойств, составляющих содержание понятия потребительское качество, достаточно широк и разнообразен и зависит от вида продукции».

Потребительское качество программного продукта определяется как множество свойств, обусловливающих пригодность программного средства обеспечивать надежное и своевременное представление информации потребителю для ее дальнейшего использования по назначению. Современное программное обеспечение позволяет проводить оценку качества программных продуктов, в том числе и построенных с помощью различных систем управления базами данных (СУБД), вне зависимости от их функционального назначения.

Наиболее заинтересованным в качестве программного комплекса является потребитель — пользователь программного продукта. Для того чтобы выбрать программную систему, автоматизирующую решение интересующих его задач, потенциальный покупатель пытается оценить качество систем, представленных на рынке. При этом необходимо учитывать, что убытки от ошибок при проектировании и выборе информационной системы могут быть весьма существенными. В то же время, в технической документации большинства программных средств, предлагаемых в настоящее время на рынке, отсутствует информация, позволяющая оценить выходные характеристики программы и их динамику при изменении объема входной информации. Без такой информации невозможно оценить качество информационной системы, ее экономическую эффективность. Таким образом, в условиях постоянно растущего рынка программного обеспечения оценка качества программных систем является важной задачей. В диссертационной работе предпринята попытка решения части задач, связанных с проблемой оценки качества программных средств.

Степень разработанности проблемы. Потребности субъектов рынка программного обеспечения способствовали возникновению и развитию подходов и методик оценки качества программных продуктов, описанных в работах Безкоровайного М.М., Богуславского Л.Б., Гантера Р., Гличева А.В., Глудкина О.П., Денисова А.А., Дика В.В., Изосимова А.В., Когана Б.И., Костогрызова А.И., Липаева В.В., Марковой Н., Ногинского М.В., Погодаева А. К., Саркисяна А.А., Тамре JL, Трахтенгерца Э.А., Хубаева Г.Н.

Из иностранных исследователей отметим: Каргил К. (Cargill С.), Эрдогмус X. (Erdogmus Н.), Кит И. (Kit Е.), Хааген У. (Hashagen U.), Лоренц П. ( Lorenz Р.), Мартин Дж. (Martin J.), О'Реган Г. (O'Regan G.), Кармайкл Э. (Carmichel Е.), Реверц П. (Revesz Р.), Самервил И. (Sommerwill L), Чен П. (Chen Р.), Майерс Г. (Mayers G.), Смит К. (Smith К.)

Хорошо разработанными являются лишь отдельные вопросы оценки потребительского качества программных продуктов, в частности, имеющих отраслевую специфику. Определен набор величин, характеризующих качество информационных систем. Исследованы отдельные зависимости между качеством и параметрами информационных систем.

Однако недостаточно внимания уделяется применению математического моделирования, методов планирования эксперимента для исследования качества программных продуктов.

Также недостаточно разработанными являются инструментальные средства для оценки качества программного обеспечения, в частности, построенного с использованием СУБД.

Цель и задачи исследования. Целью диссертационного исследования является разработка информационной системы оценки потребительского качества программных продуктов для экономических приложений, построенных с помощью СУБД MS Access, 1С Предприятие, Oracle, и ее апробация на реальных автоматизированных информационных системах экономического назначения.

Для достижения цели в диссертационном исследовании ставились и решались следующие задачи: выбор базовых методик для построения информационной системы оценки потребительского качества программных продуктов для экономических приложений; анализ существующих инструментальных средств оценки качества программных продуктов; определение условий применения различных методов оценки потребительского качества программных продуктов; проектирование и реализация информационной системы оценки потребительского качества программных продуктов для экономических приложений, построенных с использованием современных СУБД; автоматизация проведения экспертных исследований в сети

Интернет; проведение экспертной оценки важности основных характеристик потребительского качества программных продуктов для нескольких предметных областей; оценка, по ряду критериев, качества функционирования нескольких автоматизированных систем, различных по своему назначению.

Объектом исследования являются предприятия всех организационно-правовых форм, использующие в своей деятельности автоматизированные информационные системы. Предмет исследования - информационные системы для оценки качества программных продуктов для экономических приложений.

Теоретическую и методологическую основу диссертационного исследования составили труды ведущих отечественных и зарубежных ученых по рассматриваемой проблеме, материалы научных конференций, публикации в периодической печати и в сборниках научных трудов.

Инструментарий исследования составили общая теория систем и системный анализ, методы исследования операций, методы прикладной статистики и планирования эксперимента, методы оценки потребительского качества программных систем, методы группового экспертного оценивания, современное программной обеспечение: системы управления базами данных Microsoft Access, 1С и Oracle 8i; средства разработки программного обеспечения Borland С++ Builder и Borland Delphi 5, PHP 4.

Информационно-эмпирическую базу исследования составили данные, характеризующие функционирование программных продуктов, созданных с помощью систем управления базами данных Microsoft Access, 1С, Oracle, полученные в результате планирования и реализации активных экспериментов с программными системами, а также данные, полученные в результате проведения экспертных опросов.

Работа выполнена в рамках Паспорта специальности 08.00.13 -математические и инструментальные методы экономики, в соответствии с пунктами 2.6. «Развитие теоретических основ методологии и инструментария проектирования, разработки и сопровождения информационных систем субъектов экономической деятельности: методы формализованного представления предметной области, программные средства, базы данных, корпоративные хранилища данных, базы знаний, коммуникационные технологии» и 2.7 «Проблемы стандартизации и сертификации информационных услуг и продуктов для экономических приложений».

Основные положения и результаты, выносимые на защиту:

- программная система для определения характеристик потребительского качества информационных систем субъектов экономической деятельности, позволяющая а) снизить трудовые и финансовые затраты на планирование, реализацию и обработку результатов активных экстремальных экспериментов, осуществляемых в целях получения характеристик быстродействия сертифицируемого информационного продукта в зависимости от объемов таблиц, составляющих его базу данных; б) проводить в условиях сети Интернет экспертные опросы для ранжирования характеристик качества анализируемых экономических информационных систем.

- статистически значимые регрессионные модели, построенные по данным активных экспериментов и позволяющие оценить влияние анализируемых факторов на время выполнения функциональных операций конкретными программными системами различного назначения.

- программные модули, автоматизирующие алгоритм управления факторами, включаемыми в регрессионную модель при оценке времени выполнения функциональных операций программными продуктами, что позволяет значительно сократить время проведения активных экспериментов и увеличить число анализируемых факторов.

- экспертные оценки важности основных показателей качества программного обеспечения при автоматизации деятельности в конкретных предметных областях, что позволило определить требования пользователей экономических информационных систем.

Научная новизна диссертационного исследования. Новыми являются:

- разработанная программная система, реализующая оригинальную методологию определения характеристик потребительского качества информационных систем субъектов экономической деятельности и предназначенная для повышения объективности сертификации информационных продуктов для экономических приложений, построенных на СУБД MS Access, 1С Предприятие, ORACLE;

- регрессионные модели, построенные по результатам спланированных в автоматизированном режиме экстремальных экспериментов, позволяющие оценить влияние анализируемых факторов на время выполнения функциональных операций;

- ранжированный перечень основных характеристик качества программных продуктов, полученный в результате проведения экспертизы и позволяющий оценить требования пользователей информационных систем для конкретных предметных областей;

- программная реализация управления факторами (в автоматизированном режиме), включаемыми в регрессионную модель при оценке времени выполнения функциональных операций программными продуктами, что позволяет увеличить число анализируемых факторов при значительном сокращении времени проведения активных экспериментов.

Теоретическая и практическая значимость исследования. Теоретическая значимость заключается в формулировке и доказательстве того, что потребительское качество программных систем, построенных с помощью СУБД, зависит от объемных характеристик таблиц, составляющих базы данных этих систем.

Практическая ценность результатов исследования заключается в том, что разработанная автоматизированная система для определения характеристик потребительского качества информационных систем субъектов экономической деятельности позволяет:

- проводить оценку потребительского качества программных продуктов, построенных с помощью современных СУБД, в том числе функционирующих в условиях сети и использующих архитектуру «клиент-сервер»;

- минимизировать время проведения активного эксперимента с программным продуктом (при значительном числе анализируемых факторов);

- оценивать влияние числа записей в таблицах базы данных программного продукта на время выполнения функциональных операций;

- осуществлять в сети Интернет экспертные опросы по методике, ориентированной на дельфийскую процедуру, для ранжирования характеристик качества анализируемых экономических информационных систем;

- давать сравнительную экспертную оценку ЭИС одного функционального назначения по таким характеристикам, как качество интерфейса, трудоемкость освоения, удобство сопровождения, качество документации и др.

Апробация результатов исследования. Основные положения диссертационного исследования представлялись, обсуждались и получили положительную оценку на V и VII межгосударственных научно-практических конференциях «Экономико-организационные проблемы проектирования и применения информационных систем» (г. Ростов-на-Дону, 2000,2002 гг.).

Результаты диссертационного исследования внедрены в ОАО «Ростовская государственная телефонная сеть» и ИВЦ ЖКХ г. Ростова-на-Дону, ЗАО «Фирма «СТОИК» (МА СканМаркет® ) г. Москва.

Основные результаты диссертационного исследования опубликованы в 6 печатных работах, в которых автору принадлежит 1,01 п.л.

Структура и объем диссертации. Диссертация состоит из введения,

Заключение диссертации по теме «Математические и инструментальные методы экономики», Кривошеева, Мария Александровна

Основные выводы и практические результаты заключаются в следующем:

- создана программная система, реализующая оригинальную методологию определения характеристик потребительского качества информационных систем субъектов экономической деятельности, предназначена для повышения объективности сертификации информационных продуктов для экономических приложений, построенных на базе СУБД ORACLE, 1С Предприятие, MS Access.

- с помощью созданной системы получены оценки времени выполнения множества функциональных операций, выполняемых с помощью программных систем различного назначения и архитектуры в зависимости от числа записей в таблицах базы данных оцениваемой программной системы;

- созданная система оценки качества позволяет получать оценку общего времени решения задачи автоматизации, реализованной в оцениваемой программной системе, при условии проведения экспериментов для оценки времени выполнения всех функциональных операций реализованных в оцениваемой программной системе и информации о частоте их выполнения в единицу времени;

- по результатам спланированных в автоматизированном режиме экстремальных экспериментов построены статистически значимые регрессионные модели, позволяющие оценить влияние объемов таблиц, составляющих базу данных программного продукта на время выполнения им функциональных операций;

- реализовано управление в автоматизированном режиме факторами, включаемыми в регрессионную модель при оценке времени выполнения функциональных операций программными продуктами, что позволяет увеличить число анализируемых факторов при значительном сокращении времени проведения активных экспериментов;

- в результате проведения экспертизы получен ранжированный перечень основных характеристик качества программных продуктов, позволяющий оценить требования пользователей информационных систем для конкретных предметных областей.

Разработанная программная система включает два программных модуля, первый из которых позволяет снизить трудовые и финансовые затраты на планирование, реализацию и обработку результатов активных экстремальных экспериментов, осуществляемых в целях получения характеристик быстродействия сертифицируемого информационного продукта (ИП) в зависимости от объемов таблиц, составляющих его базу данных. Результатом работы первого модуля являются характеристики быстродействия ИП, совокупность уравнений регрессии и выводы о статистической значимости факторов.

Второй модуль системы позволяет в условиях сети Интернет осуществлять экспертные опросы по методике, ориентированной на дельфийскую процедуру, для ранжирования характеристик качества анализируемых экономических информационных систем (ЭИС), а также давать сравнительную экспертную оценку ЭИС одного функционального назначения по таким характеристикам, как качество интерфейса, трудоемкость освоения, удобство сопровождения, качество документации и др. Результатом работы второго модуля является итоговое ранжирование характеристик качества ЭИС, матрицы упорядочения в канонической форме для каждого эксперта, матрица рассогласования, матрица взаимосвязи и граф согласования мнений экспертов после последнего тура опросов.

Перечисленные новые результаты исследований обеспечили возможность: на стадии разработки программного средства выявлять узкие места архитектуры проектируемой базы данных; получать оценку качества функционирования программной системы на любой стадии ее жизненного цикла; расширить для потребителя возможности выбора на рынке программных продуктов, предоставив средство (инструмент) получения прогноза времени выполнения программной системой функциональных операций; проводить экспертные исследования в сети Интернет; проводить активные эксперименты с программными системами, анализируя при этом большое число факторов; принимать обоснованные решения о выборе программных продуктов различного назначения и построенных на разных СУБД; при условии проведения имитационного моделирования находить вероятность выполнения какого-либо подмножества функциональных операций за заданное время, или, наоборот, оценивать время, за которое с определенной вероятностью будет выполнена нужная группа операций.

ЗАКЛЮЧЕНИЕ

В диссертационной работе проведен подробный анализ существующих на текущий момент методик оценки качества программных продуктов. Рассмотрены показатели качества, регламентируемые стандартами и используемые на практике для оценки программных продуктов по различным критериям. Проведена сравнительная характеристика отечественного и международного стандартов, регламентирующих показатели качества, приведены примеры детализации требований к программным системам.

Сформулированы задачи, решение которых необходимо для создания программной системы оценки характеристик потребительского качества информационных продуктов для экономических приложений. Описаны проблемы автоматизации проведения активных экспериментов с программными продуктами и пути их решения. Из множества факторов оказывающих влияние на функционирование программного продукта выявлены те факторы, которыми можно управлять в автоматическом режиме. Автоматизировано проведение активных экспериментов с СУБД любого назначения (системы бухгалтерского учета, расчета показателей качества, ведения базы данных покупателей, поставщиков и прочее) и любой архитектуры. В процессе проведения активного эксперимента значения факторов изменялись в автоматическом режиме.

Список литературы диссертационного исследования кандидат экономических наук Кривошеева, Мария Александровна, 2004 год

1. Агафонов В Н. Спецификация программ: Понятийные средства и их организация. Новосибирск: Наука, 1987.

2. Адлер Ю.П., Маркова Е.В., Грановский Ю.В. Планирование эксперимента при поиске оптимальных условий. М.:Наука 1976.

3. Айвазян С.А, Мхитарян B.C. Прикладная статистика и основы эконометрики. -М.: ЮНИТИ, 1998.(13)

4. Архангельский А.Я. Программирование в С++ Builder 5. М.: ЗАО «Издательство БИНОМ». 2002 г. - 1152с.: ил.

5. Архангельский А.Я. Работа с локальными базами данных в С++ Builder 5.-М.: ЗАО «Издательство БИНОМ». 2000 г.

6. Архангельский А.Я. Функции С++, С++ Builder 5 и API Windows. -М.: ЗАО «Издательство БИНОМ». 2000 г.

7. Архангельский А.Я. Язык SQL в С++ Builder 5. М.: ЗАО «Издательство БИНОМ». 2000 г.

8. Архипов И.В. Разработка математического и программного обеспечения информационно-управляющей системы распределенного предприятия сервисного обслуживания : Автореф. дис. канд. техн. наук : 05.13.11,05.13.06 Воронеж, гос. техн. ун-т .Воронеж, 2002 г.

9. Бабушкина М.А. Анализ показателей качества работы РГТС // Экономико-организационные проблемы проектирования и применения информационных систем: Материалы IV Межгосударственной научно-практической конференции / РГЭУ. Ростов-на-Дону, 2000. - с. 69-72.

10. Безкоровайный М.М., Костогрызов А.И., Львов В.М. Инструментально-моделирующий комплекс для оценки качества функционирования информационных систем "КОК". -М.: Синтег, 2000. (5)

11. Бобровски С. Oracle 7 и вычисления клиент/сервер Пер. с англ. Стив Бобровски .М.: ЛОРИ Б, 2001г.

12. Богуславский Л.Б., Ляхов А.И. Оценка производительности распределенных информационно-вычислительных систем архитектуры «клиент-сервер». Автоматика и телемеханика, №9, 1995.

13. Боровиков В.П. Прогнозирование в системе STATISTICA в среде Windows. Основы теории и интенсивная практика на компьютере: Учеб. Пособие/В.П. Боровиков, Г.И. Ивченко. М.: Финансы и статистика, 2000 г. -384 е.: ил. (38)

14. Бойс Д. Сетевые возможности Windows 95. М.: Восточная Книжная Компания, 1997.

15. Боэм Б.У. Инженерное проектирование программного обеспечения: Пер. с англ. / Под ред. А.А. Красилова. М.: Радио и связь, 1985.

16. Буч Г., Рамбо Д., Джекобсон А. Язык UML. Руководство пользователя: Пер. с англ. М.:ДМК, 2000.

17. Вознесенский В.А. Статистические методы планирования эксперимента в технико-экономических исследованиях. М.: «Статистика»1974. (26)

18. Воробович Н. П. Структуры данных : Учеб. пособие для студентов специальности 220400 всех форм обучения Н.П. Воробович ; М-во образования Рос. Федерации. Сиб. гос. технол. ун-т .Красноярск: Сиб. гос. технол. ун-т, 2002г.

19. Волков С.И., Романов А.Н. Организация машинной обработки экономической информации. М.: Финансы и статистика, 1988. - 400 с.

20. Волкова В.Н., Денисов А.А. Основы теории систем и системного анализа. СПб.: Издательство СПбГТУ, 1997. - 510 с.

21. Вронский К. Стандарты ISO и управление качеством проектов IT // wvyw.msfestival.ru (29)

22. Вычислительная математика и программирование: Сб. научн. трудов. М.: МГПИ им Ленина, 1983. - 136 с.

23. Гантер Р. Методы управления проектированием программного обеспечения: Пер. с англ. / Под ред. Е.К. Масловского. В.В.: Мир, 1981.

24. Гацко Г. Тестирование программного обеспечения как один из элементов системы качества // Открытые системы, №6,1998. (30)

25. Герасименко В.А. Защита информации в автоматизированных системах обработки данных. М.: Энергоатомиздат, 1994.

26. Гличев А.В. Основы управления качеством продукции М.: АМИ, 1998. (H)(7)

27. Глудкин О.П. и др. Всеобщее управление качеством.: учебник для ВУЗов. М.-.Радио и связь, 1999. (10) (6)

28. Гмурман В.Е. Теория вероятности и математическая статистика: Учебное пособие для ВУЗов. Изд. 7-е, сте. -М.:Высшая школа, 2000. 479 с.31)

29. Губарев В. Г. Программное обеспечение и операционные системы ПК : Учеб. пособие для нач. проф. образования В.Г. Губарев .Ростов н/Д: Феникс, 2002г.

30. Доугерти К. Введение в эконометрику. М.: ИНФРА -М, 1997,402 с.

31. Дубова Н. Знак качества программному продукту // Открытые системы, 6, 1998. (33)

32. Иванова Г.С. Технология программирования : Учеб. для студентов ВУЗов. М.: Изд-во МГТУ им. Н.Э. Баумана 2002г.

33. Изосимов А.В. Рыжко Л.Д. Метрическая оценка качества программ, М.: 1991. (15)

34. Информационные системы в экономике: Учебник / Под ред. проф. В.В. Дика. М. Финансы и статистика,1996.

35. Калянов Г.Н. Консалтинг при автоматизации предприятий. Подходы, методы средства. М.: СИНТЕГ, 2000.

36. Калянов Г.Н. Теория и практика реорганизации бизнес-процессов.1. М.: СИНТЕГ, 2000. (19)

37. Кармайкл Э. Быстрая и качественная разработка программного обеспечения / Энди Кармайкл, Дэн Хейвуд ; Пер. с англ. О.А. Лещинского. .М. [и др.]: Вильяме 2003

38. Коган Б.И. Измерительные языковые процессоры для исследования и оценки качества программных средств Диссертация на соискание ученой степени доктора технических наук 05.13.11. -Владивосток, 1993.(10)

39. Коган Б.И Оценка качества программных продуктов: реляционный подход. Определение базовой объективной системы внтренних свойств программных продуктов. Препринт. Владивосток: ПАПУ ДВО РАН, 1996.(11)

40. Коган Б.И, Остроухова СН. Оценка качества программных продуктов: реляционный подход. Определение базовой объективной системы внтренних свойств программных продуктов. Препринт. Владивосток: ИАГГУ ДВО РАН, 1996.(12)

41. Костогрызов А.И., Липаев В.В. Сертификация качества функционирования автоматизированных информационных систем. М.: Изд Вооружение. Политика. Конвесия. 1996.

42. Костогрызов А.И., Петухов А.В., Щербина A.M. Основы оценки, обеспечения и повышения качества выходной информации в АСУ организационного типа. М.: "Вооружение. Политика. Конверсия", 1994. (4)

43. Кремер Н.Ш., Путко Б.А., Тришин И.М, Фридман М.Н. Исследование операций в экономике: Учебн. Пособие для ВУЗов/ Под ред. Проф Н.Ш. Кремера.- М.: ЮНИТИ, 2000.,^107 с. (36)

44. Кривошеева М.А. Автоматизация проведения оценки качества программного обеспечения // Экономика и финанся №20,2003. с 49-51.

45. Кривошеева М.А. Обзор некоторых характеристик качества программных средств // Информационные системы, экономика, управление трудом и производством. Вып. 7.: Ученые записки / РГЭУ. Ростов-на-Дону, 2003.-с. 21-26.

46. Круглов М.Г., Шишков Г.м. Управление качеством TQM. М.: МГТУ СТАНКИН, 1999(16)(8)

47. Кузнецов С.Д. Стандарты языка реляционных баз данных SQL: краткий обзор//СУБД №2. 1996.

48. Ларман Крэг Применение UML и шаблонов проектирования.: Пер. с англ.: Уч. пос. М.: Издательский дом «Вильяме», 2001. - 409 с.

49. Липаев В.В. Выбор и оценивание характеристик качества программных средств. Методы и стандарты. М.-СИНТЕГ, 2001. (2)

50. Липаев В.В. Обеспечение качества программных средств. М.: СИНТЕГ, 2001 (28)(9)

51. Липаев В.В. Оценка качества программных средств // Сетевой журнал, №3, 2002.

52. Липаев В.В. Системное программирование сложных программных средств для информационных систем. М: СИНТЕГ, 1999. (18)

53. Липаев В.В. Позин Б.А., Штрик, А.А. Технология сборочного программирования / Под. ред. В.В. Липаева. М.: Радио и связь, 1992.

54. Литвак Б.Г. Экспертная информация. Методы получения и анализа. М.: Радио и связь 1982.

55. Липаев В.В., Потапов А.И. Оценка затрат на разработку программного обеспечения. М.: Финансы и статистика, 1988.

56. Майерс Г. Искусство тестирования программ: Пер. с англ.— М.: Финансы и статистика, 1982.

57. Маркова Н. Пристальный взгляд на качество программ/УОткрытые системы, №7-8,1999.

58. Маслова НП. Статистическая теория: предмет, содержание. Структура и перспективы: Монография. -Ростов-на-Дону: РГЭА 1995.-263с.

59. Международный стандарт ИСО 90001:1994. Системы качества. Модель обеспечения качества при проектировании, разработке, производстве, монтаже и обслуживании (Второе издание).-М: 1996.

60. Нечаев Ю.И. Планирование и обработка результатов эксперимента. / www.csa.ru (25)

61. Ногинский М.В. Стандарты оценки качества программного обеспечения (ГОСТ 28195-89 и ГОСТ РИСО/МЭК 9126-93): анализ, сравнение, применение. ЛАНИТ, Москва, 1999 г. (3)

62. Острейковский В.А. Информатика : Учеб. пособие для студентов учреждений сред. проф. образования В. А. Острейковский .М.: Высш. шк., 2003г.

63. Погодаев А. К. Программное обеспечение автоматизированных систем. Разработка информационной структуры : Учеб. пособие А. К. Погодаев, В. В. Дозоров. Липецк: Липец, эколого-гуманитар. ин-т 2002г.

64. Подготовка и проведение измерительного эксперимента, http ://www.dstu.edu.ru/

65. Поттосин И.В. О критериях добротности программ. РАН, Сибирское отделение, Институт систем информатики им. Ершова. ПрепринтЗ 5, Владивосток, 1996.(14)

66. Прангишивили И.В. Системный подход и общесистемные закономерности. М: СИНТЕГ, 2000. (21)

67. Применение ЭВМ в научных исследованиях и управлении. Инструментальные средства АСНИ и АСУ: Межвуз. сб. научн. тр. / Под ред. Петрова О.М. М.: ВЗМИ, 1986. - 168 с.

68. Рожков К. Н. Разработка и исследование информационной технологии для решения задач мониторинга и управления сложными, быстро изменяющимися системами : Автореф. дис. . канд. техн. наук : 05.13.11 Дальневост. гос. ун-т .Владивосток 2002 .

69. Саркисян А.А. Повышение качества программ на основе автоматизированных методов. М.: Радио и связь, 1991. (16)

70. Свирин Б. Н. Проектирование устойчиво-безопасных систем : Учеб. пособие по курсу "Математическое и программное обеспечение САПР" М.: Компания Спутник+, 2003 г.

71. Семенов В.А. Автоматизированные системы обработки экономической информации: Учебник/ B.C. Рожнов и др., под ред. проф. В.С.Рожнова М.: Финансы и статистика, 1986. - 272с. (28)

72. Сертификация продукции. Международные стандарты и руководство ИСО/МЭК в области сертификации и управления качеством. -М.: Издательсво стандартов 1990. (17)

73. Смит К. Эффективные решения: Практ. рук. по созданию гибкого и масштабируемого программного обеспечения Конни Смит, Ллойд Уильяме ; Пер. с англ. А.С. Подоселышка и Н.М. Ручко. .М.: Вильяме, 2003 г.

74. Социально-экономическая статистика: Словарь. М.: Финансы и статистика, с.444,449,452.

75. Тамре Л. Введение в тестирование программного обеспечения / Пер. с англ. и ред. В. В. Марченко .М. и др.: Вильяме 2003г.

76. Трахтенгец Э.А. Компьютерная поддержка принятия решений. -М.: СИНТЕГ, 1998.

77. Федорова Г.С. и др. Проектирование и организация мащинной обработки экономической информации. М.: Финансы и статистика, 1986. -390 с.

78. Характеристики программного обеспечения /Б. Боэм, Дж. Браун, X Каспар и др./ Пер. с англ. Е.К. Масловского. М.: Мир, 1981.

79. Хубаев Г.Н. Экономическая оценка качества программных средств, Ростов-на-Дону, 1997. (1)

80. Хубаев Г.Н. Анализ информационных потребностей пользователей при создании АРМ // Автоматизированные рабочие места в системе управления предприятием. -Л.ЛИЭИ, 1989. (23)

81. Хубаев Г.Н. Информационные и программные системы как объекты активного экспериментирования. //Программные продукты и системы. 1999. - №2. - с. 2-7.

82. Хубаев Г.Н. Методика сравнительной экспертной оценки качества сложных программных средств // Анализ и проектирование систем управления производством: Межвуз. сб. -Н-Новгород: Изд-во Н-Новгород. Университета, 1992. (24)

83. Хубаев Г.Н. Методика анализа предметной области.// Компьютеризация информационных процессов в управлении народным хозяйством. М.: МЭСИ, 1988. (22)

84. Хубаев Г.Н. Сложные системы: экспертные системы сравнения. // Известия ВУЗов Северо-Кавказский регион. Общественные Науки. 1999. №3.

85. Щербо В.К., Козлов В.А. Функциональные стандарты в открытых системах. Ч. 1. Концепция открытых систем. Ч. 2. Международные функциональные стандарты. М.: Изд. МЦНТИ. 1997.

86. Эдцоус М., Стэнсфилд Р. Методы принятия решений / Пер. с англ. под ред. И.И. Елисеевой. М.: Аудит, ЮНИТИ, 1997. - 590 с.

87. Эконометрика: Учебник/ Под ред. И.И. Елисеевой. М.: Финансы и статистика 2001. - 344 е.: ил. (37)

88. Ben-Israel, Adi .Computer-supported calculus / A. Ben-Israel, R. Gilbert. .Wien New York: Springer Cop. 2002

89. Cargill C. F. Information technologies standardization. Digital Press. 1989. (20)

90. Encyclopedia of Software Engineering. Vol. 1 A-N; Vol. 2 O-Z. Editor- In Chief John J. Marciniak. John Wiley & Sons. Inc. 1995.

91. Erdogmus H. Advances in software engineering: Comprehension, evaluation, a. evolution Hakan Erdogmus, Oryal Tanir, ed. New York etc.: Springer Cop. 2002

92. Kit E. Software Testing in the Real World Improving the Process. Addison—Wesley. 1996.

93. Hashagen Ulf, ред. .History of computing: software issues Intern, conf. on the history of computing, ICHC 2000, Apr. 5-7,2000.

94. Hsu J. Y. .Computer logic : Design principles a. applications John Y. Hsu .New York etc.: Springer 2002

95. Hunter J. M. D. .An information security handbook / John M. D. Hunter. .London etc.: Springer Cop. 2001

96. Londeix B. Cost estimation for software development. Cornwall: Addison-Wesley. 1996.

97. Lorenz P., ред. .Networking ICN 2001 : Proceedings First Intern, conf. on networking, Colmar, France, July 9-13, 2001; Pascal Lorenz (ed.) . -Berlin etc.: Springer Cop. 2001.

98. Marchette D. Computer intrusion detection and network monitoring : A statist, viewpoint David J. Marchette . New York etc.: Springer Cop. 2001

99. Martin J., McClure C. Software maintenance, the problems and its solutions. -N.Y.: Prentice-Hall, 1983.

100. Martin J. Rapid application development. Macmillan Publishing Company. N.Y., 1995.

101. Meyerhoff D. Software quality and software testing in Internet times Dirk Meyerhoff et al.; With contributions of Stale Amland [et al.] .Berlin [etc.]: Springer Cop. 2002

102. Nance R. .Managing software quality .London: Springer 2002

103. Narins В., ред. .World of computer science / Brigham Narins, ed. .Detroit etc.: Gale group Cop. 2002

104. O'Regan G. A practical approach to software quality Gerard O'Regan. New York etc.: Springer Cop. 2002