Разработка и исследование методов и средств формального специфицирования моделей и метрик программ тема диссертации и автореферата по ВАК РФ 05.13.11, кандидат технических наук Шалфеева, Елена Арефьевна

• Шалфеева, Елена Арефьевна
• кандидат технических наук
• 2000

Оглавление диссертации кандидат технических наук Шалфеева, Елена Арефьевна

Введение

Глава 1. Анализ метрик, применяемых при оценивании программных средств, и моделей, используемых для определения и вычисления метрик.

1.1 Основные понятия, используемые при моделировании программных продуктов.

1.2 Модели проектов и программ.

1.3 Основные метрики качества и связь метрик с внешними свойствами программ.

1.4 Задачи диссертационной работы

Глава 2. Разработка согласованной системы моделей традиционной и объектно-ориентированной программ для используемых на практике метрик.

2.1 Обобщенная модель структуры традиционной программы для используемых на практике метрик

2.2 Модель иерархии наследования классов.

2.3 Модель потока сообщений

2.4 Модель взаимодействия компонентов объектно-ориентированного проекта и программы.

2.5 Выводы к главе

Глава 3. Создание языка для формального определения внутренних свойств программ в терминах измерительных языковых моделей.

3.1 Графовые модели программ и формат их представления

3.2 Языковые средства для представления графовых моделей программ в терминах измерительных языковых моделей.

3.3 Метрики программ.

3.4 Языковые средства для представления метрик программ в терминах моделей программ

3.5 Выводы к главе 3.

Глава 4. Реализация библиотеки метрик.

4.1 Построение графовых моделей программ по измерительным моделям.

4.2 Вычисление метрик программ по графовым моделям

4.3 Выводы к главе 4.

Введение диссертации (часть автореферата) на тему «Разработка и исследование методов и средств формального специфицирования моделей и метрик программ»

Актуальность проблемы. Основной целью любого программного проекта является разработка высококачественного программного обеспечения. На достижение этой цели направлены усилия специалистов различного профиля, участвующих в проекте. В частности, менеджер качества формирует требования к качеству будущего продукта, разработчики применяют технологию, обеспечивающую удовлетворение этих требований, а оценщики контролируют результаты труда разработчиков, устанавливая, соответствуют ли компоненты продукта, а потом продукт в целом требованиям, предъявленным к его качеству.

В каждом выполняемом проекте менеджер качества решает одну и ту же

V/ (( II сложнейшую задачу: он перекидывает мостик между согласованными с заказчиком требованиями к внешнему проявлению качества полностью готового программного средства и внутренними свойствами отдельных его компонентов. В профессиональных терминах, характеристики качества выражаются через метрики качества - функции, применяемые к компонентам программного средства и количественно выражающие степень наличия у компонента конкретных характеристик качества. В настоящее время нет строгих научных основ для определения внешних свойств программных продуктов через внутренние свойства их компонентов, но в крупных компаниях накоплен богатый опыт такого определения. Считается, что этот опыт в значительной степени уже представлен в современной литературе. Однако, эти знания, обычно, описаны неформально, несогласованно, и разбросаны по различным источникам. Эта информация еще не перешла в стандарты, не имеет однозначного и точного толкования, а различные средства измерения дают разные результаты на одних и тех же объектах измерения.

В связи с ростом требований к качеству создаваемого программного обеспечения в последние годы возрос интерес к метрикам его качества. При этом центр внимания менеджеров качества и оценщиков перемещается с метрик, определяемых на программах, к метрикам проектов программ и даже к метрикам спецификаций требований.

Ввиду того, что большая программа является чрезвычайно сложным объектом, как правило, метрики качества определяются не на самих программах или их проектах, а на значительно более простых моделях программ и проектов. Применяемые сегодня на практике метрики качества появлялись в течение нескольких десятилетий в разных странах и организациях, а потому определены на многих несогласованных моделях проектов и программ. Более того, в ряде случаев, сами эти модели не определены, а только "подразумеваются". Указанные обстоятельства существенно затрудняют работу менеджера качества и делают практически невозможным сравнение программных продуктов, разработанных в различное время и в разных организациях и странах: с большой вероятностью при их измерениях используются различные модели, толкования метрик, определяемых на этих моделях, и средства измерения, реализующие построение этих моделей и применение метрик.

В ИАПУ ДВО РАН в начале 90-х годов был предложен и проработан языково-ориентированный подход (ЯОП) к измерениям и оценке качества программного обеспечения. Характерной особенностью этого подхода является формальное иерархическое семантически обоснованное определение требований к качеству программных продуктов и критериев соответствия этим требованиям. На верхнем уровне желаемое качество задается определением характеристик и подхарактеристик качества в терминах модели качества и базовых метрик качества. На нижнем уровне - определением всех базовых внутренних свойств программ, выраженных в терминах измерительных языковых моделей. "Связующим звеном" между нижним и верхним уровнями должно быть определение моделей и метрик качества программ, а также функций объединения значений метрик для получения значений подхарактеристик и характеристик качества.

Цель работы. Целью диссертационной работы являлась разработка методов и средств формального специфицирования моделей и метрик программ, основанных на измерительных языковых моделях и обеспечивающих эффективную реализацию средств измерения программ.

Достижение цели работы предполагало решение следующих пяти задач:

1) идентификацию основных метрик качества программ и моделей программ, на которых эти метрики определены;

2) разработку обобщенных статических моделей программ, обеспечивающих интерпретацию метрик качества в терминах моделей;

3) разработку набора языковых средств для формального определения моделей и метрик программ в терминах измерительных языковых моделей;

4) формальное определение обобщенных моделей и идентифицированных метрик с помощью разработанных языковых средств;

5) создание библиотеки реализаций метрик программ и ее практическую проверку на реальных программах.

Методы исследований. Для решения указанных задач использовались элементы теории графов, теории измерений, методы измерений и оценки качества ПС и методы системного программирования.

Научная новизна работы состоит в следующем.

1. Предложен возможный вариант множества согласованных определений терминов, используемых специалистами по измерению и оцениванию программных продуктов для понятий этой прикладной области в рамках подтвержденных практикой метрик качества. Эта согласованная терминология позволяет достичь единства в реализации средств измерения и толковании результатов измерений специалистами различных организаций и тем самым достичь сравнимости оценок качества разрабатываемого программного обеспечения.

2. Разработаны формальные определения универсальных графовых моделей проектов и программ, обеспечивающих вычисление широко используемых на практике метрик качества. Эти модели охватывают все многочисленные используемые на практике модели как частные случаи.

3. Определен набор функций над табличным (реляционным) представлением графовых моделей программ, достаточный для спецификации и вычисления определяемых на таких моделях основных метрик качества, используемых на практике.

4. Определен набор функций над реляционным представлением измерительных языковых моделей, достаточных для спецификации и построения графовых моделей программ, обеспечивающих однозначность интерпретации, а также относительную простоту и эффективность их реализации.

Практическая значимость работы определяется следующим.

1. Установлено множество из нескольких десятков метрик проектов и программ, для которых на практике подтверждена связь с качеством программных средств. Эти знания могут быть полезны как менеджерам качества, так и разработчикам программного обеспечения.

2. Формально специфицированы правила построения табличного представления всех используемых на практике графовых моделей программ по табличному представлению результатов их измерения.

3. Определен набор функций над реляционным представлением измерительных и графовых моделей, а также метрик программ в терминах языка SQL, что позволяет реализовывать компоненты измерительного средства для получения значений метрик качества программ.

4. Разработана библиотека программ построения структурных моделей программ и вычисления на этих моделях метрик качества для сред MS DOS и OS Windows IBM PC-совместимых ЭВМ. Библиотека является компонентам измерительной среды для исследования методов и средств языково-ориентированного подхода и экспериментального рабочего места оценщика программ. Измерительная среда используется для исследований в ИАПУ ДВО РАН и для обучения студентов в ДВГУ.

Связь темы с планами отраслей наук и народного хозяйства. Представленные в работе исследования методов и средств формального специфицирования моделей и метрик программ были выполнены в рамках научно-исследовательских тем ИАПУ ДВО РАН:

• "Исследование технологических принципов создания, обучения и сопровождения экспертных систем как составной части математического обеспечения перспективных ЭВМ", № гос. регистрации 01860107744;

• "Методы и средства технологии автоматизированной обработки знаний, специфицирования и анализа программного обеспечения, распределенных вычислительных систем, обработки и визуализации графической информации с применением параллельных вычислений", № гос. регистрации 01.99.00 05772;

• "Методы и средства технологии создания экспертных систем, основанных на системах логических соотношений", № гос. регистрации 01.9.50006915.

В указанных НИР автор принимал участие в качестве исполнителя и ответственного исполнителя.

Апробация работы. Основные научные и практические результаты докладывались и обсуждались на следующих международных и отечественных конференциях и семинарах:

• 1У-й Международной конференции "Измерения, контроль и автоматизация производственных процессов" (Барнаул, 1997),

• Международном семинаре 1818-99 (Владивосток, 1999),

• Первом международном инвестиционном конгрессе "Новейшие технологии в системе интеграционных процессов территорий стран Азиатско-Тихоокеанского региона (Владивосток, 2000),

• Дальневосточной математической школе-семинаре имени академика Е.В. Золотова (Владивосток, 1998),

• Региональной естественнонаучной конференции студентов, аспирантов и молодых ученых (Владивосток, 1997),

• Региональной научной конференции "Молодежь и научно-технический прогресс" (Владивосток, 1998),

• совместных семинарах отдела экспертных систем ИАПУ ДВО РАН и базовой кафедры программного обеспечения ЭВМ ДВГУ в ИАПУ ДВО РАН (1996-2000).

Публикация результатов работы. По теме диссертации опубликовано 11 работ.

Заключение диссертации по теме «Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей», Шалфеева, Елена Арефьевна

Результаты работы компонентов библиотеки, позволяющих строить модели 00 программ, представлены на рис, 4.5. Здесь приведена простейшая модель наследования некоторой 00 программы.

Роаупьтаты измерений программы 'plants*

Общее Объекты Рейтинги Окна

Дероею ндслсшордиия классов программы УЬЩ I-ЕЖГ~!-Г7Т вД пускЩ Hi & И ^ О & ег j Доре по ноопедоалния кпассов программы кде ib,4env—ргт-ссп-r^'-- |i'-.k |lm—|L'.v(, |tftfli«iuu.b |

ГлаваБ.сГ.| ЁЙ1! рисунки Главой --. | | ffi^Pichjrg

Рис. 4.5 Модель наследования программы Plants. 4.2 Вычисление метрик качества программ по графовым моделям

Другой набор компонентов, реализующих определенный в главе 3 набор функций над реляционным представлением графовых моделей программ, позволяет получать значения основных метрик качества.

В главе 3 определен набор функций над реляционным представлением графовых моделей программ, позволяющий специфицировать и вычислять определяемые на таких моделях основные метрики качества, используемые на практике. Спецификации основных метрик качества представлены в приложении 3. Такие спецификации также однозначно интерпретируются и достаточно «легко читаются». В частности, эти спецификации метрик были использованы для реализации соответствующих компонентов библиотеки метрик.

На рисунке 4.6 представлены результаты вычисления основных метрик качества по обобщенной модели структуры традиционной программы.

Результаты измерений программы "ргощЬ"

1&цее Объееты Рейтинги Окна

Швейная таблица значений 'модульных" метрик программы

Названив-метрики|Минимцм|Максимум| Среднее!

Раг^пЭЬерре^ ¡в |4 1.5667

Рвп0и15Ьеррегс1 1о 10 1.5333

ЮСМосМе 7 217 52.3333

МсСаЬе 1 37 В 4333

Г~ Описание метрики

Рис 4.6. Таблица значений метрик программы Projgh.

Распределение значений одной из этих метрик в виде круговой диаграммы представлено на рис. 4.7.

H-J.il.». Ц ДЩ .,N.1.

Общо« Офлты Рейтинги Окне

Краевая диаграмма распределения числа медалей по эндемиям метрики Рвп0и15Иерре«)

I [крчгоади л и^агру^ а цаспртэлвяюмн&яа мвд^пей лр зидчвнчян Гдпй Ы5

-|«ГП " I

IРзо» 5 ё^Т Ш- ,1л 13 сы 1 ГТ5ТГ рГГ Е^Г | ЫЛ I

Рис. 4.7. Распределение значений метрики 57*ерреЫРапОш для модулей программы.

При желании оценщик может иметь на экране окно с информацией о метрике, представляющей ее определение и ее влияние на качество программного средства, так как это выглядит на рис. 4.8.

Результаты измерений программы "DS+WD"

Обшее Одь$«ты РеЛп«*%»

Диаграммы

Гистограмма распределения числа модулей по значениям метрики FanOuiSheppwd

Описание метрики FanOulSheppard

Потоки данных из модуля (ShepperdUnitFanOut)

Потоки данных из модуля - это свойство модуля программы, представляющее собой число локальных (прямых и непрямых) информационный потоков, выходящих из модуля, 'плюс'число структур данных, модифицируемых в модуле

Определение в терминах модели: число всех дуг передачи параметров и дуг доступа к глобальным данным, которые выходят из вершины, соответствующей рассматриваемому модулю

Шкала: абсолютная

Связь с характеристиками качества Чем больше число потоков между модулем и его окружением, тем сильнее он будет сцеплен н тем нежелательнее такая архитектура, т.к увеличивается число "каналов", по которым могут пройти изменения к модулю Увеличивается число дополнительных модулей, с которыми надо иметь дело, чтобы понять и манипулировать модулем Более сложный интерфейс затрудняет перемещение (replace) и повтори ©использование [Shepperd-95] Эксперименты подтвердили значительную корреляцию метрики со склонностью программы к изменениям н к ошибкам и со сложностью программы (определяемой субъективно самими разработчиками) [Kitchenham-90} Следует обращать внимание на то, чтобы программы с большим значением метрики не были перегружены большим числом функций и

Гистограмма распределения числа модулей по значениям метрики FanOuiShtippwd г

ПЦ(:«.|[ jjgj <7 ¡3 вЗ а ¡¿j 0 || g]rnaM5.ctoe-Mteot.| jggi'.USERSVS^V| #|м-г-2-2 00-bfeoso,.| fcjUc.Hi-MimBoHW<m)||Ц Vi,uafee ¡ЩФ'Ч IQ57

Рис. 4.8. Информация о метрике ShepperdFanOut.

На рисунках 4.9, 4.10 представлены результаты измерения некоторой ОО программы Plants по простейшей модели наследования классов ОО программы, представленной выше. Этими результатами являются таблица значений наиболее популярных ОО метрик и распределение одной из метрик, называемой ClassInheritanceDepth для классов одной программы.

Таким образом, разработанная библиотека метрик является компонентом экспериментального рабочего места оценщика программ, позволяющего ему "проделать" весь необходимый для получения значений основных метрик качества программы путь.

Результаты измерений программы "plante*

Диаграммы

Общие Сй-ьокты Рейтинги Окна

Своцная таблиц значений "модульным" метрик программы

Описание метрики Название метрик; И|МИНИГТ9М M аксимум I Сршкее |

5 2,7 5

DIT ¡ 0 2 1.5

FanlnSheppeid □ S 1.5

FanOutShoppeíd G e 2.16S7

LCOM 0 i a 25

McCabe 0 3 as 154

NOC о 4 a e?s

RFC 1 3 1.625

WMC û 4 1

ЛТаДчицдТ ЛГистЛ /Гист.2 ¿Гисг, З/Гисг, 4 X Г ист. 5 АГисггБ ¿Pial /tP¡e2^Fic3¿PÍ64/Pie5/jPieS/

I " ' Hajé [-Sîî~l-ГП-Aï lb,-If M—cm-cm-■. lïî-T |k —■■■■■'■■ UlcHi» (kU iзапуск¡¡ i 11 ¿i g aî S S II 1[]Глвва1 ■- [ BThsBatl | ёГ[Гпавв4| ^Глава^!

I Сводная таблица значений "модульный" метрик программы

Д[ lb,4fm Lf. 1-Làl 1

Рис. 4.9. Метрики для программы Plants.

Результаты измерений программы "plants"

Ойнее Объекты Рейтинги Окна

Диаграммы

Гистограмма распределения числа классов го значениям метрики DIT

Рис. 4.10. Распределение значений метрики ClassInheritanceDepth для классов программы.

4 .■ 166 *

DIT($PLANTS.PLANT$,0). DIT($PLANTS.CURRANT$72). DIT($ PLANTS.CEDAR$, 2 ) . DIT($PLANTS.WILLOW$,2). DIT($PLANTS.LARCH$,2). DIT($PLANTS.APPLETREE$,2). DIT($PLANTS.BUSH$,1). DIT($PLANTS.TREE$,1)• WMC($PLANTS.PLANT$,0). WMC($PLANTS.CURRANT$,1)• WMC ($ PLANTS. CEDAft$., 2)-. WMC ($ PLANTS. WILLOW$',0) . WMC($PLANTS.LARCH$,0). WMC($PLANTS.APPLETREE$,4). WMC($PLANTS.BUSH$,0). WMC($PLANTS.TREE$,1)•

Рис. 4.11. Фрагмент внутреннего представления метрик для классов программы Plants.

В зависимости от того, значения каких метрик представляют интерес для оценщика, будут строится те или иные графовые модели программы или компонентов программы. В частности, при измерении популярной метрики

ShepperdUnitFanOut требуется построить простейшую обобщенную модель структуры программы,'позволяющую вычислите по ней значения метрики для каждого модуля измеряемой программы. Для метрики ClassInheritanceDepth необходима модель наследования классов программы.

Разработанная библиотека метрик является компонентом экспериментального рабочего места оценщика программ, предоставляющим возможность пользователю увидеть модель оцениваемого компонента программы или всей программы, увидеть таблицу со значениями метрик и текстовое описание интересующей метрики либо ее спецификацию.

Таким образом, реализована библиотека программ построения структурных моделей программ и вычисления на этих моделях метрик качества для использования в среде'MS DOS и ОС WINDOWS для IBM PC-совместимых ЭВМ. Эта библиотека является компонентом измерительной среды для исследования методов -и средств языково-ориёнтированного подхода, а также компонентом экспериментального рабочего места оценщика программ. Указанная измерительная среда используется для исследований в ИАГГУ ДВО РАН и для обучения студентов в ДВГУ.

Список литературы диссертационного исследования кандидат технических наук Шалфеева, Елена Арефьевна, 2000 год

1. Болски М.И. Язык программирования Си. Срравочник. М.: Радио и связь, 1988. 96 с. .

2. Боэм Б., Браун Дж., Каспар X., Липов М., Мак-Леод Г., Мерит М. Характеристики качества программного обеспечения. М.: Мир, 1981.206 с.

3. Грэй П. Логика, алгебра и базы данных. М.: Машиностроение, 1989. 358 с.

4. Керниган Б.В.Дж., Плоджер Ф. Элементы стиля программирования. М.: Радио и связь, 1984,158 с.

5. Коган Б.И. Определение базовой объективной системы внутренних свойств программных продуктов: Препринт. Владивосток: ИАПУ ДВО РАН, 1996.56 с.

6. Коган Б.И., Остроухова Н. Построение измерительной модели языка программирования: Препринт. Владивосток: ИАПУ ДВО РАН, 1996. 56 с.

7. Коган Б.И. Языково-ориентир.рванный подход к оцениванию качества программного обеспечения // Информационные технологии, М.: Машиностроение, N.1, 1998, р.26-30.

8. Коган Б.И., Остроухова С:Н. Построение измерительной модели современного языка программирования: Препринт. Владивосток: ИАПУ ДВО РАН. 1998. 38 с.

9. Коган Б.И., Бардин Г.Е., Остроухова Н. Измерительная модель языка программирования Java: Препринт. Владивосток: ИАПУ ДВО РАН, 1998.47 с.

10. Коган Б.И., Шалфеева Е.А. Модели и метрики объектно-ориентированных проектов и программ: Препринт 26-2000. Владивосток: ИАПУ ДВО РАН, 2000. 50 с. II. Кристофидес Н. Теория графов,;М.: Мир, 1978. 432 с.

11. Першиков В.И., Савинков В.М. Толковый словарь по информатике, М.: Финансы и статистика, -1991. 543 с.

12. Пратт Т. Языки программирования: Разработка и реализация. М.: Мир, 1979. 574 с. • • •

13. Холстед М.Х. Начала науки о программах. М.: Финансы и статистика, 1981.128 с.

14. Шалфеева Е.А. Внутренние свойства и метрики программ. Часть 1. Препринт 28-98. Владивосток: ИАПУ ДВО РАН. 1998. 38 с.

15. Adamov R. А naive approach to software metrics // J. Microcomput. AppL, 1989. Vol.12. No. 4. P.343-357.

16. AMI: Application of metrics in industry. A quantitative approach to software management. London: South Bank University, 1993. 170 p.

17. Archer C , Stinson M. Object-oriented software measures. Technical Report CMU/SEI-95-002 (ESC-TR-95-002). Software Engineering Institute, Carnegie Mellon University. 1995. 68 p;

18. Bache R. Graph models of software: PhD dissertation. London: Polytechnic of South Bank. 1990. 149 p . "

19. Bache, R., Bazzana, G. Software metrics for product assessment. McGraw-Hill Book Company, 1994. 249 p.

20. Basili V.R., Hutchens D.H. An empirical study of a syntactic somplexity family // IEEE Trans, on Software Eng., 1983. Vol.9. No.6. P.664-672.

21. Basili V.R., Briand L.C., Melo W-L. A validation of object-oriented design metrics as quality indicators // IEEE Trans, on Software Eng., 1996. Vol.

23. Belady L.A. Complexity of large systems. Software Metrics: An analysis and evolution / Eds. A.J.Perlis, F.G.Sayward, M.Shaw. Cambridge: M.A.: MIT Press, 1981. P.225-234.

24. Booch G. Object-oriented analysis and design with application. Second edition. The Benjamin/Cummings Publishing Company, Inc. 1994. 589 p.

25. Bowen J.B. Module size: a standard or heuristic? // J. Syst. and Software, 1984. Vol.4. No.4. P.327-332. •

26. Chidamber S.R,, Kemerer C.F. A metrics suite for object oriented design // IEEE Trans, on Software Eng., 1994. Vol 20. N. 6. P.476-493.

27. Chidamber S., Kemerer C.F. Authors' Reply // IEEE Trans, on Software Eng., I995.V0I. 21.N. 3.p.265.

28. Churcher N.I., Shepperd M. Comments on "A metrics suite for object oriented design" // IEEE Trans, on Software Eng., 1995. Vol. 21. N. 3. p.263'265.

29. Cogan B.I., Hunter R.B. Definition and collection of metric for comprehensive software measurement. Software Quality Journal, 5, 1996, p.211-220.

30. Compton B.T., Withrow С Prediction and control of Ada software defects // J. Syst. and Software, 1990..Vol. 12. No.3. P.199-207.

31. Coupal D., Robillard P.N. Factor analysis of source code metrics // J. Syst. and Software, 1990. Vol.12. No.3. P.263-269.

32. DeMacro Т., Lister T. Software development: State of the art vs state of practice. In: IGSF-11, Proc. 11th. Int. Conf. Software Eng., Pittsburg, 1989. P. 271-275.

33. DeWilde G. Developing modular programs // Computer Language. 1987. Vol. 4, N LP. 51-55.

34. Dromey R.G., Cornering the chirnera. Research Report: SQI-95-03. Australian Software Quality Institute, Griffith University,Brisbane. 27 p.

35. Fenton N.E., Pfleeger S.L. Software metrics: A rigorous and practical approach. Second edition. International Tompson Computer Press, 1996. 638 p.

36. Gosling J., Joy В., Steele G. The Java language specification. Addison-Wesley 1.ongman Inc. 1996. 825 p.

37. Harrison W., Magel K., Kluczny R. and DeCock A. Applying software complexity metrics to program maintenance // IEEE Computer. 1982. Vol. 15. N9.. P. 65-79.

38. Harrison W. Using software metrics to allocate testing resources // J. Man. Inft)rm. Syst, 1988. Vol.4: No.4. P.93-105.

39. Heitkoetter U., Helling В., Nolte H., Kelly M. Design metrics and aids to their automatic collection // Inft)rmation and software technology, 1990. Vol.32. No. LP. 79-87."

40. Henderson-Sellers B. Object-oriented metrics: measures of complexity. Prentice Hall PTR, Upper Saddle River, New Jersey, 1996. 234 pp.

41. Henry S., Kafiira D. Software structure metrics based on infirmation flow // IEEE Trans, on Software Eng. 1981. Vol.7. No.5. P.510-518.

42. Henry S., Goff R. Complexity measurement of a graphical programming language, Virginia Polytechnic Institute and State University, Department of computer science. 1987. 37 p.

43. Hericko M., Rozman I., Domajnko Т., Jurich (?) M., Beloglavec S. Multitired architecture for 0 0 metrics data gathering, Slovenian-Russian Workshop o*n Software Engineering (edited by Cogan В., Rozman I), Vladivostok, December 4th, 1998. P 63-75.

44. Hirayama M., Sato H., Yamada A., Tsuda J. Practice of quality modeling and measurement on software life-cycle. In: Proc. 12* Int. Conf Software Eng., Nice, 1990, Los Alamitos (Calif.) etc. 1990. P. 98-107.

45. Hitz M,, Montazeri B. Chidamber.and Kemerer's metrics suite: A measurement theory perspective // IEEE Trans, on Software Eng., 1996. Vol. 22. N. 4. P.267-27L

46. Horgan J.R., London S, Lyu M.R Achieving software quality with testing coverage measures // IEEE Software, 1994. Vol.11. No.4. P.60-70.

47. Howatt J.W., Baker-A.L. Rigorous definition and analysis of program // J. Syst. and Software, 1989. N.IO. P.139-150.

48. IEEE Guide for the use of IEEE standard dictionary of measures to produce reliable software: ANSIAEEE Std 982.2-1988. 96 p.

49. IEEE standard glossary of software engineering terminology: ANSI/IEEE Std 610.12-1990. 83 p.

50. IEEE standard for a software quality metrics methodology: IEEE/ANSI Std 1061-1992. 88 p.

51. Ince D., Software metrics. In: Meas. Software Contr. and Assur.: Proc. Centre Software Reliab. Conf, Bristol, 14-18 Sept., 1987. London, New York, 1989. P.27-62.

52. Ince D., History and industrial applications. In: FentonN.E. Software metrics: A rigorous approach. Chapman Hall, 1991. P. ??-??.

53. ISO/IEC 9126, Software product evaluation - Quality characteristics and guidelines f6r their use, 1991. 17 p.

54. Kan S. H. Metrics and models in software quality engineering. Addison-Wesley Publishing Company, 1995. 344 p.

55. KJioshgoftaar T.M., Munson J.C. Measuring dynamic program complexity // IEEE Software, 1992. Vol.9. No.6. P.49-55.

56. Kitchenham B.A., Fickard Ъ.М., Linkman S.J. An evalution of some design metrics // Software E.rig. J., 1990. Vol.5. No.l. P.50-58.

57. Koffinan E.B, Turbo Pascal. 5* Edition. Addison-Wesley Publishing Company, 1995.832 р.

58. Kokol P., Zumer V..Controlling complexity and cost of software projects with a speadheet software. In: Proc. 2nd IFACAFIP Workshop, Exper. Manag. Software Proj., 1988: Sarajevo, 1988. Oxford ets., 1990. P.75-82.

59. Lakhotia A. Rule-based approach to computing module cohesion. In: Proc. IEEE Int. Conf on Software Engeneering, 1993. P.35-44.

60. Lakshmanan K.B., Jayaprakash S., Sinha P.K. Properties of control-flow complexity measures // IEEE Trans, on Software Eng., 1987. Vol.17. N0.12.P.1289-1295.

61. Lorenz M., Kidd J. Object-oriented software metrics: A practical guide. Prentice Hall, New Jersey, 1994. 146 p.

62. Lunn K. Object Oriented Analysis and Design - Course Notes. In: The Brighton University Resource Kit for Students. John English, 1997.

63. McCabe T.J. A complexity measure // IEEE Trans, on Software Eng., 1976. , Vol.SE-2. No.4. P. 308-320.

64. McCall J.A., Matsumoto M.T. Software quality metrics enhancements. Vol.1: RADC-TR-80-109VOL-1. Sunnyvale, Calif: General Electric Co, 1980. 184 p.

65. Navlakha J.K. A survey of system complexity metrics // Computer J. Vol. 30. No.3. 1987. P. 233-238.

66. Pickard L.M. Analysis of software metrics. In: Meas. Software Contr. and Assur.: Proc. Centre Software Reliab. Conf, Bristol, 1987, London, New York. 1989.P.155-180.

67. Prather R.E. An axiomatic theory of software complexity measure // Computer J. Vol 27. No.4. 1984. P. 340-347.Pressman-94. Pressman R.S. Software engineering: Practitioner's approach. European 3d Rev.ed. McGraw-Hill Inc., 1994. 802 p.

68. Pressman R.S. Software engineering: Practitioner's approach. European 3d Rev.ed. McGraw-Hill Inc., 1994. 802 p.

69. Pressman R.S. Software Engine'ering: Practitioner's Approach. Fourth edition. McGraw-Hill Inc., 1997. 885 p.

70. Rajlich V., Silva J. Two object-based decomposition methodologies: a case study // Software Eng. J. 1992, No 1. P.35-42.

71. Schneidewind N.l4 The state of software maintenance // IEEE Trans, on Software Eng., 1987. Vol.SE-13. No.3. P.303-310.

72. Shepperd М. An evalution of software product metrics // Inform, and Software Technol., 1988. Vol.30. No.3. P.177-188.

73. Shepperd M., Ince D. Metrics, outlier analysis and the software design process // Inf and Software Technol., 1989. Vol.31, No. 10, P. 91-98.

74. Shepperd M. Early life-cycle metrics and software quality models // Inf and Software Technol., 1990. Vol.32. No.4. P.311-316.

75. Shepperd M. Foundation of software measurement. Prentice Hall International, 1995.234 р.

76. Sherif Y.S. Computer software development: Quality attributes, measurements, and metrics, Naval Research Logistics, 1988. Vol. 35, P. 425-436.

77. Software Quality Assurance and Measurement: A Worldwide Perspective (eds Fenton N., Whitty R., lizuka Y.). International Thomson Computer Press, London, UK, 1995. 320 p.

78. Tsai W.T., Lopez M.A., Rodriguez V., Volovik D. An approach to measuring data structure complexity. In: COMPSAC'86: Proc. IEEE Comput. Soc. 10th Annu. Int. Comput. Software and Appl. Conf, Chicago, 111., 1986. Washington (D.C.), 1986. P.240-246.