Многоэтапный анализ архитектурной надежности в сложных информационно-управляющих системах тема диссертации и автореферата по ВАК РФ 05.13.01, кандидат технических наук Русаков, Михаил Александрович

• Русаков, Михаил Александрович
• кандидат технических наук
• 2005

Оглавление диссертации кандидат технических наук Русаков, Михаил Александрович

Введение

1. Проблемы архитектурной надежности в информационно-управляющих

1 системах

1.1. Программная архитектура информационно-управляющих систем

1.2. Системная архитектура корпоративных систем по Захману

1.3. Повышение архитектурной надежности информационно-управляющих систем

1.4. Терминологические проблемы анализа архитектурной надежности 45 Выводы по разделу I

2. Архитектура ПО как обобщенная модель информационно-управляющей системы

2.1. Фазы разработки программного обеспечения

2.2. Анализ фазы архитектурного дизайна

2.3. Базовый архитектурный модуль системы

2.4. Общая характеристика инструментальных средств автоматизации проектирования информационно-управляющих систем

2.5. Архитектурная спецификация критичных информационно-управляющих систем 74 Выводы по разделу

3. Модель анализа архитектурной надежности в сложных информационно-управляющих системах

3.1. Описание предлагаемой модели анализа архитектурной надежности

3.2. Усовершенствованная модель надежностного анализа архитектур ПО в сложных информационно-управляющих системах 93 Выводы по разделу

4. Модель архитектурной надежности приложений клиент-сервер комплексной системы автоматизации управления предприятием

4.1. Особенности архитектуры корпоративных информационно-управляющих систем

4.2. Системы с программной архитектурой клиент-сервер

4.3. Клиент-серверные приложения КСУГ1 «Галактика»

4.4. Практическая реализация надежностного анализа архитектуры ИУС 131 Выводы по разделу , 5. Экспресс-анализ эффективности функционирования архитектуры информационно-управляющих систем

5.1. Анализ архитектурной надежности программного комплекса автоматизированной системы технической диагностики

5.2. Программная реализация системы оценки надежности программной архитектуры ИУС

Введение диссертации (часть автореферата) на тему «Многоэтапный анализ архитектурной надежности в сложных информационно-управляющих системах»

Состояние проблемы качества архитектур информационно-управляющих систем (ИУС) регулярно обсуждается в ряде журнальных публикаций, монографий и учебников [1,8,9,17,25,31-36]. В них, как и в базовых стандартах, большое внимание уделяется современным проблемам и процессам обеспечения качества технической продукции, технологий и услуг.

Известно, что качество конечной продукции, поставляемой на рынок или заказчику, является определяющим фактором для успеха современной индустрии и конкурентоспособности многих наукоемких технологий и предприятий. Однако практически отсутствует литература, систематически и достаточно полно отражающая особенности и методы обеспечения качества архитектур информационно-управляющих систем и их основной, интеллектуальной части - программных средств.

Быстрый рост сложности и размеров современных программных систем (ПС) при одновременном повышении ответственности выполняемых функций системы резко повысил требования со стороны заказчиков и пользователей к их качеству, надежности функционирования и безопасности применения. Принципиально изменились характеристики основных проектов - разработки перешли от программирования «в малом» к программированию «в большом». По мере расширения применения и увеличения сложности программных систем выделились области, в которых ошибки или недостаточное качество программ могут нанести ущерб, значительно превышающий положительный эффект от их использования. В этих критических случаях недопустимы аномалии и дефекты функционирования ПС при любых искажениях исходных данных, сбоя, частичных отказах аппаратуры и других нештатных ситуациях. Однако иногда излишне высокие требования к качеству программных средств для подобных систем принципиально не могут быть выполнены вследствие реальных ограничений всех видов ресурсов: бюджета, длительности разработки, характеристик вычислительных систем и квалификации специалистов. Это обусловило появление, развитие и применение методов, стандартов и средств автоматизации промышленной программной инженерии, обеспечивающих создание сложных архитектур ПС с заданными высокими показателями качества при реальных ограничениях на использование ресурсов разработки.

В связи с этим стратегической задачей в жизненном цикле современных программных систем стало обеспечение требуемого качества программной архитектуры и архитектуры баз данных. Во многих случаях контракты и предварительные планы на создание сложных программных систем и баз данных для информационно-управляющих систем подготавливаются и оцениваются неквалифицированно, на основе неформализованных представлений заказчиков о требуемых функциях и характеристиках качества ПС [31].

Значительные системные ошибки при определении требуемых показателей качества, оценке трудоемкости, стоимости и длительности архитектурного проектирования ПО ИУС являются достаточно массовыми и типичными. Многие созданные ИУС не способны выполнять полностью требуемые функциональные задачи с гарантированным качеством и их приходится долго и иногда безуспешно дорабатывать для достижения необходимого качества и надежности функционирования, затрачивая дополнительно большие средства и время. В результате часто проекты систем не соответствуют исходному, декларированному назначению и первоначальным спецификациям требований к характеристикам качества, не укладываются в согласованные графики и бюджет разработки. Проекты оказываются неудачными или даже терпят полный провал из-за недостаточной компетентности привлекаемых разработчиков, их неадекватного «оптимизма», а также вследствие отсутствия у них современной технологии, методов и стандартов, обеспечивающих требуемое высокое качество проектов ПС.

В Российской практике, как правило, имеющийся огромный опыт отдельных организаций, а также успешно реализованные ими планы и процессы разработки предшествующих ПС высокого качества игнорируются, не обобщаются и не используются в качестве реальной базы для прогнозирования и планирования новых проектов. Вследствие этого во многих проектах программных систем:

- не полностью реализуются цели и требования заказчика к функциям и качеству комплексов программ;

- низка достоверность первичных оценок необходимых бюджета, сроков и ресурсов для разработки ПС при заключении контрактов, вследствие чего не выполняются требования заказчика к качеству;

- плохо ведется контроль за ходом проекта, из-за чего велик риск отсутствия у конечного продукта заданного качества, нарушения начальных планов, невыполнения функциональных и экономических требований контрактов на разработку ПС.

В технических заданиях и реализованных проектах ПС систематически умалчиваются и/или недостаточно формализуются понятия и метрики качества программного продукта: какими характеристиками они описываются, как их следует измерять и сравнивать с требованиями, отраженными в контракте, техническом задании или спецификациях. Кроме того, некоторые из характеристик часто вообще отсутствуют в требованиях и согласованных документах на ПС, что приводит к произвольному их учету или к пропуску при испытаниях. Этому способствует ограниченность ресурсов, особенно времени, необходимых для достижения и оценивания в процессах ЖЦ комплекса программ, требуемых значений характеристик качества, а также недостаточная формализация и документирование всего процесса выбора и анализа качества ПС.

Традиционная неопределенность понятий и характеристик качества, особенно присущая крупномасштабным, наукоемким проектам сложных программных систем, а также многочисленные спекуляции разработчиков на их значениях приучили заказчиков не доверять рекламируемым достоинствам программных продуктов. Объективная сложность анализируемых объектов — сложных программных систем — и психологическая самоуверенность ряда программистов в собственной «непогрешимости» часто приводят к тому, что реальные характеристики качества функционирования ПС остаются неизвестными не только заказчикам и пользователям, но также и самим разработчикам. Отсутствие четкого декларирования в документах понятий и требуемых значений характеристик качества ПС вызывает конфликты между заказчиками-пользователями и разработчиками-поставщиками вследствие разной трактовки одних и тех же характеристик.

Объективное повышение сложности функций, реализуемых архитектурными компонентами программных систем, непосредственно приводит к увеличению их объема и трудоемкости создания. Соответственно росту сложности программ возрастает количество выявляемых и остающихся в них дефектов и ошибок, что отражается на качестве функционирования. Разработка и сопровождение сложных ПС на базе современных технологий позволяет предупреждать и устранять наиболее опасные системные и алгоритмические ошибки на ранних стадиях проектирования, а также использовать неоднократно проверенные в других проектах программные и информационные компоненты архитектуры ПС высокого качества.

Обширной практикой [31-36,40,49] доказано, что обнаружение и устранение ошибок и дефектов в комплексах программ на начальных этапах проектирования в десятки и сотни раз быстрее и дешевле, чем в процессе завершения разработки испытаний. По мере увеличения сложности задач, решаемых программами, ошибки могут угрожать катастрофами в системах, выполняющих критические функции управления крупными, дорогими и особенно важными объектами или процессами.

Многочисленные провалы проектов сложных программных систем показали необходимость формализации взаимодействия и обеспечения взаимопонимания разработчиков с заказчиком или потенциальным пользователем создаваемой ПС с самого начала проекта с целью конкретизации функций и уточнения требований качеству разрабатываемого решения. Многие ошибки, обусловленные неопределенностью или некорректностью технических заданий и спецификаций требований, могут и должны быть выявлены на ранних стадиях архитектурного проектирования ПС. Тем самым должен обеспечиваться поступательный ход процесса разработки ПС, без возвратов для уточнения или переделки архитектурно-связанных компонентов или даже всего комплекса программ.

За последние несколько лет создано множество международных стандартов, регламентирующих процессы и продукты жизненного цикла программных систем и систем управления базами данных (СУБД) [6,31]. Международные стандарты ISO содержат результаты обобщения мирового опыта в различных сферах производства и применения продукции и носят рекомендательный характер. Одна из серий стандартов (ISO 9000) содержит и развивает основное положение о том, что «поставщик должен разрабатывать и поддерживать в рабочем состоянии документально оформленную систему качества как средство, обеспечивающее соответствие продукции установленным требованиям заказчика». Применение этих стандартов может служить основой для систем обеспечения качества программных систем, однако требуется корректировка, адаптация или исключение некоторых положений стандартов применительно к принципиальным особенностям технологий и характеристик этого вида продукции. Кроме того, при реализации систем качества ПС необходимо привлечение ряда стандартов, формально не относящихся к этой серии и регламентирующих показатели качества, верификацию и тестирование, испытания, документирование и другие особенности ЖЦ комплексов программ.

В России в области обеспечения жизненного цикла и качества сложных программных систем существует и применяется очень небольшая группа устаревших стандартов (ГОСТов), которые отстают от мирового уровня на 5—10 лет [31]. Эти стандарты вынуждены использовать предприятия, выполняющие государственные заказы при создании ПС для применения внутри страны. Однако в экспортных заказах зарубежные клиенты требуют соответствия технологии проектирования, производства и качества продукции современным международным стандартам, которые необходимо осваивать и применять для обеспечения конкурентоспособности продукции на мировом рынке.

В отечественных программных системах все больше применяют программные компоненты и продукты зарубежных фирм, которые также не могут быть абсолютно гарантированы от проявления дефектов проектирования, программирования и документации. Для обеспечения требуемого качества функционирования комплексов программ с использованием импортных компонентов следует закупать только лицензионно-чистые продукты, поддерживаемые гарантированным сопровождением конкретных поставщиков. Эти компоненты архитектуры ПС должны сопровождаться полной эксплуатационной и технической документацией, сертификатом соответствия и комплектами тестов. Иначе, качество программной, продукции остается низким, неподдающимся достоверной оценке и не конкурентоспособным на международном рынке.

В связи с изложенным появилась настоятельная потребность в разработке эффективного модельно-алгоритмического обеспечения методов и средств надежностного анализа программных архитектур, реализуемого в виде интерактивных пользовательских сред экспресс-анализа, ориентированных на специалистов предметной области.

Работы в данной области надежностного исследования архитектур сложных программных систем требуют больших затрат, однако современные масштабы программных разработок и внедрения информационно-управляющих систем (в том числе, информационно-технологических комплексов систем реального времени), не оставляют сомнений в экономической целесообразности, своевременности и актуальности поставленных в диссертации задач.

Целью настоящей работы является совершенствование модельной и алгоритмической поддержки многоэтапного анализа архитектурной надежности сложных информационно-управляющих систем.

Для достижения поставленной цели решались следующие задачи:

- анализ существующих методик, моделей и алгоритмов оценки архитектурной надежности ПО сложных информационно-управляющих систем;

- анализ методик, моделей и алгоритмов оценки надежности критичных программных систем на фазе архитектурной спецификации;

- разработка универсальной модели анализа архитектурной надежности сложных информационно-управляющих систем, работающей на всех этапах жизненного цикла программного обеспечения;

- формирование модели анализа архитектурной надежности корпоративных информационно-управляющих систем с программной архитектурой «клиент-сервер»;

- реализация экспресс-анализа эффективности функционирования программной архитектуры автоматизированной системы технической диагностики и контроля;

- разработка структуры и программная реализация системы модельно-алгоритмической поддержки многоэтапного анализа архитектурной надежности сложных информационно-управляющих систем;

- применение системы при решении практических задач анализа и формирования эффективных по надежности программных архитектур информационно-управляющих систем.

Методы исследования. При выполнении работы использовались математическое и вероятностное моделирование параметров сложных систем, методы оценки надежности сложных систем, элементы теории вероятностей, структурный и объектно-ориентированный анализ, теория надежности программного обеспечения.

Научная новизна исследований заключается в создании комплекса математических моделей и алгоритмов анализа архитектурной надежности сложных программных систем, отражающего многоуровневость и распределенность архитектуры программного обеспечения.

1. Аналитически определены показатели, характеризующие надежность программной архитектуры сложной информационно-управляющей системы и позволяющие выявить архитектурно-связанные компоненты.

2. Предложена универсальная модель анализа архитектурной надежности сложных информационно-управляющих систем, работающая на всех этапах жизненного цикла системы, и ее модификации для корпоративных информационно-управляющих систем с программной архитектурой «клиент-сервер».

3. Разработана методика автоматизированного 'экспресс-анализа эффективности функционирования программной архитектуры автоматизированной ИУС технической диагностики и контроля, которая применена в рамках современной технологии программирования автоматизированных систем управления.

4. Предложена концептуальная схема и реализация программного комплекса моделей и алгоритмов анализа архитектурной надежности сложных информационно-управляющих систем на основных фазах жизненного цикла программного обеспечения ИУС.

Значение для теории. Результаты, полученные при выполнении диссертационной работы, создают теоретическую основу для разработки моделей, методов и алгоритмов, направленных на эффективный анализ архитектурной надежности сложных информационно-управляющих систем.

Практическая ценность. Разработанная в диссертации система модельно-алгоритмической . поддержки многоэтапного анализа архитектурной надежности сложных программных систем позволяет осуществить обоснованный выбор варианта программной архитектуры и оценить степень надежности программных приложений «клиент-сервер» корпоративных систем управления предприятиями.

На основе предложенных автором моделей и алгоритмов осуществлено надежностное формирование программной архитектуры автоматизированной системы технической диагностики и контроля, позволившее решить новые задачи по качественной оценке (экспресс-анализ) и быстрому восстановлению программной системы при введении оптимальной избыточности сбойных программных компонент.

Универсальная модель анализа архитектурной надежности применяется для программных систем, созданных как в рамках объектно-орентированного, так и мультиверсионного объектно-ориентированного подхода, учитывает распределенность и многоуровневость архитектуры системы и позволяет выявлять как критичные по надежности компоненты программных систем, так и диапазоны входных значений, в наибольшей степени влияющие на надежность компонента.

Достоверность полученных результатов подтверждается тестированием и оценкой результатов применения разработанной системы в реальных проектах, а также согласованностью расчетных и экспериментальных данных.

Реализация результатов работы. Диссертационная работа выполнялась по проектам межотраслевых программ Минобразования России и Минатома России по направлению «Научно-инновационное сотрудничество» (проект VII-12), а также в рамках тематического плана НИР СибГАУ (2002-2005 гг.) и НИР КГТУ (2003-2005 гг.).

При использовании системы модельно-алгоритмической поддержки реализован модуль многоэтапного анализа архитектурной надежности распределенного ПО клиент-серверных приложений корпоративной системы управления предприятием «Галактика».

Разработанные на основе формальных моделей и алгоритмов программные системы анализа архитектурной надежности сложных программных систем прошли экспертизу и зарегистрированы в Отраслевом фонде алгоритмов и программ (№ гос. регистрации 50200500208), что делает их доступными широкому кругу специалистов по системному анализу, надежностному моделированию и оптимизации сложных информационно-управляющих систем.

Материалы диссертационной работы введены в учебные курсы и используются при чтении лекций студентам кафедры информатики Красноярского государственного технического университета по дисциплинам «Программирование» и «Разработка программного обеспечения для информационно-управляющих систем».

На защиту выносятся: универсальная модель и модификации универсальной модели анализа архитектурной надежности сложных программных систем, учитывающие многоуровневость и распределенность корпоративных информационно-управляющих систем с программной архитектурой «клиент-сервер»;

- методика автоматизированного экспресс-анализа эффективности функционирования программной архитектуры автоматизированной системы технической диагностики и контроля;

- модель и алгоритм оценки операционной надежности объектно-ориентированной архитектуры программной системы, предназначенной для обработки и хранения информации;

- система модельно-алгоритмической поддержки многоэтапного анализа архитектрурной надежности сложных программных систем.

Апробация работы. Основные положения и результаты работы прошли всестороннюю апробацию на следующих всероссийских конференциях, научных семинарах и научно-практических конференциях:

- ежегодной Всероссийской электронной научно-технической конференции Российской академии естествознания «Приоритетные направления развития науки, технологий и техники» (Москва, 2004/2005);

- Всероссийской научно-технической конференции «Современные проблемы радиоэлектроники» (Красноярск, 2005);

- международной научной конференции «Татищевские чтения: актуальные проблемы науки и практики» (Тольятти, 2005);

- Всероссийской научно-методической конференции «Совершенствование системы управления качеством подготовки специалистов» (Красноярск, 2001);

- научно-практической конференции «Актуальные проблемы науки в России», Выпуск 2, 3 (Кузнецк, 2003 и 2005);

- еженедельных межвузовских семинарах Сибирского государственного технологического университета (Красноярск, 2001/2002).

Диссертационная работа в целом обсуждалась на научных семинарах кафедры информатики Красноярского государственного технического университета (2002-2005 гг.) и кафедры системного анализа и исследования опрераций Сибирского государственного аэрокосмического университета (2.004-2005 гг.).

Публикации. По теме диссертации опубликовано 11 печатных работ. Полный список публикаций представлен в конце автореферата.

Структура и объем работы. Диссертация состоит из введения, пяти глав, заключения и списка литературы.

Заключение диссертации по теме «Системный анализ, управление и обработка информации (по отраслям)», Русаков, Михаил Александрович

Выход 1 та

MTTF шяш

Рис. 5.8 - Окно результатов анализа архитектуры.

Компонент

Архитектурный уровень 1 и

ОК

Рис. 5.9 - Диалоговое окно добавления компонента

Рис. 5.! О- Диалоговое окно удаления компонента.

Рис. 5.11- Диалоговое окно удаления связи.

5.2.1.6. Работа с меню

Меню главного окна диалоговой системы содержит следующие пункты:

• новая схема - приводит диалоговую систему в режим формирования новой архитектуры;

• загрузить - загрузка архитектуры с диска;

• сохранить - сохранение архитектуры на диск;

153

• добавить компонент - добавляет компонент архитектуры в окно;

• добавить связь - устанавливает связь между компонентами;

• удалить компонент - удаляет выбранный компонент;

• удалить связь - удаляет выбранную связь;

• создать матрицы - создает матрицы для исходных данных;

• инициализировать матрицы - инициализирует матрицы значениями, установленными по умолчанию;

• расчет параметров - рассчитывает основные параметры надежности;

• анализ архитектуры - переход в окно анализа архитектуры;

• выход - выход из диалоговой системы.

Меню окна анализа архитектуры содержит следующие пункты:

• старт - запускает процедуру анализа архитектуры;

• выход - выход из окна анализа архитектуры.

5.2.1.7. Порядок работы с диалоговой системой

Для анализа архитектуры ПО при помощи диалоговой системы необходимо осуществить следующие шаги:

1. Задать количество уровней архитектуры.

2. Загрузить или создать новую архитектуру (создание архитектуры производится добавлением компонент в рабочее окно и установлением связей между ними).

3. Создать матрицы.

4. Инициализировать матрицы и задать основные параметры компонент.

5. Выбрав пункт меню «расчет параметров», осуществить вычисление основных параметров надежности архитектуры.

6. Сохранить архитектуру, выбрав пункт меню «сохранить».

7. Перейти в окно анализа архитектуры ПО.

8. Выбрать максимальное количество версий компонент.

9. Выбрать критерий мультиверсионности.

10. Осуществить инициацию процедуры анализа.

11. Выбрать приемлемый вариант архитектуры или произвести коррекцию исходных данных.

Изменения начальных данных можно произвести либо загрузкой уже имеющегося файла с данными, либо изменением содержимого текстовых окон. Главное окно обеспечивает легкий доступ к исходным данным любого архитектурного уровня любого варианта архитектуры.

Изменения можно внести в следующие параметры:

• вероятность использования компонента;

• вероятность сбоя компонента;

• условная вероятность сбоя на разных уровнях;

• время восстановления компонента;

• время использования компонента;

• стоимость разработки компонента;

• максимально-допустимое число компонентов;

• связи между компонентами.

После проведения вычислений параметров надежности архитектуры существует возможность корректировки исходных данных и повторного вычисления параметров надежности.

Изменения производятся в обычном порядке — оператор устанавливает курсор «мыши» в место, где ему необходимо произвести изменения, а затем редактирует информацию.

В окне анализа результатов пользователь может наблюдать полученные результаты вычисления характеристик надежности архитектуры:

• среднее время простоя системы;

• среднее время появления сбоя в системе;

• стоимость разработки системы;

• коэффициент надежности системы;

• множество недомининируемых вариантов архитектур.

Заключение

На основе общих тенденций развития технологий проектирования высоконадежного программного обеспечения были предложены методы решения задачи анализа архитектурной надежности сложных программных систем на основных этапах жизненного цикла программной системы. Решение этой проблемы базируется на следующих основных результатах, имеющих самостоятельное научное и практическое значение.

1. Проведен анализ существующих методик, моделей и алгоритмов оценки архитектурной надежности сложных программных систем, включая фазу архитектурной спецификации систем, критичных по надежности.

2. Разработана универсальная модель анализа архитектурной надежности сложных программных систем, работающая на всех этапах жизненного цикла программной системы и базирующаяся на общих параметрах оценки надежности, характерных для моделей различного класса.

3. Сформирована модель анализа архитектурной надежности корпоративных информационно-управляющих систем с программной архитектурой «клиент-сервер».

4. Показана простота адаптации базовой модели для оценки архитектурной надежности программных систем других классов, в частности, реализован экспресс-анализ эффективности функционирования программной архитектуры автоматизированной системы технической диагностики и контроля.

5. Разработка структуры и программная реализация системы модельно-алгоритмической поддержки многоэтапного анализа архитектурной надежности сложных программных систем, учитывающая собенности моделей, включаемых в систему модельно-алгоритмической поддержки.

Результаты применения системы при решении практических задач анализа и формирования эффективных по надежности программных архитектур информационно-управляющих систем подтвердили эффективность и универсальность разработанной системы модельно-алгоритмической поддержки многоэтапного анализа надежности программных средств.

Список литературы диссертационного исследования кандидат технических наук Русаков, Михаил Александрович, 2005 год

1. Движение, А.Н. Гарантоспособные вычисления: от идей до реализации в проектах / А.Н. Авиженис, Ж.-К. Лапри. ТИИЭР, 1986. - Т. 74. - № 5. -С. 8-21.

2. Ашимов, А.А. Оптимальные модульные системы обработки данных / А.А. Ашимов, А.Г. Мамиконов, В.В. Кульба. Алма-Ата: Наука. 1981. - 186 с

3. Баронов, В.В. Информационные технологии и управление предприятием/ В.В. Баронов, Г.Н. Калянов.- М.: Компания АйТи, 2004.

4. Богатырев, В.А. К повышению надежности вычислительных систем на основе динамического распределения функций/ В.А. Богатырев// Изв. вузов. Приборостроение. № 4, 1981.

5. Боэм, Б. Характеристики качества программного обеспечения / Б. Боэм, Дж. Браун, X. Каспар, М. Липов, Г. Мак-Леод, М. Мерит. М.: Мир, 1981. -208 с.

6. Боэм, Б.У. Инженерное проектирование программного обеспечения / Пер. с англ. М.: Радио и связь, 1985. -512 с.

7. Ю.Буч, Г. Объектно-ориентированный анализ и проектирование с примерами на С++. М.: БИНОМ, 1998. 560 с.

8. П.Воеводин, В.В. Математические модели и методы в параллельных процессах / М.: Наука, 1986. 328 с.

9. Волик, Б.Г. Методы анализа и синтеза структур управляющих систем / Под ред. Б.Г.Волика. М.: Энергоатомиздат, 1988. - 296 с.

10. Гантер, Р. Методы управления проектированием программного обеспечения / Под ред. Е.К.Масловского. М.: Мир, 1981. - 392 с.

11. Гудман, С. Введение в разработку и анализ алгоритмов / С. Гудман, С. Хидетниеми. Пер. с англ. - М.: Мир, 1981. - 366 с.

12. Дилон, Б. Инженерные методы обеспечения надежности систем / Б. Дилон, И. Сингх. М.: Мир, 1984. - 318 с.

13. Ковалев, И.В. Автоматизация создания программных средств систем управления / В кн.: Микроэлектронные устройства: проектирование и технология. Красноярск. КПИ, 1990. - С. 79-85.

14. Ковалев И.В. Многоатрибутивная модель формирования гарантоспособного набора проектов мультиверсионных программных систем / И.В. Ковалев, Р.Ю. Царев; Вестник НИИ СУВПТ. Вып.7. -Красноярск: НИИ СУВПТ, 2001. - С. 129-137.

15. Ковалев, И.В. Оптимальное проектирование мультиверсионных систем управления / И.В. Ковалев, А.А. Попов, А.С. Привалов. Доклады НТК с международным участием «Информационные технологии в инновационных проектах» . - Ижевск: ИжГТУ, 2000. - С. 24-29.

16. Ковалев, И.В. Модели поддержки многоэтапного анализа надежности программного обеспечения автоматизированных систем управления/ И.В.

17. Ковалев, Р.Ю. Царев, М.А. Русаков, М.Ю. Слободин// Проблемы машиностроения и автоматизации.- № 2, 2005.- С. 73-81.

18. Ковалев, И.В. Система мультиверсионного формирования программного обеспечения управления космическими аппаратами: Диссертация на соискание ученой степени доктора технических наук / Красноярск: КГТУ, 1997.-228 с.

19. Ковалев, И.В.Надежность архитектуры программного обеспечения телекоммуникационных технологий / И.В. Ковалев, Н.В. Василенко, Р.В.Юнусов; Международная научная конференция Telematica'2001, Санкт-Петербург, 2001- С. 23-24

20. Ковалев, И.В. Мультиверсионный метод повышения программной надежности информационно-телекоммуникационных технологий вкорпоративных структурах / И.В. Ковалев, Р.В. Юнусов; Телекоммуникации и информатизация образования. 2003. №2, С. 50-55.

21. Липаев, В.В. О проблемах оценивания качества программных средств/ В.В. Липаев. Информационные технологии, № 4, 2002.

22. Липаев, В.В. Качество программного обеспечения/ В.В. Липаев.- М.: Финансы и статистика, 1983. 264 с.

23. Липаев, В.В. Технология проектирования комплексов программ АСУ / В.В. Липаев, Л.А. Серебровский. М.: Радио и связь, 1983. - 287 с.

24. Липаев, В.В. Тестирование программ /В.В. Липаев.- М.: Радио и связь, 1986.-234 с

25. Липаев, В.В. Надежность программных средств/ В.В. Липаев.-М.:СИНТЕГ, 1998. -232 с

26. Майерс, Г. Надежность программного обеспечения: Пер. с англ./ Под ред. В.Ш.Кауфмана. М.: Мир, 1980. - 360 с

27. Мамиконов, А.Г. Типизация разработки модульных систем обработки данных / А.Г. Мамиконов, В.В. Кульба, С.А. Косяченко. М.: Наука, 1989. -165 с

28. Мамиконов, А.Г. Синтез оптимальных модульных систем обработки данных/ А.Г. Мамиконов, В.В. Кульба. М.: Наука, 1986

29. Михалевич, B.C. Вычислительные методы исследования и проектирования сложных систем / B.C. Михалевич, В.Л. Волкович. Наука, 1982. - 286 с.

30. Орлов, С.А. Технологии разработки программного обеспечения.- СПб.: Питер, 2002.

31. Привалов, А.С. Система формирования гарантоспособной программной архитектуры для АСУ ТП: Автореф. диссертации на соискание ученой степени кандидата технических наук / Красноярск: САА, 2000. 32 с.

32. Раинкшкс, К. Оценка надежности систем с использованием графов / К. Раинкшкс, И.А. Ушаков. М.: Радио и связь, 1988.

33. Саркисян, А.А. Повышение качества программ на основе автоматизированных методов / М.: Радио и связь, 1991. 160 с.

34. Сергеев, А. Технология Baikonur Web Application Server архитектура клиент-сервер для Intranet-систем доступа к корпоративным базам данных// Системы управления базами данных, № 5, 1996.

35. Системный анализ: Проектирование, оптимизация и приложения / В 2 т., под общ. ред. проф. Антамошкина А.Н. Красноярск: САА, 1996. - 206 с.

36. Соммервилл, И. Инженерия программного обеспечения, 6-е издание.: Пер. с англ.- М.: Издательский дом «Вильяме», 2002.

37. Фокс, Дж. Программное обеспечение и его разработка / Пер. с англ. Под ред. Д.Б.Подшивалова. - М.: Мир, 1985. - 268 с

38. Хорошевский, В.Г. Инженерный анализ функционирования вычислительных машин и систем / М.: Радио и связь, 1987. 256 с.

39. Царев, Р.Ю. Программно-информационные технологии формирования критичных по надежности систем управления. Монография/ Р.Ю. Царев, М.А. Русаков, С.А. Шабалин// СПб.: ИнфоДа, 2005. 172 с.

40. Царев, Р.Ю. Многокритериальное принятие решений при создании отказоустойчивого программного обеспечения / Вестник НИИ СУВПТ. -Вып.2. Красноярск: НИИ СУВПТ, 1999. - С. 190-194

41. Черкесов, Г.Н. Надежность аппаратно-программных комплексов.- СПб.: Питер, 2005.

42. Чжу, У.У. Копирование и размещение программных модулей в системе распределенной обработки в реальном времени / У.У. Чжу, Ц.К. Лян. -ТИИЭР, 1987. Т. 75, N 5. - С. 23-44.

43. Юдин, Д.Б. Математические методы оптимизации устройств и алгоритмов АСУ / Д.Б. Юдин, А.П. Горяшко, А.С. Немировский. М.: Радио и связь, 1982.-288 с.

44. Юнусов Р.В. Система модельно-алгоритмической поддержки многоэтапного анализа надежности программных средств: Автореф. диссертации на соискание ученой степени кандидата технических наук / Красноярск: КГТУ, 2003. 22 с.

45. Юнусов, Р.В. Анализ надежности аппаратно-программного информационно-управляющего комплекса /Р.В. Юнусов// Вестник НИИ СУВПТ: Сб. научн. трудов/ Под общей ред. профессора Н.В. Василенко; Красноярск: НИИ СУВПТ. 2003. Выпуск 11. С. 103-106

46. Юнусов, Р.В. Оценка надежности программного обеспечения клиент-сервер на примере комплексной системы управления предприятием «Галактика» / Вестник НИИСУВПТ; Красноярск: НИИСУВПТ.-2001 .-Вып.7. С.107-112

47. Юнусов, Р.В. Оценка надежности и гарантоспособная модель архитектуры программного обеспечения /Р.В. Юнусов// Вестник НИИСУВПТ; Красноярск: НИИСУВПТ. 2001. Вып.8. С. 194-208.

48. Юнусов, Р.В. Моделирование программных архитектур автоматизированных систем управления / Управляющие и вычислительные системы. Новые технологии: Материалы Всероссийской электронной научно-технической конференции. Вологда: ВоГТУ, 2001. С. 60-61.

49. Antamoshkin, A. System Analysis, Design and Optimization / A. Antamoshkin, H.P. Schwefel, and others. Ofset Press, Krasnoyarsk, 1993. - 312 p.

50. Ashrafi, N. Optimization Models for Selection of Programs, Considering Cost & Reliability / N. Ashrafl, O. Berman; IEEE Transaction on reliability. Vol. 41, No 2, June 1992, P.281-287.

51. Avizienis, A. The N-Version approach to fault-tolerant software / IEEE Trans, on Software Engineering. Vol. SE11,№ 12, December, 1985.-P. 1491-1501.

52. Berman, О. Choosing an Optimal Set of Libraries / O. Berman, M. Cutler.; IEEE Transaction on reliability. Vol. 45, No 2, June 1996, Pp. 303-307.

53. Bhatnagar, S.K. Network analysis techniques / Wiley Eastern Limited, New Delhi, 1986.-456 p.

54. Bogomolov, S. Fault Tolerance Software Library Support of Real-Time Embedded Systems / S. Bogomolov, A. Bondarenko, A. Fyodarov; Third European Dependable Computing Conference, EDCC-3, Prague, Czech Republic , September 15-17, 1999.

55. Cherif, A. Improving the Efficiency of Replication for Highly Reliable Systems/ A. Cherif, M. Toyoshima, T. Katayama; FastAbstract ISSRE Copyright 1999.

56. Choi, J.G. Reliability Estimation of nuclear digital I&C systems using Software Functional Block Diagram and control flow / J.G. Choi, H.G.Kang; FastAbstract „ ISSRE Copyright 2000.

57. Costa, D. On the Extention of Exception to Support Software Faults Models / D. Costa, T. Mendez; FastAbstract ISSRE Copyright 2000.

58. David, Ph. Development of a fault tolerant computer system for the Hermes Space Shuttle /Ph. David, C. Guidal. IEEE Trans., 1993. - P. 641-648.

59. Dunham, J.R. Eds. Production of reliable flight crucial software: Validation method research for fault-tolerant avionics and control systems sub-working-group meeting / J.R. Dunham, C.J. Knight.- NASA Conf. Pub. 2222, NASA, 1985.

60. Grams T. The Poverty of Reliabiliy Growth Models/ FastAbstract ISSRE Copyright 1999.

61. Goseva-Popova К. How Different Architecture Based Software Reliability Models are Reealated / K. Goseva-Popova, K.S. Trivedi, A.P.Mathur; FastAbstract ISSRE Copyright 2000.

62. Hamlet, D. Foundational Theory of Software Component Reliability / D. Hamlet, D. Mason, D. Wiot; FastAbstract ISSRE Copyright 2000.

63. Hecht, H. Fault tolerant software / IEEE Trans. Reliability, Vol. R-28, 1979. P. 227-232.

64. Hui-Qun, Z. A New Method for Estimating the Reliability of Software System Based on Components / Z. Hui-Qun, S. Jing, G. Yuan; FastAbstract ISSRE and Chillarege Corp. Copyright 2001.

65. Hudak, J. Evaluation & comparition of fault-tolerant software techniques / J. Hudak, B.-H. Suh, D. Sieweorek, Z. Segall. FastAbstract ISSRE and Chillarege Corp. Copyright 2001.

66. Karunanithi, N. Prediction of Software Reliability Using Connectionist / N. Karunanithi, D.Whitley, Y.K.Malaiya; IEEE transactions on reliability. Models. July 1992, Vol. 18, No. 7.

67. Kaszycki,. G. Using Process Metrics to Enhance Software Fault Prediction Models/FastAbstract ISSRE Copyright 1999.

68. Keene, S. Progressive Software Reliability Modeling/ FastAbstract ISSRE Copyright 1999.

69. Knight, C.J. An experimental evaluation of the assumption of independence in Multiversion programming / C.J. Knight, N.G. Levenson. IEEE Trans. Software Engineering, Vol. SE-12, 1986. - Pp. 96-109.

70. Kovalev, I.V. An Approach for the Reliability Optimization of N-Version Software under Resource and Cost/Timing Constraints /16th International Computer Measurement Group Conference, Nashville, TN, USA, December 913, 1991.

71. Kovalev, I. Computer-Aided Modelling of Production Cycles Optimal Sequence in: Letunovsky V.V.(Editor-in-chief): Problems of products quality assurance in machine-building: Proceedings of Int. Conf. KSTU / Krasnoyarsk, 1994. Pp. 43-48.

72. Kovalev, I. Optimization Reliability Model for Telecommunications Software Systems / I. Kovalev , A. Privalov, Ju. Shipovalov. In: Modelling, Measurement and Control. - AMSE Periodicals, Vol.4-5, 2000. - Pp. 47-52.

73. Kovalev, I. Software engineering of spacecraft control technological cycles / In: "Modelling, Measurement and Control, B". Vol.56, №3. -AMSE PRESS, 1994.-Pp. 45-49.

74. Kovalev, I.V. Fault-tolerant software architecture creation model based on reliability evaluation / I.V. Kovalev, R.V.Younoussov; Advanced in Modeling & Analysis, Vol. 48, № 3-4. Journal of AMSE Periodicals, 2002.- Pp.31-43.

75. Levendel, Y. Reliability analysis of large software systems: Defect data modeling / IEEE Trans. Software Engineering, 1990. Vol. 16. - Pp. 141-152.

76. Liestman, A. Fault-Tolerant Scheduling Problem / A. Liestman, R.-H. Campbell. IEEE Trans, on Software Engineering, 1986. - Vol. SE-12. - Pp. 1089-1095.

77. Lyu, M.R. Handbook of Software Reliability Engineering / Edited by Michael R. Lyu. Published by IEEE Computer Society Press and McGraw-Hill Book Company, 1996, 819 p.

78. Lyu, M.R. Software Fault Tolerance / Edited by Michael R. Lyu. Published by John Wiley & Sons Ltd, 1996.

79. McFarlan, F.W. Portfolio approach to information systems / Harvard Business Rev. 59.-Pp. 142-150.

80. Muralidhar, K. Using the analytic hierarchy process for information system project selection / K. Muralidhar, R. Santhanam, R. Wilson. Information Mgmt 18, 1990.-Pp. 87-95.

81. Oracle Education. Introduction to Oracle: SQL & PL/SQL , Volume 1: Students Guide, Production 1.1. 2000.

82. Pai, G.J. Enhancing Software Reliability Estimation Using Bayaesan Network and Fault Trees / G.J. Pai, J.B. Dugan; FastAbstract ISSRE and Chillarege Corp. Copyright 2001.

83. Silayeva, Т. K.-E. An Innovative Method for Program Reliability Evaluation / T. Silayeva, K.-E. Grosspietsch. Euromicro '95. Como (Italy), September 1995.

84. Tai, A. Performability Enhancement of Fault-Tolerant Software / A. Tai, J. Meyer, A. Avizienis. IEEE Trans, on Reliability, 1993. - Vol. 42, No. 2 . -Pp. 227-237.

85. Wattanapongsakorn, N. Reliability Optimization for Software Systems with Multiple Applications./ FastAbstract ISSRE and Chillarege Corp. Copyright 2001.