Многоатрибутивное формирование гарантоспособных структур информационно-управляющих систем тема диссертации и автореферата по ВАК РФ 05.13.01, кандидат технических наук Слободин, Михаил Юрьевич

• Слободин, Михаил Юрьевич
• кандидат технических наук
• 2004

Оглавление диссертации кандидат технических наук Слободин, Михаил Юрьевич

Введение

1. Гарантоспособное аппаратно-программное обеспечение информационно-управляющих систем

1.1. Корпоративные информационно-управляющий системы

1.1.1. Анализ подходов

1.1.2. Многокомпонентная технология разработки

1.2. Проблемы надежностного формирования структур ИУС

1.3. Проектирование гарантоспособных компонент ИУС

1.4. Гарантоспособность кластерных структур ИУС

1.4.1. Способы повышения надежности ИУС

1.4.2. Избыточность при построении кластерной ИУС

1.4.3. Структура кластерной системы

1.4.4. Постановка задачи развития кластерной структуры ИУС Выводы по 1 разделу

2. Многоатрибутивный выбор степени избыточности гарантоспособных структур ИУС

2.1. Анализ осуществимости задач для структурно-избыточной ИУС

2.2. Метод модельного прототипа для определения объема вводимой структурной избыточности

2.2.1. Метод модельного прототипа

2.2.2. Ожидаемый доход при полной информации

2.2.3. Максимизация чистой стоимости при разработке прототипа

2.2.4. Формализация процедуры определения матожидания дохода от полной информации

2.2.5. Формализация процедуры определения матожидания дохода от неполной информации

2.2.6. Особенности применения метода при экспресс-анализе Выводы по 2 разделу

3. MADM-алгоритмы формирования гарантоспособных структур ИУС

3.1. Fuzzy-метод решения задачи многоцелевой оптимизации

3.1.1. Метод последовательного многоцелевого принятия решений MODM-задачи

3.1.2. Алгоритм нахождения недоминируемого решения MODM-задачи

3.2. MADM-метод учета неопределенности и субъективности оценок при выборе недоминируемого решения

3.2.1. Метод выбора недоминируемого решения из ряда недоминируемых альтернатив

3.2.2. Алгоритм выбора недоминируемого решения, основанный на субъективных предпочтениях ЛПР

3.3 Метод упорядоченного предпочтения через сходство с идеальным решением

3.3.1. Алгоритм работы метода упорядоченного предпочтения через сходство с идеальным решением

3.3.2. Метод упорядоченного предпочтения через сходство с идеальным решением для MODM-задач

3.3.2. Метод упорядоченного предпочтения через сходство с идеальным решением для MODM-задач

3.3.4. Модификация процедуры TOPSIS

Выводы по 3 разделу

4. Компьютерная поддержка многоатрибутивного формирования гарантоспособных структур ИУС

4.1. Структура системы

4.2. Требования к программному и аппаратному обеспечению

4.3. Имитационное моделирование в среде GPSS World Student Version

4.4. Алгоритм работы с программным комплексом

4.5. Анализ результатов при использовании системы компьютерной поддержки в реальных проектах гарантоспособных ИУС

4.6. Примеры решения задач и анализ результатов

Введение диссертации (часть автореферата) на тему «Многоатрибутивное формирование гарантоспособных структур информационно-управляющих систем»

Актуальность работы характеризуется тем, что средства разработки современных информационно-управляющих систем (ИУС) стоят на пороге появления «конструкторов» готовых систем, состоящих из наборов компонент от различных производителей. Компонентная архитектура ИУС стала возможной благодаря поддержке ведущими производителями программного обеспечения общих стандартов на проектирование, разработку и технологию компонентной "сборки" информационно-управляющих систем, реализуемых на различных программно-аппаратных платформах.

Для реализации указанных «конструкторов» существенным фактором является компьютерная поддержка методов выбора и принятия решений по формированию наборов аппаратно-программных компонент систем, обеспечивающих необходимое качество управления в ИУС и надежность обработки информации. Эффективное формирование осуществляется с использованием методов многоатрибутивной поддержки принятия решений (МАДМ-методов). Используя МАДМ-методы и базируясь, например, на компонентно-ориентированной структуре ИУС можно существенно модернизировать этап «сборки» системы. Конкретизируя содержание этого этапа, следует отметить, что оно отражает тот факт, что в современных условиях новая разработка должна основываться на повторном использовании существующих программных компонент. Компонентно-ориентированная модель является развитием спиральной модели Б.У. Боэма и основывается на эволюционной стратегии конструирования информационно-управляющих систем, что делает возможным для проектировщика явно учитывать риск на каждом витке эволюции при разработке структуры ИУС. Это существенно повышает эффективность итерационных МАДМ-процедур при компонентной разработке структуры системы.

Параметры ИУС в ряде случаев могут быть известны лишь приближенно, с некоторым распределением вероятностей их значении или q некоторой степенью принадлежности значений параметров заданным интервалам, что приводит к неоднозначности определения оптимального варианта структуры системы. В зависимости от степени информированности и типа неопределенности на этапе формирования структуры, а также от целей и величины допустимого риска при выборе варианта возможны различные постановки задач многоатрибутивного формирования гарантоспособных структур ИУС. Таким образом, МАДМ-постановки расширяют возможности максиминных задач математического программирования (в случае желания обеспечить максимальный гарантированный результат), задач стохастического программирования и задач, формулируемым на нечетких множествах.

Отметим, что для учета динамики функционирования ИУС на этапе формирования ее структуры необходимо совместное использование оптимизационных и имитационных моделей, так как для формализации динамики функционирования системы для большей части практических задач могут быть использованы лишь методы имитационного моделирования.

При этом МАДМ-методология позволяет решать возникающие проблемы рационального сочетания различных моделей для получения оптимальных (рациональных) вариантов структуры системы. Реализация МАДМ-методов приводит к специфическим итеративным процедурам поиска рациональных вариантов гарантоспособной структуры системы с использованием оптимизационных и имитационных моделей, позволяющих в процессе синтеза конструировать, оценивать и отбирать рациональные варианты структуры. С математической точки зрения, рассматриваемые задачи относятся к классу задач математического программирования, в которых ряд ограничений (а в ряде случаев и целевая функция) заданы не в явном виде (в виде аналитических выражений), а алгоритмически с помощью имитационных моделей.

Целью настоящей работы является разработка модельного и программно-алгоритмического обеспечения методов многоатрибутивного выбора и принятия решений при интерактивном формировании гарантоспособных структур информационно-управляющих систем.

Поставленная цель определила следующие основные задачи исследований: анализ исходной проблемы; декомпозиция ее с целью разделения динамических и стохастических характеристик, учитываемых в моделях; выделение и изучение связей между стохастическими и динамическими характеристиками; построение оптимизационных моделей и соответствующих моделей имитации, разработки формализованных процедур анализа матожидания дохода от информации при построении имитационных блоков прототипов; оценка качества полученных вариантов построения структуры ИУС с использованием МАДМ-методов.

Методы исследования. Системный анализ и методы теории оптимизации. Методы теории вероятностей и имитационного моделирования. Теория множеств, комбинаторика и теория графов.

Научная новизна работы:

1. Разработана многоатрибутивная процедура определения дохода от информации, в результате реализации которой определяется объем вводимой структурной избыточности ИУС и обеспечивается наилучшее соотношение между затратами на применение модельного блока прототипов и доходами от результатов этого применения и полученной при этом информации.

2. Модифицирован алгоритм многоатрибутивного метода упорядоченного предпочтения для получения недоминируемого решения при работе на бесконечном множестве альтернатив.

3. Предложены и обоснованы комбинированные (оптимизационно-имитационные) алгоритмы решения задач многоатрибутивного формирования гарантоспособных кластерных структур информационно-управляющих систем.

4. Разработан и программно реализован алгоритм формирования плана развития кластерной структуры ИУС, являющийся развитием многоатрибутивных методов принятия решений, которые до настоящего времени в практике инженерного проектирования отказоустойчивых систем управления не применялись.

5. Предложена структура системы компьютерной поддержки многоатрибутивного формирования гарантоспособных структур информационно-управляющих систем, включая структуру базы данных программного комплекса, реализующего функции модельного прототипа.

6. Формальный аппарат многоатрибутивных методов формирования гарантоспособных структур информационно-управляющих систем реализован в виде интерактивной системы компьютерной поддержки с использованием современных программно-информационных сред и подходов.

Значение для теории. Результаты, полученные при выполнении диссертационной работы, создают теоретическую основу для разработки многоатрибутивных методов и алгоритмов, направленных на эффективное формирование гарантоспособных структур отказоустойчивых систем управления и обработки информации.

Практическая ценность. Разработан формальный аппарат, обеспечивающий компьютерную поддержку методов многоатрибутивного формирования гарантоспособных структур информационно-управляющих систем, критичных по надежности. Модельное и программно-алгоритмическое обеспечение средств компьютерной поддержки позволяет в интерактивном режиме специалисту проблемной области эффективно решать задачи многоатрибутивного выбора и принятия решений по составу системных и прикладных компонентов структуры ИУС, структур подсистем обработки и хранения данных с учетом способов взаимодействия этих компонентов, обеспечивающих гарантоспособность выполнения информационно-алгоритмических задач в системах управления.

Достоверность полученных результатов подтверждается корректным использованием методологии многоатрибутивного принятия решений и теоретических методованализа и синтеза структур сложных систем при обосновании полученных результатов, выводов, рекомендаций и успешной апробацией и демонстрацией возможностей разработанной системы компьютерной поддержки многоатрибутивного формирования гарантоспособных структур информационно-управляющих систем.

Реализация результатов работы.

Диссертационная работа выполнялась по проектам межотраслевых программ Минобразования России и Минатома России по направлению «Научно-инновационное сотрудничество» (проект VII-12), а также в рамках тематического плана НИР НИИ СУВПТ (2001-2004 гг.), финансируемых из средств федерального бюджета.

В рамках договора между НИИ СУВПТ и ОАО «Алтайэнерго»' при непосредственном участии автора разработана система компьютерной поддержки многоатрибутивного формирования гарантоспособных структур информационно-управляющих комплексов для отказоустойчивых кластерных систем управления и обработки информации, применяемые в ОАО «Алтайэнерго». Надежностное проектирование ИУС позволяет решать новые задачи по качественной оценке вводимой структурной избыточности компонент и быстрому восстановлению кластерной структуры ИУС.

Материалы диссертационной работы введены в учебные курсы и используются при чтении лекций для студентов Сибирского государственного аэрокосмического университета.

Основные тезисы, выносимые на защиту.

1. Разработанная многоатрибутивная процедура определения дохода от информации, позволяющая определять объем вводимой структурной избыточности ИУС, обеспечивает наилучшее соотношение между затратами на применение модельного блока прототипов и доходами от результатов этого применения и полученной при этом информации.

2. Модифицированный метод упорядоченного предпочтения через сходство с идеальным решением (TOPSIS) позволяет решать задачу многоатрибутивного формирования структур ИУС при бесконечном числе альтернатив, обеспечивая получение недоминируемого решения, что важно для процедуры выбора варианта с участием ЛПР.

3. Разработка и реализация имитационной среды модельного блока прототипов позволяет проводить оптимизацию и анализ вариантов гарантоспособного исполнения кластерной структуры ИУС при произвольном числе этапов развития системы.

4. Для функциональных задач ИУС, требующих гарантоспособности вычислений, введена и обоснована функция осуществимости задач на уровне кластера со структурной избыточностью, на основе которой реализованы процедуры инженерного экспресс-анализа осуществимости решения задач на структурах с произвольным числом компонент.

5. Предложенный формальный аппарат многоатрибутивного формирования гарантоспособных структур ИУС, реализованный в виде системы компьютерной поддержки, применим для автоматизации этапов анализа и синтеза критичных по надежности структур сложных систем управления и обработки информации различных классов.

Апробация работы. Основные положения и результаты работы прошли всестороннюю апробацию на Всероссийских и международных конференциях, научных семинарах и научно-практических конференциях. В том числе, на Всероссийских научно-технических конференциях студентов, аспирантов и молодых ученых «Молодежь Сибири - науке России» (Красноярск, 2003/2004), на международной научно-практической конференции «Управление проектами» (Екатеринбург, 2003), на 9-й международной открытой научной конференции «Современные проблемы информатизации в технике и технологиях» (Воронеж, 2004), на международной конференции «Modeling and Simulation - MS'2004» (Lyon-Villeurbanne, Франция, 2004).

Заключение диссертации по теме «Системный анализ, управление и обработка информации (по отраслям)», Слободин, Михаил Юрьевич

ЗАКЛЮЧЕНИЕ

Изложенные материалы показывают, что цель диссертации достигнута и поставленные задачи решены полностью. Решение проблемы, поставленной в диссертации, базируется на следующих основных результатах, имеющих самостоятельное научное и практическое значение:

1. Проведен анализ и формализация задач многоатрибутивного выбора при формировании гарантоспособных структур информационно-управляющих систем.

2. Предложена и обоснована концептуальная модель компьютерной системы, обеспечивающая избыточное формирование гарантоспособных кластерных структур ИУС, включая структуру базы данных программного комплекса, реализующего функции модельного прототипа.

3. Разработана многоатрибутивная процедура определения дохода от информации, включающая модели и алгоритмы оценки эффективности применения гарантоспособных компонент ИУС, которая а) определяет объем вводимой структурной избыточности ИУС; б) обеспечивает наилучшее соотношение между затратами на применение модельного блока прототипов и доходами от результатов этого применения и полученной при этом информации.

4. С помощью модифицированного метода упорядоченного предпочтения через сходство с идеальным решением (TOPSIS) решены задачи многоатрибутивного формирования структур ИУС при бесконечном числе альтернатив, обеспечивающие получение недоминируемых решений, что повышает эффективность процедуры выбора варианта с участием ЛПР.

5. Разработаны и использованы в практике инженерного проектирования отказоустойчивых систем управления комбинированные алгоритмы решения задач многоатрибутивного формирования и управления планом развития гарантоспособных кластерных структур информационно-управляющих систем.

6. Формальный аппарат многоатрибутивных методов формирования гарантоспособных структур информационно-управляющих систем реализован в виде интерактивной системы компьютерной поддержки с использованием современных программно-информационных сред и подходов.

7. Проведен анализ реальных, критичных по надежности, функциональных задач автоматизированных ИУС и программно-информационных технологий их поддержки для ОАО «Алтайэнерго», жизненного цикла и проблем проектирования гарантоспособных управляющих структур.

Результаты выполнения реальных проектов подтвердили эффективность и универсальность разработанной компьютерной системы модельно-алгоритмической поддержки многоатрибутивного формирования гарантоспособных структур информационно-управляющих систем.

Список литературы диссертационного исследования кандидат технических наук Слободин, Михаил Юрьевич, 2004 год

1. Александров А. Обеспечение устойчивости функционирования корпоративных сетей// Компьютерра, № 14, 1998, С.6-11.

2. Бондаренко В. Устойчивость на все сто //http://www.muk.com.ua/lcentre/MUK Classics ofdistribution.htm

3. Богатырев, В.А. К повышению надежности вычисли тельных систем на основе динамического распределения функций / Изв. вузов. Приборостроение. 1981

4. Богатырев, В.А. Отказоустойчивые многомашинные вычислительные системы динамического распределения запросов при дублировании функциональных ресурсов / Изв. вузов. Приборостроение. 1996. № 4

5. Боэм, Б. Характеристики качества программного обеспечения / Б. Боэм, Дж. Браун, X. Каспар, М. Липов, Г. Мак-Леод, М. Мерит. М.: Мир, 1981. -208 с.

6. Боэм, Б.У. Инженерное проектирование программного обеспечения / Пер. с англ. М.: Радио и связь, 1985. -512 с

7. Буч, Г. Объектно-ориентированный анализ и проектирование с примерами на С++. М.: БИНОМ, 1998. 560 с

8. Вахромеев К. Защита данных от катастроф// Открытые системы, №3, 2000. -С. 8-14

9. Галатенко В.А. Информационная безопасность// Открытые системы, №4, 1995.-С.З-10

10. Герасимов, Ю. Улётный интерфейс. http://www.usability.ru/toader/articles /flyoffui.htm

11. Гласс Р. Руководство по надежному программированию: Пер. с англ. М.: Финансы и статистика. 1982. 256 с.

12. Джиоева, Н.Н. Управление развитием кластерной инфраструктуры корпорации/ Н.Н. Джиоева, И.В. Ковалев, С.В. Савин// Информатика ипроблемы телекоммуникаций: Сб. научн. трудов по материалам Международной НТК, Новосибирск: СибГУТИ, Том 2, 2003.- С. 23-27.

13. Дилон, Б. Инженерные методы обеспечения надежности систем / Б. Дилон, И. Сингх. -М.: Мир, 1984. 318 с

14. Дубова, Н.А. Управление распределённой средой корпорации / Н.А. Дубова // Открытые системы. 1999. - № 11-12. - С. 53-57.

15. Елагин, В, Кластеры против катастроф / В. Елагин // Открытые системы. -2002.-№6.-С. 29-36.

16. Задорожный, В. Надёжная система из ненадёжных элементов / В. Задорожный, И. Малиновская // Открытые системы. 2000 № 12. - С. 15-18.

17. Иванов, П. Управление информационными системами: базовые концепции и тенденции развития / П. Иванов // Открытые системы. 1999. -№4.-С. 37-42.

18. Климов А.А. Проектное управление// Экономист, № 9, 1998. С. 32-35

19. Ковалев В.В. Методы оценки инвестиционных проектов. М.: Финансы и статистика, 2000. - 218 с.

20. Ковалев, И.В. Мультиверсионный метод повышения программной надежности информационно-телекоммуникационных технологий в корпоративных структурах / И.В.Ковалев, Р.В. Юнусов; Телекоммуникации и информатизация образования. 2003. №2, С. 50-55

21. Ковалев И.В., Царев Р.Ю., Слободин М.Ю., Усольцев А.А. Программная система «MultiForm vl.0» (Система многоатрибутивного формирования мультиверсионных программных средств).- М.: ВНТИЦ, 2004.-№50200400275.

22. Ковалев И.В., Царев Р.Ю., Золотарев К.В., Слободин М.Ю. Программная система «Cluster Analyzer vl.0» (Система поддержки принятия решений при проектировании кластерной инфраструктуры).- М.: ВНТИЦ, 2004.-№50200400611.

23. Коганов А.В., Романюк С.Г. Экономический подход к понятию надежности программы// Открытые системы, №3, 1995. С. 3-11

24. Козленко Л. Проектирование информационных систем// КомпьютерПресс №9,2001. С. 12-24

25. Коржов, В. Адекватные системы / В. Коржов // Открытые системы. -2001. -№ 12.-С. 14-18.

26. Краткое практическое руководство разработчика информационных систем на базе СУБД Oracle: Библиотечка журнала «Информационные технологии» М.: изд-во Машиностроение, 2000. - 120 с.

27. Крюков В.А. Распределенные ОС// http://spb.parallel.ru/ krukov/index.html

28. Кузнецов С. Информационная система: как ее сделать?// Computerworld, №01, 1996.-С.8-11

29. Кузнецов С.Д. Проектирование и разработка корпоративных информационных системII http://citforum.ru/cfin/prcorpsvs/infsistpr 03.shtml

30. Липаев, В.В. Надёжность программных средств /СИНТЕГ. М., 1998. -232 с.

31. Липаев, В.В. Проектирование программных средств / В.В. Липаев. -Москва: Высшая школа. 1990. - 190 с.

32. Майерс Г. Надёжность программного обеспечения /Мир. М., 1980. - 360 с.

33. Мамиконов, А.Г. Типизация разработки модульных систем обработки данных / А.Г. Мамиконов, В.В. Кульба, С.А. Косяченко. М.: Наука, 1989. -165 с.

34. Мамиконов, А.Г. Синтез оптимальных модульных систем обработки данных / А.Г. Мамиконов, В.В. Кульба. М.: Наука, 1986

35. Методика проектирования и эксплуатации информационных систем //http://www.profi-club.kiev.ua/management/admin.htm

36. Михалевич B.C., Волкович В.Л. Вычислительные методы исследования и проектирования сложных систем. М: Наука, 1982 , - 288 с.

37. Мурадян А. ТСО изнутри// Компьютерра, №10, 1998. С. 9-18

38. Муродян А. Надежная основа финансов// Компьютерра, №19, 1998. С. 24-29

39. Мышенков К., Васильев А., Трофимов А. Методы и средства обеспечения надежности автоматизированных информационных систем //http://www.aiskhp.ru/

40. Надежность восстанавливаемых объектов// http://www.dstu.edu.ru/ntb/ebooks/ebookl/pages/ch06.html

41. Пароджанов С.Д. Методология создания информационных систем// http ://www. citforum.ru/database/kbd96/43. shtml

42. Повышение надежности информационной структуры предприятия с помощью кластеризации //http://www.citforum.ru/database/kbdl87/15.html

43. Проблемы надёжности систем управления и развития разветвлённого холдинга//http://mujweb.cz/www/intelpart/rtng/r-direct.htm

44. Разработка и проектирование информационных систем// http://itsoft.ni/docs/web/c 15.html

45. Раинкшкс, К. Оценка надежности систем с использованием графов / К. Раинкшкс, И.А. Ушаков. М.: Радио и связь, 1988

46. Рыжкин А.А., Слюсарь Б.Н., Шучев К.Г. Основы теории надежности: Учеб. пособие. Ростов н/Д: Издательский центр ДГТУ. 2002. - 182 с.

47. Савин, С.В. Анализ методов управления развитием корпоративных информационных технологий/С.В. Савин// Вестник НИИ СУВПТ: Сб. научн. трудов/ Под общ. ред. проф. Н.В. Василенко; Красноярск: НИИ СУВПТ.2003.- Вып. 11.- С. 118-128.

48. Савин, С.В. Аспекты аналитического управления информационной инфраструктурой корпорации/С.В. Савин// Сборник материалов всероссийской научно-практической конференции «Экономика и управление в современных условиях».- Красноярск: СИБУП, 2002. С. 75-76.

49. Саркисян, А.А. Повышение качества программ на основе автоматизированных методов / М.: Радио и связь, 1991. — 160 с.

50. Системный анализ: Проектирование, оптимизация и приложения / В 2 т., под общ. Ред. Антамошкина А.Н. Красноярск: САА, 1996. - 206 с

51. Семёнкин, Е.С. Поисковые методы синтеза систем управления космическими аппаратами / Е.С. Семёнкин, О.Э. Семёнкина, С.П. Коробейников. Красноярск: СИБУП, - 1996. - 325 с.

52. Слободин, М.Ю. Анализ задач стоимостной оптимизации иерархических структур/ М.Ю. Слободин, И.М. Голубев// Вестник НИИ СУВПТ: Сб. науч. трудов/ Под общей ред. профессора Н.В. Василенко.- Вып. 13.- Красноярск: НИИ СУВПТ, 2003. С. 140-147.

53. Слободин, М.Ю. Компьютерная поддержка многоатрибутивных методов выбора и принятия решения при проектировании корпоративных информационно-управляющих систем/ М.Ю. Слободин, Р.Ю. Царев.- СПб.: Инфо-Да, 2004.- 221 с.

54. Татаренко А. Пример расчета рентабельности проекта автоматизации предприятия (ТЭО) за счет внедрения пакета бизнес приложений Oracle Applications R11 // www.oracle.ru

55. Тоценко В. Г., Александров А. В., Парамонов Н. Б. Корректность, устойчивость, точность программного обеспечения. К.: Наукова думка, 1990

56. Тоценко, В. Проблемы надежности сетей// Компьютерра, №14, 1998. С. 7-13

57. Устенко, А.С. Основы математического моделирования и алгоритмизации процессов функционирования сложных систем/ А.С. Устенко// http://ustenko.fromru.com/index.html

58. Феллер. В. Введение в теорию вероятностей и ее приложения М.: Мир, 1967, - 123 с.

59. Фокс, Дж. Программное обеспечение и его разработка / Пер. с англ. Под ред. Д.Б.Подшивалова. - М.: Мир, 1985. - 268 с

60. Хорошевский, В.Г. Инженерный анализ функционирования вычислительных машин и систем / М.: Радио и связь, 1987. 256 с.

61. Цвиркун, А.Д. Основы синтеза структур сложных систем / А.Д. Цвиркун. Москва: Наука., 1982. - 324 с.

62. Ширяев Д., Аншелес В., Мочалин В. Выбор оптимальной информационной системы// Открытые системы, №10,2001. С.20-26

63. Ширяев Д., Аншелес В., Мочалин В. Сбор и обработка информации для принятия управленческих решений.// Открытые системы, № 4, 2001. С.17-18

64. Шнитман, В. Отказоустойчивые компьютеры компании Stratus. / В. Шнитман // Открытые системы. 1998. - № 1. - С. 12-19.

65. Antamoshkin, A. System Analysis, Design and Optimization / A. Antamoshkin, H.P. Schwefel, and others. Ofset Press, Krasnoyarsk, 1993. - 312P

66. Ashrafi, N. Optimization Models for Selection of Programs, Considering Cost & Reliability / N. Ashrafi, O. Berman;IEEE Transaction on reliability. Vol. 41, No 2, June 1992, P.281-287

67. Berman, O. Choosing an Optimal Set of Libraries / O. Berman, M. Cutler.; IEEE Transaction on reliability. Vol. 45, No 2, June 1996, P.303-307

68. Bruce Tognazzini, Максимум производительности. http://wvvw.usability.ru/toader/articles/maxuserperformance.htm

69. Costa, D. On the Extention of Exception to Support Software Faults Models / D. Costa, T. Mendez; FastAbstract ISSRE Copyright 2000

70. David, Ph. Development of a fault tolerant computer system for the Hermes Space Shuttle / Ph. David, C. Guidal. IEEE Trans., 1993. - P. 641-648

71. Dunham, J.R. Eds. Production of reliable flight crucial software: Validation method research for fault-tolerant avionics and control systems sub-working-group meeting / J.R. Dunham, C.J. Knight.- NASA Conf. Pub. 2222, NASA, 1985

72. Grams T. The Poverty of Reliabiliy Growth Models/ FastAbstract ISSRE Copyright 1999

73. Goseva-Popova K. How Different Architecture Based Software Reliability Models are Reealated / K. Goseva-Popova, K.S. Trivedi, A.P.Mathur; FastAbstract ISSRE Copyright 2000

74. Hamlet, D. Foundational Theory of Software Component Reliability / D. Hamlet, D. Mason, D. Wiot; FastAbstract ISSRE Copyright 2000

75. Hecht, H. Fault tolerant software / IEEE Trans. Reliability, Vol. R-28, 1979. -P. 227-232

76. Hui-Qun, Z. A New Method for Estimating the Reliability of Software System Based on Components / Z. Hui-Qun, S. Jing, G. Yuan; FastAbstract ISSRE and Chillarege Corp. Copyright 2001

77. Hudak, J. Evaluation & comparison of fault-tolerant software techniques / J. Hudak, B.-H. Suh, D. Sieweorek, Z. Segall

78. Karunanithi, N. Prediction of Software Reliability Using Connectionist / N. Karunanithi, D.Whitley, Y.K.Malaiya; IEEE transactions on reliability. Models July 1992, Vol.18, No. 7

79. Kaszycki,. G. Using Process Metrics to Enhance Software Fault Prediction Models/ FastAbstract ISSRE Copyright 1999

80. Keene, S. Progressive Software Reliability Modeling/ FastAbstract ISSRE Copyright 1999

81. Knight, C.J. An experimental evaluation of the assumption of independence in Multiversion programming / C.J. Knight, N.G. Levenson. IEEE Trans. Software Engineering, Vol. SE-12,1986. - P. 96-109

82. Kovalev, I.V. An Approach for the Reliability Optimization of N-Version Software under Resource and Cost/Timing Constraints /16th International Computer Measurement Group Conference, Nashville, TN, USA, December 9-13, 1991

83. Kovalev, I. Computer-Aided Modelling of Production Cycles Optimal Sequence in: Letunovsky V.V.(Editor-in-chief): Problems of products quality assurance in machine-building: Proceedings of Int. Conf. KSTU / Krasnoyarsk, 1994.-P. 43-48

84. Kovalev, I. Optimization Reliability Model for Telecommunications Software Systems / I. Kovalev , A. Privalov, Ju. Shipovalov. In: Modelling, Measurement and Control. - AMSE Periodicals, Vol.4-5, 2000. - P. 47-52

85. Kovalev, I. Software engineering of spacecraft control technological cycles / In: "Modelling, Measurement and Control, B". Vol.56, №3. -AMSE PRESS, 1994.-P. 45-49

86. Kovalev, I.V. Fault-tolerant software architecture creation model based on reliability evaluation / I.V. Kovalev, R.V.Younoussov; Advanced in Modeling & Analysis, vol. 48, № 3-4. Journal of AMSE Periodicals,2002, P.31-43

87. Levendel, Y. Reliability analysis of large software systems: Defect data modeling / IEEE Trans. Software Engineering, 1990. Vol. 16. - P. 141-152

88. Liestman, A. Fault-Tolerant Scheduling Problem / A. Liestman, R.-H. Campbell. IEEE Trans, on Software Engineering, 1986. - Vol. SE-12. - P. 10891095

89. Lyu, M.R. Handbook of Software Reliability Engineering / Edited by Michael R. Lyu Published by IEEE Computer Society Press and McGraw-Hill Book Company, 1996, 819 p

90. Luara, Arlov. Как создать хороший интерфейс пользователя? http://www.usability.ru/toader/articles/lauraarlov.htm

91. Muralidhar, К. Using the analytic hierarchy process for information system project selection / K. Muralidhar, R. Santhanam, R. Wilson. Information Mgmt 18,1990.-P. 87-95

92. Oracle Education. Introduction to Oracle: SQL & PL/SQL , Volume 1: Students Guide, Production 1.1.2000

93. Oracle Education. Introduction to Oracle: SQL & PL/SQL , Volume 2: Students Guide, Production 1.1. 2000

94. Oracle University. Enterprise DBA Part 1: Performance and tunning . Volume 1: Students Guide, Production 1.0. 2000

95. Oracle University. Enterprise DBA Part 2: Performance and tunning . Volume 2: Students Guide, Production 1.0. 2000