Методы и модели оценки и снижения ущерба при потере доступности приложений в процессе эволюции автоматизированных систем тема диссертации и автореферата по ВАК РФ 05.13.19, кандидат технических наук Генин, Михаил Геннадьевич

• Генин, Михаил Геннадьевич
• кандидат технических наук
• 2013

Оглавление диссертации кандидат технических наук Генин, Михаил Геннадьевич

ОГЛАВЛЕНИЕ

Введение

Глава 1 Анализ предметной области исследования

1.1 Понятие риска потери доступности информационных систем

1.2 Доступность в методологии ІТІЬ

1.2.1 Модели доступности и их взаимодействие

1.2.2 Простая модель доступности услуги (ББАМ)

1.2.3 Модель качества услуги

1.2.4 Модель восстановления услуги

1.2.5 Взаимосвязь моделей доступности

1.2.6 Подходы к оценке риска потери доступности

1.2.7 Оценка риска потери доступности для рассмотренных моделей

1.2.8 Снижение риска потери доступности

1.3 Другие стандарты управления рисками потери доступности

1.4 Контроль за проведением изменений в ІТІЬ

1.5 Постановка задачи

Глава 2 Метод расчета возможного ущерба для выявленных негативных событий на основе модели дерева ущербов

2.1 Построение модели взаимодействия приложений

2.2 Создание списка возможных уязвимостей

2.3 Понятие риска потери доступности

2.4 Построение дерева ущербов для /-го события

2.5 Свертка дерева ущерба для /-го события. Ожидаемое значение ущерба

2.6 Градации ущербов и вероятностей

2.7 Ущерб и продолжительность потери доступности

2.8 Расчет возможных ущербов для некоторых последствий негативных событий

2.8.1 Временная потеря доступности приложения с последующим её восстановлением

2.8.2 Задержки с оплатой налогов, сборов, бюджетных платежей

2.8.3 Несвоевременное предоставление банковской отчетности

2.8.4 Перевод деятельности клиентов в другой банк

2.8.5 Задержки при обработке банком клиентских платежей

2.9 Выводы

Глава 3 Метод декомпозиции обновлений

3.1 Понятие элементарного обновления

3.2 Снижение риска сбоя системы при использовании стратегии элементарных обновлений

3.3 Ограничение во времени и его влияние на риск потери доступности при проведении обновления

3.4 Метод декомпозиции и резервирования

3.4.1 Резервирование и области его использования

3.4.2 Применение метода декомпозиции

3.5 Выводы

Глава 4 Настройка и исследование эффективности предложенных моделей и методов

4.1 Пример 1: добавление функционала для обработки рублевых платежей нового формата

4.2 Пример 2: замена криптосистемы

4.3 Пример 3: замена платформы веб-сервера

4.4 Выводы

Заключение

Список литературы

Список сокращений

IT information technology

ITIL IT infrastructure library

ITSM IT service management

SLA service level agreement

BCP business continuity plan

СОВГГ control objectives for information and related technology

ISO international standard organization

SCM service capacity management

SAM service availability management

ITSCM IT service continuity management

BRA business requirement analysis

BIA business impact analysis

CFIA component failure impact analysis

S SAM simple service availability model

SQM service quality model

S RM service resilience model

MTTF mean time to failure

MTTR mean time to repair

CMM capability maturity models

KGI key goal indicator

KPI key performance indicator

RBD reliability block diagram

CAB change advisory board

ECAB emergency CAB

RFC request for changes

RTO recovery time objective

URL unified resource location

no программное обеспечение

ИТ информационные технологии

ДБО дистанционное банковское обслуживание

дев дискретная случайная величина

СУБД система управления базами данных

БД база данных

ЦБ Центральный банк Российской Федерации

ДЧ динамическия часть

сч статическая часть

АМ административный модуль

РЕГ модуль регистрации

РП модуль рублевых платежей

ВП модуль валютных платежей

ПС модуль обмена почтовыми сообщениями

ОДБ модуль обмена данными с БД

ОВП модуль обмена с внешними подсистемами

Введение диссертации (часть автореферата) на тему «Методы и модели оценки и снижения ущерба при потере доступности приложений в процессе эволюции автоматизированных систем»

ВВЕДЕНИЕ

Актуальность темы. Защите информационных систем от разного рода внешних и внутренних угроз посвящено огромное количество работ в области защиты информации. Предлагаются самые разнообразные методы защиты внешнего и внутреннего периметра, такие, как защищенные каналы передачи, криптографическая защита данных, межсетевые экраны, разграничение прав доступа, разного рода внутренние процедуры и контроль, ведение журналов процессов и т.д.

В большинстве случаев речь, как правило, идет о неких злонамеренных действиях, защиту от которых необходимо выстраивать. Однако это вовсе не означает, что в отсутствие опасности совершения такого рода действий нормальной работе систем ничто не угрожает. За рамками рассмотрения остаются риски, связанные с ошибками пользователей, которые сложно предотвратить средствами автоматизации. Такие ошибки могут вызывать большие задержки в процессе работы, что, в свою очередь, может негативно сказаться на имидже компании и привести к потерям. Но кроме этого, есть еще одна большая группа рисков, не связанных со злонамеренными действиями и с ошибками пользователей. Это риски, возникающие при обновлениях систем.

Вопросами управления обновлениями (или изменениями) информационных систем занимаются достаточно давно, им посвящено много публикаций. Одна из первых работ датируется 1980-м годом и опубликована фирмой IBM [1]. В ней впервые управление изменениями рассматривается не как изолированная задача, а как составная часть управления информационными системами. С тех пор эта область знаний сильно расширилась, были предложены различные подходы к управлению изменениями, однако этот основополагающий принцип в силе и по сегодняшний день. В настоящее время процесс управления изменениями обычно связывают с методологией ITIL (IT infrastructure library) [2]. Наряду с ITIL, существуют и другие методологии,

посвященные управлению изменениями в информационных системах, например, COBIT (Control Objectives for Information and related Technology) [3], Microsoft Operational Framework [4]. Позднее, в 2005-м году был разработан международный стандарт ISO/МЭК 20000 [5], который объединил все эти методологии в одну общую концепцию управления процессами в ИТ, в том числе и управления изменениями.

Тем не менее, несмотря на достаточно большое количество разрабошн-ных подходов и методик, все они являются в значительной степени организационными и носят формальный характер. В них предлагаются процедуры планирования, утверждения, реализации и контроля за выполнением изменений в системе, обсуждаются вопросы организации взаимодействия руководства, бизнес-подразделений и подразделений ИТ при выполнении тех или иных действий, распределяются роли и зоны ответственности сотрудников. Но все эти процедуры являются внешними по отношению собственно к процессу обновления и не дают ответа на вопрос, как нужно проводить обновление систем наиболее безопасным образом так, чтобы риск возникновения внештатных ситуаций при этом был минимальным.

При обновлении приложений риски потери доступности являются наиболее вероятными. В то же время, они являются наименее изученными. Это можно объяснить трудностью выявления и классификации таких рисков, а также сложностью привязки их как к конкретным приложениям, так и к процессам взаимодействия приложений в многопрограммной среде. Если для того или иного приложения процесс обновления может быть достаточно хорошо описан и протестирован компанией-разработчиком, то отладка информационной среды взаимодействия приложений разных производителей ложится на плечи пользователей.

В данной работе предпринята попытка рассмотреть этот вопрос изнутри, обсудить риски, связанные с обновлением систем, а также предложить некоторые способы снижения этих рисков. По мнению автора, задача разработки

методов и алгоритмов для снижения ущерба от потери доступности приложений в процессе их обновления является актуальной.

Объектом исследования являются автоматизированные системы в процессе проведения обновлений.

Предметом исследования являются риски потери доступности, возникающие в результате проведения обновления приложений автоматизированных систем.

Цель диссертационной работы - разработка общей методики, моделей и методов оценки и снижения ущерба, связанных с потерей доступности приложений в процессе эволюции автоматизированных систем.

Задачи исследования. Для достижения указанной цели необходимо решить следующие задачи:

1. разработка модели уязвимостей приложений при проведении запланированных изменений;

2. разработка метода расчета возможного ущерба для каждого из выявленных негативных событий на основе модели дерева ущербов;

3. разработка метода декомпозиции обновлений для снижения общего рассчитанного ущерба для всех выявленных негативных событий;

4. разработка программного обеспечения, выполняющего расчет ожидаемых и максимальных ущербов при проведении обновления;

5. настройка и исследование эффективности предложенных моделей и методов на примере системы дистанционного банковского обслуживания (ДБО).

Методы исследования основаны на использовании теории вероятности, математической статистики, математического моделирования. В работе ши-

роко применяется компьютерное моделирование, в том числе с использованием самостоятельно разработанного программного обеспечения (ПО).

Информационной базой исследования являются отечественные и зарубежные литературные источники: методические рекомендации, монографии, публикации в отраслевых периодических журналах, материалы крупных исследовательских и методических центров. Также использованы материалы, размещенные в сети Интернет.

Научная новизна работы.

1. Разработана модель уязвимостей приложений при проведении запланированных изменений, учитывающая взаимосвязь приложений на основе анализа информационных процессов применительно к планируемому обновлению.

2. Разработан метод расчета возможного и максимального ущерба для каждого из выявленных негативных событий на основе модели дерева ущербов, позволяющий снизить риски потери доступности за счет применения приоритетного тестирования

3. Предложен метод декомпозиции обновлений, снижающий время восстановления системы при возникновении инцидентов потери доступности после обновлений.

Реализация и внедрение результатов исследования. Основные результаты исследований использованы на кафедре проектирования и безопасности компьютерных систем НЕГУ ИТМО при выполнении ряда научно-исследовательских работ и внедрении в образовательный процесс лабораторных работ по защите информационных процессов в компьютерных сетях.

Достоверность полученных результатов подтверждается полнотой и корректностью математического аппарата и теоретических обоснований, а

также и результатами экспериментов, проведенных с помощью разработанного в диссертации программного обеспечения.

Практическая значимость работы заключается в следующем:

1. разработанный метод расчета возможного и максимального ущерба для каждого из выявленных негативных событий позволяет применить стратегию тестирования с приоритетом по отношению к информационным процессам, порождающих максимальные риски потери доступности;

2. разработанное программное обеспечение позволяет рассчитать ожидаемые и максимальные ущербы для каждого из выявленных негативных событий, что дает возможность определить приоритетность тестирования;

3. предложенный метод декомпозиции установки обновлений позволяет повысить эффективность традиционных методов резервирования за счет разбиения обновления элементарные составляющие;

4. разработанные методы и модели позволяют настраивать предложенные подходы для различных типов автоматизированных систем.

Внедрение и реализация. Практические результаты работы были внедрены и использованы в НИУ ИТМО, что подтверждено соответствующими актами о внедрении.

Публикации по теме диссертации. По теме диссертации опубликовано шесть научных работ [6-11], из них две выполнено самостоятельно, четыре в соавторстве. Три статьи [6-8] опубликованы в рецензируемом научном журнале, определенном в перечне ВАК.

Апробация работы. Основные научные положения и практические результаты работы были представлены и обсуждены на следующих научно-технических конференциях:

1) VII всероссийской межвузовской конференции молодых ученых, 2010 г.;

2) XL научной и учебно-методической конференции, 2011 г.;

3) VIII всероссийской межвузовской конференции молодых ученых, 2011 г.;

4) IX всероссийской межвузовской конференции молодых ученых, 2012 г.;

5) XLI научной и учебно-методической конференции, 2012 г.;

6) VIII miedzynarodowej naukowi - praktycznej konferencji «Aktualne prob-lemy nowoczesnych nauk - 2012», 2012 г.;

7) XLII научной и учебно-методической конференции НИУ ИТМО, 2013 г.

Основные научные положения, выносимые на защиту:

1. модель уязвимостей приложений при проведении запланированных изменений, учитывающая взаимосвязь приложений на основе анализа информационных процессов применительно к планируемому обновлению;

2. метод расчета возможного и максимального ущерба для каждого из выявленных негативных событий на основе модели дерева ущербов, позволяющий снизить риски потери доступности за счет применения приоритетного тестирования;

3. метод декомпозиции обновлений, снижающий время восстановления системы при возникновении инцидентов потери доступности после обновлений.

Структура и объем диссертации. Диссертация состоит из введения, четырех глав, заключения, списка литературы. Материал изложен на 115 страницах компьютерного текста, иллюстрирован 20 рисунками и 30 таблицами.

В первой главе работы вводится понятие доступности, проводится анализ процесса эволюции автоматизированных систем и связанных с этим рисков потери доступности приложений, рассматриваются существующие и применяемые на сегодняшний день методики управления изменениями в автоматизированных системах, выявляются сильные и слабые стороны этих методик. На основе проведенного анализа делается вывод о недостаточности современных подходов к контролю над проведениями изменений в автоматизированных системах, формулируются цели и задачи диссертационной работы.

Во второй главе работы рассматривается процессная модель системы, на основе которой составляется список возможных уязвимостей при проведении обновления. На основе полученного списка уязвимостей выбирается первичная стратегия установки и тестирования обновления для снижения возможных ущербов от потери доступности системы. Затем вводится понятие риска потери доступности для негативного события, приводится алгоритм расчета величины возможного ущерба на основе построения дерева ущерба для данного негативного события. Рассчитав величину ущерба для каждого из выявленных негативных событий, можно определить приоритетность тестирования для процессов, порождающих события с максимальными возможными ущербами после проводимого обновления.

В третьей главе разработан метод декомпозиции обновлений для снижения возможного суммарного ущерба при проведении обновлений для случая, когда время тестирования всего комплексного обновления ограничено.

В четвертой главе проводится исследования эффективности предложенных моделей и методов на примере системы дистанционного банковского обслуживания (ДБО).

В заключении изложены основные итоги диссертационной работы и приводятся основные результаты, полученные в процессе ее выполнения.

Заключение диссертации по теме «Методы и системы защиты информации, информационная безопасность», Генин, Михаил Геннадьевич

4.4 Выводы

В четвертой главе тестировались разные варианты обновлений, затрагивающие различные информационные процессы системы ДБО. Было проведено три последовательных обновлений системы. Каждое из обновлений было подготовлено и устанавливалось в двух видах: без использования декомпозиции и с использованием декомпозиции. Ниже приведены сводные результаты оценки эффективности предложенной методики для всех трех проведенных обновлений.

В таблицу 28 сведены суммарные величины рассчитанного ожидаемого и максимального ущерба для всех выявленных негативных событий для каждого из примеров.

ЗАКЛЮЧЕНИЕ

В диссертационной работе было рассмотрено понятие доступности информационных систем при проведении обновлений, предложена методика т расчета возможного ущерба при потере доступности информационных ресурсов на основе построения деревьев ущербов для выявленных негативных событий и разработано ГЮ для расчета величин ущербов, предложен метод декомпозиции для снижения ущерба от потери доступности при проведении обновлений, исследована эффективность разработанной методики на примере тестовой системы ДБО.

В первой главе работы было введено понятие доступности, был выполнен обзор существующих на сегодняшний день подходов к оценке и управлению риском потери доступности информационных систем. Был проведен анализ процесса эволюции автоматизированных систем и связанных с этим рисков потери доступности приложений, рассматривались существующие и применяемые на сегодняшний день методики управления изменениями в автоматизированных системах, были выявлены сильные и слабые стороны этих методик. Было отмечено, что существующие методики управления доступностью информационных систем с трудом применимы к управлению рисками потерь доступности при проведении изменений. На основе проведенного анализа был сделан вывод о недостаточности современных подходов к управлению проведениями изменений в автоматизированных системах, были сформулированы цели и задачи диссертационной работы.

Во второй главе был рассмотрен метод прогнозирования и анализа ущербов при потере доступности приложений с помощью построения деревьев ущербов. Для выявления возможных уязвимостей при проведении обновления использовалась процессная модель взаимодействия приложений для данной системы. Затем проводилась оценка риска потери доступности на основе анализа возможных ущербов от каждого из выявленных возможных негативных событий. На основе полученных результатов предлагалась стратегия тестирования обновления, при которой приоритет отдается тестированию процессов с более высокими рисками. Для количественной оценки риска потери доступности был предложен метод построения дерева ущерба для каждого из выявленных негативных событий.

В третьей главе было введено понятие элементарного обновления, была рассмотрена страте! ия декомпозиции обновления на основе разбиения всего комплексного обновления на несколько элементарных. Проведен анализ вероятности сохранения доступности системы без использования стратегии элементарных обновлений и с использованием данной стратегии. Показано, что при использовании стратегии элементарных обновлений риск потери доступности системы снижается. Были рассмотрены возможности и ограничения резервирования при проведении обновлений, а также применение метода декомпозиции в комбинации с резервированием для снижения риска потери доступности.

Для исследования эффективности предложенной методики использовалась тестовая ИТ инфраструктура, на которой была установлена система дистанционного банковского обслуживания (ДБО). Предметом исследования было выявление и предотвращение в максимально короткие сроки возможных проблем, которые могут возникнуть в результате изменений компонентов данной информационной системы.

На основании полученных результатов диссертационной работы можно сделать вывод, что цель диссертации, сформулированная во введении, достигнута и поставленные задачи решены.

Основные научные и практические результаты диссертационной работы:

1. Разработана модель уязвимостей приложений при проведении запланированных изменений

2. Разработан метод расчета возможного и максимального ущерба для каждого из выявленных негативных событий на основе модели дерева ущербов, позволяющий снизить риски потери доступности за счет применения приоритетного тестирования

3. Разработан метод декомпозиции обновлений, снижающий время восстановления системы при возникновении инцидентов потери доступности после обновлений и позволяющий повысить эффективность традиционных методов резервирования за счет разбиения обновления на элементарные составляющие.

4. Разработано программное обеспечение, позволяющее рассчитать ожидаемые и максимальные ущербы для каждого из выявленных негативных событий, что дает возможность определить приоритетность тестирования.

5. Проведена настройка и выполнено исследование эффективности предложенных моделей и методов на примере системы дистанционного банковского обслуживания, критичной к потерям доступности.

Список литературы диссертационного исследования кандидат технических наук Генин, Михаил Геннадьевич, 2013 год

СПИСОК ЛИТЕРАТУРЫ

1. IBM (1980). A Management System for the Information Business. White Plains, New York: IBM.

2. Information Technology Infrastructure Library, ITIL official site [электронный ресурс], режим доступа http://www.itil-officialsite.org, свободный, язык доступа английский, дата обращения 06.05.2013

3. COBIT, ICASA, [электронный ресурс], режим доступа http://www.isaca.org/cobit, свободный, язык доступа английский, дата обращения 06.05.2013

4. Microsoft Operations Framework, Microsoft [электронный ресурс], режим доступа http://technet.microsoft.com/en-us/library/cc506049.aspx, свободный, язык доступа английский, дата обращения 06.05.2013

5. ISO/IEC 20000, ISO [электронный ресурс], режим доступа http://www.iso.org/iso/home/search.htm?qt=20000&sort=rel&type=simple&pu blished=on, свободный, язык доступа английский, дата обращения 06.05.2013

6. Арустамов С.А., Генин М.Г. Минимизация рисков потери доступности программного обеспечения после установки обновлений или изменения функциональности // Научно-технический вестник СПбГУ ИТМО. - 2011. - № 3 (73). - С. 111-116.

7. Арустамов С.А., Генин М.Г. Методы снижения рисков потерь доступности программного обеспечения критических информационных систем // Научно-технический вестник информационных технологий, механики и оптики. - 2012. - № 4 (80). - С. 131-136.

8. Арустамов С.А., Генин М.Г. Деревья ущербов как модель оценки рисков потерь доступности после проведения изменений в финансовых информа-

ционных системах // Научно-технический вестник информационных технологий, механики и оптики. -2013. -№ 2 (84). -С. 129-135.

9. Генин М.Г. Методика проведения обновлений, снижающая риски доступности информационных ресурсов. Информатика, моделирование, автоматизация проектирования // Сборник научных трудов под ред. Н.Н. Войта. - Ульяновск: УлГТУ, 2011. - С. 125-137.

Ю.Арустамов С.А., Гешш М.Г. Управление рисками потерн доступности программного обеспечения критических информационных систем // Materialy VIII miedzynarodowej naukowi - praktycznej konferencji «Aktualne problemy nowoczesnych nauk - 2012», - 2012. - C.89 - 99.

11.Генин M. Организация взаимодействия ИБС с внешними подсистемами // Банки и технологии 3'2000 - с. 16-20.

12. ITIL knowledge overview, ITIL.org [электронный ресурс], режим доступа http://www.itil.org/en/vomkennen/itil/index.php, свободный, язык доступа английский, дата обращения 06.05.2013

13.Hui Liu, Yue Lin, Peng Chen, Lufeng Jin, and Fan Ding. A Practical Availability Risk Assessment Framework in ITIL, 2010 Fifth IEEE International Symposium on Service Oriented System Engineering, - 2010. - pp.287-290.

14.M. C. Paulk, С. V. Weber, B. Curtis, and M. B. Chrissis. The capability maturity model: guidelines for improving the software process. Addison-Wesley Longman Publishing Co., Inc., 1995.

15. ZHAO Dong-mei, MA Jian-feng, WANG Yue-sheng, Model of fuzzy risk assessment of the information system, JOURNAL ON COMMUNICATIONS, 2007 28(4), pp. 51-57

16. Miroslaw Malek, Bratislav Milic and Nikola Milanovic, Analytical Availability Assessment of IT Services, ISAS 2008, LNCS 5017, pp.207-224, 2008.

17.Reliability Workbench & Availability Workbench, Isograph's flagship suite of Reliability Analysis software, [электронный ресурс], режим доступа

http://www.isographsoftware.com, свободный, язык доступа английский, дата обращения 06.05.2013

18.Moebius: Model-Based Environment for Validation of System Reliability, Availability, Security, and Performance [электронный ресурс], режим доступа http://www.mobius.uiuc.edu, свободный, язык доступа английский, дата обращения 06.05.2013

19.SIIARPE(Symbolic Hierarchical Automated Reliability and Performance Eval-uator), SPNP(Stochastic Petri Net Package), [электронный ресурс], режим доступа http://amod.ee.duke.edu, свободный, язык доступа английский, дата обращения 06.05.2013

20.IBM Tivoli Availability Process Manager, [электронный ресурс], режим доступа

http://www-01.ibm.com/software/tivoli/products/availability-process-mgr/, свободный, язык доступа английский, дата обращения 06.05.2013

21.HP OpenView, [электронный ресурс], режим доступа http://www.managementsoftware.hp.com. свободный, язык доступа английский, дата обращения 06.05.2013

22.AdventNet's manageengine, [электронный ресурс], режим доступа http://www.manageengine.com, свободный, язык доступа английский, дата обращения 06.05.2013

23.ISO/IEC 27000-series , [электронный ресурс], режим доступа

http://en.wikipedia.org/wiki/ISO/IEC 27000-Series, свободный, язык доступа английский, дата обращения 06.05.2013

24.Zambon Е, Bolzoni D, Etalle S, Salvato M, Model-Based Mitigation of Availability Risks, 2nd IEEE/IFIP International Workshop on Business-Driven IT Management, BDIM 2007. Page(s): 75 - 83

25.Models, Methods and Tools for Availability Assessment of IT-Services and Business Processes, Dr.-Ing. Nikola Milanovic, Habilitationsschrift an der

FakultÄat IV- Elektrotechnik und Informatik der Technischen UniversitÄat Berlin, 2010.

26.BS 7799-3:2006 information security management systems. Guidelines for information security risk management, BSI, [электронный ресурс], режим доступа http://shop.bsigroup.com/en/ProductDetail/?pid=000000000030125022, свободный, язык доступа английский, дата обращения 15.01.2013 27.Introduction to ISO 27005 (IS027005), ISO 27000 Directory [элек!ронный ресурс], режим доступа http://wwvv.27000.org/iso-27005.htm, свободный, язык доступа английский, дата обращения 15.01.2013 28.British Standards Institute. Business continuity management - Parti: Code of

practice. Technical Report 25999-1, BSI, 2006. 29.ISO. Information Technology - Security techniques - Guidelines for the management of IT security. Technical Report 13335, ISO/IEC, 2001. 30.ISO/IEC 17799:2005 Information Security - Code of Practice for Information 31.Security Management, 2000. [электронный ресурс], режим доступа

http://www.iso.org, свободный, язык доступа английский, дата обращения 06.05.2013

32.ISO/IEC 22301:2012 Societal security « Business continuity management systems — Requirements, 2012. [электронный ресурс], режим доступа http://www.iso.org, свободный, язык доступа английский, дата обращения 06.05.2013

33.ISO/IEC 27000:2012 Information technology — Security techniques ~ Information security management systems ~ Overview and vocabulary, 2012, [электронный ресурс], режим доступа http://www.iso.org, свободный, язык доступа английский, дата обращения 06.05.2013 34.Z. Jelinski, P.B. Moranda, "Software reliability research", in Statistical Computer Performance Evaluation, W. Freiberger, Ed. New York: Academic, 1972, pp 465-484.

35.J.D. Musa, "A theory of software reliability and its application", IEEE Trans. Software Engineering, vol SE-1, 1975 Sep, pp 312-327.

36. J. D. Musa, A. Iannino, and K. Okumoto, Software Reliability - Measurement, Prediction, Application, McGraw-Hill Book Company, Singapore (1987).

37.B. Littlewood, J.L. Verrall, "A Bayesian reliability growth model for computer software", in 1973 IEEE Symp. Computer Software Reliability, New York, NY, 1973 Apr 30 - May 2, pp 70-77.

38.A.L. Goel, K. Okumoto, Bayesian Software Prediction Models -An Imperfect Debugging Model for Reliability and Other Quantitative Measures of Software Systems, Rome Air Development Center Report RADC-TR-78-155, vol I.

39.A. L. Goel, K. Okumoto, "Time-dependent error-detection rate model for software reliability and other performance measures", IEEE Trans.Reliability, vol R-28, 1979 Aug, pp 206-211.

40.S. Yamada and S. Osaki, Non-homogeneous Error Detection Rate for Software Reliability Growth, in Stochastic Models in Reliability Theory, ringer-Verlag, New York, 1984.

41.S. Yamada,M. Ohba, and S. Osaki, S-Shaped Reliability Growth Modeling for Software Error Detection, IEEE Transactions on Reliability R-32(5), 47-484 (December 1983).

42.S. Yamada,M. Ohba, and S. Osaki, S-Shaped Software Reliability Growth Models and Their Applications, IEEE Transactions on Reliability R-33(4), (1984).

43.Резервное копирование как неотъемлемый элемент обеспечения ИБ, Информационная безопасность [электронный ресурс], режим доступа http://www.itsec.ru/articles2/control/rezervnoe-kopirovanie-kak-neotemlemyi-element-obespecheniya-ib, свободный, язык доступа русский, дата обращения 26.03.2012

44.1TIL change management, ITIL.org [электронный ресурс], режим доступа http://www.itil.org/en/vomkennen/itil/servicetransition/servicetransitionprozess

e/changemanagement.php, свободный, язык доступа английский, дата обращения 06.05.2013

45.Налоговый кодекс РФ, статья 75, GARANT.RU [электронный ресурс], режим доступа http://ivo.garant.ru/document?id=10800200&bvPara=l&sub=828 , свободный, язык доступа русский, дата обращения 06.05.2013

46.M.R. Lyu. Handbook of Software Reliability Engineering. McGraw-Hill, 1995.

47.Резервирование сетевых соединений в критически важных приложениях, Network Systems Group [электронный ресурс], режим доступа http://www.nsg.ru/doc/whitepapers/wp_nsg_dualuplink.pdf, свободный, язык доступа русский, дата обращения 26.03.2012

48.High availability. That works. Vision solutions [электронный ресурс], режим доступа http://www.visionsolutions.com/Products/High-Availability-Overview.aspx, свободный, язык доступа английский, дата обращения 26.03.2012

49. Check Point High Availability for IP Appliances, Checkpoint [электронный ресурс], режим доступа http://www.checkpoint.com/products/ip-appliances/check-point-high-availability.html, свободный, язык доступа английский, дата обращения 26.03.2012