Метод и модели поддержки автоматизированного проектирования функционально-надежных Кластерных компьютерных систем реального времени тема диссертации и автореферата по ВАК РФ 05.13.12, кандидат наук Богатырев Анатолий Владимирович

• Богатырев Анатолий Владимирович
• кандидат наук
• 2016

Оглавление диссертации кандидат наук Богатырев Анатолий Владимирович

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

ГЛАВА 1. Задачи системотехнического проектирования отказоустойчивых компьютерных систем реального времени

1.1. Задачи проектирования функционально и структурно надежных вычислительных систем

1.2. Организация компьютерных систем кластерной архитектуры. Кластеры с непосредственным подключением серверов и устройств хранения

1.3. Модели компьютерных систем с резервированным обслуживанием запросов. Задачи проектирования кластеров реального времени

1.4. Оптимизация структуры и процесса перераспределения запросов между кластерами вычислительной системы

1.5. Построение автоматизированной системы поддержки оптимального проектирования кластерных систем

Выводы по главе

ГЛАВА 2. Модели и методы поддержки оптимального проектирования отказоустойчивых кластерных систем реального времени с резервированным обслуживанием запросов

2.1. Показатели функциональной надежности кластеров реального времени

2.2. Модель анализа функциональной надежность кластера реального времени с резервированным обслуживанием запросов

2.3. Модели кластера реального времени с резервированным обслуживанием запросов при уничтожении в очереди просроченных запросов

2.4. Модели оптимального проектирования кластера реального времени с резервированным обслуживанием запросов

2.5. Эффективность вычислительных систем предоставления услуг в реальном времени

2.6. Последовательность выбора проектных решений по резервированному обслуживанию запросов в кластерах реального времени

Выводы по главе

ГЛАВА 3. Модели поддержки оптимального проектирования отказоустойчивых компьютерных систем кластерной архитектуры с непосредственным подключением серверов и устройств хранения

3.1. Надежность кластерных вычислительных систем с дублированными связями серверов и устройств хранения

3. 2..............Функциональная надежность вариантов отказоустойчивых кластеров

реального времени с непосредственным подключением устройств хранения

3.3. Оценка своевременности выполнения критических запросов в кластерах с учетом задержек в очередях узлов двух уровней

Выводы по главе

ГЛАВА 4. Модели поддержки оптимального проектирования отказоустойчивых мультикластерных компьютерных систем с динамическим перераспределением запросов

4.1. Перераспределение запросов между кластерами при их деградации

4.2. Надежность мультикластерной системы с перераспределением запросов

4. 3.....Оптимизация перераспределения запросов в кластерах при изменяющейся

активности источников запросов

4.4. Функциональная надежность вычислительных систем с перераспределением запросов

4.5 Последовательность выбора проектных решений по перераспределению запросов в мультикластерных системах

Выводы по главе

Заключение

Список литературы

Введение диссертации (часть автореферата) на тему «Метод и модели поддержки автоматизированного проектирования функционально-надежных Кластерных компьютерных систем реального времени»

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы исследования.

Повышение эффективности распределенных вычислительных систем реального времени, в том числе систем кластерной архитектуры, связано с совершенствованием процессов проектирования и управления качеством проектных работ при создании автоматизированных комплексов анализа и синтеза проектных решений на основе использования современных методов моделирования и инженерного анализа.

При проектировании распределенных компьютерных систем, функционирующих в реальном времени, требуется обеспечение высокой отказоустойчивости и функциональной надежности при гарантированной безошибочности и своевременности обслуживания критичных запросов, к которым в ряде случаев предъявляются жесткие ограничения по выдаче достоверных результатов к заданным моментам времени.

Обеспечение указанных требований к распределенным компьютерным системам реального времени совместно с требованиями экономической эффективности их создания и эксплуатации связано с разрешением ряда технических противоречий, и требует разработки моделей, методов и алгоритмов их оптимального автоматизированного проектирования.

Значительный вклад в теорию проектирования вычислительных систем в условиях неопределенности, и в том числе оптимального надежностного проектирования, внесли отечественные ученые Б. В.Гнеденко [1], А.М. Половко [2], И.А. Рябинин [3], И.А. Ушаков [4-5], Г.Н. Черкесов [6-8] , С.В. Гуров [2], Л.В.Уткин [9-10], И.В. Панфилов [11], С.А. Майоров, Г.И.Новиков, Т.И.Алиев [12,13] , Шубинский И.Б.[14] и др [15]. Среди зарубежных учёных следует отметить работы Р Барлоу., Ф Прошана [16-17]. M.Tanenbaum [18], Л. Клейнрока [19-20], A. Shooman, P. Jalóte, P. Verissimo, M. Abd-El-Barr и др [20-24].

Достижения этих ученых в значительной мере способствовали созданию научных основ и методологии систем автоматизированного проектирования высоконадежных отказоустойчивых систем, в том числе методов оптимального проектирования распределенных вычислительных систем и сетей.

Работы, по развитию и совершенствованию методологии автоматизированного проектирования распределенных вычислительных систем, требуют решение задач, формализации и типизации проектных процедур и процессов проектирования. При решении этих задач для обоснования выбора проектных решений, их структурной и параметрической оптимизации требуется совершенствование существующих и разработка новых методов алгоритмов и моделей оптимального проектирования для синтеза проектных решений, моделей анализа надежности и задержек в разрабатываемых системах.

Проектирование вычислительных систем кластерной архитектуры, связано с решением ряда задач, в том числе:

Формирование множества рациональных проектных решений по структурной организации кластеров, оценка их эффективности с учетом резервирования узлов, выбор базовых (рациональных) вариантов и их структурно-параметрическая оптимизация, в том числе выбор проектных решений по подключению устройств обработки и хранения данных с учетом надежности, отказоустойчивости.

Формирование множества проектных решений по организации распределения запросов в кластере, в том числе при резервированном обслуживании запросов, оценка их эффективности, выбор рациональных вариантов и их оптимизация с учетом задержек обслуживания и/или вероятности своевременности и безошибочности результатов.

Обеспечение высокой функциональной надежности проектных решений помимо традиционного резервирования аппаратно-программных средств, для

систем реального времени требует типизации проектных решений по организации динамического распределения запросов с возможностью их резервированного обслуживания с целью повышения вероятности безошибочности и своевременности выдачи результатов.

Эффективность резервирования запросов в кластере, зависит от многих факторов, в том числе от интенсивностей входного потока запросов, отказов и ошибок, от ограничений допустимого времени ожидания и0 и от кратности резервирования вычислений. Интегрированное влияние кратности резервирования запросов на показатели эффективности кластера противоречиво. С одной стороны его увеличение приводит к росту загрузки узлов и, как следствие, к увеличению среднего времени пребывания запросов, что в свою очередь вызывает увеличение вероятности ошибок и отказов во время нахождения запроса в узле. В тоже время резервирование вычислений повышает вероятность того, что хотя бы одним из к узлов, принимающих запрос к выполнению, он будет своевременно и безошибочно выполнен.

Разрешение указанного технического противоречия обусловливает потребность разработки методов оптимального проектирования функционально надежных кластерных систем реального времени, а также разработку моделей анализа надежности проектных решений и задержек обслуживания в системах реального времени.

При создании САПР распределенных компьютерных систем реального времени необходим комплекс моделей анализа и методов проектирования, позволяющий на основе целенаправленного формирования возможных рациональных проектных решений, оценки их эффективности по различным критериям и структурно-параметрической оптимизации синтезировать эффективные проектное решение. К эффективным проектным решениям относятся рациональные и по возможности оптимальные решения

соответствующие требованиям по надежности, отказоустойчивости, безошибочности и своевременности результатов с учетом конструктивных ограничений и ограничений ресурсов, выделяемых на построение системы.

Таким образом, развитие методологии автоматизированного проектирования в части постановки задачи оптимального проектирования кластерных систем реального времени, формализации и типизации проектных решений, разработки моделей, методов и алгоритмов анализа и обоснования выбора проектных решений и их оптимального структурно-параметрического проектирования представляется актуальным.

Объект исследования - высоконадежные отказоустойчивые кластерные системы, для которых критичны своевременность и безошибочность вычислений.

Предмет исследования - модели, алгоритмы и методы поддержки автоматизированного оптимального проектирования компьютерных систем кластерной архитектуры, в том числе реального времени.

Цель и задачи исследования-

Цель исследований - повышение эффективности систем автоматизированного проектирования отказоустойчивых компьютерных систем кластерной архитектуры, функционирующих в реальном времени.

Для достижения поставленной цели в диссертации решаются следующие задачи:

1. Определение системы показателей эффективности отказоустойчивости и надежности проектных решений построения компьютерных кластеров реального времени.

2. Разработка вариантов проектных решений построения кластерных систем реального времени, включая варианты организации резервированного обслуживания копий запросов в нескольких узлах кластера.

3. Разработка моделей функциональной надёжности и оценки вероятности своевременности и безошибочности резервированного обслуживания запросов реального времени в отказоустойчивых резервированных кластерах.

4. Постановка и решение задачи формирования и выбора проектных решений построения структуры одно и многоуровневых кластерных систем, включая структуры с непосредственным резервированным подключением серверов и устройств хранения, в том числе функционирующих в реальном времени.

5. Постановка и решение задачи проектирования кластерных систем, при оптимизации структуры и процесса распределения запросов, в том числе реального времени.

6. Разработка моделей функциональной надежности распределенных мультикластерных систем с перераспределением запросов между кластерами, позволяющих оценить надежность, вероятность своевременности и безошибочности обслуживания запросов, а также среднее время ожидания запросов, с учетом отказов и временных отключений узлов в процессе их функционирования в реальном времени.

7. Постановка и решение задачи оптимального проектирования структуры мультикластерных систем и процесса взаимного перераспределения запросов между кластерами, с целью минимизации среднего времени ожидания, а для систем реального времени с целью максимизации вероятности своевременного и безошибочного обслуживания запросов, в условиях адаптации к отказам, ошибкам и временным отключениям узлов.

Научная новизна

Получены следующие результаты, характеризующиеся научной новизной:

1. Методы поддержки оптимального проектирования кластерных компьютерных систем реального времени с возможностью резервированного

обслуживания запросов в условиях ошибок вычислений, сбоев и отказов узлов, при организации управления очередями с уничтожением и без уничтожения резервных копий, срок нахождения которых в очередях превысил допустимое время ожидания.

2. Модели функциональной надёжности кластерных вычислительных систем реального времени с возможностью резервированного обслуживания запросов, позволяющие оценить среднее время ожидания запросов, вероятности своевременности и безошибочности резервированного обслуживания запросов, при организации управления очередями с уничтожением и без уничтожения резервных копий запросов, срок нахождения которых в очередях превысил допустимый порог ожидания;

3. Модели анализа надежности, отказоустойчивости и своевременности обслуживания запросов для выбора вариантов проектных решений кластерных компьютерных систем с непосредственным резервированным подключением серверов и устройств хранения, в том числе функционирующих в реальном времени;

4. Модели анализа и методы поддержки оптимального проектирования структуры мультикластерных систем и процесса взаимного перераспределения запросов между кластерами, с целью минимизации среднего времени ожидания, а для систем реального времени с целью максимизации вероятности своевременного и безошибочного обслуживания запросов, при адаптации к отказам, ошибкам и временным отключениям узлов.

Практическая значимость работы.

Предложен комплекс моделей и вариантов проектных решений поддержки автоматизированного проектирования кластерных систем в том числе реального времени, включающий:

1. Варианты проектных решений по организации резервированного обслуживания запросов реального времени при их распределении в очереди разных узлов при диспетчеризации очередей с и без уничтожения копий запросов, время ожидания которых превысило допустимый порог.

2. Варианты проектных решений по построению структуры одно и многоуровневых кластерных систем, включая структуры с непосредственным резервированным подключением серверов и устройств хранения, в том числе функционирующих в реальном времени.

3. Оценку эффективности и области целесообразности проектных решений с резервированным обслуживанием запросов реального времени, при определении рациональной кратности резервирования запросов в зависимости от интенсивности их поступления и допустимого времени задержки в очередях.

4. Модели оценки функциональной надежности, отказоустойчивости, своевременности и безошибочности обслуживания запросов реального времени, в том числе при их резервированном обслуживании в разных узлах.

Методология и методы исследования. Предлагаемые исследования основываются на методах системотехнического проектирования и аналитического моделирования, с использованием аппарата теории вероятностей, комбинаторного анализа Марковских цепей, теория надёжности, теория принятия решений, теории оптимизации и теория массового обслуживания.

Положения, выносимые на защиту

1. Модели функциональной надёжности резервированных кластерных систем с возможностью резервированного обслуживания запросов, в том числе реального времени;

2. Постановка и решение задачи оптимального проектирования структуры и организации резервированного обслуживания запросов

компьютерных кластеров, в том числе функционирующих в реальном времени при требовании безошибочности и своевременности вычислений.

3. Постановка и решение задачи формирования и выбора проектных решений по построению структуры резервированных кластерных систем с непосредственным резервированным подключением серверов и устройств хранения, в том числе функционирующих в реальном времени;

4. Модели функциональной надежности и методы оптимального проектирования распределенных мультикластерных систем с адаптивным взаимным перераспределением запросов между кластерами, в том числе в реальном времени.

Степень достоверности. Достоверность результатов обусловлена корректностью использования математического аппарата, а также подтверждена результатами внедрения и апробации. Полученные результаты согласованны с данными других исследований в отечественной и зарубежной литературе.

Апробация результатов.

Основные результаты диссертационного исследования были представлены на международных и всероссийских научных конференциях, в том числе: VII Международной конференции «Стратегия качества в промышленности и образовании», (г. Варна, Болгария - 2011); VIII-й Международной конференции «Стратегия качества в промышленности и образовании» (2012., г. Варна, Болгария); XXI Всероссийской научно-методической конференции «Телематика -2014» (Санкт-Петербург); Международных конференциях: «Региональная информатика» РИ-2014; РИ-2012; РИ -2008; «Информационная безопасность регионов России» (ИБРР-2013); Международной Научной Школе «Моделирование и Анализ Безопасности и Риска в Сложных Системах» МА БР -2011 (Санкт-Петербург, 2011 г.); межвузовской конференция «Актуальные проблемы организации и технологии защиты информации» (Санкт-Петербург.

30.11.2011), III Международной научно-практической конференции "Инновационные технологии в сервисе» - 2012; межвузовской конференции Современные проблемы экономики и менеджмента предприятий лесного комплекса - 2012; II Всероссийской молодежной научно-практической конференции «Исследования молодежи - экономике, производству, образованию» (Санкт -Петербург 2011); международной научно-практической конференции «XXXIX Неделя науки СПбГПУ», 2010; Научно -технической конференции "Проблема комплексного обеспечения информационной безопасности и совершенствование образовательных технологий подготовки специалистов силовых структур" - 2010 г; международной научно-методологической конференции «Актуальные проблемы развития высшей школы» (Санкт-Петербург,2010); на VII международной конференции «Найновите постижения на европейската наука» - (София 2011 Болгария); второй международной научно-практической интернет-конференции «ЛЕСА РОССИИ В XXI ВЕКЕ»- 2010; конференции «Актуальные проблемы технико-технологического и социально-экономического обеспечения сферы сервиса» Санкт -Петербург, конгрессе молодых ученых (Университет ИТМО 2014, 2015 г) и научно-методической конференции Университета ИТМО.

Публикации. По теме диссертации опубликовано 46 научных работ [2768], в том числе 17 статей в журналах, включённых в Перечень ВАК [28-42], и в том числе 1 статья в журнале, индексируемом базой Scopus [27].

Исследования выполнены в рамках НИР Методы и модели обеспечения интегрированной безопасности и устойчивости функционирования компьютерных систем (НИР 414650) № госрегистрации 114050540015. НИР 610481 Разработка методов и средств системотехнического проектирования информационных и управляющих вычислительных систем с распределенной архитектурой.

ГЛАВА 1. ЗАДАЧИ СИСТЕМОТЕХНИЧЕСКОГО ПРОЕКТИРОВАНИЯ ОТКАЗОУСТОЙЧИВЫХ КОМПЬЮТЕРНЫХ СИСТЕМ РЕАЛЬНОГО ВРЕМЕНИ

Проведен анализ состояния в области разработки принципов построения и методологии автоматизированного проектирования компьютерных систем с целью определения направления исследований связанных с развитием методологии оптимального проектирования отказоустойчивых функционально-надежных вычислительных систем кластерной архитектуры работающих в реальном времени.

1.1. Задачи проектирования функционально и структурно надежных вычислительных систем

Надежность, отказоустойчивость и безопасность вычислительных систем и сетей определяется их способностью поддержки работоспособности структуры и вычислительного процесса по реализации требуемых функций, возможно при требовании обеспечения его непрерывности в условиях сбоев отказов и внешних деструктивных воздействий случайного или злонамеренного характера.

Под надежностью (dependability) технических объектов понимается свойство объекта сохранять во времени способность выполнять требуемые функции при заданных режимах и условиях применения, технического обслуживания, хранения и транспортирования [69].

Особенность вычислительных систем как технических объектов, заключается в том, что надежность их функционирования определяется одновременно надежностью структуры и устойчивостью вычислительного процесса [2,13].

Таким образом, вычислительные системы должны обладать как структурной, так и функциональной надежностью, под которой подразумевают способность системы безошибочно выполнять предусмотренные функциональные

задачи (функции) в условиях возможных сбоев, ошибок и отказов, а также возможных внешних воздействий случайного или преднамеренного деструктивного характера. Функциональная надежность изучалась в работах [13, 70-73].

Надежность компьютерных систем по реализации вычислительного процесса, во многом зависят от организации реконфигурации, копирования данных, резервирования вычислений, балансировки завременигрузки узлов, мобильного перемещения информационных ресурсов, динамического распределения и перераспределения запросов.

Таким образом, возникает необходимость рассмотрения компьютерных систем, как систем массового обслуживания, отказы в обслуживании запросов в которых определяются не только отказами и сбоями программно-аппаратных средств, но и недостаточностью или несбалансированностью ресурсов, а также перегрузками, приводящих к нарушениям стационарности обслуживания, недопустимым задержкам или потере запросов.

При обеспечении функциональной надежности систем ответственного назначения, в том числе систем реального времени (особенно компьютерного управления технологическими или транспортными системами) в ряде случаев требуется поддержка своевременности и непрерывности вычислительного процесса, даже в случае отказов и миграции вычислений с отказавших на работоспособные узлы. Своевременность вычислений особенно значима при критичности задержек вычислений реального времени, когда условием отказа вычислительного процесса может быть не выполнение запроса к заданному моменту времени [12].

Устойчивость вычислительного процесса должна обеспечиваться не только при внутренних отказов компьютеров, но и при внешних деструктивных

воздействиях, препятствующих корректной реализации вычислительного процесса, в том числе своевременности получения результатов.

Отказоустойчивость компьютерных и коммуникационных систем и сетей может быть структурной или функциональной.

Под структурной отказоустойчивостью понимается способность системы сохранять после отказов и реконфигурации структуру программно-аппаратных средств, позволяющую реализовать возлагаемые на систему функции (задачи).

Таким образом, структурная отказоустойчивость подразумевает потенциальную способность (готовность) системы к сохранению работоспособности (к требуемому функционированию) после возникновения (накопления) отказов и реконфигурации аппаратно-программных средств.

Структурная отказоустойчивость может достигаться реконфигурацией системы при ее возможной деградации, проявляющейся в снижении качества функционирования и потере возможностей (ресурсов) обеспечения надежности.

Под функциональной отказоустойчивостью понимается способность системы к своевременному, безошибочному, а возможно и непрерывному выполнению функциональных задач, в условиях возникновения сбоев, отказов и ошибок по внутренним или внешним причинам. При этом к внешним причинам, нарушающим устойчивость вычислительного процесса, могут быть отнесены внешние злонамеренные или случайные природные или техногенные деструктивные воздействия.

Функциональная надежность подразумевает способность сохранения функционирования при возможности отказов, функциональная отказоустойчивость - при безусловном появлении отказов.

Так, к деструктивным воздействиям, приводящим к отказу выполнения функций из-за нарушений своевременности обслуживания потока запросов сервером, могут быть отнесены преднамеренные атаки, вызывающие увеличении

интенсивности запросов к ресурсам сервера. Увеличение интенсивности запросов может также обусловливаться случайными факторами (например, изменениями курса валют).

При реализации функциональной отказоустойчивости компьютерной системы к ней могут предъявляться требования обеспечения устойчивости вычислительного процесса или сохранения при накоплении отказов готовности к выполнению требуемого набора функций.

В первом случае устойчивость функционирования может достигаться миграцией вычислительного процесса, прерванного отказом, на исправные узлы системы, возможно в идеале при обеспечении непрерывности восстанавливаемого процесса.

Под непрерывностью вычислительного процесса понимается возможность продолжения выполнения инициализированного процесса после отказа без нарушения выдачи результатов в требуемые моменты времени.

Сохранение устойчивости вычислительного процесса может поддерживаться на основе технологии виртуализации и миграцией виртуальных вычислительных машин или иных необходимых для выполнения функций ресурсов. Отказоустойчивость вычислительного процесса может сопровождаться реконфигурацией системы или достигаться на основе предоставления требуемых для реализации процесса ресурсов другими узлами системы по запросам передаваемых через сеть.

Восстановление вычислительного процесса после отказов при сохранении его непрерывности возможно при занесении результатов в памяти, одновременно доступной для отказавшего компьютера и компьютера, выделяемого для возобновления прерванного отказами вычислительного процесса.

Отказоустойчивость вычислительного процесса достигается также при его резервированном выполнении на разных узлах компьютерной системы.

Резервирование вычислительного процесса обеспечивает его непрерывность при условии успешного завершения хотя бы одной резервной копии вычислительного процесса. Условием успешности выполнения копии вычислительного процесса является безотказность и безошибочность всех узлов, задействованных при ее реализации.

Отказоустойчивость по сохранению набора требуемых функций, допускает возможность после отказа потерю результатов выполнения функций (отказ в выполнении запроса, потеря запроса) отказавшего компьютерного узла.

Таким образом, при создании математического обеспечения и средств поддержки автоматизированного проектирования высоконадежных систем кластерной архитектуры особенно работающих в реальном времени для их оптимального проектирования необходима разработка моделей анализа их эффективности. А также формирование комплексных показателей эффективности и надежности проектных решений, отражающих не только способность структуры системы к сохранению функционирования в условиях отказов, но и способность своевременного и безошибочного обслуживания запросов в условиях помех, отказов, временного отключения ресурсов, изменениям интенсивности входного потока запросов, в том числе результате злонамеренных воздействий.

1.2. Организация компьютерных систем кластерной архитектуры. Кластеры с непосредственным подключением серверов и устройств хранения

Современные высоконадежные компьютерные системы, как правило, строятся на основе сетевых технологий и включают в свой состав резервированные серверы различного функционального назначения (Web-серверы, почтовые серверы, серверы баз данных, FTP-серверы и т. п.), объединяемые в кластеры.

Кластер - группа компьютеров, объединённых высокоскоростными каналами связи, представляющая с точки зрения пользователя единый вычислительный ресурс [74].

Кластер представляет собой объединение компьютеров, управляемых и используемых как единое целое. В качестве узлов кластера могут выступать серверы, рабочие станции, персональные компьютеры и системы хранения. Преимущество кластеризации заключается в потенциальной возможности обеспечения высокой отказоустойчивости, которая проявляется в случае сбоя или отказа какого-либо узла и перераспределения его нагрузки на справные узлы возможно без прерывания вычислительного процесса.

Компьютеры, образующие кластер (узлы кластера), обычно допускают остановку или выключение любого из них для проведения профилактических работ, установки дополнительного оборудования или ремонта без остановки функционирования всего кластера.

Высокая доступность (High Availability) кластеров (cluster) достигается в результате, консолидации устройствам хранения (Storage), при которой каждый вычислительный узел - сервер (Server) кластера имеет доступ ко всем информационным ресурсам [74,75]. В крупномасштабных системах консолидация устройств хранения достигается на основе технологии сетей хранения данных Storage Area Network (SAN)- сетей, предназначенных для обеспечения подключения вычислительных узлов (серверов) к устройствам хранения (к дискам, RAID-массивам -Redundant Array of Independent Disks - и ленточным библиотекам) и обмена данными между ними. [74].

Список литературы диссертационного исследования кандидат наук Богатырев Анатолий Владимирович, 2016 год

Список литературы

1. Гнеденко Б. В. Математические методы в теории надежности / Б. В. Гнеденко, Ю. К. Беляев, А. Д. Соловьев. - М.: Наука, - 1965. - 524 с.

2. Половко А.М., Гуров С.В. Основы теории надежности. СПб. БХВ . 2006

-704 с.

3. Рябинин, И.А. Надежность и безопасность структурно-сложных систем / И. А. Рябинин. - СПб.: Политехника, 2000. - 248 с.

4. Ушаков, И. А. Вероятностные модели надежности информационно -вычислительных систем / И. А. Ушаков. - М.: Радио и связь, 1991. - 132 с.

5. Райншке К., Ушаков И. А. Оценка надежности систем с использованием графов /Под ред. И.А.Ушакова. — М.: Радио и связь, 1988. — 209 с.

6. Черкесов Г. Н. Методы и модели оценки живучести сложных систем. — М.: Знание, 1987. — 116 с.

7. Черкесов, Г.Н. Надежность аппаратно-программных комплексов / Г.Н. Черкесов. - СПб.: Питер, 2005. - 479 с.

8. Черкесов, Г.Н. Функциональные методы обеспечения отказоустойчивости АСУ ТП / Г.Н. Черкесов // Приборы и системы управления. -1989. - №11. - С.10-12.

9. Уткин Л.В. Анализ риска и принятие решений при неполной информации. — СПб.: Наука, 2007. - 404 c.

10. Уткин Л. В., Шубинский И. Б. Нетрадиционные методы оценки надежности информационных систем. — СПб.: Любавич, 2000. — 173 с.

11. Панфилов И. В., Половко А. М. Вычислительные системы. — М.: Советское радио, 1980

12. Майоров, С.А. Основы теории вычислительных систем / С.А. Майоров, Г.И. Новиков, Т.И. Алиев, Э.И. Махарев, Б.Д. Тимченко. - М.: Высшая школа,

1978. - 408 с.

13. Шубинский И. Б. Функциональная надежность информационных систем: методы анализа. - М.: Журнал "Надежность", 2012. - 296 с.

14. Алиев Т.И. Основы моделирования дискретных систем. - СПб.: СПбГУ ИТМО, 2009. - 363 с.

15. Авен, О.И. Оценка качества и оптимизация вычислительных систем / О.И. Авен, Н.Н. Гурин, Я.А.Коган. - М.: Наука, 1982. - 464 с.

16. Барлоу Р., Прошан Ф. Математическая теория надежности. — М.: Сов. радио, 1969. — 488 с.

17. Барлоу Р., Прошан Ф. Статистическая теория надежности и испытания на безотказность. — М.: Наука, 1984. — 328 с.

18. Таненбаум Э., Ван Стеен М. Распределенные системы. Принципы и парадигмы. -Спб.:Питер. -2003. -877 с.

19. Клейнрок, Л. Теория массового обслуживания. /М.: Машиностроение,

1979.-432с.

20. Клейнрок Л., Вычислительные системы с очередями. Пер. с англ. под ред. Б. С. Цыбакова. — М.: Мир, 1979. — 600 с.

21. Shooman, Martin L. Reliability of Computer Systems and Networks: Fault Tolerance, Analysis and Design / Martin L. Shooman. - John Wiley and Sons Inc., New York, 2002. - 528 p.

22. Jalote, P. Fault Tolerance in Distributed Systems / Pankaj Jalote. Prentice Hall, 1994. - 448 p.

23. Verissimo, P. Distributed Systems for System Architects / P. Verissimo, L. Rodriques. - Kluwer Press, 2001. - 623 p.

24. Abd-El-Barr, M. Design and analysis of reliable and fault-tolerant computer systems / M. Abd-El-Barr. - London : Imperial College Press, 2007. - 440 p.

25. Алиев Т.И. Задачи синтеза систем с потерями // Изв. Вузов. Приборостроение. 2012. № 10. С.57-63.

26. Черкесов Г.Н. Надежность аппаратно-программных комплексов. -СПб: Питер, 2005. - 479 с.

27. Bogatyrev V.A., Bogatyrev A.V. Functional Reliability of a Real-Time Redundant Computational Process in Cluster Architecture Systems // Automatic Control and Computer Sciences - 2015, Vol. 49, No. 1, pp. 46-56

28. Богатырев В.А., Богатырев С.В., Богатырев А.В. Функциональная надежность вычислительных систем с перераспределением запросов // Известия высших учебных заведений. Приборостроение - 2012. - Т. 55. - № 10. - С. 53-56

29. Богатырев А.В., Богатырев В.А. Оптимизация древовидной сети с резервированием коммутационных узлов и связей // Телекоммуникации - 2013. -№ Вып. № 2. - С. 42-48

30. Богатырев А.В., Богатырев В.А., Богатырев С.В., Надежность дублированной сети управления машинами и агрегатами // "Технико -технологические проблемы сервиса" - 2012. - Т. 20. - № 2. - С. 35-39

31. Богатырев А.В., Богатырев В.А. Надежность кластерных вычислительных систем с дублированными связями серверов и устройств хранения // Информационные технологии - 2013. - № 2. - С. 27-32

32. Богатырев В.А., Богатырев А.В., Богатырев С.В. Оценка своевременности выполнения критических запросов в двухуровневых кластерах // Научно-технический вестник информационных технологий, механики и оптики -2014. - № 2(90). - С. 177-179

33. Богатырев В.А., Богатырев А.В., Богатырев С.В. Оптимизация перераспределения нагрузки в кластерах при изменяющейся активности источников запросов // Известия высших учебных заведений. Приборостроение -2014. - Т. 57. - № 4. - С. 41-45

34. Богатырев В.А., Богатырев А.В., Богатырев С.В. Оценка надежности выполнения кластерами запросов реального времени // Известия высших учебных заведений. Приборостроение - 2014. - Т. 57. - № 4. - С. 46-48

35. Богатырев В.А., Богатырев А.В., Голубев И.Ю., Богатырев С.В. Оптимизация распределения запросов между кластерами отказоустойчивой вычислительной системы // Научно-технический вестник информационных технологий, механики и оптики - 2013. - № 3(85). - С. 77-82

36. Богатырев А.В., Богатырев В.А. Функциональная надежность систем реального времени // Научно-технический вестник информационных технологий, механики и оптики - 2013. - № 4(86). - С. 150-151

37. Богатырев В.А., Богатырев А.В. Кластеры предоставления информационных услуг с энергосберегающей реконфигурацией // Технико-технологические проблемы сервиса. - 2014. - № 4. - С. 38-41

38. Богатырев В.А., Богатырев С.В., Богатырев А.В. Оценка надежности отказоустойчивых кластеров с непосредственным подключением устройств хранения // Известия высших учебных заведений. Приборостроение - 2013. - Т. 56. - № 8. - С. 77-81

39. Богатырев В.А., Богатырев А.В. Уточненная граничная оценка надежности структурно сложных систем при композиции методов Эзари -Прошана и Литвака - Ушакова // Известия высших учебных заведений. Приборостроение - 2014. - Т. 57. - № 9. - С. 59-61

40. Богатырев В.А., Богатырев А.В., Богатырев С.В. Перераспределение запросов между вычислительными кластерами при их деградации // Известия высших учебных заведений. Приборостроение - 2014. - Т. 57. - № 9. - С. 54-58

41. Богатырев В.А., Богатырев А.В., Богатырев С.В. Оптимизация интервалов проверки информационной безопасности систем // Научно-технический вестник информационных технологий, механики и оптики - 2014. -№ 5(93). - С. 119-125

42. Богатырев А.В., Богатырев В.А., Богатырев С.В. Оптимизация кластера с ограниченной доступностью кластерных групп // Научно-технический вестник Санкт-Петербургского государственного университета информационных технологий, механики и оптики - 2011. - № 1(71). - С. 63-67

43. Богатырев А.В., Богатырев В.А., Богатырев С.В. Оптимизации разбиения кластера на подгруппы с ограниченной доступностью // Информационные системы и технологии. Теория и практика - 2011. - № 3. - С. 714

44. Богатырев А.В., Богатырев В.А., Богатырев С.В. Оптимизация иерархической коммуникационной подсистемы // Труды Санкт-Петербургской государственной лесотехнической академии. Экономические проблемы лесного сектора - 2011. - № 3. - С. 20-23

45. Беззубов В.А., Богатырев А.В., Богатырев В.А., Котельникова Е.Ю. Выбор структуры отказоустойчивого двухмашинного вычислительного комплекса // Информационные системы и технологии. Теория и практика - 2011. - № 3. - С. 14-20

46. Богатырев А.В., Богатырев В.А., Богатырев С.В. Исследование вариантов построения двухмашинных вычислительных комплексов // Труды Санкт-Петербургской государственной лесотехнической академии. Экономические проблемы лесного сектора - 2011. - № 3. - С. 14-20

47. Богатырев А.В., Богатырев В.А. Векторная оптимизация трехуровневой древовидной отказоустойчивой коммуникационной системы // Моделирование и Анализ Безопасности и Риска в Сложных Системах: Труды Международной Научной Школы МА БР - 2011 (Санкт-Петербург, 28 июня - 02 июля, 2011 г.) / СПб.: ГУАП. СПб., 2011, 426 с.

48. Богатырев А.В., Богатырев В.А., Богатырев С.В. Оценка доступности серверов в компьютерной сети с резервированием коммутационных узлов // Оптимизация многоуровневой коммуникационной подсистемы защищенных информационных систем // Межвузовская н/т конференция Актуальные проблемы организации и технологии защиты информации - 2011

49. Богатырев А.В., Богатырев С.В. Надежность дублированного коммутатора // Вестник ИТАРК "Проблемы региональной информатизации" №2 -2012

50. Богатырев А.В., Богатырев В.А., Богатырев С.В. Оптимизация отказоустойчивой иерархической сети // Материалы III Международной научно-практической конференции "Инновационные технологии в сервисе - 2012

51. Богатырев А.В., Богатырев В.А., Богатырев С.В. Отказоустойчивость вариантов прямого подключения двухвходовых устройств хранения в системах кластерной архитектуры // Материалы межвузовской конференции Современные проблемы экономики и менеджмента предприятий лесного комплекса - 2012

52. Богатырев А.В., Богатырев В.А., Богатырев С.В. Оценка надежности дублированного коммутатора // Информационные системы и технологии: теория и практика - 2012. - № 4. - С. 28-37

53. Богатырев А.В., Богатырев В.А., Богатырев С.В. Надежность коммуникационной системы с дублированием узлов // сборник трудов УШ-й Международной конференции Стратегия качества в промышленности и образовании 08-15 июня 2012, том 1 - 2012. - Т. 1

54. Богатырев А.В., Богатырев В.А.В Векторная оптимизация резервированной древовидной сети // Информационная безопасность регионов России (ИБРР-2013). / СПОИСУ. - СПб., 2013. - 117 с.

55. Богатырев С.В., Богатырев А.В., Богатырев В.А.Оптимизация многоуровневой сети при вариантности коммутационных узлов/^П Международная конференция «Стратегия качества в промышленности и образовании», Том 1., г. Варна, Болгария - 2011.

56. Богатырев А.В., Богатырев В.А.Надежность резервированной коммуникационной системы//материалы XI Санкт-Петербургской международной конференции «Региональная информатика-2008» - 2008.

57. Богатырев А.В., Богатырев С.В.Многокритериальная оптимизация многоуровневой кластерной вычислительной системы//Материалы конференции «Исследования молодежи - экономике, производству, образованию. II Всероссийская молодежная научно-практическая конференция.» - 2011

58. Богатырев С.В., Богатырев А.В., Богатырев В.А.Надежность систем кластерной архитектуры, функционирующих в реальном времени// XXXIX Неделя науки СПбГПУ : материалы международной научно -практической конференции. Ч. VIII - 2010

59. Богатырев С.В., Богатырев А.В., Богатырев В.А.Оценка риска при обслуживании запросов в ЦОД кластерной архитектуры//Научно-техническая конференция "Проблема комплексного обеспечения информационной безопасности и совершенствование образовательных технологий подготовки специалистов силовых структур" - 2010.

60. Богатырев С.В., Богатырев А.В., Богатырев В.А.Задачи векторного выбора организации отказоустойчивых вычислительных комплексов//Труды ЛТА. /Актуальные проблемы развития высшей школы. Материалы международной научно-методологической конференции - 2010

61. Богатырев С.В., Богатырев А.В., Богатырев В.А.Задачи выбора вариантов построения резервированной телекоммуникационной системы//Труды ЛТА. /Актуальные проблемы развитиявысшей школы. Материалы международной научно-методологической конференции - 2010

62. Богатырев С.В., Богатырев А.В., Богатырев В.А.Надежность и оптимизация распределения запросов//Тезисы докладов международной конференции Региональная информатика «РИ-2012» Санкт-Петербург, 24-26 октября 2012 года - 2012

63. Богатырев С.В., Богатырев А.В., Богатырев В.А.Организация обмена в отказоустойчивых сетях дублированных вычислительных комплексов//Материалы конференции 7 международная научно практична конференция «Найновите постижения на европейската наука» - Т. 40 - 2011

64. Богатырев А.В., Богатырев В.А.Деградация резервированной коммутационной подсистемы информационно- управляющих систем//ЛЕСА РОССИИ В XXI ВЕКЕ: Материалы второй международной научно-практической интернет-конференции - 2010

65. Богатырев С.В., Богатырев А.В., Богатырев В.А. Оптимизация разбиения кластера на подгруппы с ограниченной доступностью // «Информационные системы и технологии: теория и практика», ЛТА - 2011

66. Богатырев А.В., Богатырев С.В. Выбор организации сети встроенных средств управления машинами и агрегатами // «Актуальные проблемы технико -технологического и социально-экономического обеспечения сферы сервиса»,. СПб. ГУСЭ - 2010

67. Богатырев А.В., Богатырев В.А.Оптимизация периодичности контроля безопасности в системах предоставления информационных услуг//Региональная информатика (РИ-2014). XIV Санкт-Петербургская международная конференция

«Региональная информатика (РИ-2014)». Санкт-Петербург, 29-31 октября 2014 г.: Материалы конференции. - 2014. - С. 396-397

68. Богатырев В.А., Богатырев А.В.Перераспределение запросов в многокластерных системах предоставления информационных услуг//Региональная информатика (РИ-2014). XIV Санкт-Петербургская международная конференция «Региональная информатика (РИ-2014)». Санкт-Петербург, 29-31 октября 2014 г.: Материалы конференции. - 2014. - С. 397

69. ГОСТ 27.002-89. Надежность в технике. Основные понятия. Термины и определения. — М.: Издательство стандартов, 1989. — 36 с.

70. А. А. Тарасов / Функциональная реконфигурация отказоустойчивых систем М Логос 2012

71. Турута Е.Н. Конспект лекций по дисциплине: «Распределенные вычислительные системы и сетевые технологии» -раздел «Отказоустойчивость распределенных вычислительных систем». М.: МТУСИ, 2001. 24 с.

72. Перегуда А.И., Перегуда А.А., Тимашев Д.А Математическая модель надежности компьютерных сетей // Надежность. 2013. № 4 (47). С. 18-30

73. Джад Дж Основы проектирования SAN Brocade Bookshelf. San Jose, 2008 .589 с.

74. Clark T. The New Data Center . New technologies are radically reshaping the data center. Brocade Bookshelf. San Jose,2010 .156 p

75. Bogatyrev V.A.: Fault tolerance of clusters configurations with direct connection of storage devices // Automatic Control and Computer Sciences. 2011. V. 45. N 6. P. 330-337.

76. Kopetz H. Real-Time Systems: Design Principles for Distributed Embedded Applications Springer, 2011, p 396.

77. Sorin D/ Fault Tolerant Computer Architecture. Morgan & Claypool 2009.

103 p.

78. Богатырев В.А. К повышению надежности вычислительных систем на основе динамического распределения функций // Изв.Вузов СССР. Приборостроение. 1981. № 8. С. 62-65.

79. Богатырев В.А. Оценка вероятности безотказной работы функционально-распределенных вычислительных систем при иерархической структуре узлов // Изв. Вузов. Приборостроение. 2000. № 3.- С. 67-70.

80. Богатырев В.А. Методы отображения и балансировки нагрузки в распределенных вычислительных системах // Информационные технологии. 1999. № 8. С. 2-5.

81. Богатырев В. А. Мультипроцессорные системы с динамическим перераспределением запросов через общую магистраль // Изв. Вузов. Приборостроение. 1985. № 3. С.33-38.

82. Bogatyrеv V.A. , Bogatyrеv S.V., Golubev I. Y. Optimization and the Process of Task Distribution between Computer System Clusters // Automatic Control and Computer Sciences. - 2012. - N 3. - P. 103-111.

83. Lee M.H., Dudin A.N., Klimenok V.I. The SM/V/N queueing system with broadcasting service // Math. Probl. in Engineer. 2006. V. 2006. Article ID 98171. 18 p.

84. Дудин А.Н., Сунь Б. Многолинейная система MAP/PH/N с управляемым широковещательным обслуживанием ненадежными приборами // Автоматика и вычислительная техника. 2009. Т. 43. № 5. C. 32-43

85. Дудин А.Н., Сунь Б. Многолинейная ненадежная система с управляемым широковещательным обслуживанием // Автоматика и телемеханика. 2009. Т. 70. № 12. C. 147-160

86. Foster I. What is the Grid? A Three Point Checklishttp ://www.gridclub.ru/library/publication.2004-11-29.6269531066/publ_file/t

87. Богатырев В.А. Распределение заданий в многомашинных вычислительных системах // Изв.Вузов СССР. Приборостроение . 1986. № 5. С. 43-47.

88. Богатырев, В.А. Выбор вариантов организации распределения запросов в системах предоставления информационных услуг / В.А. Богатырев, И.Ю. Голубев, Д.А. Нестеров // Технико-технологические проблемы сервиса. - 2013. -№ 1. - С. 43-46.

89. Голубев, И.Ю. Оптимизация распределения запросов в системе кластеров при сочетании аналитического и имитационного моделирования / И.Ю. Голубев, В.А. Богатырев // Научно-технический вестник информационных технологий, механики и оптики. - 2012. - № 5. - С. 79-83.

90. Богатырев В.А., Голубев И.Ю. Модель обслуживания неоднородного потока при приоритетной дублированной обработке критичных запросов // Вестник компьютерных и информационных технологий -2014. - № 4. - С. 27-32

91. Богатырев В.А., Голубев И.Ю Оптимальная диспетчеризация в распределенных вычислительных системах с объединением узлов в кластеры //Вестник компьютерных и информационных технологий. 2013. № 8 (110). С. 3640.

92. Корячко В. П., Курейчик В. М., Норенков И. П. Теоретические основы САПР: Учебник для вузов. — М.: Энергоатомиздат. — 1987. — 400 с.

93. Нестеров, А.Л. Проектирование АСУТП: Методическое пособие. Книга 2. / А.Л. Нестеров. - СПб.: Издательство ДЕАН, 2009. - 944 с.

94. Норенков И. П. Основы автоматизированного проектирования: учеб. для вузов. — 4-е изд., перераб. и доп. — М.: Изд-во МГТУ им. Н. Э. Баумана, 2009. — 430 с. — ISBN 978-5-7038-3275-2

95. Судзиловский В. Ю. Моделирование и алгоритмизация в САПР; Книжный клуб 36.6 - , 2009. - 270 c.

96. Малюх В. Н. Введение в современные САПР: Курс лекций. — М.: ДМК Пресс, 2010. — 192 с. — ISBN 978-5-94074-551-8

97. Хинчин А.Я. Работы по математической теории массового обслуживания. Главное издательство физико-математической литературы. М. 236 с.

98. Вишневский В.М. "Теоретические основы проектирования компьютерных сетей ".- М.: ТЕХНОСФЕРА, 2003. 512 c

99. Надежность технических систем: Справочник/ Под ред. И.А. Ушакова. -М.: Радио и связь, 1985.

100.Ушаков И.А. Название: Курс теории надежности систем. М: Дрофа.

2008.

101.Энергосбережение в сфере компьютерных технологий: мифы и реальность. http://www.dltens.ru/energosberegteh.html

102.Juud, J., Principles of SAN Design, San Jose: Brocade Bookshelf, 2008..589 p.

103. Кофман А. Введение в прикладную комбинаторику. М.: Наука. 1975.

479 с.

104. Богатырев В.А. Надежность вычислительных систем с функциональной реконфигурацией на основе перераспределения задач // Информационные технологии.-2001. № 7. С.22-27