Разработка и исследование средств параллельного мультипрограммирования и поддержки живучести для распределенных вычислительных систем тема диссертации и автореферата по ВАК РФ 05.13.15, кандидат технических наук Майданов, Юрий Сергеевич

• Майданов, Юрий Сергеевич
• кандидат технических наук
• 2004

Оглавление диссертации кандидат технических наук Майданов, Юрий Сергеевич

СПИСОК СОКРАЩЕНИЙ.

ВВЕДЕНИЕ.

ГЛАВА 1. ОРГАНИЗАЦИЯ ФУНКЦИОНИРОВАНИЯ ЖИВУЧИХ РАСПРЕДЕЛЕННЫХ ВЫЧИСЛИТЕЛЬНЫХ СИСТЕМ.

1.1. Понятие о живучих вычислительных системах.

1.1.1. Функциональные структуры живучих ВС.

1.1.2. Средства поддержки живучести ВС.

1.2. Графовые модели живучих вычислительных систем.

1.3. Локализация неисправных элементарных машин в вычислительных системах.

1.4. Средства самодиагностики вычислительных систем.

1.4.1. Диагностические модели ВС.

1.5. Методы дешифрации синдрома ВС.

1.5.1. Табличный метод. ф 1.5.2. Аналитический метод.

1.6. Выводы.

ГЛАВА 2. АЛГОРИТМЫ ОРГАНИЗАЦИИ МУЛЬТИПРОГРАММНОГО ФУНКЦИОНИРОВАНИЯ И ПОДДЕРЖКИ ЖИВУЧЕСТИ ВЫЧИСЛИТЕЛЬНЫХ СИСТЕМ.

2.1. Алгоритмы распределения параллельных задач по элементарным машинам вычислительной системы.

2.2. Алгоритм заполнения свободных временных тактов элементарных машин вычислительной системы фрагментами задач.

2.2.1. Последовательная версия алгоритма.

2.2.2. Параллельная версия алгоритма.

2.3. Алгоритм выбора числа элементарных машин вычислительной системы для решения пакета задач.

2.2.1. Последовательная версия алгоритма.

2.2.2. Параллельная версия алгоритма.

2.4. Алгоритм распределения задач по элементарным машинам вычислительной системы с учетом операций диагностирования.

2.5. Алгоритм распределения задач по элементарным машинам вычислительной системы при коллективных взаимопроверках элементарных машин.

2.6. Минимизация времени решения прикладных задач.

2.6.1. Использование парных диагностических взаимопроверок элементарных машин.

2.6.2. Использование коллективных диагностических взаимопроверок элементарных машин.

2.7. Динамическое распределение фрагментов задач по элементарным машинам вычислительной системы.

2.8. Алгоритм распределения задач по элементарным машинам вычислительной системы при произвольной трудоемкости фрагментов.

2.8.1 Минимизация времени диагностирования.

2.8.2 Минимизация времени решения прикладных задач.

2.9 Выводы.

ГЛАВА 3. МЕТОДЫ ОПРЕДЕЛЕНИЯ ТЕХНИЧЕСКОГО СОСТОЯНИЯ ВЫЧИСЛИТЕЛЬНЫХ СИСТЕМ.

3.1. Формирование таблицы неисправностей вычислительной системы при их автоматической реконфигурации.

3.1.1. Структура универсальной таблицы неисправностей элементарных машин ВС.

3.1.2. Оценка объема требуемой памяти.

3.1.2. Сокращение таблицы неисправностей ВС за счет временной избыточности.

3.1.3. Оценка необходимых вычислительных ресурсов для хранения таблицы неисправностей.

3.3. Аналитический метод дешифрации синдрома вычислительной системы.

3.3.1. Дешифрация синдрома ВС в реальном времени.

3.3.2. Оценка необходимых ресурсов ВС.

3.4. Алгоритмы ускоренной дешифрации синдрома вычислительной системы.

3.4.1. Методы для несимметричных диагностических моделей.

3.4.2. Методы для симметричных диагностических моделей.

3.5. Определение состояния вычислительной системы при использовании коллективных проверок.

3.6. Выводы.

ГЛАВА 4. ЖИВУЧИЕ КЛАСТЕРНЫЕ ВЫЧИСЛИТЕЛЬНЫЕ

СИСТЕМЫ.

4 Л. Классификация кластерных вычислительных систем. Принципы построения живучих кластерных вычислительных систем.

4.2. Архитектура и программное обеспечение пространственно-распределенной мультикластерной вычислительной системы Центра параллельных вычислительных технологий СибГУТИ.

4.3. Моделирование на кластерной вычислительной системе потоков параллельных задач.

4.4. Разработка диспетчера вычислительной системы, учитывающего операции контроля и диагностики.

4.5. Разработка средств оценки состояния вычислительной системы.

4.6. Организация удаленного доступа к кластерной-вычислительной систему.

4.7. Моделирование мультипрограммного функционирования распределенных кластерных вычислительных систем.

4.8. Выводы.

Введение диссертации (часть автореферата) на тему «Разработка и исследование средств параллельного мультипрограммирования и поддержки живучести для распределенных вычислительных систем»

Актуальность проблемы. Потребность в высокопроизводительных средствах обработки информации привела к созданию распределенных вычислительных систем (ВС). В общем случае, функциональная структура распределенных ВС представляется композицией из элементарных машин (ЭМ) и коммуникационной сети; Все основные ресурсы таких: систем (не только арифметико-логические устройства, но и память, средства управления и коммуникационная сеть) являются логически и технически распределёнными. Число ЭМ уже в современных распределенных ВС допускает варьирование от нескольких единиц до 106 (например, в российской системе MBС-1000М это число равно 768, а в создаваемой системе IBM Blue Gene должно достигнуть 1 ООО ООО). Распространенный режим функционирования распределенных ВС - монопрограммный, в нем все ресурсы используются для решения одной задачи. Распределенные ВС, обладая колоссальными вычислительными ресурсами, должны эффективно работать и в мультипрограммных режимах. В последнем случае ресурсы ВС делятся между несколькими задачами. Существует класс задач, где ВС применяются в качестве средств управления, и их отказ может повлечь за собой серьезные экономические потери, экологические катастрофы и даже человеческие жертвы. Поэтому для решения таких задач необходимо чтобы ВС обладали свойством живучести, т.е. способностью продолжать вычисления даже при отказе части ресурсов. Одними из самых важных этапов в организации живучего мультипрограммного функционирования распределенных ВС являются контроль и диагностика, позволяющие своевременно обнаружить наличие отказов и локализовать неисправные ресурсы. Из сказанного следует актуальность проблем по-вышения-эффективности-использования.ресурсов-распределенных ВС за.счет-параллельного мультипрограммирования и создания децентрализованных средств обнаружения отказов и локализации неисправностей.

Исследования в области распределенных вычислительных систем ведутся с 1960-х годов. В нашей стране и за рубежом выполнен ряд фундаментальных работ, посвященных проблемам разработки высокопроизводительных вычислительных средств: проведены исследования-по организации функционирования и оптимизации (макро)структур ВС, проработаны многие аспекты разработки программного обеспечения, исследован широкий круг задач, допускающий эффективную реализацию на распределённых ВС. В качестве примеров можно привести отечественные системы "Минск-222", СУММА, МИНИМАКС, семейства систем МИКРОС и МВС.

Фундаментальный вклад в теорию и практику вычислительных и телекоммуникационных систем и параллельных вычислительных технологий внесли советские и российские учёные, среди которых: Е.П.Балашов, В.Б. Бетелин, B.C. Бурцев, В.В. Васильев, В.М. Вишневский, В.В. Воеводин, В.М. Глушков, В.Ф. Евдокимов Э.В: Евреинов, А.В; Забродин, В.П. Иванников, М.Б. Игнатьев, A.B. Каляев, М.А.Карцев, Л.Н.Королев, Н.А.Кузнецов, В.Г.Лазарев, С.А.Лебедев, В.К.Левин, Г.И. Марчук, Ю.И. Митропольский, В.К.Попков, Д.А.Поспелов, И.В. Прангишвили, Д.В. Пузанков, F.E. Пухов, Г.Г.Рябов, A.A. Самарский, В.Б. Смолов, А.Н. Томилин, Я:А. Хетагуров, В.Г. Хорошевский, Б.Н. Четверушкин, Ю.И. Шокин, H.H. Яненко и другие.

В диссертации разрабатывается подход, позволяющий планировать и организовать совместное выполнение на распределенных ВС параллельных прикладных вычислений и диагностических процедур. На основе данного подхода могут быть созданы распределенные средства организации живучих вычислительных систем, работающих в мультипрограммных режимах.

Цель работы и задачи исследования. Целью диссертационной работы является разработка и анализ моделей, методов, алгоритмов и системных программ, организующих мультипрограммные режимы функционирования распределенных вычислительных систем и обеспечивающих их контроль и диагностику.

К основным задачам исследований относятся:

- анализ методов организации функционирования распределенных живучих ВС;

- разработка последовательных и параллельных алгоритмов распределения задач по элементарным машинам ВС, учитывающих операции контроля и диагностики;

- построение процедур определения технического состояния ВС на основе результатов взаимотестирования элементарных машин;

- создание программных средств, обеспечивающих диспетчеризацию ВС при наличии пакетов задач и учитывающих операции контроля и диагностики;

- реализация программных средств оценки технического состояния ВС.

Методы исследований. При решении поставленных задач в диссертации использовались элементы аппаратов теории множеств и теории графов, методы теории расписаний и теории параллельных вычислений, имитационное моделирование, а также технология объектно-ориентированного программирования.

Научная новизна работы. Автором получены следующие научные результаты, которые выносятся на защиту.

1. Последовательные и параллельные алгоритмы, осуществляющие распределение параллельных задач по элементарным машинам, и операции контроля и диагностики.

2. Аналитический метод дешифрации синдрома вычислительной системы, ориентированный на работу в режиме реального времени.

3. Специализированные методы ускоренной дешифрации синдрома вычислительной системы, учитывающие частные свойства диагностических моделей.

4. Табличный метод дешифрации синдрома вычислительной системы, основанный на универсальной таблице потенциальных синдромов для всех диагностических графов, возможных в процессе реконфигурации ВС. Варианты реализации метода, обеспечивающие сокращение размера таблицы за счет избыточных временных ресурсов или уменьшение времени дешифрации синдрома системы при увеличении объема памяти, необходимого для хранения таблицы.

5. Функциональная структура пространственно распределенной мультик-ластерной вычислительной системы и программные средства мультипрограммирования и поддержки живучести ВС.

Практическая ценность работы. Созданные диссертантом модели, методы и алгоритмы организации диагностических процессов в композиции с известными средствами планирования параллельных вычислений составляют базу для построения живучих распределенных ВС.

Оригинальные параллельные алгоритмы распределения пакетов задач по элементарным машинам ВС позволяют на этапе планирования вычислений вводить операции контроля и диагностики.

Применение табличного метода дешифрации синдрома ВС обеспечивает сокращение необходимого объема памяти (за счет хранения таблиц потенциальных синдромов в виде одной универсальной таблицы неисправностей для множества диагностических графов, используемых в процессе реконфигурации).

Разработанный пакет параллельных программ организует не только мультипрограммное функционирование распределенных ВС, но и позволяет осуществить их контроль и диагностику.

Путем моделирования на распределенных кластерных ВС установлена эффективность разработанных средств и показано, что они составляют основу при построении живучих ВС.

Мультикластерная ВС и созданное программное обеспечение используются для исследований в области распределенной обработки информации и в учебном процессе СибГУТИ.

Реализация и внедрение. Результаты диссертации применены в распределенной мультикластерной вычислительной системе Центра параллельных вычислительных технологий СибГУТИ (см. рис. 3). Диссертационная работа поддержана грантами Российского фонда фундаментальных исследований (РФФИ) № 02-07-09380, 03-07-06008, 02-03-90379. Основные положения диссертационной работы использовались автором при разработке и чтении учебных курсов на Кафедре вычислительных систем СибГУТИ по дисциплинам «Отказоустойчивые вычислительные системы», «Операционные системы» и «Организация ЭВМ и систем».

Применение научных результатов диссертации подтверждено соответствующими актами.

Апробация работы. Основные результаты диссертационной работы докладывались на Международных, Всероссийских и Региональных научных конференциях, в том числе:

• Международной научно-технической конференции «Информатика и проблемы телекоммуникаций» (2001, 2002 гг., г. Новосибирск);

• Международной научно-технической конференции «Интеллектуальные и многопроцессорные системы» (2003 г., г. Геленджик);

• Международной научно-технической конференции "Информационные системы и технологии" (2003 г., г. Новосибирск);

• Первой Всероссийской научной конференции «Методы и средства обработки информации» (2003 г., г. Москва);

• Региональной научной-конференции студентов, аспирантов-и молодых ученых «Наука. Техника. Инновации» (2003 г., г. Новосибирск);

• Школе-семинаре «Распределённые кластерные вычисления» (2001 г., г. Красноярск).

Публикации. По теме диссертационной работы опубликовано 12 печатных работ, включая 2- статьи в центральных изданиях.

Объем и структура диссертации. Диссертация состоит из введения, четырех глав, заключения, списка литературы, и приложений, изложенных на 154 страницах.

Заключение диссертации по теме «Вычислительные машины и системы», Майданов, Юрий Сергеевич

4.8. Выводы

Кластерные вычислительные системы являются универсальными алгоритмически и структурно вычислительными средствами, ориентированными на использование массовых персональных компьютеров. Хотя такие системы и не являются уникальным в архитектурном плане классом параллельных систем, однако они позволяют создать высокопроизводительное средство обработки информации, обладающее гораздо меньшей стоимостью по сравнению с промышленными суперкомпьютерами. Программное обеспечение таких систем, базируется на классических сетевых операционных системах, с добавлением децентрализованных средств управления.

Средства распараллеливания кластерных систем, в частности библиотека передачи сообщений MPI, дают возможность реализовывать параллельные алгоритмы. Эффективность этих средств демонстрируется реализацией параллельных алгоритмов планирования работы живучей вычислительной системы

ЗАКЛЮЧЕНИЕ

Разработаны и исследованы методы, модели, алгоритмы и программные средства, оптимизирующие использование ресурсов и поддерживающие живучесть распределенных вычислительных систем в. мультипрограммных режимах функционирования.

1. Построены и исследованы алгоритмы распределения задач по элементарным машинам распределенных ВС, учитывающие операции контроля и диагностики.

1.1. Осуществлен анализ режимов функционирования ВС и сформулированы требования к алгоритмам распределения задач по элементарным машинам.

1.2. Предложены алгоритмы, осуществляющие распределение задач по элементарным машинам и операции контроля и диагностики на этапе планирования работы вычислительных систем.

1.3. Разработаны параллельные алгоритмы распределения задач по элементарным машинам живучих ВС, эффективно реализуемые на распределенных вычислительных системах.

1.4. Осуществлено моделирование алгоритмов мультипрограммирования на распределенной ВС и оценена их эффективность.

2. Предложены процедуры определения технического состояния распределенных вычислительных систем, основанные на результатах взаимного тестирования элементарных машин и использующие единственную таблицу неисправностей для множества диагностических графов.

3. Разработаны программные комплексы для организации мультипрограммного режима функционирования и поддержки живучести распределенных вычислительных систем.

4. Разработаны средства удаленного мониторинга и управления для распределенных вычислительных систем, позволяющие оценивать их состояния и вносить изменения в организацию функционирования.

5. Построена пространственно-распределённая мультикластерная вычислительная система; создано программное обеспечение, позволяющее проводить исследования по распределенной обработке информации, а также осуществлять решение сложных задач.

Список литературы диссертационного исследования кандидат технических наук Майданов, Юрий Сергеевич, 2004 год

1. Авиженис А. Отказоустойчивость - свойство, обеспечивающее постоянную работоспособность цифровых систем 7/ ТИИЭР. 1978. Т. 66. № 10. С. 5-25.

2. Аксенова Г.П. Восстановление в дублированных устройствах методом инвертирования данных // Автоматика и телемеханика. 1987. № 10. С. 144-153.

3. Балакин В.Н., Барашенков В.В;, Усачев Ю.Е. Проектирование системы самодиагностирования управляющей микропроцессорной системы // УСиМ. 1984. №2. С. 39-43.

4. Балашов Е.П., Пузанков Д.В. Микропроцессоры и микропроцессорные системы: уч. пособие для ВУЗов / В.Б.Смолов. М.: Радио и связь, 1981. -326 с.

5. Барни К. Старая компьютерная архитектура фирмы Tandem на новых рынках//Электроника 1986. № 8. С. 74-77.

6. Барский А.Б. Параллельные процессы в вычислительных системах. Планирование и организация. М.: Радио и связь, 1990. 256 с.

7. Баумс А.К. О планировании задач и времени реакции распределенных систем реального времени // Автоматика и вычислительная техника. 1998. № 3. С. 50-59.

8. Берников Д.В. Способ тестирования операционных устройств микропроцессоров // Известия вузов Приборостроение. 1994. № 11-12. С. 32-35. •

9. Богданов Ю.Ю. О двух диагностических моделях распределенных цифровых систем//Автоматика и телемеханика. 1986. № 8. С. 127-132.

10. Богуславский Л.Б., Ляхов А.И. Моделирование многосерверных локальных сетей // Автоматика и телемеханика. 1998. № 8. С. 109-123.

11. Буймов А.Г. Использование преобразований Уолша-Адамара для диагностирования вычислительных систем // Автоматика и вычислительная техника. 1998. № 3. С. 38-42.

12. Бурцев B.C. Параллелизм вычислительных процессов и развитие архитектур суперЭВМ. М.: ИВВС РАН, 1997.

13. Ведешенков В.А., Нестеров A.M. О двух методах дешифрации результатов диагностирования цифровых систем // Электронное моделирование. 1981. № 2. С. 53-58.

14. Ведешенков В.А. Об организации самодиагностируемых цифровых систем // Автоматика и телемеханика. 1983. № 7. С. 133-144.

15. Ведешенков В.А., Котельников В.Ю. О диагностировании неисправных модулей в цифровых системах при использовании неполных тестов // Автоматика и телемеханика. 1985. № 8. С. 122-132.

16. Власкина В.В., Лобков С.Н., Сердюченко П.Я. и др. Методика оптимального распределения заданий в отказоустойчивой многопроцессорной вычислительной системе // Автоматика и вычислительная техника. 1998. № 1. С. 30^1.

17. Галушкин А.Н., Грачев Л.В., Толстых М.М. и др. Оценка алгоритмов реконфигурации структуры вычислительных систем с MIMD архитектурой//Кибернетика. 1990. № 2. С. 35-41.

18. Генинсон Б.А., Панкова Л.А., Трахтенгерц Э.А. Отказоустойчивые методы обеспечения взаимной согласованности в распределенных вычислительных системах//Автоматика и телемеханика. 1989. № 5. С. 3-18.

19. Гессель М., Дмитриев A.B., Сапожников В.В. и др. Самотестируемая структура для функционального обнаружения отказов в комбинационных системах //Автоматика и телемеханика. 1989. № 5. С. 162-174.

20. Глушков В.М., Ющенко Е.Л. Вычислительная машина «Киев». Математическое описание. Киев: ГоС. тех. изд-во УССР, 1962. - 183 с.

21. Гобземис А. Классификация объектов распределенных систем по степени работоспособности // Автоматика и вычислительная техника. 1998. №3. С. 6065.

22. Голдберг Дж., Уэнсли Дж. X., Лэмпорт Л. и др. SIFT: Проектирование и анализ отказоустойчивой вычислительной-системы для управления.полетом летательного аппарата//ТИИЭР. 1978. Т. 10. С. 166186.

23. Головкин Б.А. Вычислительные системы с большим числом процессоров. М.: Радио и связь, 1995. 320 с.

24. Головкин Б.А. Исследование некоторых расписаний работы мультипроцессорных вычислительных систем // Труды МФТИ. Сер Радиотехника и электроника. 1975. № 10. С. 6574.

25. Головкин Б.А. Сравнение методов планирования параллельных вычислений в многопроцессорных системах // Известия РАН. Техническая кибернетика. 1982. № 3. С. 150162.

26. Головкин Б.А., Егисапетов Э.Г., Макеев В.Г. Программное обеспечение отказоустойчивости вычислительных систем на базе ЭВМ М-10 // Электронное моделирование. 1987. Т. 9. № 3. С. 5862.

27. Горелов О.И., Плотников Е.В. Представление открытых вычислительных сетей моделью самодиагностируемой системы с распределенным диагностическим ядром // Автоматика и вычислительная техника. 1983. № 4. С. 6470.

28. Горелов О.И., Плотников Е.В. Анализ степени диагностируем ости открытых вычислительных сетей // Автоматика и вычислительная техника. 1983. №6. С. 6166.

29. Горелов О.И., Плотников Е.В. Об одном методе анализа вычислительных сетей // Автоматика и вычислительная техника. 1986. № 1. С. 30-35.

30. Горелов О.И. Поиск дефектов в сложных технических системах методами анализа диагностических графов. Вычисление дефектных компонент // Автоматика и телемеханика. 1987. № 10. С. 153165.

31. Горелов О.И. Поиск устойчивых и перемежающихся дефектов в сложных технических системах, проверяемых неполными тестами // Автоматика и телемеханика. 1991. № 7. С. 136148.

32. Гостилова G.B., Никитин А.И. Глобальное состояние распределенной базы данных и глобальная контрольная точка // УС и М. 1991. № 8. С. 6876.

33. Губарев В.В. Концептуальные вопросы информатики. Новосибирск: НГТУ, 2002. - 120 с.

34. Гуляев В.А., Додонов А.Г., Пелехов С.П. Организация живучих вычислительных структур. Киев: Наук, думка, 1982. 138 с.

35. Димитриев Ю.К. Диагностирование вычислительных систем с несимметричными оценками // Автоматика и телемеханика. 1995. № 12. С. 106112.

36. Димитриев Ю.К. Об одной модели самодиагностируемых систем // Электронное моделирование. 1991. № 1. С. 107108.

37. Дмитриев Ю.К., Хорошевский В.Г. Вычислительные системы из мини-ЭВМ. / Э.В. Евреинов. М.: Радио и связь, 1982. - 304 с.

38. Дмитриев А.К. Диагностическое обеспечение надежности сложных технических систем //НКК. 1997. № 10. С. 4855.

39. Евдокимов В.Ф. Вопросы исследования и применения электронных моделей систем с распределёнными параметрами. Автореф. диС. на соиск. уч. сТ. к.т.н. Киев, 1968. - 23 с.

40. Евреинов Э.В. О возможности построения вычислительных систем в-условиях-запаздывания-сигналов // Вычислительные системы. Новосибирск, 1962. - Вып. 3. - С. 316.

41. Евреинов Э.В. Однородные вычислительные системы, структуры и среды. М.: Радио и связь, 1981. - 208 с.

42. Евреинов Э.В., Косарев Ю.Г. Однородные универсальные вычислительные системы высокой производительности. Новосибирск: Наука. Сибирское отд-е, 1966. - 308 с.

43. Иванников В.П. Операционная систем НД-70 для БЭСМ-6. Авто-реф. диС. на соиск. уч. сТ. к.ф.-м.н. М., 1971.

44. Игнатущенко В.В., Подшивалова И.Ю. Динамическое управление надежным выполнением параллельных вычислительных процессов для систем реального времени // Автоматика и телемеханика. 1999. № 6. С. 142-157.

45. Иыуду К.А., Кривощеков С.А. Математические модели отказоустойчивых вычислительных систем. М.: Изд-во МАИ, 1989. 144 с.

46. Каляев A.B., Левин И.И. Модульно-наращиваемые многопроцессорные системы со структурно-процедурной организацией вычислений. М.: Янус-К, 2003. 380 с.

47. Каравай М.Ф., Уваров С.И. О минимальной избыточности в рекон-фигурируемых однородных многопроцессорных вычислительных системах // Автоматика и телемеханика. 1988. № 2. С. 149-1591

48. Каравай М.Ф. Инвариантно-групповой подход к исследованию к-отказоустойчивых структур // Автоматика и телемеханика. 2000. №1. С. 144-156.

49. Кардаш Д.И:, Кудрявцев A.B., Фрид А.И. Об одном методе тестового диагностирования сложных систем // Информационные технологии. 1998. № 3. С. 30-36.

50. Карцев М.А., Брик В.А. Вычислительные системы и синхронная арифметика. М.: Радио и связь, 1981. - 359 с.

51. Коваленко А.Е., Гула В.В. Отказоустойчивые многопроцессорные системы. Киев: Техника 1986. 326 с.

52. Колосков В.А., Титов В. С. Метод самоорганизации отказоустойчивой мультимикроконтроллерной сети // Автоматика и телемеханика. 1998. № 3; С. 173-183.

53. Корбут A.A., Финкелыптейн Ю.Ю. Дискретное программирование / Под ред. Юдина Д.Б. М.: Наука, 1969. 368с.

54. Корнеев В.В. Архитектура вычислительных систем с программируемой структурой. Новосибирск: Наука, 1985. - 166 с.

55. Корячко В.П., Скворцов C.B., Телков И.А. Архитектуры многопроцессорных систем и параллельные вычисления: Учебное пособие М.: Высшая школа, 1999. 235 с.

56. Крамаренко М.Б. Анализ самодиагностирования отказов вычислительной системы//Электронное моделирование, 1987. № 6. С. 61-64.

57. Крамаренко М.Б. Модели диагностирования отказов параллельной вычислительной системы // Электронное моделирование. 1989. № 3. С. 60-65.

58. Комплексное проектирование элементно-конструкторской базы суперЭВМ / В. А. Мельников, Ю. И. Митропольский .- 1988. 128 с.

59. Кузнецов H.A., Кульба В.В., Ковалевский С.Е. Методы анализа синтеза модульных информационно управляющих систем. М.: Физмалит, 2002. - 797 с.

60. Лазарев В.Г., Лазарев Ю.В. Динамическое управление потоками в сетях. М.: Радио и связь, 1983. - 216 с.

61. Лебедев С.А. Быстродействующие универсальные вычислительные машины.- Mi.' Наук, 1956. - 15 е.

62. Левин В.И. Анализ загрузки вычислительных систем // Автоматика и вычислительная техника. 1983. № 6. С. 67-73.66: Левин В.И. К планированию работы вычислительных систем. Математический аппарат // Автоматика и вычислительная техника. 1982. №5. С. 52-58.

63. Леонтьев В.К., Морено О. О нулях булевых полиномов // Журнал вычислительной математики и математической физики. 1998. Т. 38. № 9. С. 1608-1615.

64. Лобанов- A.B. Обнаружение и идентификация- неисправностей в распределенных управляющих вычислительных системах с программно-управляемой сбое- и отказоустойчивостью // Автоматика и телемеханика. 1998. № 1. С. 55-164.

65. Лобанов A.B. Взаимное информационное согласование с идентификацией неисправностей на основе глобального синдрома // Автоматика и телемеханика. 1996. № 5. С. 150-159.

66. Лобанов A.B. Взаимное информационное согласование с идентификацией неисправностей в распределенных вычислительных системах // Автоматика и телемеханика. 1992. № 4. С. 137-146.

67. Лобанов A.B. Обнаружение и идентификация«враждебных» неисправностей путем одновременного сочетания функционального и тестового диагностирования в многомашинных вычислительных системах // Автоматика и телемеханика. 1999. № 1. С. 159-165.

68. Майданов Ю.С. Оптимизация проведения диагностических операций в параллельных вычислительных системах // Материалы докладов всероссийской научной конференции молодых ученых «Наука технологии инновации». Новосибирск. - 2003. - С. 16-18.

69. Мамедли Э.М., Самедов Р.Я., Соболев H.A. Метод локализации «дружественных» и «враждебных» неисправностей // Автоматика и телемеханика. 1992. № 5. с. 126-138.

70. Мамедли Э.М., Соболев H.A. Механизмы операционных систем, обеспечивающие отказоустойчивость в управляющих многомашинных вычислительных системах // Автоматика и телемеханика. 1995. № 8. С. 3-63.

71. Мамзелев И.А., Николаенко H.H., Русаков М.Ю. Отказоустойчивые вычислительные системы // Зарубежная радиоэлектроника. 1983. №11. С. 3-28.

72. Марчук Г.И. Введение в методы вычислительной математики. Курс лекций. Новосибирск, 1971. - 233 с.

73. Микеладзе М.А. Развитие основных моделей самодиагностирования сложных технических систем // Автоматика и телемеханика. 1995. № 5. С. 3-18.

74. Новиков H.H., Козлов В.Н., Емелин Н.М., Астапенко Ю.В. Применение булевых матриц в решении задач контроля технического состояния дискретных устройств и систем // НКК. 1998. № 3. С. 33-40.

75. Параллельные вычислительные- технологии. Состояние и перспективы / A.B. Забродин. М., 1995. - (Препр. / РАН, Ин-т прикл. матем. им. М.В. Келдыша, 99-71).

76. Пархоменко П.П. Гиперкубовая архитектура многопроцессорных вычислительных систем с реберным расположением процессорных элементов // Известия РАН Техническая кибернетика. 1994. № 2. С. 170-182.

77. Пархоменко П.П., Согомонян Е. С. Основы технической диагностики. М.: Энергия, 1981. 320 с.

78. Основы технической диагностики. В 2-х книгах. Кн. 1. Модели объектов, методы и алгоритмы диагноза / Под ред. П.П. Пархоменко М.: Энергия, 1976.

79. Платанов G.B., Романовский A.C., Чухров С.Ю. Методы обеспечения отказоустойчивости вычислительных систем, ориентированные на решение задач цифровой обработки сигналов // Вестник МГТУ. 1999. №2. С. 70-77.

80. Попков В.К. Моделирование информационных сетей. Новосибирск: ВЦ СО РАН, 1994. - 163.

81. Попков В.К., Мухопад Ю.Ф. Специализированные вычислительные среды / В.Б. Смолов. Улан-Уде: Бурятское книжн. изд-во, 1982. - 189 с.

82. Поспелов Д.А. Введение в теорию вычислительных систем. М.: Советское радио, 1972. - 280 С.

83. Прангишвили И.В., Виленкин С.Я., Медведев И.Л. Параллельные вычислительные системы с общим управлением. М.: Энергопромиздат, 1983.-313 е.

84. Прангишвили И.В., Резанов В.В. Многопроцессорные управляющие вычислительные комплексы с перестраиваемой структурой. М.: 1977

85. Препринт /АН СССР, Институт точной механики и вычислительной техники, № 10).

86. Принципы обеспечения отказоустойчивости многопроцессорых вычислительных систем: Сб. трудов. М: Ин-т проблем управления, 1987. 82 с.

87. Прицкер, Алан Введение в имитационное моделирование и язык СЛАМ II. М.: Мир, 1987. 644 с.

88. Пухов F.E., Евдокимов- В.Ф., Синьков М.В. Разрядно-аналоговые вычислительные системы. М.: Советское радио, 1978. - 255 с.

89. Радойчевски В.Д., Шалаев А.Я. Параллельная диагностируемое^ модульных систем при централизованной дешифрации синдрома // Электронное моделирование. 1992. № 1. С. 5763.

90. Радойчевски В.Д., Шалаев А.Я. О последовательной диагностируемое™ при централизованной дешифрации синдрома // Электронное моделирование. 1992. № 4. С. 90-93.

91. Рекурсивная машина и вычислительная техника / В.М. Глушков, М.В. Игнатьев, В.А. Мясников, В.А. Торгашев. Киев: Препринт АН УССР Институт кибернетики, 74 - 75, 1974. - 120 с.

92. Росляков Д.И., Терехов И.А. Новые технологические решения в построении отказоустойчивых систем // Информационные технологии. 1998. № 1.С. 30-36.

93. Росляков Д.И., Терехов И.А. Отказоустойчивая технология фирмы Sequoia // Успехи современной радиоэлектроники. 1998. № 1. С. 69-79.

94. Рябов F.F., Чупаев B.C. и др. Выбор интегральных схем узлов ЭВМ для интегрального исполнения. М.:Наука, 1969. - 83 с.

95. Савельев А.Я., Овчинников А.Г., Конструирование ЭВМ и систем // учебник для техн. вузов по специальности «электрон.выч.машины». М.: Высшая школа, 1984. 248 с.

96. Савельев А.Я. Прикладная теория цифровых автоматов. М.: Высшая школа, 1987. 226 с.

97. Сами М., Стефанелли Р. Перестраиваемые архитектуры матричных процессорных СБИС // ТИИЭР. 1986. № 5. Т. 74. С. 107-118.

98. Согомонян Е.С., Шагаев И.В. Аппаратурное и программное обеспечение отказоустойчивости вычислительных систем // Автоматика и телемеханика. 1988. №2. С. 3-39.

99. Супер-ЭВМ. Сборник научных трудов. / B.C. Бурцев. М.: АН СССР, отдел вычислительной математики, 1992. - 95 с.

100. Томилин А.Н. Применение метода математическиого моделирования к выбору структурной схемы машины БЭСМ-6 и разработки программы диспетчера машины БЭСМ-6. Автореф. дис. на соиск. уч. ст. к.ф.-м.н.

101. Томфельд Ю.Л. Структурные задачи организации ремонтных взаимодействий компонент цифрового устройства // Автоматика и телемеханика. 1999. № 6. С. 130-141.

102. Трусов С.С. Об Эффективности простых диспетчеров // Изв. АН СССР. Техническая кибернетика. 1973. № 4. С. 150-160.

103. Ш.Федоров И.И. Модель самодиагностирования для распределенных отказоустойчивых систем с деградацией структуры // Автоматика и телемеханика. 1990. № 1. С. 136-144.

104. Флинн М. Сверхбыстродействующие вычислительные системы // ТИИЭР. 1966. № 12. С. 311-320.

105. Хетагуров Я.А. Основы проектирования управляющих вычислительных систем. М.: Радио и связь, 1991. - 287 с.

106. Хорошевский В.Г. Вычислительная система МИКРОС. Новосибирск: Препринт СО АН СССР № 38 (ОВС-19), 1983. - 45 с.

107. Хорошевский В.Г. Инженерный анализ функционирования вычислительных систем. М.: Радио и связь, 1978. - 256 с.

108. Хорошевский. В.Г.- Исследование, функционирования однородных вычислительных систем. Автореферат дис. на соиск. уч. ст. д.т.н. Л.: 1973. -32 с.

109. Хорошевский В.Г. Об алгоритмах функционирования однородных вычислительных систем // Вычислительные системы. Новосибирск, 1970. -Вып. 39. - С. 3-25.

110. Хорошевский В.F. Состояние и перспективы работ в области вычислительных систем с программируемой структурой // ЭВМ. Перспективы и гипотезы. Новосибирск: ПрепринТ. СО АН СССР. Институт теоретической и прикладной механики,- № 46: - 1981. —90-с.

111. Хорошевский В.Г. и др. Архитектура вычислительных систем для управления в электроэнергетике // Труды пятого международного семинара : «Распределенная обработка информации». Новосибирск. - 1995. - С. 53-63.

112. Хорошевский В.Г., Майданов Ю.С., Мамойленко С.Н., Павский К.В., и др. Живучая кластерная вычислительная система7/ Труды школы-семинара «Распределенные кластерные вычисления». Красноярск. - 2001. -С.109-113.

113. Хорошевский В.F., Майданов Ю.С. Средства самодиагностики кластерных вычислительных систем // Труды школы-семинара «Распределённые кластерные вычисления». Красноярск. - 2001. - С. 105-109.

114. Хорошевский В.Г., Мамойленко С.Н. Стратегии стохастически оптимального функционирования распределенных вычислительных систем // Автометрия. том 39. -№ 2. - 2003. - С. 81-91.

115. Хорошевский В.Г., Мамойленко С.Н., Майданов Ю.С. Смирнов C.B. Об организации функционирования кластерных вычислительных систем // Автометрия. -2004. №1. -С. 41-51.

116. Хендри. Полностью аппаратное резервирование без участия программ //Электроника. 1983. № 2. С. 39-43.

117. Чеботарев П.Ю., Шамис Е.В. Матричная теорема о лесах и измерение связей в малых социальных группах // Автоматика и телемеханика. 1997. №9. С. 125-137.

118. Хопкинс A.JL, Смит Т.Б., Лала Дж.Х. FTMP высоконадежный устойчивый к отказам мультипроцессор для управления самолетом ТИИЭР. 1978. Т. 66. № 10. С. 142-165.

119. Чеботарев П.Ю., Шамис Е.В. О показателях близости вершин графов // Автоматика и телемеханика. 1998. № 10. С. 113-133.

120. Четверушкин Б.Н. Математическое моделирование задач динамики излучающего газа. -М.: Наука, 1985. 304 с.

121. Шестакова Т.В. Центры управления сетью. Организация управления и контроля в современных сетях ЭВМ // Зарубежная радиоэлектроника. 1984. №3. С. 19^4.

122. Шнитман В. Отказоустойчивые компьютеры компании Stratus // Открытые системы. № 1. 1998. С. 12-22.

123. Шокин Ю.И. Численные методы газовой динамики и инвариантные разностные схемы. Новосибирск, 1977. - 84 с.

124. Шубинский И.Б. Об одном подходе к обеспечению надежности модульных систем обработки информации // Надежность и контроль качества. 1984. №9. С. 10-15.

125. Шубинский И.Б. Активная защита от отказов вычислительных систем в условиях соизмеримых длительностей решения задач и пауз между ними // Кибернетика и системный анализ. 1991. № 4. С. 42-47.

126. Языки и параллельные ЭВМ: сб. сТ. / A.A. Самарский. М.:Наука, 1990.-91 е.

127. Яненко H.H., Хорошевский В.Г., Рычков А.Д. Параллельные вычисления в задачах математической физики на вычислительных системах с программируемой структурой // Электронное моделирование, 1984. Т. 6, № 1 -С.3-8.

128. Arge J.R. A Message-Based Fault Diagnosis Procedure // Computer Communication Review. 1986. V. 16. № 3. P. 328-337.

129. Chwa K.Y., HakimiS.L. On Fault Identification in Diagnosable Systems Systems // IEEE Trans. Comput. 1981. V. C-30. N 6. P. 414-422.

130. Computer and job-shop scheduling theory/Ed.by E.G.Coffman/. Jon Wily & Suns. - 1976.

131. Gonzalez M.J. Deterministic processor scheduling.-Computing Surveys, 1977,vol. 9,№ 3.p. 173-204.

132. Hanchek F., Dutt S. Methodologies for tolerating cell and interconnect faults in FPGAs// IEEE Trans. Comput. 1988.V. 47. No. 1. P. 15-33.

133. Harmat L. A New Model for Self-Testing and Self-Diagnosing Multi-microprocessor Systems // Proc. Int. Symp. on Fault-Tolerant Computing (FTCS-11), 1981. P. 170-172.

134. Holt C.S., Smith J.E. Diagnosis of Systems with Asymmetric Invalidation //Trans. Comput. 1981. V. C-30. N 9. P. 679-690.

135. Kavianpour A., Friedman A.D. Different Diagnostic Models for Multiprocessor Systems // Information Processing 80: Proc. IFIP Congr. Tokyo-Melburn, 1980. P. 157-162.

136. Khanna S., Fuchs W.K. A graph partitioning approach to sequential diagnosis // IEEE Trans. Comput. 1997.V. 46.No. l.P. 39-47.

137. MaengJ., Malek M.A. A Comparison Connection Assignment for Self-Diagnosis of Multiprocessor System // Proc. Int.Symp. on Fault-Tolerant Computing (FTCS-11), 1981. P. 173-175.

138. J.Von Neumann,"Probabilistic logics and the synthesis of reliable organisms from unreliable components", Automata Studies,№ 34 , P. 43-49. Princeton, NJ : Princeton University Press.

139. Preparata F.P., Metze G., Chien R.T. On the Connection Assignment Problem of Diagnosable Systems // IEEE Trans. Electron. Comput. 1967. V. EC-16. N6. P. 848-854.

140. Russel J.D.,Kime C.R. On the diagnosability of Digital Systems.-Digest of FTC/3 Palo- Alto, June 1973,p. 139-144.

141. Siewiorec D.P. Architecture of Fault-Tolerant Computers // Computer. 1984. V. 17. N8. P. 9-18.

142. Tryon J.G. "Quadded logic" in Redundancy Techniques for Computing Systems? Wilcox and Mann, Eds: Washington, DC: Spartan Books, P. 205-228, 1962.