Организация территориально-распределенных вычислений с использованием декомпозиционных моделей тема диссертации и автореферата по ВАК РФ 05.13.15, кандидат технических наук Ильин, Павел Евгеньевич

• Ильин, Павел Евгеньевич
• кандидат технических наук
• 2008

Оглавление диссертации кандидат технических наук Ильин, Павел Евгеньевич

Аннотация.

Список ключевых понятий, обозначений и сокращений.

Введение.

Глава 1. Предпосылки к осуществлению территориально- распределенных вычислений.

1.1 Введение в проблематику распределенных вычислений.

1.2 Требования к реализации территориально-распределенной вычислительной среды (ТРВС).

1.3 Обзор существующих технологий.

1.3.1 Интерфейс MPI и его реализации.

1.3.2 Интерфейс PVM.

1.3.3 Пакет реализации GRID-вычислений GlobusTook.it.

1.3.4 Система пакетного планирования Torque.

1.3.5 Пакет реализации GRID-вычислений Sun GRID Engine #1.

1.4 Цель и задачи диссертационного исследования.

Глава 2. Модель представления территориально-распределенной вычислительной среды (ТРВС).

2.1 Формализованное представление ТРВС.

2.2 Представление задач.

2.3 Сравнение централизованного и территориально-распределенного подходов с точки зрения времени решения задач.

2.4 Обобщенный алгоритм распределения задач по вычислительным ресурсам

2.5 Пример использования алгоритма распределения.

2.6 Выводы по главе.

Глава 3. Определение архитектурных принципов построения ТРВС.

3.1 Разработка архитектуры ТРВС.

3.1.1 Выбор режима многозадачной работы ТРВС.

3.1.2 Разработка общих принципов организации архитектуры ТРВС.

3.1.3 Классификация и сравнительный анализ возможных вариантов построения ТРВС.

3.2 Динамическое управление приоритетами задач.

3.3 Обработка ошибочных ситуаций.

3.4 Выбор средств синхронизации процессов выполняемых задач.

3.5 Методика измерения затрат времени на передачу данных.

3.6 Выводы по главе.

Глава 4. Реализация и практическое применение ТРВС.

4.1 Реализация экспериментальной версии ТРВС.

4.1.1 Определение требований к экспериментальной версий ТРВС и выбор структуры программного проекта.

4.1.2 Разработка протокола взаимодействия компонентов ТРВС.

4.1.3 Особенности многопоточного режима.

4.2 Экспериментальная проверка применимости ТРВС.

4.2.1 Цель эксперимента и методика его проведения.

4.2.2 Результаты эксперимента.

4.3 Применение ТРВС в учебном процессе.

4.4 Возможность реализации ТРВС на базе существующих технологий.

4.5 Рекомендации по использованию и дальнейшему развитию ТРВС.

4.6 Выводы по главе.

Введение диссертации (часть автореферата) на тему «Организация территориально-распределенных вычислений с использованием декомпозиционных моделей»

Актуальность темы Неуклонное увеличение производительности процессоров, которое наблюдается в последние несколько десятилетий, сделало возможным применение персональных компьютеров в области управления территориально распределенными объектами. Здесь получает все большее признание новый подход — распределенные вычисления, применяемые для задач, которые могут быть решены с применением методов декомпозиции по данным или при крупноблочном распараллеливании таким образом, что обработка данных для каждой из подзадач производится по месту их возникновения. Такой подход дает целый ряд преимуществ как экономической точки зрения, так с точки зрения производительности и надежности.

Преимущества с экономической точки зрения обуславливаются тем, что стоимость суперкомпьютера или кластера, осуществляющего централизованную обработку, на несколько порядков выше, чем стоимость нескольких десятков типовых компьютеров.

Преимущество с точки зрения производительности является следствием существенного уменьшения объема передаваемых данных по каналам связи.

Преимущества с точки зрения надежности организации вычислений возникают вследствие того, что в случае отказа каналов связи управление соответствующей частью объекта может осуществляться локально.

Однако переход к распределенным вычислениям создает ряд новых организационных задач, отсутствовавших при централизованной обработке данных. В частности, к таковым относятся:

1. Постоянное отслеживание доступных вычислительных ресурсов.

2. Организация обмена данными на уровне номеров параллельных процессов для обеспечения независимости от конфигурации сети.

3. Обеспечение возможности асинхронного обмена данными.

4. Удаленный запуск параллельных процессов прикладной задачи и выбор компьютеров, на которых они будут запущены.

5. Обработка ошибочных ситуаций (отказов одного из компьютеров, участвующих в вычислениях или канала связи с ним).

6. Сбор отладочной информации о ходе выполнения параллельных процессов задачи.

7. Учет ненадежности каналов связи и существенных различий в их пропускной способности.

8. Наличие средств описания расположения источников и получателей данных.

Решение этих организационных задач является типичными для подавляющего большинства задач управления территориально-распределенным объектами. В результате оказывается целесообразным перейти к программной среде, которая взяла бы на себя решение перечисленных выше проблем, предоставив разработчику прикладной задачи некоторый стандартизованный набор функций. Кроме того, в общем случае компьютеры могут быть загружены неравномерно. Поэтому для эффективного использования оборудования и устранения потери времени из-за простоев, обусловленных ожиданием данных, требуется реализация возможности использования вычислительных мощностей в многозадачном режиме с разграничением приоритетов задач.

Однако существующие в настоящее время решения не обеспечивают выполнение поставленных перед вычислительной средой задач в полном объеме, что делает проблему создания такой среды актуальной.

Данная диссертационная работа является продолжением проводимых на кафедре ВМСиС исследований в области применения распределенных вычислений для управления территориально-распределенными промышленными объектами, в частности, энергетическими системами.

Цель работы Целью данной диссертационной работы является обоснование принципов организации территориально-распределенной вычислительной среды, отвечающей указанным выше требованиям. Для достижения поставленной цели необходимо решить следующие задачи:

1. Предложить математическую модель вычислительной среды и выполняемых задач, которая позволит формально описывать влияние территориальной распределенности и расположение источников и получателей данных.

2. Разработать стратегию распределения задач по вычислительным ресурсам, учитывающую расположение источников и получателей данных, влияние территориальной распределенности и работу в многозадачном режиме.

3. Определить архитектуру разрабатываемой среды, которая сможет обеспечить следующие возможности: мониторинг состояния вычислительных ресурсов, адресация на уровне номеров параллельных процессов, работа в многозадачном режиме, асинхронный обмен данными, возможность удаленного запуска задач, обнаружение и обработка ошибочных ситуаций.

4. Разработать алгоритм динамического управления приоритетами выполняемых задач.

5. Осуществить программную реализацию экспериментальной версии территори-ально-распределейной вычислительной среды.

6. Провести экспериментальное исследование эффективности применения разработанной среды для реализации распределенных вычислений на примере задачи расчета установившегося режима электроэнергетической системы.

7. Подтвердить практическую применимость предложенной вычислительной среды.

Объект исследования Объектом исследования является территориально-распределенная вычислительная среда — программно-аппаратный комплекс, состоящий из множества неспециализированных компьютеров, объединенных сетью передачи данных, и программного обеспечения, которое делает возможным их совместное использование для параллельного решения прикладных задач.

Предмет исследования Предметом исследования являются закономерности влияния особенностей реализации (архитектурных решений, алгоритма распределения задач по вычислительным ресурсам, алгоритма управления приоритетами) территориально-распределенной вычислительной среды на эффективность организации распределенных вычислений с применением методов декомпозиции задач. В качестве основного критерия оценки эффективности используется время решения прикладных задач.

Методы исследования В диссертационном исследовании применяются следующие научные методы: методы теории параллельного программирования, методы теории графов, методы системного анализа, натурный эксперимент.

Новизна исследования Научную новизной обладают следующие результаты:

1. Математическое представление вычислительной среды в виде упорядоченного множества графов, и задач в виде графов параллельных процессов, что сделало возможным формальное описание ограничений, накладываемых территориальной распределенностью.

2. Стратегия распределения задач по вычислительным ресурсам с применением декомпозиции по вычислительным регионам, на которые разбивается ТРВС в соответствии с затратами на передачу данных, а также учетом расположения источников и получателей данных.

3. Архитектура территориально-распределенной вычислительной среды, которая позволила удовлетворить все выявленные автором требования, предъявляемые к распределенным вычислениям: мониторинг состояния вычислительных ресурсов, адресация на уровне номеров параллельных процессов, асинхронный обмен данными, возможность удаленного запуска задач, обнаружение и обработка ошибочных ситуаций.

4. Механизм динамического управления приоритетами выполняемых задач.

5. Методика измерения затрат на передачу данных с возможностью ее реализации средствами территориально-распределенной вычислительной среды.

Практическая значимость результатов Полученные результаты могут использоваться для повышения эффективности управления территориально-распре-деленными промышленными объектами за счет уменьшения времени решения задач управления этими объектами. В частности, на основе решений, полученных в данной работе, была реализована задача расчета установившегося режима энергосистемы и достигнуто уменьшение времени ее решения по сравнению с централизованным подходом в 4 раза. Полученные результаты нашли применение в учебном процессе: они используются в лабораторных работах по курсу «Поисковое проектирование вычислительных систем» на кафедре ВМСиС МЭИ.

Апробация результатов По теме данной работы имеется 13 публикаций. Основные результаты диссертации докладывались и обсуждались на следующих конференциях:

• Тринадцатая международная научно-техническая конференция «Информационные средства и технологии». 18—20 октября 2005, МЭИ.

• Двенадцатая международная научно-техническая конференция студентов и аспирантов. 2—3 марта 2006, МЭИ.

• III Международная конференция «Параллельные вычисления и задачи управления» РАСО'2006 памяти И.В. Прангишвили. Москва, 2—4 октября 2006 г. Институт проблем управления им. В.А. Трапезникова РАН.

• Пятнадцатая международная научно-техническая конференция «Информационные средства и технологии». 16—18 октября 2007, МЭИ. Структура диссертации Диссертация содержит 181 страницу, из них 45 страниц — приложения, 12 рисунков и 5 таблиц и состоит из четырех глав, введения и заключения.

В первой главе уточняется понятие распределенных вычислений, дается обзор проблем, возникающих при их организации, приводится обзор существующих решений, обосновывается необходимость создания территориально-распре-деленной вычислительной среды для организации распределенных вычислений, определяются требования и критерий оценки качества ее реализации.

Вторая глава посвящена проработке модели представления ТРВС с помощью иерархии графов и разработке стратегии распределения задач по вычислительным ресурсам ТРВС с применением декомпозиции по вычислительным регионам, на которые разбивается ТРВС в соответствии с затратами на передачу данных. Дается пример алгоритма распределения, реализующего предложенную стратегию и делается оценка эффективности такого распределения. Также в данной главе производится сравнение централизованного и территориально-распределенного подхода к организации вычислений и определяется критерий оценки целесообразности применения распределенных вычислений с точки зрения времени решения задачи.

В третьей главе разрабатывается обобщенная архитектуры ТРВС и рассматриваются варианты ее реализации, разрабатывается алгоритм динамического управления приоритетами выполняемых задач, рассматриваются вопросы обеспечения отказоустойчивости ТРВС и предлагается методика измерения затрат на передачу данных средствами самой ТРВС.

В четвертой главе осуществляется выбор инструментальных средств для программной реализации ТРВС, производится разработка протокола взаимодействия компонентов ТРВС. Далее описывается методика проведения эксперимента по оценке эффективности практического применения ТРВС на примере задачи расчета установившегося режима электроэнергетической системы и приводятся результаты эксперимента. Затем рассматривается возможность реализации промышленной версии ТРВС на базе существующих технологий: среды OpenMPI, являющейся одной из реализаций стандарта МР/, системы пакетного планирования Torque и протокола SNMP. Также дается ряд рекомендаций по использованию экспериментальной версии ТРВС и ее дальнейшему развитию.

Заключение диссертации по теме «Вычислительные машины и системы», Ильин, Павел Евгеньевич

4.6 Выводы по главе

В главе 4 были получены следующие результаты:

1. Сформулированы требования к экспериментальной версии ТРВС. Для ее реализации произведен выбор среды разработки Borland Delphi, коммуникационной библиотеки Indy Sockets, структура программного проекта, и обоснована целесообразность применения объектно-ориентированного программирования, что позволило избежать дублирования общей части кода различных компонент ТРВС, повысить его структурированность и упростить отладку. В результате была реализована экспериментальная версия ТРВС, соответствующая выбранной в главе 3 архитектуре и использующая разработанную в главе 2 модель представления ТРВС и алгоритмы распределения задач.

2. Изучены основные способы построения протоколов высокого уровня на основе протокольного стека TCP/IP, и разработан протокол взаимодействия компонентов ТРВС. Это позволило реализовать универсальные процедуры приема и передачи команд протокола, что существенно упростило обнаружение ошибок и обработку отказов вычислителей.

3. Для проверки работоспособности предложенной реализации ТРВС и оценки эффективности применения распределенных вычислений была разработана методика проведения эксперимента. В ходе проведения эксперимента было установлено, что применение распределенных вычислений для задачи расчета установившегося режима электро-энергетической сети позволяет получить ускорение как за счет декомпозиции и распараллеливания (минимальный полученный ХуСк=1,36), так и за счет обработки данных по месту их возникновения (/£уСК=4,3 при скорости доставки данных для централизованной обработки 256 Кбит/с).

4. Сфорумлированы требования к промышленной версии ТРВС. На основе этих требований была предложена реализация ТРВС на основе существующих решений OpenMPI в качестве клиентской библиотеки, пакетного планировщика Torque в качестве локального диспетчера и протокола SNMP для сбора информации о вычислителях и измерения затрат на передачу данных, и определены доработки, которые требуется осуществить для реализации модели представления ТРВС, разработанной в главе 2 и учитывающей . В результате возникла возможность существенно уменьшить объем тестирования и осуществлять разработку прикладных программ с использованием общепринятого стандарта MPI.

5. Дан ряд рекомендаций по практическому применению ТРВС и ее дальнейшему развитию.

Заключение

Основная цель диссертационной работы достигнута: в ходе ее выполнения были предложены и обоснованы принципы организации территориально-распре-деленной вычислительной среды, которые учитывают все выявленные автором требования.

В ходе выполнения диссертационной работы были получены следующие результаты:

1. Разработана модель представления ТРВС и решаемых на ней задач в виде иерархически упорядоченного множества графов, которая позволяет учитывать затраты на передачу данных — величину, которая позволяет охарактеризовать каждый канал связи с точки зрения желательности его использования для передачи данных относительно других каналов ТРВС, и формализовать ограничения, связанные с территориальным расположением источников и получателей данных.

2. Предложена стратегия планирования задач, которая позволяет учитывать ограничения, накладываемые расположением источников и получателей данных, в целях минимизации времени решения задачи. Также был предложен один из возможных алгоритмов, реализующих эту стратегию, и произведена оценка эффективности такого распределения.

3. Разработана обобщенная архитектура ТРВС, в которой учтены следующие требования к реализации распределенных вычислений: мониторинг состояния вычислительных ресурсов, адресация на уровне номеров параллельных процессов, асинхронный обмен данными, возможность удаленного запуска задач, обнаружение, обработка ошибочных ситуаций и работа в ржеиме многозадачности. Также проведен сравнительный анализ возможных вариантов реализации этой архитектуры.

4. Разработан механизм, позволяющий динамически управлять приоритетами выполняемых задач и приостанавливать их в случае необходимости выполнения более приоритетных задач без потери результатов вычислений, причем это управление осуществляется децентрализовано.

5. Рассмотрено два варианта реализации ТРВС, выполнена программная реализация одного из них в соответствии с разработанной архитектурой и с учетом предложенных алгоритмов. Полученная реализация нашла применение в учебном процессе для проведения лабораторных работ, а также была использована для экспериментального исследование ТРВС. Также была разработана система мониторинга ТРВС, обнаруживающая наиболее типичные ошибки в логике обменов при реализации распределенных задач и позволяющая производить централизованный сбор отладочной информации, и дан ряд рекомендаций по использованию ТРВС и ее дальнейшему развитию.

6. Сформирован аналитический критерий эффективности применения распределенных вычислений, согласно которому эффективность тем выше, чем больше соотношение между объемом данными, передаваемыми от источников данных и к получателям данных, и объемом данных передаваемых в ходе выполнения задачи между параллельными процессами, а также тем выше, чем больше разность между пропускной способностью каналов связи от источников/получателей данных до вычислителей и каналами, связывающими вычислители, находящиеся на разных территориях.

7. По результатам эксперимента, в ходе которого решалась задача расчета установившегося режима электроэнергетической системы, была установлена работоспособность разработанной версии ТРВС и подтверждена целесообразность применения территориально-распределенных вычислений, организованных с ее помощью, для решения данного класса энергетических задач.

Список литературы диссертационного исследования кандидат технических наук Ильин, Павел Евгеньевич, 2008 год

1. Назаров А.В. Современная телеметрия в теории и практике: учебный курс. /

2. A.В. Назаров. — СПб.: Наука и техника. — 2007. — 627 с.

3. Суханов О.А. Иерархические модели в анализе и управлении режимаим электроэнергетических систем / О.А. Суханов. — М.: Издательский дом МЭИ, 2007.-312 с.

4. Шенборт И.М. Проектирование вычислительных систем распределенных АСУ ТП / И.М. Шенборт, В.М. Алиев. М.: Энергоатомиздат, 1989. - 88 с.

5. Автоматизация управления энергообъединениями / В.В. Гончуков,

6. B.М. Горинштейн, JI.A. Крумм и др.; под ред. С.А. Совалова. -М.: Энергия, 1979. -432 с.

7. Применение принципов функционального (кибернетического) моделирования для решения задач управления и проектирования электрических систем. /

8. О.А. Суханов, В.А. Тимофеев, Ш.С. Чандра // Электричество. 1997. - № 4.- С. 2-6.

9. Суханов О.А. Управление режимами электроэнергетических систем на основе принципов кибернетического моделирования. Экономия электроэнергии в электроэнергетических системах. / О.А. Суханов // Сб. научных трудов МЭИ.- 1988.-№ 187.-С. 104-109.

10. Распределенная обработка задач АСУТП дальнего транспорта газа /

11. А.Б. Бурцев, Е.Г. Волков, Н.В. Родина, и др. // Сб. научных трудов МЭИ. 1989. -№ 195.-С. 19-23.

12. Бурцев А.Б. Принципы организации противоаварийного управления электроэнергетическими системами с использованием параллельных вычислений / А.Б. Бурцев, И.И. Дзегеленок, С.В. Ковалёв // Электротехника.- 1996. -№9. С. 18-23.

13. Родина Н.В. Организация параллельных вычислений в распределённых управляющих системах: 05.13.15: дисс. . канд. техн. наук: /Н.В. Родина. -М.,1991,-173 с.

14. Fathi Е.Т. A distributed system for real-time applications / E.T. Fathi, E. Bose. // IEEE micro. 1987, - # 6, vol. 7. - P. 21 -28.

15. Абдулрадх О.А. Потенциальная эффективность метакомпьютерных вычислений для управления электроэнергетическими системами /

16. О.А. Абдулрадх, И.И. Дзегеленок. // Труды II международной конференции «Параллельные вычисления и задачи управления РАСО 2004». М.: Институт проблем управления им. В.А. Трапезникова, 2004. — С. 1104-1116.

17. Таненбаум Э. Распределенные системы: принципы и парадигмы / Э. Таненбаум, М. Стен. СПб.: Питер, 2003. - 877 с.

18. Цимбал А.А. Технологии создания распределенных систем для профессионалов / А.А. Цимбал, M.JI. Аншина. СПб.: Питер», 2003. - 576 с.

19. Миренков Н.Н. Параллельное программирование для многомодульных вычислительных систем / Н.Н. Миренков. — М.: Радио и связь, 1989. 320 с.

20. Воеводин В.В. Параллельные вычисления / В.В. Воеводин, Вл.В. Воеводин.- СПб.: БХВ-Петербург, 2002. 608 с.

21. Топорков В.В. Модели распределенных вычислений /В.В. Топорков.- М.: Физматлит, 2004. 320 с.

22. Кутепов В.П. Организация параллельных вычислений на системах / В.П. Кутепов. М.: Изд-во МЭИ, 1988. - 64 с.

23. Евреинов Э.В. Однородные вычислительные системы, структуры, и среды / Э.В. Евреинов. М.: Радио и связь, 1981. - 207 с.

24. Dally W. J. Network and processor architecture for message-driven computers / W.J. Dally; editors: R. Sauya, G. Birtwistle. VLSI and Parallel Computation. San Mateo, С A: Morgan Kaufmann, 1990.

25. Reed D. A. Multicomputer Networks: Message-Based Parallel Processing / D.A. Reed, R.M. Fujimoto. Cambridge, MA'.MIT Press, 1989.

26. Корнеев В.В. Параллельные вычислительные системы / В.В. Корнеев.- М.: «Нолидж», 1999. 320 с.

27. Немнюгин С.А. Параллельное программирование для многопроцессных вычислительных систем / С.А. Немнюгин, O.JI. Стесик. СПб.: БХВ-Петербург, 2002.-400 с.

28. Корнеев В.В. Параллельные вычислительные системы / В.В. Корнеев.- М.: Нолидж, 1999. 320 с.

29. Эндрюс Г.Р. Основы многопоточного, параллельного и распределенного программирования / Грегори Р. Эндрюс. М.: Вильяме, 2003. - 512 с.

30. Akl S. G. Parallel Computation Models and Methods / S. G. Akl. — Englewood Cliffs, NJ, Prentice-Hall, 1997.

31. ZomayaA. Parallel and Distributed Computing Handbook / A. Zomaya. McGraw-Hill, 1996.

32. Buyya R. High Performance Cluster Computing: Architectures and Systems / R. Buyya. Prentice Hall, 1999.

33. Валях E. Последовательно-параллельные вычисления / E. Валях; пер. с англ. -М.: Мир, 1985.-456 с.

34. Meliksetian D.S. Design and implementation of an enterprise grid. / D.S. Meliksetian II IBM Systems Journal. 2004 - #4, vol. 43.

35. MPI: A Message-Passing Interface Standard 1.1 Электронный ресурс.- Электрон, текстовые дан. — University of Tennessee, Knoxville, Tennessee, 1995.- Режим доступа: http://ww\v.mpi-forum.org/docs/mpi-l 1-html/mpi-report.html, свободный.

36. MPI-2: Extensions to the Message-Passing Interface Электронный ресурс.- Электрон, текстовые дан. — University of Tennessee, Knoxville, Tennessee, 1997.- Режим доступа: http://www.mpi-forum.org/docs/mpi-20-html/mpi2-report.html, свободный.

37. Шпаковский Г.И. Программирование для многопроцессорных систем в стандарте MPI / Г.И. Шпаковский, Н.В. Серикова. Минск.: БГУ, 2002. - 323 с.

38. Антонов А.С. Параллельное программирование с использованием технологии MPI. I А.С. Антонов. М.: Изд-во МГУ, 2004. - 71 с.

39. Корнеев В.Д. Параллельное программирование в MPI / В.Д. Корнеев.- Новосибирск: Изд-во СО РАН, 2000. 213 с.

40. Букатов А.А. Программирование многопроцессорных вычислительных систем / А.А. Букатов, В.Н. Дацюк, А.И. Жегуло. Ростов-на-Дону: ООО "ЦВВР", 2003. -208 с. (Многопроцессорные системы и параллельное программирование.)

41. MPI: The Complete Reference. / Marc Snir, Steve Otto, Steven Huss-Lederman, David Walker, Jack Dongarra. Cambridge, MA: MIT Press, 1996.

42. Средства параллельного программирования в ОС Linux / Р.Х. Садыхов, Л.П. Поденок, А.В. Отвагин, И.И. Глецевич, Д.А. Пынькин; под ред. Р.Х. Садыхова. Минск: ЕГУ, 2004. - 475 с.

43. PVM: Parallel Virtual Machine. A Users' Guide and Tutorial for Networked Parallel Computing/ Al Geist, Adam Beguelin, Jack Dongarra, Weicheng Jiang, Robert Manchek, Vaidy Sunder am. Cambridge, MA: MIT Press, 1993.

44. Grimshaw A.S. A philosophical and technical comparison of Legion and Globus. / Grimshaw A. S. II IBM Journal of Research and Development. — 2004 — Mar.

45. From Open Grid Services Infrastructure to WSResource Framework: Refactoring & Evolution Электронный ресурс. / К. Czajkowski, D. Ferguson, I. Foster, J. Frey,

46. S. Graham, T. Maguire, D. Snelling, S. Tuecke. Электрон, дан. - Режим доступа: http://www.globus.org/wsrf/specs/ogsitowsrfLO.pdf, свободный.

47. Появление нового ПО грид. Электронный ресурс.: GRIDCLUB.RU. Интернет-портал по (ТЛЮ-технологиям / Институт прикладной математики им. М.В. Келдыша РАН. — Электрон, дан. Режим доступа: http://gridclub.ru/practice/newsoftware.html, свободный.

48. Globus Toolkit Homepage. Электронный ресурс. / Globus Alliance, University of Chicago. Режим доступа: http://www.globus.org/toollcit/, свободный.

49. TORQUE Resource Manager Электронный ресурс. Cluster Resources Inc., 2004. - Электрон, дан. - Режим доступа:http://www.clusterresources.com/pages/products/torque-resource-manager.php, свободный.

50. Анпи П. Этот Grid — неспроста. Электронный ресурс. / Анни П. // Открытые системы. Электрон, журн. - 2003. - #1. - Режим доступа:http://www, osp. ru/os/2003/01/1824057, свободный.

51. Sun Grid Engine 6.1 Overview Электронный ресурс. / Sun Microsystems, Inc. — Электрон, дан. Режим доступа: http://www.sun.com/software/gridware/, свободный.

52. Топорков В.В. Декомпозиционные схемы синтеза стратегий планирования в масштабируемых системах. / В.В. Топорков // Изв. РАН Сер. Теория и системы управления. 2006. - № 1. - С. 82-93.

53. Топорков В.В. Потоковые и жадные алгоритмы согласованного выделения ресурсов в распределенных системах. / В.В. Топорков //Изв. РАН. Теория и системы управления. 2007. - № 2. - С. 109-119.

54. Котляров Д.В. Граф-схемное потоковое параллельное программирование и его реализация на кластерных системах. / Д.В. Котляров, В.П. Кутепов,

55. М.А. Осипов. // Теория и системы управления. — 2005, — №1.

56. Task allocation in distributed data processing I Wesley W Chu, Leslie J. Holloway, Min-Tsung I.an, andKemal Efe II IEEE computing. — 1980. — P. 57-69.

57. Коротаев K.C. Многоуровневый планировщик процессорного времени для групп процессов, обеспечивающий гарантии в обслуживании / К.С. Коротаев, П.В. Емельянов // Информационные технологии. — 2006. № 6. - С. 58-63.

58. Трубецкой А.И. Принципы построения модели распределенно-параллельных вычислений / А.И. Трубецкой, С.Г. Ермаков, Н.А. Шаменков // Информация и Космос 2006.-№1.

59. Ильин П.Е. Многозадачная территориально-распределенная вычислительная среда с учетом эффективности передачи данных / П.Е. Ильин // Вестник МЭИ.- 2008. №2. - М.: Изд-во МЭИ. - С. 95—99.

60. Ильин П.Е. Организация мультизадачного выполнения параллельных программ в территориально распределенной сети. / П.Е. Ильин, И.И. Дзегеленок , A.M. Титов // Сборник научных трудов: К 85-летию ВЭИ / Под ред. В.Д. Ковалева. -М.: ГУПВЭИ, 2006. С. 107-112.

61. Олифер Н.А. Компьютерные сети /Н.А. Олифер, В.Г. Олифер. СПб.: Питер, 2005.-804 с.

62. Митягин О.В. Распределенная обработка информации в системах диспетчерского контроля и управления / О.В. Митягин // Промышленные АСУ и контроллеры 2002. - №5.

63. Ильин П.Е. Декомпозиционный подход к осуществлению GRID-технологий / П.Е. Ильин, И.И. Дзегеленок, Ш.А. Оцоков и др. // Информационная математика. -2005,-№1 (5).-С. 110-119.

64. Ильин П.Е. Проект глобально-распределенной мультикомпьютерной среды для реализации декомпозиционных моделей управления. / П.Е. Ильин,

65. И.И. Дзегеленок // Труды III Международной конференции «Параллельные вычисления и задачи управления» РАСО'2006, Москва, 2—4 октября 2006 г. -М.: Институт проблем управления им. В.А. Трапезникова, 2006. С. 400-406.

66. Столингс В. Операционные системы / В. Столингс. М.: Вильяме, 2002.- 848 с.

67. Таненбаум Э. Современные операционные системы /Э. Таненбаум.- СПб.: Питер, 2002. 1040 с.

68. Кузнецов А.Ю. Параллельные мультикомпьютерные сети как направление развития распределенных супер-ЭВМ / И.И. Дзегеленок, А.Ю. Кузнецов // Сб. "Системы управления и силовая электроника"; под общ. ред. В.Д. Ковалёва. -М.:ВЭИ, 2001.-С. 62-67.

69. Дзегеленок И.И. Разработка распределённой параллельной программы / ИИ. Дзегеленок, А.Ю. Кузнецов, Ю.В. Аляева. -М.:Изд-во МЭИ, 2002. 24 с.

70. ArenstorfN.S. Comparing barrier algorithms /Norbert S. Arenstorf, Harry F. Jordan//Parallel Computing. 1989. - #12. -P. 157-170.

71. Shun Yan Cheung. Performance of barrier synchronization methods in a multiaccess network" / Shun Yan Cheung, Vaidy S. Sunderam II IEEE transactions on parallel and Distributed systems. — 1995. — #8, vol 6.

72. Duato J. Interconnections networks :An Engineering approach / J. Duato, S. Yalamanchili, L.M. Ni. Los Alamitos, CA: IEEE CS Press, 1997.

73. Абдулрадх О.А. Эффект барьерной синхронизации параллельных вычислений. / О.А. Абдулрадх. // Сб. научных докладов МФИ-2002. М.: Изд-во МЭИ, 2002. - С. 58-62.

74. Роджерсон Д. Основы COMI Дейл Роджерсон. -М.: Русская Редакция, 2000. -400 с.

75. Жуков А. Изучаем Delphi / А. Жуков. СПб.: Питер, 2001. - 352 с.

76. Тейбор Р. Реализация XML Web-служб на платформе Microsoft .NETI Роберт Тейбор. М.: Вильяме, 2002. - 464 с.

77. Петзолд Ч. Программирование для Windows ® 95: в 2 т. / Чарльз Петзолд.- СПб.: BHV-Санкт-Петербург, 1997. 752 е., ил.

78. Абдулрадх О.А. Исследование эффективности мультикомпьютерных систем с использованием декомпозиционной модели организации распределенных вычислений: 05.13.15: дис. канд. техн. наук / О.А. Абдулрадх. -М., 2005. -206 с.

79. Отчет ВЭИ о НИР «Создание иерархических алгоритмов функционального моделирования для управления энергетическими системами» / Научный руководитель, д.т.н. В.Д. Ковалев (гос. per. №01200305827). -М: ВЭИ, 2003.

80. Веников В.А. Электрические системы электрические сети / В.А. Веников, В.А. Строев //- М: Высшая школа, 1998.

81. Автоматизация управления энергообъединениями / В.В. Гончуков,

82. В.М. Горинштейн, JI.A. Крумм и др.; под ред. С. А. Совалова. -М.: Энергия, 1979. -432 с.

83. Бятец B.C. Расчеты установившихся электрических режимов сложных энергосистем при эквивалентировании исходной схемы до заданного-объема / B.C. Бятец. Киев: Науков думка, 1979.

84. Воропай Н.И. О проблеме эквивалентирования при построении математических моделей / Н.И. Воропай. Иркутск: СЭИ СО АН СССР, 1970.

85. Веников В.А. Кибернетические модели электрических систем / В.А. Веников, О.А. Суханов. -М.: Энергоиздат, 1982.

86. Soukhanov О.А. Application of functional modeling to the solution of power system optimization problems. / O.A. Soukhanov, S. C. Shil II Electrical power & energy systems. 2000. - #22. - P. 119-127.

87. Суханов O.A. Управление режимами электроэнергетических систем на основе принципов кибернетического моделирования, Экономия электроэнергии в электроэнергетических системах / О.А. Суханов // Сб. научных трудов МЭИ.- 1988.-№ 187.-С. 104-109.

88. Арзамасцев Д.А. АСУ и оптимизация режимов энергосистем: учеб. пособие для студентов / Д.А. Арзамасцев, П.И. Бартоломей, A.M. Холян; под ред.

89. Д.А. Арзамасцева. М.: Высшая школа. - 1983. - 208 с.

90. Методы оптимизации режимов энергосистем / В.М. Горинштейн, Б.П. Мирошниченко, А.В. Пономарев и др.; под ред. В.М Горнштейна. -М.: Энергия. 1981.-336 с.

91. Open MPI: Open Source High Performance Computing Электронный ресурс.- Open MPI Team, 2004. Электрон, дан. - Режим доступа: http://www.openmpi.org, свободный.