Исследование и разработка методики отображения задач на кластерные системы с иерархически-неоднородной коммуникационной средой тема диссертации и автореферата по ВАК РФ 05.13.15, кандидат технических наук Яньков, Сергей Георгиевич

• Яньков, Сергей Георгиевич
• кандидат технических наук
• 2009

Оглавление диссертации кандидат технических наук Яньков, Сергей Георгиевич

СОДЕРЖАНИЕ.

ВВЕДЕНИЕ.

Глава 1. Современные кластерные системы и методы отображения задач на них.

1.1. Современные кластерные системы и их коммуникационные среды.

1.1.1. Организация кластерных вычислительных систем.

1.1.2. Особенности современных кластерных систем на примере кластера МЭИ.

1.1.3. Коммуникационные среды современных кластерных систем.

1.2. Методы отображения задач на кластерные системы.

1.2.1. Аппарат теории расписаний.

1.2.2. Поярусное распределение сегментов при отображении задач.

1.2.3. Прочие алгоритмы отображения задач.

Введение диссертации (часть автореферата) на тему «Исследование и разработка методики отображения задач на кластерные системы с иерархически-неоднородной коммуникационной средой»

Быстро растущие потребности человека в решении сложных задач обработки данных определяют темп развития компьютерной техники. Компьютерные системы и /Г-технологии стали одной из наиболее активно развивающихся технических отраслей в современном мире. Для решения задач, постоянно возникающих в разных сферах человеческой деятельности, все чаще применяются многомашинные вычислительные системы, существенно превосходящие по производительности отдельно взятые персональные компьютеры. Современные многомашинные вычислительные системы перестают быть уникальными техническими комплексами, становясь все более доступными.

Одним из наиболее популярных направлений в развитии многомашинных вычислительных систем, в настоящее время, являются кластерные системы [1—4], обладающие неплохим соотношением стоимости и производительности. Однако, наряду с многочисленными очевидными достоинствами кластерных систем, присутствует ряд трудностей в их применении для решения сложных задач [1], требующих значительных интеллектуальных усилий для их устранения.

В общем виде время решения задачи на кластерной системе можно представить в виде функции

Грей, =ДШ, СН, SD, X), где ТН — характеристики задачи; СН — характеристики кластерной системы; SD — накладные расходы (системные задержки); X — вариант отображения задачи на кластерную систему.

Под характеристиками задачи обычно понимаются ее размерность (число сегментов) и сложность (степень связности и структура зависимости сегментов по данным), которые существенным образом влияют на время решения задачи [12].

Под характеристиками кластерной системы понимаются ее масштаб (число вычислителей — ядер в процессоре, число процессоров в узле, число узлов в системе), производительность вычислителей, емкость памяти и др., а также характеристики коммуникационной среды — иерархия коммуникационных сетей, пропускная способность и латентность каждой из них.

Под накладными расходами понимаются различные статически не контролируемые (динамические) системные задержки, увеличивающие время решения задачи, например, задержки, связанные с миграцией процессов, прерыванием работы вычислителей на обработку более приоритетных системных запросов, общем уровнем текущей загрузки системы и т.д.

Термин «отображение» имеет двоякое толкование. С одной стороны, под отображением задачи на кластерную систему понимается процесс распределения сегментов задачи по вычислителям кластера, в результате которого устанавливается строгое соответствие между сегментами и вычислителями, определяющее на каком вычислителе будет выполняться тот или иной сегмент задачи. С другой стороны, под отображением задачи на кластерную систему часто понимается результат распределения сегментов задачи по вычислителям кластера, фиксируемый как соответствие между сегментами и вычислителями. В дальнейшем о результате распределения сегментов задачи по вычислителям кластера будем говорить, как о варианте отображения задачи на кластер.

Применение в современных кластерных системах большого числа многопроцессорных узлов (более 100 ООО), построенных на основе многоядерных процессоров, приводит к необходимости использования иерархически-неоднородных коммуникационных сред, время передачи данных в которых между различными ядрами-вычислителями может существенно различаться вследствие применения разных сетей передачи данных на разных уровнях иерархии. Этот фактор приводит к трудностям в управлении кластерными системами, а также существенным образом влияет на время решения задач, затрудняя их эффективную реализацию.

Решение задачи на кластерной системе подразумевает выполнение соответствующей параллельной программы, структура которой учитывает выбранный вариант отображения задачи на кластер. Обычно, для выполнения параллельной программы выделяется множество доступных на данный момент ядер-вычислителей, которые могут быть расположены в разных «местах» кластерной системы (в одном или разных процессорах, в одном или разных вычислительных узлах), связанных коммуникационными сетями разных уровней иерархии. В этом случае время передачи данных между вычислителями может существенно различаться и, следовательно, время выполнения параллельной программы на одном и том же числе вычислителей может различаться в зависимости от того, какие именно вычислители используются. Поэтому при создании и реализации эффективной параллельной программы (решающей задачу за минимальное или близкое к минимальному время, при фиксированных числе и локализации выделенных вычислителей кластера) необходимо учитывать не только характеристики самих вычислителей, но и характеристики коммуникационной среды, обеспечивающей информационный обмен между ними.

В диссертационной работе исследуется влияние характеристик современных кластерных систем и, в первую очередь, характеристик их иерархически-неоднородных коммуникационных сред на варианты отображения задач, позволяющее минимизировать время их решения.

Решаемая задача изначально представляется множеством сегментов со строго определенными зависимостью по данным и последовательностью выполнения. Для создания параллельной программы, реализующей задачу на кластерной вычислительной системе, необходимо распределить сегменты задачи по выделенным вычислителям, т.е. определить на каком вычислителе будет выполняться каждый сегмент. В диссертационной работе предлагается методика отображения задач (распределения сегментов задач) на выделенные вычислители кластерных систем, учитывающая характеристики иерархически-неоднородных коммуникационных сред и обеспечивающая эффективную реализацию параллельных программ на кластере. Методика описывает процесс отображения задачи на выделенные вычислители кластерной системы, обеспечивающий получение эффективной параллельной программы, выполняемой за субоптимальное (минимальное или близкое к минимальному) время.

Главной идеей, воплощенной в предлагаемой методике, является сокращение времени выполнения параллельной программы, за счет сокращения общего времени обмена данными между вычислителями в процессе ее выполнения. В основе методики лежит оригинальный алгоритм распределения сегментов задачи по выделенным вычислителям кластерной системы, учитывающий временную неоднородность коммуникационной среды и местоположение (локализацию) выделенных вычислителей в ней. Сокращение общего времени обмена данными осуществляется за счет оптимизации передач путем субоптимального распределения сегментов задачи по выделенным вычислителям в условиях иерархически-неоднородной коммуникационной среды кластера.

Цель работы — создание методики статического отображения задач на кластерные системы, обеспечивающей построение и эффективную реализацию параллельных программ, методики, учитывающей наряду с характеристиками самих задач, характеристики иерархически-неоднородных коммуникационных сред современных кластеров.

Объектом исследования являются кластерные вычислительные системы и их коммуникационные среды, предметом исследования — особенности организации коммуникационных сред кластерных систем, учет которых позволяет сократить время выполнения параллельных программ на кластерах за счет эффективного отображения решаемой задачи на выделенные вычислительные ресурсы.

Актуальность работы связана с тем, что большинство используемых в настоящее время алгоритмов отображения задач на кластеры учитывает лишь характеристики решаемых задач и вычислителей, но не учитывает различий во времени передачи данных между вычислителями. Это, в свою очередь, приводит к тому, что время выполнения параллельных программ на современных кластерных системах порой существенно превосходит ожидаемое, а коэффициент ускорения не на много отличается от единицы. Поэтому разработка методики эффективного отображения задач на кластерные системы, учитывающей особенности иерархически-неоднородных коммуникационных сред современных кластерных систем, является актуальной задачей.

Научная новизна диссертационной работы обуславливается следующими факторами.

1. Выявлены особенности иерархически-неоднородной коммуникационной среды кластерных систем, влияющие на время выполнения параллельных программ. Получены реальные времена передачи данных между вычислителями на разных уровнях иерархии коммуникационной среды кластера МЭИ

2. Разработана оптимизационная модель отображения регулярной задачи на выделенные вычислители кластерной системы, где в качестве функции оптимизации выступает построенная аналитическая зависимость времени выполнения реализующей задачу параллельной программы от варианта ее отображения на выделенные вычислители в условиях иерархически-неоднородной коммуникационной среды.

3. С учетом построенной оптимизационной модели, разработан эвристический алгоритм для эффективного отображения задачи на выделенные вычислители кластерной системы, учитывающий характеристики иерархически-неоднородной коммуникационной среды и позволяющий сократить время выполнения параллельной программы, реализующей задачу.

4. Разработана методика статического отображения задач на выделенные вычислители кластерных систем с иерархически-неоднородной коммуникационной средой.

Практическая значимость работы заключается в создании программных средств, обеспечивающих существенную инструментальную поддержку разработанной методики отображения задач, которые могут быть использованы при разработке параллельных программ и планировании их выполнения на кластерных системах.

Практическая значимость работы подтверждается использованием разработанной методики при создании параллельной версии пакета анализа процессов теплообмена ANES [24], а также применением результатов проведенных в работе исследований в учебном процессе кафедры ВМСиС МЭИ (ТУ), о чем имеются акты о внедрении. Результаты проведенных исследований также нашли свое отражение в учебном пособии «Кластеры на многоядерных процессорах», выпущенном Издательским домом МЭИ в 2008 году.

Результаты, полученные автором. В рамках диссертационной работы автором получены следующие основные результаты:

- разработана оптимизационная модель отображения задачи на кластерную систему, где в качестве функции оптимизации выступает аналитическая зависимость времени выполнения реализующей задачу параллельной программы от варианта ее отображения на выделенные вычислители в условиях иерархически-неоднородной коммуникационной среды;

- разработан эвристический алгоритм отображения задачи на выделенные вычислители кластерной системы с учетом характеристик иерархически-неоднородной коммуникационной среды;

- разработана методика отображения задач на кластерные системы с учетом характеристик их иерархически-неоднородных коммуникационных сред;

- разработаны инструментальные программные средства, позволяющие использовать предлагаемую методику для создания эффективных параллельных программ, решающих сложные вычислительные задачи;

- проведены экспериментальные исследования эффективности разработанной методики на задачах различного класса.

Область применения разработанной методики. Необходимо отметить ряд ограничений применения разработанной методики:

- предлагаемая методика отображения задач наиболее эффективна в случае использования современных кластерных систем с большим числом многоядерных многопроцессорных вычислительных узлов и иерархическинеоднородной коммуникационной средой. В полностью гомогенных кластерных системах с однородной коммуникационной средой применение методики не целесообразно;

- методика не дает рекомендаций по распараллеливанию задач — определению степени их «дробления», выделению независимых сегментов и др. Она работает с задачами уже представленными в параллельной форме, обеспечивая их эффективное отображение на кластерные системы и сокращение времени выполнения реализующих их параллельных программ;

- наиболее эффективно методика работает с регулярными задачами итерационного типа, подразумевающими многократное выполнение идентичных действий с разными данными;

- в методике не учитываются динамически изменяющиеся параметры кластерных систем, статически не контролируемые и не зависящие от пользователя, например, временные задержки, связанные с выполнением программ высокоприоритетных внутренних служб операционных систем, прерывающих выполнение пользовательских параллельных программ. Влияние этих параметров кластерных систем на время решения задач было выявлено в процессе экспериментов, однако их учет требует дополнительных исследований.

Реализация результатов. Разработанная методика отображения задач была применена при создании параллельной версии пакета ANES, что позволило сократить время решения стационарной двумерной задачи теплопроводности численным методом контрольных объемов на неструктурной сетке1. Полученный результат представляется существенным ввиду того, что применение параллельной версии пакета ANES будет носить массовый характер.

Результаты диссертационной работы были использованы в учебном процессе кафедры ВМСиС МЭИ (ТУ) при проведении лекционных и лабораторных занятий по курсу «Вычислительные системы». Планируется даль

1 Проект осуществлен при финансовой поддержке РФФИ (грант № 06-08-01330-а).

10 нейшее использование материалов диссертации и разработанных программных средств в учебном процессе кафедры.

Публикации. Всего по теме диссертационной работы было опубликовано 5 статьей и выпущено одно учебное пособие.

1. Яньков С.Г., Ладыгин И.И. Распараллеливание задачи расчета надежности ВС // Труды междун. науч.-техн. конф. «Информационные средства и технологии». — М.: Янус-К, 2005. — Т.З. — С. 110—113.

2. Яньков С.Г., Ладыгин И.И. Решение задач моделирования по интервалам времени на кластерной вычислительной системе // Труды междун. науч.-техн. конф. «Информационные средства и технологии». — М.: Янус-К, 2006. — Т.2. — С. 200-202.

3. Яньков С.Г., Ладыгин И.И. Решение сложной задачи расчета надежности на кластерной вычислительной системе // Труды XV междун. науч.-техн. семинара «Современные технологии в задачах управления, автоматики и обработки информации». — М.: МИФИ, 2006. — С. 269.

4. Yankov S.G., Ladygin I.I Technique for Analyzing Items Reliability by Simulating their Behaviour over Time Intervals // Proc. of 2nd Int. Conf on Dependability of Computer System (DepCoS RELCOMEX 2007). — 2007. — P. 115—118.

5. Яньков С.Г. Особенности реализации параллельных программ на кластерных вычислительных системах // Вестник МЭИ. — М.: Издательский дом МЭИ, 2008. — №5. — С. 113—119.

6. Кластеры на многоядерных процессорах / И.И. Ладыгин, А.В. Логинов, А.В. Филатов, С.Г. Яньков. — М.: Издательский дом МЭИ, 2008. — 112 с.

Заключение диссертации по теме «Вычислительные машины и системы», Яньков, Сергей Георгиевич

5.4. Основные результаты и выводы

В данной главе разработана методика отображения задач на вычислители кластерных систем с иерархически-неоднородными коммуникационными средами. В основу методики легли разработанные в диссертации оптимизационная модель и эвристический алгоритм отображения задач на вычислители кластерных систем. Основные результаты, полученные в данной главе, следующие.

1. Разработана методика отображения задач на кластерные системы с иерархически-неоднородными коммуникационными средами. Приведена схема алгоритма разработанной методики. Основной вывод полученный при разработке методики состоит в следующем:

- эффективность разработанной методики существенно зависит от исходных данных, то есть от параллельной формы задачи и реализующей ее параллельной программы, качество которых зависит от «мастерства» пользователя;

2. Приведен пример использования разработанной методики на модельной задаче:

- полученные оценки продемонстрировали высокую эффективность разработанной методики.

3. Проведены экспериментальные исследования эффективности разработанной методики, которые показали, что:

- эффективность разработанной методики зависит от характеристик решаемых задач, определяющих в параллельной программе число передач данных, объем передаваемых данных и отношение времени вычислений к времени передачи данных;

- эффективность разработанной методики зависит от характеристик кластерных систем — числа используемых вычислителей и характеристик иерархически-неоднородных коммуникационных сред;

- применение разработанной методики позволяет получить оптимальный или близкий к оптимальному вариант отображения задачи на вычислители кластерной системы с учетом характеристик ее иерархически-неоднородной коммуникационной среды и минимизировать за счет этого время выполнения программы;

- максимальная эффективность разработанной методики в проведенных экспериментах составила величину порядка 17%.

4. Программная реализация алгоритма отображения регулярных задач на вычислители нашла свое применение в учебном процессе при проведении лабораторных работ по курсу «Вычислительные системы».

5. Разработанная методика отображения задач на кластерные системы нашла свое применение в математическом пакете ANES, разработанном на кафедре ИТФ МЭИ (ТУ), для решения стационарной двумерной задачи теплопроводности численным методом контрольных объемов на кластере МЭИ.

ЗАКЛЮЧЕНИЕ

В диссертационной работе разработана методика отображения регулярных задач на кластерные системы с иерархически-неоднородными коммуникационными средами, позволяющая минимизировать общее время выполнения параллельных программ, решающих задачу, за счет минимизации времени передачи данных по средствам оптимизации отображения задачи на выделенные вычислители.

Проведен анализ особенностей современных кластерных систем и их характеристик на примере типичного современного кластера — кластера МЭИ, на котором производились эксперименты. В том числе были исследованы особенности реализации вычислительных узлов, составляющих их процессоров, организации памяти и взаимодействия ядер внутри узла. Также были исследованы характеристики сетей передачи данных, применяемых на различных уровнях иерархии иерархически-неоднородной коммуникационной среды системы. Отдельно были рассмотрены особенности ОС, управляющей работой кластера МЭИ.

Выявлены особенности иерархически-неоднородных коммуникационных сред кластерных систем, учет которых влияет на время выполнения параллельных программ.

В работе был проведен обзор используемых в настоящее время методов и подходов к отображению задач на вычислители кластерных систем. В рамках обзора были выявлены их основные достоинства и недостатки. Главным недостатком рассмотренных методов является полное или частичное отсутствие учета характеристик иерархически-неоднородных коммуникационных сред, особенно важного в случае использования современных кластерных систем. Основной упор в рассмотренных методах делается на характеристики вычислителей и минимизацию времени их простоя, за счет равномерного распределения вычислительной нагрузки. В работе показано, что такой подход не всегда позволяет получить минимальное время выполнения программ, так как в нем не учитывается иерархическая неоднородность коммуникационных сред кластерных систем, оказывающая существенное влияние на время выполнения программ.

Поэтому в диссертации разработана методика отображения задач на кластерные системы с иерархически-неоднородными коммуникационными средами.

В рамках диссертационной работы получены следующие результаты:

1. Проведен обзор современного состояния кластерных систем и выявлены особенности, влияющие на время выполнения параллельных программ.

2. Проведен обзор использующихся в настоящее время методов отображения задач и анализ их особенностей.

3. Разработана оптимизационная модель и эвристический алгоритм отображения регулярных задач на вычислители кластерных систем, учитывающий особенности их иерархически-неоднородной коммуникационной среды для минимизации времени выполнения параллельных программ на кластерах.

4. На основе предложенного алгоритма разработана методика отображения регулярных задач на кластерные системы с иерархически-неоднородными коммуникационными средами. Методика описывает весь процесс решения задачи на кластерной системе, начиная с предварительной оценки возможностей ее параллельного решения на выделенных вычислителях имеющейся кластерной системы и заканчивая рекомендациями по выполнению параллельной программы, решающей задачу, с найденным посредством разработанного алгоритма субоптимальным вариантом отображения.

5. Разработанный алгоритм отображения задач на вычислители кластерных систем реализован в виде отдельного программного продукта.

6. Проведено экспериментальное исследование эффективности разработанной методики на кластерной системе МЭИ (ТУ). Полученная экспериментально максимальная эффективность разработанной методики составила величину порядка 17%.

7. Материалы проведенных в работе исследований легли в основу учебного пособия «Кластеры на многоядерных процессорах», выпущенного в 2008 г. и используемого при проведении лекционных занятий по курсу «Вычислительные системы» на кафедре ВМСиС.

8. Программная реализация разработанного алгоритма отображения задач на вычислители нашла свое применение в учебном процессе при проведении лабораторных работ по курсу «Вычислительные системы».

9. Разработанная методика использована при создании модифицированной версии математического пакета ANES, создаваемой в МЭИ (ТУ) при финансовой поддержке РФФИ (грант № 06-08-01330-а).

Список литературы диссертационного исследования кандидат технических наук Яньков, Сергей Георгиевич, 2009 год

1. Воеводин В.В., Воеводин Вл. В. Параллельные вычисления. — Спб.: БХВ-Петербург, 2002. — 608 с.

2. Кластеры на многоядерных процессорах: учебное пособие / И.И. Ладыгин, А.В. Логинов, А.В. Филатов, С.Г. Яньков; под ред. И.И. Ладыгина. — М.: Издательский дом МЭИ, 2008. — 112 с.

3. Информационно аналитический центр по параллельным вычислениям в сети Интернет http://www.parallel.ru.

4. Сервер информационных технологий http://www.citforum.ru.

5. The Infiniband Trade Association official website http://www. infinibandta. org.

6. HyperTransport Consortium official website http://www. hypertransport. org

7. Топорков B.B. Модели распределенных вычислений. — M.: ФИЗМАТЛИТ, 2004. — 320 с.

8. Танаев B.C., Гордон B.C., Шафранский Я.М. Теория расписаний. Одностадийные процессы. — М.: Наука, 1984. — 334 с.

9. Топорков В.В. Совместное планирование и назначение процессов как метод оптимизации архитектурных решений вычислительных систем // Автоматика и телемеханика. — 2001. —№ 12. — С. 107—116.

10. Котляров Д.В., Кутепов В.П., Осипов М.А. Граф-схемное потоковое параллельное программирование и его реализация на кластерных системах // Известия РАН. Теория и системы управления. — 2005, — № 1. — С. 75—96.

11. Mike Houston, Ji-Young Park, Маптап Ren et al, «А Portable Runtime Interface For Multi-Level Memory Hierarchies», PPoPP, 2008, February 20—23, Salt Lake City, Utah, USA.

12. Ладыгин И.И., Калинина Г.А. Лабораторные работы по курсу «Вычислительные системы» — М.: Издательство МЭИ, 1999, 32 с.

13. Дзегеленок И.И. и др. Декомпозиционный подход к осуществлению Gft/D-технологий / Информационная математика. — Изд-во РАЕН АСТ-Физматлит, № 1(5), 2005, с. 139—148.

14. Интернет-портал по грид-технологиям http://www.gridclub.ru.

15. Message Passing Interface Forum www.mpi-forum.org.

16. Головкин Б.А. Параллельные вычислительные системы. — М. Наука, 1980. —520 с.

17. Штейнберг Б. Открытая распараллеливающая система // Открытые системы. — 2007. — № 9.

18. The SUIF Group official website http://suifstanford.edu.

19. The PIPS Workbench Project http://www.cri.ensmp.fr/~pips.

20. Кутепов В.П. Организация параллельных вычислений на системах. — М.: Издательство МЭИ, 1988.

21. Яньков С.Г., Ладыгин И.И. Решение задач моделирования по интервалам времени на кластерной вычислительной системе // Труды междун. науч.-техн. конф. «Информационные средства и технологии». — М.: Янус-К, 2006. — Т.2. — С. 200—202.

22. Yankov S.G., Ladygin I.I. Technique for Analyzing Items Reliability by Simulating their Behaviour over Time Intervals // Proc. of 2nd Int. Conf. on Dependability of Computer System (DepCoS RELCOMEX 2007). — 2007. — P. 115—118.

23. Кутепов В.П. Об интеллектуальных компьютерах и больших компьютерных системах нового поколения // Известия РАН. Теория и системы управления. — 1996. —№ 5.

24. Артемов В.И. Развернутый отчет по проекту 06-08-01330-а за 2007 г.

25. Яньков С.Г. Исследование процесса решения прикладных задач на параллельной вычислительной системе // Магистр. Дисс. — 2005 г. — 137 с.

26. Ладыгин И.И., Калинина Г.А. Исследование надежности вычислительных систем. — М.: Издательство МЭИ, 1999. — 32 с.

27. Яньков С.Г., Ладыгин И.И. Распараллеливание задачи расчета надежности ВС // Труды междун. науч.-техн. конф. «Информационные средства и технологии». — М.: Янус-К, 2005. — Т.З. — С. 110—113.

28. Беллман Р., Дрейфус С. Прикладные задачи динамического программирования. — М.: Наука, 1965.

29. Беллман Р., Калаб Р. Динамическое программирование и современная теория управления. — М.: Наука, 1969.

30. Вентцель Е.С. Исследование операций: задачи, принципы, методология. — 2-е изд., стер. — М.: Наука. Гл. ред. Физ.-мат. лит., 1988. — 208 с.

31. Ставцев А.В. Построение классификации многокомпонентных вычислительных систем // Вестник РУДН. Прикладная и компьютерная математика. — 2005 г, — № 5. — С. 126—134.

32. Система пакетной обработки заданий Torque http://www.clusterresources.com/pages/products/torque-resource-manager.php

33. Официальный сайт команды BOINC SETI@HOME Russia о ПВР www. setiathome. ru.

34. The Great Internet Mersenne Prime Search GIMPS official website www. mersenne. org.

35. Climate Prediction project www.climateprediction.net.

36. Einstein@Home Project http://einstein.phys.uwm.edu.

37. Проект распределенных вычислений для проведения компьютерной симуляции свертывания молекул белка http://folding.stanford.edu/russian/main.

38. Таненбаум Э. Архитектура компьютера. — СПб.: Питер, 2002. —704 с.

39. Кэрниган Б., Ритчи Д. Язык программирования С. СПб.: Невский диалект, 2000. — 352 с.

40. Герберг Ш. Полный справочник по С. — М.: Вильяме, 2007. —704 с.

41. Саттер Г. Решение сложных задач на С++. — М.: Вильяме, 2002. —400 с.

42. Артемов И.Л. Fortran. Основы программирования. — М.: Диалог МИФИ, 206. — 304 с.

43. Рыжиков Ю.И. Современный Фортран. Учебник. — Корона Принт, 2007. —288 с.

44. Немнюгин С.А. Современный Фортран. Самоучитель. — СПб.: BHV-Петербург, 2003. — 496 с.

45. Инструкция по эксплуатации вычислительного кластера НРС-0011015-001. — Т-Платформы, 2007.

46. Ian Foster. What is the Grid? A Three point checklist. — 2002.

47. Корнеев B.B. Параллельные вычислительные системы. — M.: Но-лидж, 1999. —320 с.

48. Портал про Linux и Unix, http://www.linuxcenter.ru.

49. Артман Б. Linux по-человечески. Как установить и настроить Suse Linux 10. — М.: Триумф, 2006. — 304 с.

50. Бовет Д., Чезати М. Ядро Linux. — 3-е изд. — СПб.: BHV-Петербург, 2007. — 1104 с.

51. AMD Russia. Официальный сайт AMD. http://www.amd.com/ru-ru.

52. Gigabit Ethernet Technology, www.gigabit-ethernet.org.

53. Sun Microsystems Russia, http://ru.sun.com.

54. Гук M. Аппаратные средства IBM PC. Энциклопедия. — 2-е изд. — СПб.: Издательский дом «Питер», 2002.

55. Олифер В.Г., Олифер Н.А. Компьютерные сети. Принципы, технологии, протоколы. — 2-е изд. — СПб.: Издательский дом «Питер», 2004.

56. Олифер В.Г., Олифер Н.А. Сетевые операционные системы СПб.: Издательский дом «Питер», 2001.

57. Гук М. Процессоры Intel: от 8086 до Pentium II. — СПб.: «Питер Ком», 1997.

58. Гук М., Юров В. Процессоры Intel Pentium IV, Pentium III, AMD Athlon и Duron. — СПб.: Издательский дом «Питер», 2001.

59. Intel Corporation. Official site with technical documentation. — Santa Clara: Intel Corporation, CA, USA, 2005. http://www.intel.com.

60. Теория расписаний и вычислительные машины / Под ред. Э.Г. Коффмана. — М.: Наука, 1984.

61. Немнюгин С.А., Стесик O.JI. Параллельное программирование для многопроцессорных вычислительных систем. — СПб.: БХВ-Петербург, 2002. — 400 с.

62. Грегори Р. Эндрюс. Основы многопоточного параллельного и распределенного программирования. — М.: Изд. дом «Вильяме», 2003 г.

63. Г. Корн, Т. Корн. Справочник по математике (для научных работников и инженеров); под общ. ред. И.Г. Арамановича. — пер. с англ. — М.: Наука, 1974.

64. Bourbonnais et al., Towards an Information Infrastructure for the Grid, IBM System journal; 2004, vol. 43, no. A, p. 665—668.

65. Мжельский Б.И. Математические модели для решения проблем анализа. — М. издательство МЭИ, 200. — 24 с.

66. SSH Communications Security website, http://www.ssh.com.

67. Поспелов Д. А. Введение в теорию вычислительных систем. М., «Советское радио», 1972. 280 с.

68. Дерюгин А.А. Коммутаторы вычислительных систем: учебное пособие / А.А. Дерюгин. — М.: Издательский дом МЭИ, 2008. — 112 с.

69. Хорошевский В.Г. Архитектура вычислительных систем: учебное пособие. — 2-е изд., перераб. и доп. — М.: Издательство МГТУ им. Н.Э. Баумана, 2008. — 520 е.: ил. — (Информатика в техническом университете).

70. Левченко В.Д. Асинхронные параллельные алгоритмы как способ достижения 100% эффективности вычислений // Сб. Будущее вычислительной математики. М.: УРСС. 2004.

71. Кутепов В.П., Котляров Д.В. Управление загруженностью кластерных вычислительных систем // матер. Четвертого международ, научно-практического семинара и Всероссийской молодежной школы, Изд-во СНЦ РАН, 2004.

72. Организация параллельных вычислений на многомашинных (многопроцессорных) вычислительных системах : Диссертация кандидата технических наук: В 2-х ч. 4.1; 4.2: Приложение / П. Г. Тиц, Моск. энерг. ин-т (МЭИ). — М., 1975 . — 142 с

73. Современное состояние и перспектива развития суперкомпьютерных технологий для стратегически важных задач // Сб. науч. Тр. ИТМиВТ, № 1, 2008, мат. Конф. Перспективы развития высокопроизводительных архитектур.

74. Яньков С.Г. Особенности реализации параллельных программ на кластерных вычислительных системах // Вестник МЭИ. — М.: Издательский дом МЭИ, 2008. —№5. —С. 113—119.

75. Курносов М.Г. Модели и алгоритмы вложения параллельных программ в распределенные вычислительные системы. Автореф. дис. . канд. техн. наук. Новосибирск, 2008