Исследование и разработка методов повышения эффективности управления вычислительными мощностями в кластерах рабочих станций тема диссертации и автореферата по ВАК РФ 05.13.01, кандидат технических наук Подкопаев, Илья Викторович

• Подкопаев, Илья Викторович
• кандидат технических наук
• 2010

Оглавление диссертации кандидат технических наук Подкопаев, Илья Викторович

Введение.

Глава 1. Архитектуры и системы управления высокопроизводительными вычислителями.

1.1. Процессоры и архитектуры.

1.1.1 Вычислительный кластер Mare Nostrum.

1.1.2 Вычислительный кластер IBM Blue Gene/P.

1.1.3 Вычислительный кластер CRAY ХТбш.

1.1.4 Вычислительный кластер SGI Altix.

1.1.5. Кластеры типа Beowulf и Со WS.

1.1.6 Преобладающие тенденции в архитектурах ВВС.

1.2. Коммуникационные решения.

1.2.1 Коммуникации кластера Mare Nostrum.

1.2.2 Коммуникации кластера Blue Gene /Р.

1.2.3 Коммуникации кластера CRAY XT6m.

1.2.4 Коммуникации кластера SGI Altix.

1.2.5 Тенденции в сегменте коммуникаций.

1.3. ОС и системы управления ВВС.

1.3.1 Управление Mare Nostrum.

1.3.2 Управление Blue Gene/P.

1.3.3 Управление Cray XT6m.

1.3.4 Управление SGI Altix.

1.3.5 Тенденции в области управления ВВС.

1.4. ВВС в России.

1.5. Выводы.

Глава 2. Вычислительная система типа Со WS на базе оборудования компьютерного класса.1.

2.1. Конфигурация и архитектура.

2.2. Оптимизация системы для теста Linpack.

2.3. Анализ загруженности рабочих станций и сети кластера.

2.4. Влияние широковещательного трафика на производительность кластера.

2.4.1. Исследование влияния широковещательной нагрузки сети на производительность вычислений на 8 узлах кластера (N=40000).

2.4.2. Исследование влияния широковещательной нагрузки сети на производительность вычислений на 8 узлах кластера (N=48000).

2.4.3. Исследование влияния широковещательной нагрузки сети на производительность вычислений на 16 узлах кластера (N=62400).

2.5. Исследование влияния пользовательских приложений на производительность кластерных вычислений.

2.6. Управление потоком заявок в НРС Server 2008.

2.7. Кластер типа CoWS, ка£ система массового обслуживания.

2.8. Выводы.

Глава 3. Модель вычислительной системы типа CoWS.

3.1. Элементы теории систем массового обслуживания.

3.2 Аналитический расчет основных параметров СМО.

3.2.1. Системы массового обслуживания с отказами.

3.2.2. Система массового обслуживания с ограниченной длиной очереди.

3.2.3. Системы массового обслуживания с ожиданием.

3.2.4. Система массового обслуживания с ограниченным временем ожидания.

3.2.5. Замкнутые системы массового обслуживания.

3.2.6. Аналитический расчет параметров кластера.

3.3. Имитационное моделирование кластерной системы типа CoWS.

3.3.1 Элементы теории сетей Петри.

3.3.2 Модель кластерной системы в терминологии сетей Петри.

3.4. Среда моделирования.

3.5. Выводы.

Глава 4. Моделирование кластера МИЭТ-2008.

4.1. Реализация имитационной модели.

4.2. Модельный эксперимент.

4.3. Эксперименты на кластере.

4.4. Выводы.

Введение диссертации (часть автореферата) на тему «Исследование и разработка методов повышения эффективности управления вычислительными мощностями в кластерах рабочих станций»

Актуальность проблемы. В настоящее время высокопроизводительные вычисления занимают все более важное место в промышленности, науке, образовании. В июле 2009 года на заседании Совета безопасности России президент Д.А.Медведев заявил о важности суперкомпьютеров для страны. Современные суперкомпьютеры в подавляющем большинстве являются дорогостоящими blade-кластерами. Ведущие университеты устанавливают у себя подобные системы для обеспечения НИР, а также для обучения студентов параллельному программированию и навыкам работы с высокопроизводительными вычислительными системами. В подавляющем большинстве случаев подобные ресурсы используются в режиме разделения. Система управления, тем или иным образом выделяет время и процессорные мощности для каждой задачи, поступающей на выполнение. При этом каждый пользователь получает в свое распоряжение только часть системы производительностью порядка нескольких сотен GFlops. Этого оказывается достаточно для большинства приложений.

Для проведения высокопроизводительных вычислений можно использовать и гораздо более дешевые вычислительные комплексы типа кластеров рабочих станций (Cluster of Workstations, CoWS). Их можно создавать на основе учебных компьютерных классов, без которых не обходятся ни одно высшее учебное заведение. Считалось, что подобные системы могут использоваться в режиме высокопроизводительных вычислений (High Performance Computing, НРС) только в свободное от учебных занятий время, когда на рабочих станциях никто не работает.

В работе решаются вопросы, связанные с возможностью запуска параллельных приложений на кластерах CoWS в то время, когда на рабочих станциях - узлах кластера решаются локальные задачи пользователей.

Для этого в общем случае, надо знать ответы на следующие вопросы:

- каков объем свободных вычислительных мощностей на рабочих станциях;

- может ли существующая сетевая инфраструктура обеспечить межузловой обмен при запуске параллельных приложений;

- каков должен быть механизм управления свободными вычислительными ресурсами?

Предлагаемый подход, позволит реализовывать на базе компьютерных классов суперкомпьютеры типа Со"\\^ с пиковой производительностью 1-2 ТР1орБ, доступные в течение 24-х часов в сутки.

Цель работы и задачи исследования. Цель работы: создание эффективной системы управления свободными вычислительными ресурсами узлов кластеров рабочих станций с многоядерными процессорами.

Для достижения поставленной цели в работе решаются следующие основные задачи:

1. Сравнительный анализ архитектур существующих высокопроизводительных вычислительных систем, процессоров, коммутационных решений.

2. Анализ загрузки узлов вычислительной системы типа Со\¥8.

3. Анализ загрузки коммуникаций вычислительной системы типа Со\УЗ.

4. Разработка структуры и схемы управления кластером.

5. Построение модели вычислительной системы и оптимизация управления потоком поступающих заявок.

6. Проведение испытаний и анализ эффективности предложенного решения.

Объект и предмет исследования. Объектом исследований являются высокопроизводительные вычислительные системы.

Предметом исследования являются методы управления ресурсами кластерных систем с многоядерными узлами.

Методы исследования. При решении поставленных задач были использованы положения теории систем массового обслуживания, теории сетей Петри и событийного моделирования, теории вероятности и математической статистики, теории параллельного программирования.

Научная новизна. Теоретически обоснована возможность использования свободных мощностей рабочих станций компьютерных классов для создания на их основе суперкомпьютеров типа CoWS с пиковой производительностью 1-2 TFlops. Создана модель, позволяющая определить допустимые характеристики входного потока заявок и оптимальную с точки зрения показателей качества обслуживания стратегию управления.

Практическая значимость. Работа выполнена при поддержке аналитической ведомственной целевой программы "Развитие научного потенциала высшей школы" министерство образования и науки РФ в рамках проекта «Решение прикладных комбинаторных и оптимизационных задач большой размерности в среде параллельных и распределенных вычислений». Регистрационный номер: 2.1.2/6394.

Предлагаемый подход позволяет создавать экономичные кластерные вычислители на основе свободных мощностей рабочих станций компьютерных классов. Разработанная модель, позволяет определять параметры системы управления кластером, обеспечивающие заданный уровень обслуживания потоков задач.

Положения, выносимые на защиту.

1. Модель кластерной вычислительной системы под управлением MS НРС Server 2008, позволяющая определять параметры системы управления, обеспечивающие заданный уровень обслуживания потоков задач.

2. Программная реализация модели кластерной вычислительной системы в среде AnyLogic.

3. Результаты исследований реальной производительности кластерной вычислительной системы на тесте Linpack и при решении комбинаторных задач, подтверждающие эффективность управления.

Реализация результатов работы. Теоретические и практические результаты диссертационной работы внедрены на кафедре Вычислительной техники в Московском институте электронной техники и на предприятии ОАО ЗИТЦ. Разработанный Со\¥8 вычислитель с пиковой производительностью 1,6 и реальной (на тесте Глпраск) 0,874 ТР1орБ используется как в учебном процессе, так и при выполнении НИР. Параметры системы управления кластером, найденные при помощи предложенной модели, обеспечивают время реакции системы на уровне 1-2 минуты, как для локальных, так и для внешних заявок. При этом загрузка узлов кластера локальными приложениями составляет около 50 часов в неделю, а параллельными приложениями до 120 часов.

Апробация работы. Основные положения диссертационной работы докладывались и обсуждались на Всероссийских межвузовских научно-технических конференциях студентов и аспирантов "Микроэлектроника и информатика - 2007", "Микроэлектроника и информатика - 2009", "Микроэлектроника и информатика - 2010", Международной научно-практической конференции "Современные информационные технологии в ИТ-образовании", третьей Всероссийской научной конференции "Методы и средства обработки информации", Всероссийской ежегодной научно-технической конференции "ОБЩЕСТВО, НАУКА, ИННОВАЦИИ".

Публикации. По материалам диссертации опубликовано семь тезисов докладов и шесть статей (из них 3 в журналах, входящих в перечень ВАК), получено свидетельство о государственной регистрации программы для ЭВМ.

Заключение диссертации по теме «Системный анализ, управление и обработка информации (по отраслям)», Подкопаев, Илья Викторович

4.4. Выводы

1. Разработанная модель кластерной вычислительной системы под управлением НРС Server позволяет оценивать поведение системы в широком диапазоне входных параметров, определять допустимые характеристики потока заявок и дисциплину обслуживания, необходимые для обеспечения заданного уровня обслуживания.

2. Проведенные натурные эксперименты позволяют говорить о том, что разработанная модель кластерной вычислительной системы обеспечивает точность моделирования достаточную не только для

116 оценочных расчетов, но и для определения характеристик входных потоков, обеспечивающих высокий уровень утилизации свободных вычислительных ресурсов при сохранении заданных показателей качества обслуживания.

3. Практическое использование разработанной кластерной вычислительной системы типа CoWS показало, что предложенный метод управления вычислительными мощностями рабочих станций (узлов кластера) позволяет повысить эффективность использования оборудования до 85%, запускать ресурсоемкие приложения и в то время, когда на узлах кластера выполняются локальные задачи.

Заключение

Краткая характеристика выполненных исследований:

1. Проведен анализ архитектур вычислительных систем и обоснована возможность реализации параллельных ресурсоемких приложений на кластерах рабочих станций.

2. Проведен анализ загрузки вычислительной системы типа CoWS, который подтвердил наличие значительных (до 83%) свободных мощностей узлов.

3. Проведен анализ загрузки коммуникаций кластерной вычислительной системы, который подтвердил возможность выполнения параллельных приложений при наличии широковещательного межузлового трафика.

4. Построена модель кластерной вычислительной системы, позволяющая определять параметры планировщика НРС Job Scheduler, которые обеспечивают эффективное использование свободных вычислительных ядер всех узлов кластера.

5. Практически реализована 24-х узловая кластерная вычислительная система с пиковой производительностью 1,6 и реальной (на тесте Linpack) 0,874 TFlops, доступная 24 часа в сутки.

6. Проведены испытания, которые подтвердили эффективность предложенного метода использования свободных вычислительных ресурсов кластеров CoWS для реализации ресурсоемких параллельных вычислений.

Список литературы диссертационного исследования кандидат технических наук Подкопаев, Илья Викторович, 2010 год

1. Архитектуры и топологии многопроцессорных вычислительных систем. Курс лекций. Учебное пособие / A.B. Богданов, В.В. Корхов, В.В. Мареев и др..- М.: ИНТУИТ.РУ «Интернет-Университет Информационных Технологий», 2004. 176с. - ISBN 5-9556-0018-3

2. Дикарев, Н.И. Основы проектирования высокопроизводительных вычислительных систем / Н.И. Дикарев, Б.М. Шабанов.- М.: ФАЗИС, 2009. 106с. - ISBN 5-7036-0119-3

3. Тор 500 ranking offastest computers Электронный ресурс. / Электрон, дан.: 2010. Режим доступа: http://www.top500.org свободный. - Загл. с экрана

4. Букатов, А. А. Программирование многопроцессорных вычислительных систем / А. А. Букатов, В. Н. Дацюк, А. И. Жегуло.-Ростов-на-Дону: Издательство ООО «ЦВВР», 2003. 208с. - ISBN 594153-062-5

5. Описание серверных процессоров компании Intel Электронный ресурс. / Электрон, дан.: Intel corp., 2010. Режим доступа: http://www.intel.eom/p/en US/products/server/processor?iid=processors bo dy+server#sl=Server&s2=all&s3=all, свободный. - Загл. с экрана

6. Серверные платформы фирмы AMD Электронный ресурс. / Электрон, дан.: Advanced micro devices, 2010. Режим доступа: http://www.amd.com/us/products/server/processors/Pages/server-processors.aspx, свободный. - Загл. с экрана

7. Вычислительные системы МСЦ РАН Электронный ресурс. / Электрон. дан.: 2009. Режим доступа: http://www.jscc.ru/scomputers.shtml, свободный. - Загл. с экрана

8. Обзор архитектуры суперкомпьютеров серии RS/6000 SP корпорации IBM

9. Электронный ресурс. / Электрон, дан.: Лаборатория Параллельных Информационных технологий НИВЦ МГУ, 2008. Режим доступа: http://www.parallel.ru/computers/reviews/sp2 overview.htmК свободный. -Загл. с экрана

10. МРР-системы CrayT3E/CrayT3D Электронный ресурс. / Кузьминский М. Электрон, дан. - M.: Computerworld, 1996. - Режим доступа: http://www.osp.ru/cw/1996/14/11296/, свободный. - Загл. с экрана

11. The World's First TeraOps Supercomputer Электронный ресурс. / Электрон, дан. California. Sandia National Laboratories, 1997. - Режим доступа: http://www.sandia.gov/ASCI/Red/index.html, свободный. - Загл. с экрана

12. HITACHI SR8000 Series Super Technical Server Электронный ресурс. / Электрон, дан.: Hitachi, Ltd. , 2001. Режим доступа: http://www.hitachi.co.ip/Prod/comp/hpc/eng/sr81 е.html, свободный. - Загл. с экрана

13. Современные системы фирмы Parsytec Электронный ресурс. / Электрон, дан.: СМО ВЦ РАН, 1999. Режим доступа: http://www.ccas.ru/paral/parsytec/newsystems.html, свободный. - Загл. с экрана .

14. Корнеев, В.В. Параллельные вычислительные системы / В.В. Корнеев.-М.: Нолидж, 1999. 320с.

15. Суперкомпьютерные технологии в науке, образовании и промышленности / Под редакцией: академика В.А. Садовничего, академика Г.И. Савина, чл.-корр. РАН Вл.В. Воеводина / М.: Издательство Московского университета, 2009. - 232с. - ISBN 978-5211-05719-7

16. Barcelona SuperComputing Center Электронный ресурс. / Электрон, дан.: 2010. Режим доступа: http://www.bsc.es/, свободный. - Загл. с экрана

17. Overview of IBM System Blue Gene/P Solution Электронный ресурс. / Электрон. дан.: 2010. Режим доступа: http ^/www-OS.ibm.com/systems/deepcomputing/bluegene/, свободный. - Загл. с экрана

18. Cray XT6m Supercomputer Электронный ресурс. / Электрон, дан.: 2010. Режим доступа: http://www.crav.com/Products/XT/Svstems/XT6m.aspx. свободный. - Загл. с экрана

19. SGI Altix UV Silicon Graphics International Corp Электронный ресурс. / Электрон. дан.: 2009. Режим доступа: http ://w ww. s gi : с om/products/servers/altix/u у/, свободный. - Загл. с экрана

20. МСЦ 2000 (кластер класса Beowulf) Электронный ресурс. / Электрон, дан.: 2001. Режим доступа: http://www.iscc.ru/cgi-bin/show.cgi?/parall/msc2k.html%202, свободный. - Загл. с экрана

21. Message Passing Interface (MPI) standard Электронный ресурс. / Электрон. дан.: 2010. Режим доступа: http://www.mcs.anl.gov/research/proiects/mpi/mpich2/, свободный. - Загл. с экрана

22. Российский суперкомпьютер с глобально адресуемой памятью / Эйсымонт JI. Слуцкин А. // Открытые системы. 2007. - № 9. - С. 42

23. Межведомственный Суперкомпьютерный Центр Российской Академии Наук Электронный ресурс. / Электрон, дан. М.: 2010. -Режим доступа: www.jscc.ru, свободный. - Загл. с экрана

24. Overview of Windows НРС Server 2008 R2 Электронный ресурс. /

25. Электрон. дан. Redmond. 2010. - Режим доступа:121http://www.microsoft.com/hpc/en/us/default.aspx, свободный. Загл. с экрана

26. Intel Clovertown: Quad Core for the Masses Электронный ресурс. / Jason Clark, Ross Whitehead. Электрон, дан.: Anandtech, inc., 2007. - Режим доступа: http://www.anandtech.eom/show/2201/2, свободный. - Загл. с экрана

27. Intel Core 2 Architecture Электронный ресурс. / Электрон, дан. San Francisco. 2007. - Режим доступа: http://en.wikipedia.Org/wiki/File:InteI Core2 arch.svg, свободный. - Загл. с экрана

28. Intel 5000Х Chipset Memory Controller Hub (MCH) Datasheet Электронный ресурс. / Электрон, дан.: Intel corp., 2006. Режим доступа: http://www.intel.com/Assets/PDF/datasheet/313070.pdf, свободный. - Загл. с экрана

29. HP ProCurve Switch 3500 Series Электронный ресурс. / Электрон, дан.: HP inc., 2010. Режим доступа: http://hl0144.wwwl.hp.com/products/switches/HP ProCurve Switch 3500 yl Series/overview.htm#J8692A свободный. - Загл. с экрана

30. Кроссплатформенная программа — генератор TCP и UDP трафика Электронный ресурс. / Электрон, дан.: 2009. Режим доступа: http://iperf.ru/tag/iperf/, свободный. - Загл. с экрана

31. Understanding job scheduling policies Электронный ресурс. / Электрон, дан.: Microsoft TechNet, 2009. Режим доступа:http://technet.microsoft.com/en-us/librarv/ddl 97402%28 WS. 10%29.aspx свободный. Загл. с экрана

32. New features in Windows HPC Server 2008 R2 Suite Электронный ресурс. / Электрон, дан. Redmond. 2010. - Режим доступа: http://www.microsoft.com/hpc/en/us/product/windows-hpc-server2008.aspx, свободный. Загл. с экрана

33. Саати, Т. JT. Элементы теории массового обслуживания и ее приложения / Т. Л. Саати.- М.: Либроком, 2010. 520с. - ISBN 978-5397-01283-6

34. Stochastic processes occurring in the theory of queues and their analysis by the method of the imbedded Markov chain / Kendall D. G. // Ann. Math. Statistics. 1953. - № 3. - C. 338

35. Гнеденко, Б. В. Введение в теорию массового обслуживания / Б. В. Гнеденко, И. Н. Коваленко.- М.: ЛКИ, 2007. 400с. - ISBN 978-5-38200121-0

36. Ивницкий, В. А. Теория сетей массового обслуживания / В. А. Ивницкий,- М.: Физико-математическая литература, 2004. 772с. -ISBN 5-94052-064-4

37. Хинчин А. Я. Работы по математической теории массового обслуживания / А. Я. Хинчин.- М.: Либроком, 2010. 240с. - ISBN 9785-397-01037-5

38. Сети Петри. Описание системы Электронный ресурс. / Электрон, дан.

39. М.: Лаборатория «Суперкомпьютерных и распределенных вычислительных технологий» ИАПУ ДВО РАН 2000. Режим доступа: http://www.iacp.dvo.ru/lab 11 /otchet/ot2000/pn3 .html#top. свободный. -Загл. с экрана

40. Stochastic Well-Formed Colored Nets and Symmetric Modeling Applications / Chiola G., Dutheillet C., Franceschinis G. и др. // IEEE Transactions on Computers. 1993. - № 11. - C. 1343

41. Масалович A.C., Моделирование и анализ поведения бизнес-процессов (конспект лекций) / Ю.А A.C. Масалович , Шебеко.- М.: Тора-Инфо Центр, 2002. 220с.

42. Казаков, С.А. Практикум по основам имитационного моделирования бизнес-процессов / С.А. Казаков, Ю.А. Шебеко.- М.: Тора-Инфо Центр, 2002. 108с.

43. Simulation Software Survey Электронный ресурс. / Электрон, дан. -Marietta. Lionheart Publishing, Inc., 2009. Режим доступа: http://lionhrtpub.com/orms/surveys/Simulation/Simulation.html. свободный. - Загл. с экрана

44. Имитационное моделирование с AnyLogic Электронный ресурс. / Электрон, дан.: «Экс Джей технолоджис», 2010. Режим доступа: http://www.xjtek.ru/anylogic/why anylogic/, свободный. - Загл. с экрана

45. Карпов, Ю.В. Имитационное моделирование систем. Введение в моделирование с Anylogic 5 / Ю.В. Карпов.- СПб.: БХВ-Петербург, 2005. 400с. - ISBN 5-94157-148-8

46. ОТКРЫТОЕ АКЦИОНЕРНОЕ ОБЩЕСТВО «ЗЕЛЕНОГРАДСКИЙ ИННОВАЦИОННО-ТЕХНОЛОГИЧЕСКИЙ ЦЕНТР»

47. Код по ОКПО 18324803 Код по ОКВЭД 73.10 Код по ОКАТО 45272591000

48. Код по ОКТМО 45331000 КодпоОКФС43 Код по ОКОПФ 47 Код по ОКОГУ 49014

49. УТВЕРЖДАЮ" ЗаместитеяьГё^нерального директора ОАдаФ^^^шгетпттшациям1. АКТ1. Д.Б. Рыгдйин 2010г.о внедрении результатов кандидатской диссертационной работы Подкопаева Ильи Викторовича

50. Методика оценки влияния сетевого трафика использована при анализе устойчивости работы двух ЛВС, замечаний по информативности и достоверности получаемых данных нет.

51. Методика оценки влияния сетевого трафика на работу локальных приложений может быть рекомендована в качестве средства выявления критичных к характеристикам сети пользовательских приложений.

52. Руководитель региональных проектов /О.В. Тюрин/1. Начальник отдела1. В.А. Черкашин/

53. МОСКОВСКИЙ ГОСУДАРСТВЕННЫЙ ИНСТИТУТ ЭЛЕКТРОННОЙ ТЕХНИКИ1. ТЕХНИЧЕСКИЙ УНИВЕРСИТЕТ)м1. УТВЕРЖДАЮ1. АКТо внедрении результатов кандидатской диссертационной работы Подкопаева Ильи Викторовича

54. Кластерная система обеспечивает проведение занятий по курсам «Теория и основы параллельного программирования» и «Применение высокопроизводительных вычислений в научных исследованиях», читаемых магистрам факультета МП и ТК.

55. Кроме обеспечения учебного процесса, кластер МИЭТ-2008 активно используется аспирантами института для выполнения высокопроизводительных вычислений. Пиковая производительность кластера составляет 1.6 TFlops.

56. Кластер МИЭТ-2008 используется в учебном процессе в течение 2-х лет, замечаний по качеству работы системы управления нет.

57. Использование результатов диссертационной работы Подкопаева И.В. позволило внедрить в учебный процесс современные вычислительные технологии, повысить качество подготовки по направлению «Информатика и вычислительная техника».

58. Методика управления вычислительными мощностями может быть рекомендована к использованию в аналогичных кластерах рабочих станций.

59. Декан факультета МПиТК д.т.н., профессор1. Ю.В. Савченко/

60. Заведующий кафедры ВТ, д.т.н., профессор1. В.А. Бархоткин/1. СУПЕРКОМПЬЮТЕРЫ