Математическое моделирование процессов миграции группы непрерывно работающих серверов тема диссертации и автореферата по ВАК РФ 05.13.18, кандидат физико-математических наук Миркин, Андрей Леонидович

• Миркин, Андрей Леонидович
• кандидат физико-математических наук
• 2008

Оглавление диссертации кандидат физико-математических наук Миркин, Андрей Леонидович

Введение.

1. Актуальность темы.

2. Цель работы, задачи исследования.

3. Научная новизна.

4. Практическая значимость.

5. Краткое содержание работы.

Глава 1. Обзор существующих систем.

1.1. Системы сохранения и восстановления.

1.1.1. СНРОХ.

1.1.2. ЕРСКРТ.

1.1.3. TCP Connection Passing.

1.1.4. CRAK.

1.1.5. ZAP.

1.1.6. BLCR.

1.2. Системы виртуализации VMware и Xen.

1.3. Система виртуализации OpenVZ.

1.4. Требования к системе сохранения и восстановления.

1.5. Системы балансировки нагрузки.

1.5.1. Network Load Balancing.

1.5.2. Cisco Load Balancing.

1.5.3. Распределение нагрузки на WEB приложения.

1.5.4. Технология адаптивного распределения нагрузки (ALB).

1.6. Системы кластеризации.

1.6.1. Red Hat Cluster Suite.

1.6.2. SuSE Cluster.

Глава 2. Сохранение и восстановление состояния процессов.

2.1. Математическая модель.

2.2. Алгоритм сохранения процессов.

2.3. Алгоритм восстановления процессов.

2.4. Оценка времени работы алгоритма.

2.5. Программная реализация алгоритма.

2.6. Методика проведения экспериментов.

2.7. Результаты.

Глава 3. Миграция контейнеров.

3.1. Математическая модель.

3.2. Миграция контейнеров с остановкой.

3.3. Миграция контейнеров в режиме непрерывного обслуживания.

3.4. Оптимизация синхронизации файловой системы.

3.5. Миграция с использованием сетевого файла подкачки.

3.6. Итеративная миграция.

3.7. Программная реализация алгоритмов.

3.8. Методика проведения экспериментов.

3.9. Результаты.

Глава 4. Балансировка нагрузки.

4.1. Математическая модель.

4.2. Алгоритм и критерий балансировки.

Введение диссертации (часть автореферата) на тему «Математическое моделирование процессов миграции группы непрерывно работающих серверов»

1. Актуальность темы

Настоящая работа посвящена проблеме математического моделирования процесса сохранения состояния и миграции (переноса) группы исполняющихся приложений с одного компьютера на другой, а также проблеме математического моделирования балансировки нагрузки с использованием алгоритмов миграции между несколькими компьютерами, объединенными в один кластер. Данная тема связана с активно развивающимся в последнее время направлением виртуализации, одной из задач которого является миграция виртуальных серверов.

Виртуализация на уровне операционной системы - это расширение функциональности ядра ОС, которое дает возможность запускать несколько изолированных друг от друга групп процессов, известных как виртуальные серверы или контейнеры, не требуя при этом загрузки еще одного ядра. Подобная изоляция дает возможность сохранять полное состояние контейнера, чтобы в дальнейшем его можно было восстановить в такое же состояние.

Существующие в настоящее время алгоритмы миграции контейнеров имеют недостаток: они требуют остановки контейнера (завершения работы всех процессов) во время переноса этого контейнера с одного компьютера на другой, что приводит к перерыву в обслуживании конечных потребителей. Используя существующие системы миграции виртуальных серверов, администратор может осуществлять перенос контейнеров, но эта процедура должна быть запланирована заранее, чтобы иметь возможность остановить контейнеры без потери данных. Второе неудобство, которое свойственно миграции с остановкой - недоступность конечным пользователям сервисов, предоставляемых данным контейнером в момент переноса.

Возможность сохранения и восстановления группы исполняющихся процессов может быть использована также для:

• обеспечения отказоустойчивости;

• отладки приложений;

• обеспечения возможности возвращения к контрольной точке.

Миграция группы процессов с одного компьютера на другой открывает возможность балансировки нагрузки между несколькими компьютерами при помощи переноса выполняющихся приложений. Система балансировки нагрузки позволяет использовать ресурсы всех компьютеров, находящихся в кластере, более эффективно (без простоя вычислительных мощностей).

Таким образом, актуальность темы исследования обусловлена тем, что, как предсказывается большинством аналитиков, ожидается стабильный рост количества вычислительных центров и центров данных, в которых системы переноса групп процессов и балансировки нагрузки между несколькими компьютерами позволят использовать ресурсы более эффективно.

Заключение диссертации по теме «Математическое моделирование, численные методы и комплексы программ», Миркин, Андрей Леонидович

Приведем в заключение основные результаты и выводы работы:

1. Разработаны математическая модель и алгоритм сохранения и восстановления состояния группы процессов. Они реализованы в виде комплекса программ для операционной системы Linux. Получены оценки времени работы алгоритма, которые были подтверждены на практике.

2. Предложены три математические модели миграции группы процессов между разными компьютерами в режиме непрерывного обслуживания: простой миграции, итеративной миграции и миграции с сетевым файлом подкачки. На основе этих моделей разработаны и реализованы алгоритмы. Теоретически обоснована и показана в ходе экспериментов большая эффективность итеративной миграции и миграции с сетевым файлом подкачки по сравнению с простой миграцией.

3. Предложена математическая модель и алгоритм балансировки нагрузки с использованием системы миграции группы процессов. Показана эффективность ее использования в кластерах с большим количеством компьютеров.

Список литературы диссертационного исследования кандидат физико-математических наук Миркин, Андрей Леонидович, 2008 год

1. Mary Baker Fast Crash Recover}' in Distributed File Systems, ps. (ftp://ftp.cs.berkeley.edu/ucb/spritc/papers/thcsis-Baker.ps).

2. Douglis F. Transparent Process Migration in the Sprite Operating System, ps. (ftp://ftp.cs.berkeley.cdu/ucb/sprite/papers/thesis-Douglis.ps).

3. Pinheiro E. Truly-Transparent Checkpointing of Parallel Applications, html. (http://www.rcscarch.rutgers.edu/~edpin/epckpt/paperhtml).

4. Sudakov 0.0., Boyko Yu.V., Tretyak O.V., Korotkova T.P., Meshcheryakov E.S. Process checkpointing and restart system for Linux // Mathematical Machines and Systems 2003 - N.2 - P. 146-153.

5. Werner Almesberger TCP Connection Passing, pdf. (http://www.finux.org/Reprints/Reprint-Almesberger-OLS2004.pdf).

6. TCP Connection Passing, html. (http://tcpcp.sourceforge.net/).

7. Transmission Control Protocol, html. (http://en.wikipedia.org/wiki/TransmissionControlProtocol).

8. Hua Zhong, Jason Nieh CRAK: Linux Checkpoint/Restart As a Kernel Module // Department of Computer Science, Columbia University, html. (http://www.ncl.cs.columbia.edu/research/migrate/crak.html).

9. Oren Laadcm, Dan Phung, Jason Nieh Transparent Checkpoint-Restart of Distributed Applications on Commodity Clusters // Proceedings of the 2005 IEEE International Conference on Cluster Computing (Cluster 2005) -Boston, MA September 27-30, 2005.

10. Mozilla Firefox web browser, html. (http://www.mozilla.com/firefox/).

11. Oracle Database, html. (http://www.oracle.com/index.html).

12. Duell J., Hargrove P., and Roman E. The Design and Implementation of Berkeley Lab's Linux Checkpoint/Restart // Berkeley Lab Technical Report (publication LBNL-54941), December 2002, pdi. (http://ftg.lbl.gov/CheckpointRestart/Pubs/blcr.pdi).

13. Roman E. A Survey of Chcckpoint/Restart Implementations // Berkeley Lab Technical Report (publication LBNL-54942), July 2002, pdf. (http://ftg.lbl.gov/CheckpointRestart/Pubs/checkpointSurvey-020724b.pdi).

14. Paul H. Hargrove and Jason C. Duell Berkeley Lab Checkpoint/Restart (BLCR) for Linux Clusters // In Proceedings of SciDAC 2006, June 2006, pdf. (http://ftg.lbl.gov/CheckpointRestart/Pubs/LBNL-60520.pdf).

15. VMware: Virtualization via Hypervisor, Virtual Machine & Server Consolidation, html. (http://www.vmware.com).

16. Система виртуальных машин фирмы VMware, html. (http://www.linuxcenter.ru/lib/books/vmware/).

17. Storage Area Network (SAN), html. (http :// en. wikipedia. org/wiki/ Storageareanetwork).

18. IBM Redbooks, Introduction to Storage Area Network, html. (http://www.redbooks.ibm.com/abstracts/sg245470.html70pen).

19. Xen, html. (http://www.xen.org).

20. Citrix XenServer: Efficient Virtual Server Software, html. (http://citrix.com/English/ps2/products/product.asp?contentID;=683148).

21. OpenVZ Server Virtualization Open Source Project, html. (http://www.openvz.org).

22. MPI: The Message Passing Interface, html. (http://parallel.ru/tech/techdev/mpi.html).

23. The Message Passing Interface (MPI) standard, html. (http://www-unix.mcs.anl.gov/mpi/).

24. System call, html. (http://en.wikipedia.org/wiki/Systemcall).

25. Robert Love Linux Kernel Development. Second Edition. USA: Novell Press, 2005.

26. Signal Handling The GNU С Library, html. (http://www.gnu.org/software/libtool/manual/libc/Signal-Handling.html).

27. Миркия A.JI. Миграция виртуальных серверов в режиме реального времени П Современные проблемы фундаментальных и прикладных наук. Часть VII. Управление и прикладная математика: Труды XLVIII научной конференции. М. - Долгопрудный: МФТИ, 2005. - С. 70-71.

28. Миркин A.JI. Система сохранения и восстановления состояния процессов для операционной системы Linux // Моделирование и обработкаинформации: Сборник научных трудов М.: МФТИ, 2008. - С. 203-206.97

29. Andrey Mirkin, Alexey Kuznetsov, Kir Kolyshkin Containers checkpointing and live migration // Proceedings of the Linux Symposium. V. 2. Ottawa, 2008. - Pp. 85-90.

30. Миркин A.JI., Петров В.А. Система миграции виртуальных серверов в режиме реального времени // Вестник НГУ. Серия: Информационные технологии Новосибирск, 2008 - Т. 6, вып. 3 — С. 103-110.

31. Дональд Э. Кнут Искусство программирования, том 1. Основные алгоритмы. 3-е изд. - М.: «Вильяме», 2006. — 720 с.

32. Ананий В. Левитин Алгоритмы: введение в разработку и анализ. М.: «Вильяме», 2006. - С. 212-215.

33. Кормен Т., Лейзерсон Ч., Ривест Р. Алгоритмы: построение и анализ (второе издание). М.: «Вильяме», 2005. - С. 622-632.

34. TCP Protocol Overview, html. (http://www.lincoln.edu/math/rmyrick/ComputerNetworks/InetReference/83. htm).

35. RFC 793 Transmission Control Protocol, html. (http://www.faqs.org/rfcs/rfc793.html).

36. RFC768 User Datagram Protocol, html. (http://www .faqs .org/rfcs/rfc768.html).

37. Intel Pentium 4 processor, html. (http://ru.wikipedia.org/wiki/Pentium4).

38. Streaming SIMD Extensions 2 (SSE2), html. (http://softpixel.com/~cwright/programming/simd/sse2.php).

39. Карпов B.E., Коньков K.A. Основы операционных систем. М.: Изд-во "Интернет-университет информационных технологий — ИНТУИТ.ру", 2004. - 632 с.

40. Linux Test Project, html. (http://ltp.sourceforge.net/).

41. В. Dragovic, К. Fraser, S. Hand Xen and the art of virtualization // Proceedings of the ACM Symposium on Operating Systems Principles. -2003.-Pp. 164-177.

42. The Xen virtual machine monitor, html.http://vvww.cl.cam.ac.uk/research/srg/netos/xen/).

43. Andrew Tanenbaum Modern Operating Systems, 2nd edition. Prentice Hall, 2001.

44. Kolyshkin K., Korotaev K. OpenYZ Project OS Server Virtualization // Proceedings of the LinuxTag conference. - 2006, html. (http://www.linuxtag.org/2006/de/besucher/material.html).

45. Виртуальная память // Материал из Википедии, html. (http://ru.wikipedia.org/wiki/%D0%92%D0%B8%D 1 %80%D 1 %82%D 1 %83 %D0%B0%D0%BB%D 1 %8C%D0%BD%D0%B0%D 1 %8F%D0%BF%D0 %B0%D0%BC%D 1 %8F%D 1 %82%D 1 %8C).

46. ВахалияЮ. UNIX изнутри. СПб.: Питер, 2003. - 844 с.

47. Иртегов Д. Введение в операционные системы. СПб.: Питер, 2002.

48. Tar GNU Project - Free Software Foundation (FSF), html. (http://www.gnu.org/sofitvvare/tar/).

49. Rsync Open Source Utility, html. (http://rsync.samba.org/).

50. RFC 4251 The Secure Shell (SSH) Protocol Architecture, html. (http://tools.ietf.org/html/rfc4251).

51. Secure Shell (SSH), html. (http://ru.wikipedia.org/wiki/SSH).100

52. OpenSSH project, html. (http://www.openssh.org/).

53. Network Load Balancing Technical Overview, html. (http://technet.microsoft.com/en-us/libraiy/bb742455.aspx).

54. Implementing Microsoft Network Load Balancing in a Virtualized Environment, VMware Infrastructure 3 // Technical Note, pdf. (http://www.vmware.com/files/pdf/implmentingmsnetworkloadbalancin g.pdf).

55. W. Richard Stevens ТСРЯР Illustrated, Volume 1: The Protocols. Addison-Wesley, 1994. - 576 p.

56. RFC 791 Internet Protocol Specification, html. (http://www.freesofl.org/CIE/RFC/791/index.htm).

57. RFC 1794 DNS Support for Load Balancing, html. (http://tools.ietf.org/html/rfc 1794).

58. BGP протокол (перевод на русский), html. (http://www.opennet.ru/docs/RUS/bgprus/index.html).

59. How Does Load Balancing Work? Cisco Systems, pdf. (http://www.cisco.com/application/pdf/paws/5212/46.pdf).

60. Виджэй Боллапрагада, Кэртис Мэрфи, Расе Уайт Структура операционной системы Cisco IOS. -М.: «Вильяме», 2002. 208 с.

61. Джо Брокмайер, Ди-Анн Лебланк, Рональд Маккарти, мл. Маршрутизация в Linux. M.: «Вильяме», 2002. - С. 240.

62. WEB farm Load Balancing in Asp.net, html. (http://www.c-sharpcorner.com/UploadFile/gopenath/Page 107182007032219AM/Page 1 .asp x).

63. Network File System (NFS), html. (http://www.redhat.com/docs/manuals/linux/RHL-9-ManuaI/ref-guide/ch-nfs.html).

64. RFC 3530 Network File System (NFS) version 4 Protocol, html. (http://tools.ietf.org/html/rfc3530).

65. Сетевая модель OSI, html. (http://ru.wikipedia.org/wiki/%D0%A1 %D0%B5%D1 %82%DO%B5%DO%B 2%D0%B0%D1%8F%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D l%8COSI).

66. Модель OSI, html. (http://www.citforum.ru/nets/switche/osi.shtml).

67. Standard Group MAC Addresses Tutorial, html. (http://standards.ieee.org/regauth/groupmac/tutorial.html).

68. Что такое port mapping? (прокси FAQ), html. (http ://www. freeproxy .ru/ru/ freeproxy/faq/whatisportmapping. htm).

69. NAT (Network Address Translation), html.http ://ru. wikipedia.org/wiki/NAT).102

70. HTTP (HyperText Transfer Protocol), html.http://ru.wikipedia.org/wiki/HTTP).

71. Solving Server Bottlenecks with Intel Server Adaptors, pdf. (http://developer.intel.ru/download/network/pdf/serverbottlenecks.pdf).

72. Sven Goldt, Sven van der Meer, Scott Burkett, Matt Welsh The Linux Programmer's Guide. Chapter 6. Linux Interprocess Communications, html. (http://tldp.Org/LDP/lpg/node7.html#SECTION00700000000000000000).

73. SCSI (Small Computer System Interface), html. (http://ru.wikipedia.org/wiki/SCSI).

74. RAID (Redundant Array of Independent/Inexpensive Disks), html. (http://ru.wikipedia.org/wiki/RAID).

75. Redhat Cluster Suite, html. (http://www.redhat.com/clustersuite/).

76. Matthew O'Keefe, John Ha Open source high-availability clustering, html. (https://www.redhat.com/magazine/009jul05/features/cluster/).

77. Red Hat Enterprise Linux Open Source Applications for Servers and Desktops built on Linux, html. (http://www.redhat.com/rhel/).

78. Red Hat Cluster Suite for Red Hat Enterprise Linux 5.2. May 2008, pdf. (http://www.redhat.com/docs/en

79. US/RedHatEnterpriscLinux/ 5.2/pdf C lusterSuite0 verview/C lusterSuit eOverview.pdf).

80. Distributed Lock Manager, html. (http://en.wikipedia.org/wiki/Distributedlockmanager).

81. Resource Group Manager Cluster Wiki, html. (http://sources.redhat.com/cluster/wiki/RGManager).

82. The OpenAIS Standards Based Cluster Framework, html. (http: //www. op cnai s. org/).

83. Ajay Kaalvanshi and Timo Jokiaho Using OpenAIS for Building Highly Available Session Initiation Protocol (SIP) Registrar // ISAS 2006, pdf. (http://www.springerlink.com/content/g381x5113456r051/fulltext.pdf).

84. Steven C. Dake The Corosync Cluster Engine // Proceedings of the Linux Symposium. V. 1. Ottawa, 2008. - Pp. 85-99.

85. Linux Server: SUSE Linux Enterprise Server by Novel, html. (http ://wvvw.novell. com/products/server/).

86. Distributed Replicated Block Device (DRBD), html. (http://xgu.ru/wiki/DRBD).

87. Heartbeat: Linux-HA (High-Availability Linux) project, html. (http: //www. 1 i nux-ha.org/Heartbeat).

88. High-Availability cluster with DRBD and Heartbeat, html. (http://wiki.openvz.org/HAclusterwithDRBDandHeartbeat).

89. File system consistency check utility, html. (http://ru.wikipedia.org/wiki/Fsck).

90. Philipp Reisner Rapid resynchronization for replicated storage. Activity-logging for DRBD. 27th January 2004, pdf. (http://www.drbd.org/fileadmin/drbd/publications/drbd-activity-loggingv6.pdf).

91. Гнеденко Б.В. Курс теории вероятностей, М.: Наука, 1988 - 448 с.