Разработка алгоритмов и моделей управления нагрузкой серверов в распределенных системах тема диссертации и автореферата по ВАК РФ 05.13.13, кандидат технических наук Артемьев, Александр Борисович

• Артемьев, Александр Борисович
• кандидат технических наук
• 2005

Оглавление диссертации кандидат технических наук Артемьев, Александр Борисович

ВВЕДЕНИЕ.

1. ТЕХНОЛОГИИ ВЗАИМОДЕЙСТВИЯ В РАСПРЕДЕЛЕННЫХ СИСТЕМАХ.

1.1. Принципы построения распределенных систем.

1.2. Модель взаимодействия «клиент-сервер».

1.2Л. Клиенты и серверы вычислительных сетей.

1.2.2. Взаимодействие с базами данных.

1.2.3. Развитие модели «клиент-сервер» для распределенных вычислений

1.3. Распределенные объектные технологии.

1.3.1. Основные сведения о технологии СОЯВА.

1.4. Проблемы построения распределенных систем.

Выводы.

2. МЕТОДЫ УПРАВЛЕНИЯ НАГРУЗКОЙ СЕРВЕРОВ ПРИЛОЖЕНИЙ.

2.1. Выравнивание нагрузки методом разделения приложений.

2.1.1. Разделение приложений.

2.1.2. Стратегии разделения.

2.1.3. Статическое распределение приложений.

2.2. Управление нагрузкой с использованием репликации данных.

2.2.1. Механизмы репликации.

2.3. Управление нагрузкой распределением клиентов.

2.4. Критерии качества решения задачи управления нагрузкой.

Выводы.

3. МАТЕМАТИЧЕСКИЕ МОДЕЛИ ДЛЯ АНАЛИЗА АЛГОРИТМОВ УПРАВЛЕНИЯ НАГРУЗКОЙ

3.1. Общая постановка задачи моделирования.

3.2. Статическое распределение.

3.2.1. Распределение клиентов по серверам.

3.2.2. Распределение приложений по серверам.

3.2.3. Оптимизация распределения.

3.3. Динамическое распределение потоков запросов.

3.3.1. Диспетчеризация запросов на исполнение приложений.

3.3.2. Диспетчеризация запросов от клиентов.

3.4. Модели работы серверов.

3.4.1. Модель сервера приложений с синхронной обработкой запросов.

3.4.2. Модель работы сервера с разделением ресурсов.

Выводы.

4. ПРИМЕНЕНИЕ РАЗРАБОТАННЫХ АЛГОРИТМОВ И МОДЕЛЕЙ ДЛЯ УПРАВЛЕНИЯ В РАСПРЕДЕЛЕННЫХ ИНФОРМАЦИОННЫХ СИСТЕМАХ

Введение диссертации (часть автореферата) на тему «Разработка алгоритмов и моделей управления нагрузкой серверов в распределенных системах»

Распределенные информационные системы, построенные на базе вычислительных и телекоммуникационных сетей, занимают в современном мире все более значимое место за счет расширения сферы применения, повышения качества обслуживания пользователей. Потребность в таких системах постоянно возрастает, как и требования, предъявляемые к их параметрам и характеристикам. Наиболее быстрыми темпами растут требования к размерности систем.

Развитие новых информационных технологий позволило создавать корпоративные информационные системы и вычислительные сети большой размерности, обслуживающие тысячи пользователей.

Потребность в таких системах и сетях постоянно возрастает, поскольку современные крупные производственные объединения (корпорации) интегрируют более мелкие предприятия с их информационными системами, создавая единое информационное пространство, что и приводит к созданию корпоративных информационных систем большой размерности. Кроме того, появляются информационные системы федерального и регионального уровней, объединяющие большое количество локальных подсистем и обслуживающие большое количество разнородных пользователей, что приводит к увеличению размерности информационных систем не только по количеству пользователей (клиентов), но и по количеству реализуемых приложений.

Однако, появление систем, обслуживающих большое количество пользователей и реализующих большое количество разнообразных прикладных программ (приложений) привело к возникновению новой проблемы, связанной с управлением нагрузкой серверов приложений. Эта проблема свойственна как-уже устоявшейся и широко используемой трехслойной архитектуре клиент-сервер, так и ее развивающимся направлениям. Задачей управления нагрузкой является распределение потока запросов к серверам с целыо улучшения показателей качества работы как серверов, так и системы.

Решение проблемы позволяет значительно повысить эффективность работы серверов и всей системы в целом, обеспечить пользователям (клиентам) требуемый сервис, снизить затраты на создание и эксплуатацию системы.

В связи с тем, что размерность информационных систем постоянно возрастает, усложняются приложения, обрабатывающие запросы пользователей, решение проблемы управления нагрузкой - актуальная задача, имеющая большое прикладное значение.

Целыо работы является создание методов и средств для решения задачи управления нагрузкой серверов, позволяющих оценивать качество управления и оптимизировать управление по заданным параметрам.

На защиту выносятся:

• результаты анализа методов построения распределенных информационных систем большой размерности и методов управления нагрузкой серверов приложений;

• обобщенные алгоритмы управления нагрузкой, позволяющие распределять запросы клиентов между серверами, с учетом возможностей их практической реализации;

• комплекс критериев качества управления нагрузкой серверов, которые дают возможность сравнивать и оптимизировать алгоритмы управления, обоснованно выбирать параметры серверов;

• комплекс математических моделей для анализа и оптимизации алгоритмов управления нагрузкой серверов;

• математические модели для анализа работы серверов при различных режимах обработки запросов. f

Научная новизна полученных результатов заключается в обобщении известных методов управления нагрузкой серверов и разработке на этой основе комплекса алгоритмов управления нагрузкой, создании комплекса математических моделей для анализа и оптимизации алгоритмов управления по заданным критериям качества управления, создании математических моделей для анализа работы серверов пр различных режимах обработки запросов, соответствующих современным технологиям.

Практическая ценность результатов диссертации состоит в создании алгоритмов управления, практическая реализация которых приводит к минимальным накладным расходам в работе вычислительной сети, обслуживающей информационную систему, разработке показателей качества управления, а также, в создании методов для расчета численных значений показателей качества управления нагрузкой серверов, позволяющих обоснованно выбирать алгоритмы управления и их параметры для конкретной системы серверов и клиентов,

Достоверность и обоснованность основных результатов и выводов диссертации основаны на обобщении известного опыта управления работой серверов в распределенных системах и сетях, позволившего разработать алгоритмы управления, учитывающие реальные возможности серверов и клиентов рамках технологии клиент-сервер, применении адекватных математических моделей для анализа как алгоритмов управления, так и режимов работы серверов, на соответствии полученных результатов известным данным, опубликованным в печати и, наконец, на результатах практического применения разработанных алгоритмов и моделей. Методы исследований.

При решении поставленных в диссертации задач применялись методы теории очередей, теории вероятностей, теории множеств, математического программирования.

Апробация работы.

Основные положения и результаты диссертации докладывались на Международной конференции «Информационные и телекоммуникационные технологии в интеллектуальных системах» (Барселона, 2004 г.), ХЫ Всероссийской конференции по проблемам математики, информатики, физики и химии (РУДН, 2005 г.), научно-технических семинарах МИЭМ (2003 - 2005 гг.).

Публикации.

Результаты диссертационной работы отражены в 8 опубликованных печатных работах.

Структура и объем диссертации.

Диссертация состоит из введения, четырех глав и списка литературы.

Заключение диссертации по теме «Телекоммуникационные системы и компьютерные сети», Артемьев, Александр Борисович

ОСНОВНЫЕ РЕЗУЛЬТАТЫ И ВЫВОДЫ

1. Проведен анализ современных технологий взаимодействия пользователей с ресурсами распределенной информационной системы, который показал, что на сегодняшний день основной остается технология клиент-сервер, реализуемая в рамках вычислительной сети информационной системы. Исследованы направления развития технологии клиент-сервер и особенности ее применения при большом числе пользователей и приложений. Получено, что основное внимание уделяется развитию средств промежуточного уровня, к числу которых можно отнести и серверы приложений, серверы доступа.

2. Исследованы возможности технологии распределенных объектов для организации работы промежуточного уровня, доступа клиентов к приложениям и базам данных. В результате показано, что одной из основных проблем является управление нагрузкой серверов приложений. Решение этой проблемы позволяет значительно повысить производительность системы серверов по обработке запросов, обеспечить равномерную загрузку серверов, повысить эффективность работы информационной системы в целом.

3. Проведен анализ наиболее распространенных методов управления, показавший, что все они основаны на распределении запросов клиентов между серверами. На основе анализа выделены базовые алгоритмы управления, получены критерии качества управления, позволяющие не только оптимизировать алгоритмы управления, но и параметры серверов.

4. Разработан комплекс математических моделей для исследования базовых алгоритмов управления нагрузкой серверов. Модели дают возможность вычислять характеристики работы серверов и значения интегральных показателей качества управления нагрузкой, оптимизировать параметры алгоритмов управления и серверов. Методика построения комплекса позволяет с единых позиций сравнивать различные алгоритмы, строить их модели и проводить расчеты параметров и показателей качества.

5. Разработаны математические модели для анализа различных режимов работы серверов при заданных алгоритмах управления. Это дает возможность выбирать режимы соответствующие современным технологиям (асинхронный и синхронный режимы обработки запросов, режим многозадачный режим) и исследовать несимметричные системы серверов.

6. Показаны возможности применения полученных результатов для решения практических задач управления нагрузкой серверов.

Полученные в диссертации результаты могут быть полезны разработчикам и администраторам вычислительных сетей и информационных систем при выборе серверов и организации взаимодействия клиент-сервер.

Список литературы диссертационного исследования кандидат технических наук Артемьев, Александр Борисович, 2005 год

1. Авен О.И., Гурии H.H., Коган Я.А. Оценка качества и оптимизация вычислительных систем. - М.: Наука, 1982. - 464 с.

2. Айвазян С.А. и др. Прикладная статистика //том 1 Основы моделирования и первичная обработка данных. М.: Финансы и статистика, 1983. -471с.

3. Альянах И.Н. Моделирование вычислительных систем. JI.: Машиностроение, 1988. - 223 с.

4. Арсеньев Б.П., Яковлев С.А. Интеграция распределенных баз данных. СПб.: Изд-во "Лань", 2001.- 464 с.

5. Атре Ш. Структурный подход к организации баз данных. М.: Финансы и статистика, 1983.

6. Афанасьев В.Н., Фуфлыгин М.Д. Информационные технологии в социально-экономической сфере. М.: МИЭМ, 1998.

7. Байцер Б. Архитектура вычислительных комплексов. В 2-х частях. -М.: Мир, 1974.

8. Бакусов JI.M. и др. Математические модели информационных процессов и управления в АСУ: Учебн. пособие. Уфа, 1991.

9. Балыбердин В.А. Оценка и оптимизация характеристик систем обработки данных. М.: Радио и связь, 1987. - 176 с.

10. Барышев M.JL, Драчевский В.И., Капитанов В.Т. Исследование эффективности автоматизированных систем управления дорожным движением.- М., ВНИЦБД МВД СССР, 1990.

11. П.Башарин Г.П., Бочаров П.П., Коган Я.Л. Анализ очередей в вычислительных сетях. Теория и методы расчета. М.: Наука, 1989. -336 с.

12. Бертсекас Д., Галагер Р. Сети передачи данных.: Пер. с англ. М.: Мир, 1989.-544 с.

13. Блэк Ю. Сети ЭВМ: протоколы, стандарты, интерфейсы. / Пер. с англ. -М.: Мир. 1990.-510с.

14. Бобровски С. Oracle 7: вычисления клиент/сервер. Пер. с англ. С. Орлова. М.: "Лори"., 1996.

15. Богуславский Л.Б., Ляхов А.И. Оценка производительности распределенных информационно-вычислительных систем архитектуры "клиент-сервер". Автоматика и телемеханика, №9, 1995.

16. Бойко В.В., Савинков В.М. Проектирование баз данных информационных систем.- М.: Финансы и статистика, 1989. 260 с.

17. П.Бойченко Е.В. и др. Локальные вычислительные сети. М.: Радио и связь, 1985.

18. Бочаров П.П., Рыков В.В. Проблемы анализа устойчивости и производительности открытых систем.// Развитие и применение открытых систем. Тезисы докладов Ш международной конференции.-М.: МЦНТИ, 1996.

19. Бронштейн О.И., Духовный И.М. Модели приоритетного обслуживания в информационно-вычислительных системах. М.: Наука, 1976.-220 с.

20. Вишневский В.М. Теоретические основы проектирования компьютерных сетей. М.: Техносфера, 2003. - 512с.

21. Внедрение современных технологий и новых форм организации работы Госавтоинспекции Свердловской области. Информация. Екатеринбург, 1995. С. 16.

22. Гнеденко Б.В., Коваленко И.Н. Введение в теорию массового обслуживания. М.: Наука, 1966.

23. Григорьев О.Г. Модель работы сервера приложений в распределенной систехме // Электросвязь. 2004. № 10.

24. Григорьев О.Г. Модели работы серверов обработки запросов в распределенной информационной системе // Proceedings of International Conference "Information and Telecommunication Technologies in Intelligent Systems" / Barcelona, Spain, May 22-29, 2004.

25. Гуляев Ю.В., Олейников А.Я., Филинов E.H. Развитие и применение открытых систем в Российской Федерации. // Информационные технологии и вычислительные системы. М.:1995. Том 1, N 1, с. 1-12.

26. Гусева А.И. Технология межсетевых взаимодействий. М.: Диалог МИФИ, 1997. - 176 с.

27. Дейт К. Введение в системы баз данных. 6-е изд. М.: Диалектика, 1998.-784 с.

28. Джейсон Причард. Просто и доступно. СОМ и CORBA. Архитектуры, стратегии и реализации. Из-во "Лора", 2001. 372 с.

29. Дирк Слема, Джейсон Гарбис, Перри Рассел. Корпоративные системы на основе CORBA. Пер. с англ. М.: Изд. Дом "Вильяме", 2000. - 386 с.

30. Дунаев С.Б. INTRANET технологии. М.: Диалог-МИФИ, 1997. - 272 с.

31. Дэвис Д., Барбер Д., Прайс У., Соломонидес С. Вычислительные сети и сетевые протоколы. М.: Мир, 1982. - 562 с.

32. Емеличев В.А. Метод построения последовательности планов для решения задач дискретной оптимизации. М.: Наука, 1981.

33. Калшшченко Jl.Л., Костромина O.E., Хитрова О.Н. Концепции построения систем управления распределенными БД// Прикладная информатика. М.: Финансы и статистика.- 1984.

34. Камер Дуглас Э. Компьютерные сети и Internet. Разработка приложений для Internet. : Пер. с англ. М.: Изд. дом "Вильяме", 2002. - 640 с.

35. Кемени Дж., Снелл Дж. Конечные цени Маркова. М.: Наука, 1970. -272 с.

36. Клейнрок Л. Теория массового обслуживания. Пер. с англ. Под ред. В.И. Неймана. М.: Машиностроение, 1979. -432 с.

37. Клейнрок Л. Вычислительные системы с очередями. Пер. с англ. Под ред. Б.С. Цыбакова.- М.: Мир. 1979. 600 с.

38. Конвей. Р.В., Максвелл В.Л., Миллер Л.В. Теория расписаний. М.: Наука, 1975.-360 с.

39. Кофман А., Анри-Лабордер А. Методы и модели исследования операций. М.: Мир, 1977. - 432 с.

40. Кристофидес Н. Теория графов. Алгоритмический подход. М.: Мир, 1978.-432с.

41. Кульба В.В., Ковалевский С.С., Косяченко С.А., Сиротюк В.О. и др. Теоретические основы проектирования оптимальных структур распределенных баз данных, 1999.

42. Ладыженский Г.М. Технология "клиент-сервер" и мониторы транзакций./Открытые системы. Вып.7. 1994.

43. Ладыженский Г.М., Леонтьев В.В., Пуха Ю.В. Принципы построения распределенных информационных систем.// Развитие и применение открытых систем. Тезисы докладов Ш международной конференции.-М.: МЦНТИ, 1996.

44. Ланкастер П. Теория матриц. Пер. с англ. М.: Наука, 1978. - 280 с.

45. Лсзер Н. Архитектура открытых распределенных систем. Открытые системы, вып. 3. 1993.

46. Липаев В.В. Направления развития методов и стандартов открытых систем.// Информатика и вычислительная техника. Научно-технический сб. Вып. 1-2. 1995.

47. Мартин Дж. Вычислительные сети и распределенная обработка данных/М.: "Финансы и статистика", 1985.

48. Мартин Дж. Организация баз данных в вычислительных системах. -М.: Мир, 1980. 664 с.

49. Месарович М., Мако Д., Такахара И. Теория иерархических многоуровневых систем. М.: Мир, 1973.

50. Моисеев H.H., Иванилов Ю.П., Столярова Е.М. Методы оптимизации. М.: Наука, 1978.-352 с.

51. Моисеев H.H. Математические задачи системного анализа. М.: Наука, 1981.-488 с.

52. Москаленко О.М. Опыт проектирования и разработки банковской системы для трехуровневой архитектуры клиент-сервер. // СУБД. -1996.- №3. С.29-43.

53. Нейман В. И. Структуры систем распределения информации. М.: Связь, 1975.-264 с.

54. Николаев В.И., Брук В.М. Системотехника: методы и приложения. -Л.: Машиностроение, 1985. 199 с.

55. Овчаров Л.А. Прикладные задачи теории массового обслуживания, М.: Машиностроение, 1969.

56. Олифер В.Г., Олифер H.A. Компьютерные сети. Принципы, технологии, протоколы. СПб.: Питер, 1999. 672 с.

57. Олифер В.Г., Олифер H.A. Новые технологии и оборудование IP-сетей. СПб.: БХВ-Санкт-Петербург, 2000. 512с.

58. Организация ЭВМ и вычислительных сетей. Под. ред. проф. В.Н. Лзарова- М.: МГИЭМ, Центр сетевых технологий, 1997.

59. Основы теории вычислительных систем. Под ред. Майорова С.А. -М.: Высшая школа, 1978.

60. Прангишвили И.В. и др. Локальные микропроцессорные вычислительные сети,- М.: Наука, 1984.

61. Растригин Л.А. Современные принципы управления сложными объектами. М:. Сов. радио, 1980.

62. Редкозубов С.А. Статистические методы прогнозирования в АСУ.-М.: Энергоиздат, 1981.

63. Ретано А., Слайс Д., Уайт Р. Принципы проектирования корпоративных IP-сетей. : Пер. с англ. М.: Изд. дом «Вильяме», 2002.- 368 с.

64. Риордан Дж. Вероятностные системы обслуживания. М.: Связь, 1966.- 184 с.

65. Саати Т.А. Элементы теории массового обслуживания и ее приложения. М.: Сов. Радио, 1971. - 520с.

66. Садовский В.Н. Основания общей теории систем. М.: Наука, 1974. -280 с.

67. Саксонов Е.А. Исследование многоканальной замкнутой циклической системы массового обслуживания. Автоматика и телемеханика. 12, 1979. с.80-86.

68. Семенов Ю.А. Протоколы и ресурсы Internet. М.: Радио и связь, 1996. -320 с.

69. Сипсер Р. Архитектура связи в распределенных системах.- М.: Мир, 1981.

70. Столингс В. Криптография и защита сетей: принципы и практика, 2-е изд.: Пер. с англ. М.: Изд. Дом «Вильяме», 2001. - 672 с.

71. Танненбаум Э., М. Ван Стен. Распределенные системы. Принципы и парадигмы. СПб.: Питер, 2003. - 877 с.

72. Телекоммуникационные компьютерные сети России. Справочник.-М.: Россия, 1992.

73. Воробьев Е.М. Введение в систему «Математика». М.: Финансы и статистика, 1998. - 262 с.

74. Ульман Дж. Основы систем баз данных: Пер. с англ. М.: Финансы и статистика. 1983. - 572 с.

75. Уэлдон Д.-Л. Администрирование баз данных: Пер. с англ. М.: Финансы и статистика. - 1984. - 360 с.

76. Файнберг В. Базы данных типа "клиент-сервер" // Компьютер Пресс.-1990. №7.- С.49-54.

77. Феллер В. Введение в теорию вероятностей и ее применения. В 2-х томах. Пер с англ.- М.: Мир, 1987. Т1-528с. Т2-738с.

78. Фролов A.B., Фролов Г.В. Глобальные сети компьютеров. М.: Диалог МИФИ.- 1995.

79. Фрэнк Г., Фриш И. Сети, связь и потоки. Пер. с англ. М.: Связь, 1978.- 448 с.

80. Цвиркун А.Д. Основы синтеза структуры сложных систем. -М.: Наука, 1982.

81. Шварц М. Сети связи: протоколы, моделирование и анализ: В 2 ч,- М.: Наука, 1992. -336 с.

82. Шенк Д.Д. Руководство Novell. Технология клиент/сервер и ее приложения.- М.: Лори, 1995. 272 с.

83. Adler R. Distributed Coordination Model for Client/Server Computing/ IEEE Computer, vol. 28, N4, pp. 14-22.

84. Anderson R. Security Engineering A Guide to Building Dependable Distributed Systems. New-York: John Wiley, 2001.

85. Buretta M. Data Replication: Tools and Techniques for Managing Distributed Information. New York: John Wiley, 1997.

86. Cheng P. A. Security Architecture for the Internet Protocol. IBM Systems Journal, N1, 1998.

87. Cristian F. Understanding Fault-Tolerant Distributed Systems. Commun. ACM, vol. 34, N2, hh. 56-78.

88. Emmeich W. Engineering Distributed Objects. New-York: John Wiley, 2000.

89. Forman I.R. On the design of large distributed systems // Proc. IEEE CS 1986 Int. Conf. on Computer Languages, Miami, FL.-1986.-P.84-95.

90. Ford W. Computer Communications Security Principles, Standard Protocols and Techniques. New Jersey: Prentice-Hall, 1994. '

91. James D. McCabe. Practical Computer Network Analysis and Design. Morgan Kaufmann Publishing company, 1998.

92. Lawor E.L., Levitt K.N., Turres I. Module Clustering to Minimize Delay in Digital Network / IEEE Trans. v.EC - 18. - N1 - p.445-451.

93. Oracle. Database Administrator's Guide. Oracle Corp.- 1984.

94. Stallings W. Data and Computer Communications, Fifth Edition. Upper

95. Saddle River, NJ: Prentice Hall, 1997.