Анализ и моделирование трафика в корпоративных компьютерных сетях тема диссертации и автореферата по ВАК РФ 05.13.01, кандидат технических наук Репин, Дмитрий Сергеевич

• Репин, Дмитрий Сергеевич
• кандидат технических наук
• 2008

Оглавление диссертации кандидат технических наук Репин, Дмитрий Сергеевич

Введение.

Глава 1. Общая характеристика состояния проблемы 13 исследования и моделирования трафика в корпоративных компьютерных сетях.

1.1. Методы и средства экспериментального исследования и 13 анализа трафика.

1.2. Моделирование трафика в корпоративных компьютерных 19 сетях.

1.3. Уточнение основных направлений исследования.

Выводы по главе 1.

Глава 2. Методика экспериментального исследования трафика в 26 корпоративных компьютерных сетях.

2.1 Постановка задачи исследования трафика в ККС.

2.2. Формирование структурного представления исследуемой сети и выбор точек съема информации.

2.3. Обеспечение подключения измерительных средств к выбранным точкам доступа.

2.4. Определение формата записи данных при измерении трафика.

2.5. Планирование и проведение экспериментального исследования трафика.

2.6. Разработка алгоритмов и прикладного программного обеспечения для сбора и обработки данных о параметрах трафика.

Выводы по главе 2.

Глава 3. Методы и алгоритмы анализа трафика в компьютерных сетях на основе статистики экстремальных значений.

3.1. Постановка задачи. Общие замечания о возможностях применения статистики экстремальных значений для анализа трафика.

3.2. Математические основы метода анализа данных с использованием статистики экстремальных значений.

3.3. Анализ трафика с использованием статистики экстремальных значений.

3.4. Практический пример анализа трафика с использованием статистики экстремальных значений.

Выводы по главе 3.

Глава 4. Анализ и моделирование нестационарного трафика в корпоративных компьютерных сетях.

4.1. Постановка задачи.

4.2. Анализ структуры и свойств нестационарного трафика.

4.3. Формирование модели изменения интенсивности 97 нестационарного трафика.

4.4. Дополнительные элементы формирования модели изменения 102 интенсивности нестационарного трафика.

4.5. Имитационное моделирование узла ККС как СМО в условиях нестационарности потока заявок на обслуживание.

Выводы по главе 4.

Глава 5. Применение разработанных средств методического и программно-алгоритмического обеспечения для исследования трафика в ККС.

5.1. Исследование трафика в Центральном сегменте корпоративной сети отрасли образования.

5.2. Анализ почтового трафика Информационно-вычислительной Сети Московского Энергетического Института (Технического

Университета).

Выводы по главе 5.

Введение диссертации (часть автореферата) на тему «Анализ и моделирование трафика в корпоративных компьютерных сетях»

В современных условиях решение все более сложных задач управления различного рода системами и объектами, задач организационного управления основывается на широком использовании информационных технологий. Технической базой их практического применения являются корпоративные компьютерные сети (ККС). Именно они играют все возрастающую роль для обеспечения эффективности управления и успешного функционирования самых разных организаций. Отсюда то пристальное внимание, которое уделяется сейчас вопросам анализа и синтеза такого рода сетей.

При этом следует иметь ввиду, что практически в каждой такой сети наблюдается общая тенденция увеличения числа пользователей, объемов циркулирующей информации, интенсивности трафика и связанных с этими обстоятельствами ухудшения качества сетевых услуг. Все это требует проведения экспериментальных исследований свойств сети, причем не только в режиме оперативного мониторинга, но и для более глубокого изучения — в частности, с целью прогнозирования их поведения. С этим же связана и задача совершенствования соответствующего научно-методического и программного обеспечения анализа и моделирования трафика.

Работы по данной проблеме велись и ведутся весьма интенсивно как отечественными (Л.И. Абросимов, В.В. Крылов, О.И. Шелухин, А.В. Осин, А.К. Скуратов, Н.А. Олифер, В.Г. Олифер и др.), так и зарубежными учеными (М. Шварц, К. Парк, Дж. Медхи и др.). Тем не менее многие вопросы здесь либо исследованы недостаточно полно, либо ориентированы на решение относительно узких прикладных задач. В частности, отсутствуют комплексные методики организации и проведения экспериментальных исследований трафика, обобщающие накопленный к настоящему времени опыт их проведения. Достаточно ограничен перечень статистических методов, используемых при обработке данных, характеризующих интенсивность трафика. Математические модели трафика, в основном, строятся в предположении его стационарности. Все это свидетельствует о необходимости дальнейшего развития исследований по данной проблематике и в целом определяет актуальность тематики данной работы.

Целью диссертационной работы является развитие методов и алгоритмов исследования трафика в корпоративных компьютерных сетях для анализа качества их функционирования, прогнозирования свойств и моделирования.

В соответствии с указанной целью в рамках диссертационной работы поставлены и решались следующие задачи:

1. Обзор и анализ известных подходов к экспериментальному исследованию трафика в ККС, применяемых методов и программно— аппаратных средств.

2. Разработка комплексной методики экспериментального исследования трафика в ККС и прикладного программного обеспечения для сбора, обработки и оперативного анализа данных о параметрах трафика.

3. Исследование возможностей использования математического аппарата статистики экстремальных значений для анализа и прогнозирования поведения компьютерных сетей.

4. Анализ изменения интенсивности трафика в ККС как нестационарного дискретного случайного процесса.

5. Разработка способа имитационного моделирования кривой изменения интенсивности нестационарного трафика и ряда его модификаций с целью повышения достоверности конечных результатов имитационного эксперимента.

6. Применение полученных методических, математических и программно-алгоритмических результатов при решении практических задач по исследованию интенсивности трафика в ККС отрасли образования.

Полученные результаты исследования базируются на использовании методов и средств системного анализа, элементов теории компьютерных сетей, математической статистики, теории случайных процессов, имитационного моделирования.

На защиту выносятся следующие научные положения, обладающие новизной:

1. Комплексная методика экспериментального исследования трафика в ККС, в основе которой положена совокупность базовых принципов, главными из которых являются системность, универсальность применения, полнота собираемых данных, информационная и техническая безопасность, унификация используемых технических и программно-алгоритмических решений.

2. Доказательство эффективности математического аппарата статистики экстремальных значений для решения ряда важных прикладных задач по анализу и долгосрочному прогнозированию возникновения критических ситуаций в функционировании ККС, связанных с ограниченной пропускной способностью отдельных ее элементов.

3. Выявленная на основе анализа экспериментальных данных структура типичного процесса изменения суточного трафика, включающего в себя детерминированную (трендовую) и стохастическую компоненты и метод формирования общей параметрической модели суточного изменения интенсивности нестационарного трафика.

4. Способ моделирования кривой изменения интенсивности нестационарного трафика и ряд его модификаций, позволяющие повысить достоверность конечных результатов имитационного эксперимента.

Обоснованность и достоверность научных положений, выводов и рекомендаций подтверждаются корректным использованием методов математической статистики, теории случайных процессов, результатами имитационного моделирования и практического использования разработанных методов, алгоритмов и прикладных программ для исследования трафика в действующих ККС.

Научная значимость работы состоит в разработке научно обоснованной комплексной методики экспериментального исследования трафика в ККС, расширении спектра статистических методов, используемых при анализе и прогнозировании трафика, создании методов формирования параметрических моделей суточного изменения интенсивности нестационарного трафика и их применения в имитационном моделировании компьютерных сетей.

Результаты исследований, выполненных в диссертационной работе, могут быть использованы при проведении экспериментальных исследований трафика ККС в различных организациях и фирмах, для целей прогнозирования возникновения критических ситуаций, связанных с ограниченной пропускной способностью отдельных элементов сети, для повышения достоверности и качества имитационного моделирования ККС как средства принятия эффективных управленческих решений, связанных с их развитием и/или модернизацией.

Результаты работы использованы:

- при проведении экспериментальных исследований и анализе трафика в точке выхода Центрального сегмента корпоративной сети отрасли образования на внешнюю сеть RANNet, через которую осуществляется выход Рособразования и Рособрнадзора к информационным ресурсам отрасли и к сети Internet;

- для анализа почтового трафика в Информационно-вычислительной сети Московского энергетического института (технического университета.

Основные положения и результаты работы докладывались на XXXV Международной конференции «Информационные технологии в науке, образовании, телекоммуникации, бизнесе» — IT+SE'2008 (Ялта-Гурзуф, 2008г.), Четвертой международной научно-практической конференции «Исследование, разработка и применение высоких технологий в промышленности» (Санкт-Петербург, 2008 г.), на Международной научно-технической конференции «Информационные средства и технологии» (Москва, 2008г.), на заседании кафедры «Автоматизированные системы управления» (АСУ) Московского государственного горного университета.

По теме диссертационной работы опубликованы 7 научных работ [6470], в том числе в 2 изданиях, включенных в Перечень ведущих рецензируемых научных журналов и изданий, в которых должны быть опубликованы основные научные результаты диссертации на соискание ученой степени доктора и кандидата наук (редакция апрель 2008 года) ВАК Минобрнауки РФ, а также в трудах 3 Международных конференций.

Диссертационная работа состоит из введения, пяти глав, заключения и списка литературы.

Заключение диссертации по теме «Системный анализ, управление и обработка информации (по отраслям)», Репин, Дмитрий Сергеевич

Выводы по главе 5

1. Приведены результаты успешного практического применения разработанных методических и программно-алгоритмических средств при проведении экспериментальных исследований и анализе трафика в точке выхода Центрального сегмента корпоративной сети отрасли образования на внешнюю сеть RANNet, через которую осуществляется выход Рособразования и Рособрнадзора к информационным ресурсам отрасли и к сети Internet.

2. Методика анализа трафика, разработанные алгоритмы и программы применены для исследования почтового трафика в Информационно-вычислительной сети Московского энергетического института (технического университета), результаты которого позволили рационализировать работу службы электронной почты и учтены при проводящейся в настоящее время модернизации ИВС МЭИ.

Заключение

В диссертационной работе осуществлено законченное исследование, связанное с развитием методов и алгоритмов исследования трафика в корпоративных компьютерных сетях для анализа качества их функционирования, прогнозирования свойств и моделирования, и получены следующие основные результаты:

1. Разработана комплексная методика экспериментального исследования трафика в корпоративных компьютерных сетях.

2. Разработаны оригинальные программно-алгоритмические средства для оперативного сбора и накопления данных, характеризующих трафик, их обработки, анализа и предоставления требуемой информации о его параметрах.

3. Для решения задачи прогнозирования возникновения критических ситуаций в функционировании сети, связанных с ограниченной пропускной способностью отдельных ее элементов, предложен и обоснован метод, основанный на использовании математического аппарата статистики экстремальных значений.

4. Исследованы возможности и доказана эффективность указанного метода для решения ряда важных прикладных задач по анализу и прогнозу трафика.

5. Выявлена структура типичного процесса изменения суточного . трафика, включающего в себя детерминированную (трендовую) и стохастическую компоненты, и предложен алгоритм формирования общей параметрической модели изменения интенсивности нестационарного трафика.

6. Разработан способ имитационного моделирования кривой изменения интенсивности нестационарного трафика.

7. Полученные теоретические результаты применены для анализа корпоративных компьютерных сетей в организациях сферы образования.

Список литературы диссертационного исследования кандидат технических наук Репин, Дмитрий Сергеевич, 2008 год

1. Абросимов Л.И. Анализ и проектирование вычислительных сетей: Учебное пособие. М.: Изд-во МЭИ, 2000.

2. Абросимов Л.И. Основные положения теории производительности вычислительных сетей. Вестник МЭИ, 2001, № 4, с.70-75.

3. Айвазян С. А., Мхитарян В. С. Прикладная статистика и основы экономики. Учебник для вузов. М.: ЮНИТИ, 1998.

4. Андерсен Т. Статистический анализ временных рядов. М.: МИР, 1976.

5. Базовский И. Надежность. Теория и практика. М.: МИР, 1975.

6. Бард И. Нелинейное оценивание параметров. М.: Статистика, 1979.

7. Бахвалов Л.А. Моделирование систем. Учебное пособие для вузов. Изд-во МГТУ, 2006.

8. Бендат Дж., Пирсол А. Прикладной анализ случайных данных. М.: МИР, 1989.

9. Блэк Ю. Сети ЭВМ: протоколы, стандарты, интерфейсы. М.: МИР, 1990.

10. Бокс Дж., Дженкинс Г. Анализ временных рядов. Прогноз и управление. Вып. 1. М.: МИР, 1973.

11. Бокс Дж., Дженкинс Г. Анализ временных рядов. Прогноз и управление. Вып. 2. М.: МИР, 1974.

12. Болыпев Л.Н., Смирнов Н.В. Таблицы математической статистики. М.: Изд-во «Наука», 1965.

13. Боровиков В.П., Боровиков И.П. STATISTICA -статистический анализ и обработка данных в среде Windows. М.: Информационно-издательский дом «Филинъ», 1998.

14. Бусленко Н.П., Голенко Д.И., Соболь И.М., Срагович В.Г., Шрейдер Ю.А. Метод статистических испытаний (метод Монте-Карло). М.: Физматгиз, 1962.

15. Виноградова Н.А., Филаретов Г.Ф. Анализ стохастических процессов М.: Издательский дом МЭИ, 2007.

16. Виноградова Н.А., Свиридов В .Г., Ленынин В.Н., Филаретов Г.Ф. и др. Основы построения информационных измерительных систем. М.: Изд-во МЭИ, 2004.

17. Вуколов В. Э. Основы статистического анализа. Практикум по статистическим методам и исследованию операций с использованием пакетов STATISTICA® и Excel. М.: ФОРУМ: ИНФА-М, 2004.

18. Вишневский В.М. Теоретические основы проектирования компьютерных сетей. М.: Техносфера, 2003.

19. Гольденберг JI.M., Матюшкин Б.Д., Поляк М.Н. Цифровая обработка сигналов: Справочник. М.: Радио и связь, 1985.

20. Гумбель Э. Статистика экстремальных значений. Пер. с англ. — М.: МИР, 1965.

21. Гумбель Э. Статистическое оценивание предела выносливости как приложение теории экстремальных значений. В сб. «Введение в теорию порядковых статистик» М.: Статистика, 1970, с. 369-389.

22. Данилин Г.Г., Зарвигоров Д.А. Оценка качества структур кампусных вычислительных сетей. Вестник Московского энергетического института. 2008, №2, с. 90-94.

23. Домрачеев В.Г., Безрукавный Д.С., Калинина Э.В., Ретинская И.В., Скуратов А.К. Нечеткие методы в задачах мониторинга сетевого трафика. «Информационные технологии, 2006, №3, с. 2-10.

24. Енюков И.С., Ретинская И.В., Скуратов А.К. Статистический анализ и мониторинг Интернет-сетей. М.: Изд-во «Финансы и статистика», 2004.

25. Захаров Г.П. Методы исследования сетей передачи данных. М.: Радио и связь, 1982.

26. Капур К., Ламберсон Л. Надежность и проектирование систем. М.: МИР, 1980.

27. Кендалл М.Дж., Стьюарт А. Статистические выводы и связи. М.: Наука, 1973.

28. Кендалл М.Дж., Стьюарт А. Теория распределений. М.: Наука, 1966.

29. Кокс Д., Льюис П. Статистический анализ последовательности событий. М.: МИР, 1969.

30. Компьютерные сети. Сертификация Network +. Учебный курс/Пер. с анг. М.: Издательско-торговый дом «Русская Редакция», 2002.

31. Корн Г., Корн Т. Справочник по математике для научных работников и инженеров. М.: Наука, 1968.

32. Корнышев Ю.Н., Пшеничников А.П., Харкевич А.Д. Теория телетрафика. Учебник для вузов. М.: Радио и связь, 1996.

33. Крамер Г. Математические методы статистики. М.: МИР, 1975.

34. Крылов В.В., Самохвалова С.С. Теория телетрафика и ее приложения.-СПб.: БХВ-Петербург, 2005.

35. Крылов В.В. Теория телетрафика (Основы теории систем массового обслуживания для задач телекоммуникаций). Н.Новгород: ННГУ, 2000.

36. Кудрявцев Е.М. GPSS World. Основы имитационного моделирования различных систем. М.: ДМК, 2003.

37. Куинн Л., Рассел P. Fast Ethernet // BHV Киев, 1998.

38. Леблейн Ю. Распределение экстремальных значений. В сб. «Введение в теорию порядковых статистик» М.: Статистика, 1970. С. 360-368.

39. Малофеев Д.В., Хвалев Е.А. К вопросу оптимизации управляющего трафика в корпоративных сетях Журнал депонированных рукописей №10 октябрь, 2007.

40. Марпл С.Л., мл. Цифровой спектральный анализ и его приложения. М.: МИР, 1990.

41. Митропольский А.К. Техника статистических вычислений. М.: Наука, 1971.

42. Найденов В.И., Кожевникова И.А., Почему так часто происходят наводнения? // «Природа», 2003, № 9.

43. Нерсесов И.Л., Сыдыков, А., Нурмагамбетов А., Михайлова Н.Н. Сейсмический режим северного Тянь-Шаня.// «Физика Земли», 1981, № 5.

44. Норткат С., Новак Дж. Обнаружение нарушений безопасности в сетях. -М.: Издательский дом «Вильяме», 2003.

45. Олифер В., Олифер Н. Компьютерные сети. — СПб.: Питер, 2001.

46. Орлов А.И. Прикладная статистика. Учебник. М.: Издательство "Экзамен", 2004.

47. Пономарев Д.Ю. Исследование свойства самоподобия телефонной нагрузки//Тезисы докладов 7-ой Всероссийской научно-практической конференции «Проблемы информатизации региона». — Красноярск. — 2001, с.44-47.

48. Сб. «Введение в теорию порядковых статистик» М.: Статистика, 1970.

49. Себер Дж. Линейный регрессионный анализ. М.: МИР, 1980.

50. Сергиенко А.Б. Цифровая обработка сигналов. СПб.: Питер, 2003.

51. Справочник по специальным функциям. Под ред. Абрамовича М., Стиган И. М.: Наука, 1979.

52. Танненбаум Э. И. Компьютерные сети. СПб.: Питер, 2002.

53. Тюрин Ю.А., Макаров А.А. Анализ данных на компьютере. М.: Финансы и статистика, 1995.

54. Феррари Д. Оценка производительности вычислительных систем. М.:Мир, 1981.

55. Фомин Я. А. Теория выбросов случайных процессов. М.: Связь, 1980.

56. Хан Г. Шапиро С. Статистические модели в инженерных задачах. М.: МИР, 1969.

57. Хеннан Э. Многомерные временные ряды. М.: МИР, 1974.

58. Шварц М. Сети связи: протоколы, моделирование и анализ: в 2-х ч. М.: МИР, 1992.

59. Шелухин О.И., Осин А.В., Смольский С.М. Самоподобие и фракталы. Телекоммуникационные приложения./Под ред. О.И. Шелухина. М.: ФИЗМАТЛИТ, 2008.

60. Яноши А. Теория и практика обработки результатов измерений. М.: МИР, 1968.

61. Бахвалов Л.А., Репин Д,С. Имитационное моделирование трафика в корпоративных компьютерных сетях. Материалы XXXV Международной конференции «Информационные технологии в науке, образовании, телекоммуникации, бизнесе» IT+SE'2008, с. 138 - 140.

62. Абросимов Л.И., Калашников С.Г., Д.С. Репин Д,С. Методика экспериментального анализа эффективности функционированиякорпоративных компьютерных сетей. // Вестник Московского энергетического института. 2008, №3, с. 73-82.

63. Репин Д,С. Алгоритм построения параметрической модели изменчивости суточного трафика. Труды XVI Международной научно-технической конференции «Информационные средства и технологии», Москва, 2008, т.2, с. 166 170.

64. Абросимов Л.И., Репин Д,С. Выбор критических точексъема информации. Труды XVI Международной научно-технической конференции «Информационные средства и технологии», Москва, 2008, т.2, с. 112-117.

65. Бахвалов Л.А., Репин Д,С., Филаретов Г.Ф. Алгоритм анализа трафика в корпоративных компьютерных сетях на основе статистики экстремальных значений. // Программные продукты и системы. 2008, №3(83), с. 8 10.

66. Embrechts P., Kluppelberg С., Mikossch Т. // Modellingextreme events for insuranceand finance/Berlin, 1997.

67. Epstein B. Elements of the theory of extreme values. // Technometrics, 1960, №2.

68. Epstein В., Brooks H. The theory of extreme values and its implication in the study of the dielectric strength paper capacitors/ // J. Appl. Phis., 1948, №19.

69. Feldmann A. Characteristics of TCP connection arrivals//Technical report, AT&T Labs Research. 1998.

70. Gumbel E.J. Statistical theory of extreme values and some practical applications. //Appl. Math. Ser. 33. US Depart. Commerce, Washington, D.C., 1954.

71. Krumbain W.C., Lieblein J. Geological application of extreme-value methods to interpretation of cobles and boulders in gravel deposits/ // Trans. Am. Geophys. Union, 1956, 37.

72. Leland W.E., Taqqu M.S., Willinger W., Wilson D.V. On the Self-Similar Nature of Ethernet Traffic/ZProceedings ACM SIGCOMM'93. San Fransisco, CA.-1993.-p. 183-193.

73. Ogavara M. et al. Stochastic limits for the maximum possible amount of precipitation. // Papers in Meteorology and Geophysics (Japan), 1955, №5.

74. Ogavara M., Tomatsu K. A prediction for the next maximum of sunspot numbers. // Papers in Meteorology and Geophysics (Japan), 1955, № 3-4.

75. Paxson V., Floyd S. Wide-Area Traffic: The Failure of Poisson Modeling/ЛЕЕЕ/ACM Transactions on Networking. 1995. - 3(3). - P. 226-244.

76. Woo-Chul Jeunl, Yangsuk Kee. A High Performance and Low Cost Cluster-based E-mail System. Seoul,: Electrical Engineering and Computer Science Dept. Seoul National University, 2003.

77. Rao C.R. Estimation of heteroscedastic variances in linear models. J. Amer. Statist. Assoc., v. 65, 1970.

78. Craddock J.M. An experiment in the analysis and prediction of time series / The Statistician. 1967, 17, 257-268.86. http://www.microsoft.com87. http://www.ndgsoftware.com88. http://www. tamos .com89. http:// www.wireshark.org

79. ComScore будет измерять трафик по-новому: Segment Metrix. Интернет-версия для КПК. http://www.cnews.ru/news/line/index.shtml72007/07/27/260598

80. Зельцер А. Сравнительные испытания концентраторов доступа Ascend Communications N38 97 с.13,14 http://www.dvgu.ru/meteo/PC/net.html

81. Программный комплекс eHealth® Application Insight Module. http://whitepapers.zdnet.com/whitepaper.aspx?&q=performance+mail&docid"=138 164.

82. Программный комплекс MailDetective. http://www.advsoft.ru/en/products/maildetective/

83. Программный комплекс Ethereal, http://www.ethereal.com/.

84. Программный комплекс UTM 5. http://www.netup.ru/.

85. Рекомендации по настройке Microsoft Exchange с целью увеличения её производительности.http://www.microsoft.com/technet/prodtechnol/exchange/2003/topl0perf.mspx.

86. Информация по количеству спама в Рунете.http://www.spamtest.ru/document.html?context=9076&discuss^20805035 l&retur n=l.

87. Технология частных виртуальных сетей (PVLAN).http://www.cisco.com/en/US/products/hw/switches/ps708/productsconfiguration guidechapter09186а008007е717.html

88. Технология Fast Ethernet (IEEE 802.3u). http://www.citforum.ru/nets/lvs/slaval .shtml.

89. Технология частных виртуальных сетей (PVLAN).http://www.cisco.com/en/US/products/hw/switches/ps708/products configuration guide chapter09186a008007e717.html.9