Разработка математической модели почтового сервера для модернизации структуры системы электронной почты университета тема диссертации и автореферата по ВАК РФ 05.13.15, кандидат технических наук Калашников, Сергей Геннадьевич

• Калашников, Сергей Геннадьевич
• кандидат технических наук
• 2010

Оглавление диссертации кандидат технических наук Калашников, Сергей Геннадьевич

Основные обозначения и сокращения.

Введение.

Глава 1. Общая характеристика состояния проблемы исследования СЭП университета при её модернизации.

1.1 Объект исследования.

1.2 Методы и средства исследования СЭП.

1.3. Постановка задачи исследования.

Выводы к главе 1.

Глава 2. Построение математической модели системы электронной почты университета.

2.1 Описание функционирования СЭП.

2.2 Функциональная модель СЭП.

2.3 Математическая модель СЭП.

2.4 Математическая формулировка задач исследования.

Выводы к главе 2.

Глава 3. Методика экспериментального определения характеристик трафика электронных писем СЭП университета.

3.1 Постановка задачи. Определение состава характеристик трафика электронных писем.

3.2 Методика сбора данных о почтовом трафике.

3.2.1 Определение формата записи данных при измерении почтового трафика.

3.2.2 Разработка алгоритмов и программного обеспечения для сбора и обработки данных о почтовом трафике.

3.3 Разработка методики определения характеристик трафика электронных писем.

3.4 Экспериментальное исследование почтового трафика СЭП МЭИ.

3.4.1 Объект исследования.

3.4.2 Проведение работ по сбору данных о почтовом трафике.

3.4.3 Нахождение ПНН трафика электронных писем.

3.4.4 Анализ потока электронных писем СЭП.

3.4.5 Анализ потока кадров электронных писем СЭП.

3.4.6 Анализ размера электронного письма.

Выводы к главе 3.

Глава 4. Методика экспериментального определения характеристик обслуживания почтовым сервером трафика электронных писем СЭП университета.

4.1 Постановка задачи.

4.1.1 Функциональная модель ПС.

4.1.2 Математическая модель ПС.

4.1.3 Состав характеристик обслуживания ПС трафика электронных писем

4.2 Разработка методики определения характеристик обслуживания ПС трафика электронных писем.

4.3 Экспериментальное исследование характеристик обслуживания ПС трафика электронных писем.

4.3.1 Объект исследования.

4.3.2 Обработка результатов экспериментального исследования тестового стенда.

4.4 Определение адекватности предложенной математической модели ПС

Выводы к главе 4.

Глава 5. Исследование различных структур реализации СЭП с помощью разработанной математической модели ПС.

5.1 Постановка задачи.

5.1.1 Структуры реализации СЭП.

5.2 Аналитические соотношения для структур СЭП.

5.3 Оценка времени обслуживания СЭП электронных писем для различных структур реализации СЭП.

5.4 Определение допустимого количества пользователей, обслуживаемых СЭП.

5.5 Примеры внедрения.

5.5 Рекомендации по анализу работы СЭП на базе ГЕЛЮ Microsoft Exchange

2007.

Выводы к главе 5.

Введение диссертации (часть автореферата) на тему «Разработка математической модели почтового сервера для модернизации структуры системы электронной почты университета»

Актуальность работы

Электронная почта на сегодняшний день стала одним из основных способов электронного документооборота в университете. Электронная почта позволяет обмениваться - информацией между сотрудниками университета и студентами. Используя электрону почту, преподаватели рассылают задания для студентов, обмениваются внутренними' документам и научными данными со своими коллегами. По электронной почте предоставляется информация о предстоящих конференциях, встречах, а также другая важная общественная информация.

Практически в каждом университете наблюдается общая тенденция увеличения числа пользователей систем электронной почты (СЭП), количества передаваемых электронных писем, в том числе электронных писем рекламного характера (спама), и связанное с этими обстоятельствами ухудшение качества обслуживания пользователей'СЭП. Плохое качество функционирования СЭП, не соответствующее запросам пользователей, может привести к проблемам в образовательном процессе всего университета.

Таким образом, требования к качеству функционирования СЭП всё время растут. Отсюда возникает необходимость проведения модернизации СЭП с целью повышения качества её функционирования. Необходимо обладать средствами, позволяющими влиять на эффективность функционирования как почтовых серверов (ПС), входящих в состав СЭП, так и СЭП в целом.

Работы по проблеме эффективного функционирования информационно-вычислительной сети (ИВС), включая СЭП, велись и ведутся весьма интенсивно как отечественными, так и зарубежными учеными (Л.И. Абросимов, В.П. Климанов, В.М. Вишневский, М. Шварц, Якубайтис Э.А., Клейнрок JL, Боранбаев С. и д.р.). Тем не менее, многие вопросы здесь либо исследованы недостаточно полно, либо ориентированы на решение других прикладных задач, не связанных с эффективностью функционирования СЭП. В частности, отсутствуют методики исследования характеристик обслуживания ПС электронных писем, отсутствуют математические модели СЭП, учитывающие специфику обслуживания ПС электронных писем. Все это свидетельствует о необходимости дальнейшего развития исследований по данной проблематике и в целом определяет актуальность тематики данной работы.

Цель и основные задачи работы

Целью работы является разработка математической модели ПС для модернизации структуры СЭП университета.

Реализация поставленной цели требует решения следующих задач:

1. Для заданных характеристик трафика электронных писем университета, а также характеристик времени обслуживания ПС трафика электронных писем требуется разработать математическую модель ПС, которая позволит проводить сравнительный анализ различных реализаций структур СЭП, для обеспечения повышения эффективности функционирования при модернизации СЭП университета.

2. Для определения исходных данных, содержащих характеристики трафика электронных писем, для математического моделирования ПС требуется разработать методику экспериментального определения характеристик трафика электронной почты университета, включающую сбор и обработку исходных данных, отличающуюся возможностью получения информации на уровне отдельных протокольных блоков данных.

3. Для определения исходных данных, содержащих характеристики времени обслуживания ПС трафика электронных писем, для математического моделирования ПС требуется разработать методику экспериментального определения временных интервалов обслуживания электронных писем аппаратными компонентами ПС на уровне отдельных писем.

4. Исследовать различные структуры реализации СЭП при её модернизации с помощью разработанной математической модели ПС.

Методы исследования

Исследования, проведённые в данной работе, основаны на применении методов теории вероятностей, математической статистики и элементов теории компьютерных сетей. Для подтверждения теоретических результатов проведено математическое моделирование.

Научная новизна

На защиту выносятся следующие научные положения, обладающие новизной:

1. Математическая модель ПС, учитывающая его структурные компоненты (сетевой интерфейс - СИ, центральный процессор - ЦП, жесткий диск — ЖД) и временные интервалы обслуживания электронных писем этими компонентами.

2. Функциональная модель СЭП, учитывающая обслуживание пользователей СЭП, которая представляет собой многомашинную систему различной структуры.

3. Методика определения характеристик трафика электронных писем университета, позволяющая найти период наибольшей нагрузки (ПНН) и определить вероятностно-временные характеристики потока кадров и потока электронных писем для ПНН.

4. Модель трафика электронных писем, включающего в свой состав интервалы времени поступления кадров и количество кадров в электронном письме.

5. Методика оценки характеристик обработки ПС трафика электронных писем, позволяющая привязать характеристики обслуживания трафика электронных писем к аппаратным характеристикам ПС.

Обоснованность и достоверность научных положений, выводов и рекомендаций подтверждаются корректным использованием методов математической статистики, теории вероятностей и практического использования разработанных методов, математических моделей и прикладных программ для исследования СЭП.

Практическая значимость

Основные результаты работы позволяют:

1. Оценивать время обслуживания ПС, а также СЭП в целом электронных писем.

2. Определять оценочную интенсивность обслуживания СЭП электронных писем.

3. Определять допустимое количество пользователей СЭП, которые обслуживаются с заданными характеристиками.

Полученные значения могут быть использованы для модернизации структуры СЭП университета с целью повышения эффективности её функционирования.

Внедрение результатов работы

Результаты работы использованы:

- для анализа функционирования СЭП Московского энергетического института (технического университета) и проведения её модернизации;

- для анализа функционирования СЭП ЗАО «Росэксимбанк» и выработки рекомендаций по дальнейшей модернизации.

Внедрение результатов работы подтверждено соответствующими актами.

Апробация работы

Основные положения и результаты работы докладывались и обсуждались на 12-й, 13-й и 14-й международных научно-технических конференциях студентов и аспирантов «Радиоэлектроника, электротехника и энергетика» (Москва, 2006-2008 гг.), на Международных научно-технических конференциях «Информационные средства и технологии» (Москва, 2007-2008 гг.), на третьей международной конференции «Надёжность компьютерных систем» (DepCoS RELCOMEX 2008, Польша, 2008 г.).

Публикации

Основные положения диссертационной работы изложены в 7 печатных работах [32, 49-54], из них две статьи в журналах, входящих в перечень ВАК Минобрнауки Российской Федерации.

Структура и объём работы

Диссертация состоит из введения, пяти глав, заключения и приложения. Работа изложена на 152 страницах, (основной текст - 148 страниц). Список использованной литературы содержит 69 наименований.

Заключение диссертации по теме «Вычислительные машины и системы», Калашников, Сергей Геннадьевич

Выводы к главе 5

1. Анализ вариантов построения различных структур реализации СЭП позволил установить:

- максимальной оценочной интенсивностью fiuM.q обслуживания электронных писем обладает СЭП5. При этом интенсивность прямо пропорциональна п, т, а также jucpujis

- при небольших значениях интенсивности Л-frame поступления кадров электронных писем минимальным временем TStr,i обслуживания электронных писем обладает СЭП1, максимальным - СЭП5. Максимальное время Tstr.i для СЭП5 обусловлено временем передачи электронного письма по каналам связи между ПС. При увеличении интенсивности ХМли время TStr,i Для СЭП5 отаётся практически неизменным, при этом время TStr,i для СЭП1 неуклонно растёт;

- время обслуживания Tstr.i для СЭП2 и СЭПЗ растёт экспоненциально при увеличении интенсивности Хши- При увеличении значения т время обработки TStrj уменьшается;

- время Tstr.i для СЭП4 уменьшается как при увеличении п, так и при увеличении т\

- структура СЭПЗ по сравнению со структурой СЭП4 более предпочтительна при выполнении следующего условия: суммарная интенсивность обслуживания электронных писем для всех ПСк2 входящих в состав кластера СЭП4 меньше или равна интенсивности обслуживания электронных писем ПСк2 СЭПЗ, а значения интенсивностей piUM,q для СЭПЗ и СЭП4 равны.

2. Для определения допустимого количества пользователей СЭП предложен подход, учитывающий требуемое время обслуживания СЭП электронного письма.

3. Разнесение различных функций СЭП по отдельным структурным компонентам СЭП повышает оценочную интенсивность juLIMil], уменьшает время TStr,i при значениях интенсивности АШц близких к значению /лцм,д, а также повышает количество Ncl пользователей СЭП, что было подтверждено реальными примерами внедрения.

4. Предложены рекомендации для администраторов СЭП на базе ППО MS Exchange 2007 для анализа работы СЭП без проведения детальных исследований.

Заключение

В диссертационной работе осуществлено законченное исследование, связанное с разработкой математической модели ПС для модернизации структуры СЭП университета, и получены следующие основные результаты:

1. Разработана математическая модель ПС, учитывающая его структурные компоненты (сетевой интерфейс, центральный процессор, жесткий диск) и временные интервалы обслуживания электронных писем этими компонентами.

2. Разработана функциональная модель СЭП, учитывающая основные этапы продвижения электронного письма в современных реализациях СЭП и возможность декомпозиции этого процесса на независимые блоки: маршрутизацию, хранение данных по электронному письму, антивирусную и антиспамовую проверку, запись и хранение электронных писем в почтовых ящиках, клиентский доступ.

3. Разработана математическая модель СЭП, представляющая собой смешанную стохастическую сеть массового обслуживая, отличающуюся наличием многозвенности контуров обслуживания электронных писем.

4. Для определения исходных данных, содержащих характеристики трафика электронных писем, для математического моделирования ПС разработана и программно реализована методика экспериментального определения характеристик трафика, включающая сбор и обработку исходных данных, отличающуюся возможностью получения данных на уровне отдельных протокольных блоков данных, которая позволяет определять ПНН, а также вероятностно-временные характеристики трафика электронных писем СЭП университета для ПНН.

5. Разработана математическая модель трафика электронных писем СЭП университета, адекватно отражающая его характеристики.

6. Для определения исходных данных, содержащих характеристики времени обслуживания ПС трафика электронных писем, для математического моделирования ПС разработана методика экспериментального определения временных интервалов обслуживания электронных писем аппаратными компонентами ПС на уровне отдельных электронных писем, которая позволяет определять вероятностно-временные характеристики обслуживания ПС трафика электронных писем.

7. Разработан подход для определения допустимого количества пользователей, обслуживаемых СЭП с заданными характеристиками.

8. На основе разработанной математической модели ПС и полученных исходных данных произведено исследование различных вариантов построения структур СЭП, на базе которого выработаны рекомендации по модернизации СЭП. Работоспособность предложенных рекомендаций подтверждена реальными примерами внедрения.

Список литературы диссертационного исследования кандидат технических наук Калашников, Сергей Геннадьевич, 2010 год

1. Танненбаум Э.И. Компьютерные сети. — 4-е изд. — СПб.: Питер, 2010.- 992 с.

2. Халсалл Ф. Передача данных, сети компьютеров и взаимосвязь открытых систем. М.: Радио и связь, 1995. - 408 с.

3. Кристеисон Н. Sendmail: настройка и оптимизация. М.: КУДИЦ-Образ, 2004. - 272 с.

4. Smith М. Monitoring Exchange Server 2007 with System Center Operations Manager. Indianapolis: SYBEX, 2009. - 528 c.

5. Гильдебрандт P. Postfix. Подробное руководство / P. Гильдебрандт, П. Кеттер. М.: Символ-Плюс, 2008. - 512 с.

6. Шварц М. Сети ЭВМ. Анализ и проектирование. М.: Радио и связь, 1981.-336 с.

7. Бройдо B.JL Вычислительные системы, сети и телекоммуникации: Учебник для вузов. 2-е изд. СПб: Питер, 2003. - 704с.

8. Руководство по технологиям объединённых сетей, 3-е издание: пер. с англ. М.: Издательский дом «Вильяме», 2002. - 1040 с.

9. Якубайтис Э.А. Локальные информаионно-вычислительные сети. -Рига: Зинате, 1985. 284 с.

10. Архитектура компьютерных систем и сетей / Т.П. Барановская и др.- М.: Финансы и статистика, 2003. 256 с.

11. Компьютерные сети: Учебный курс Microsoft Corporation. М.: Издательский отдел Русская редакция, 2006. - 696 с.

12. Программный комплекс Mail Access Monitor. Режим доступа http://www.redline-software.com/rus/products/mam/.

13. Программный комплекс MailDetective. — Режим доступа http://www.advsoft.ru/en/products/maildetective/.

14. Программный комплекс WireShark. Режим доступа http:// www.wireshark.org.

15. Запись сетевого трафика с помощью сетевого монитора. Режим доступа http://support.microsoft.com/kb/148942.

16. CommView сетевой анализ и мониторинг. - Режим доступа http://www.tamos.ru/products/commview/.

17. Абросимов Л.И. Анализ и проектирование вычислительных сетей: Учебное пособие. М.: Изд-во МЭИ, 2000. - 52 с.

18. Якубайтис Э.А. Открытые информационные сети. М.: Радио и связь, 1991. - 208 с.

19. Климанов В.П. Математическая модель распределения нагрузки в многоканальной вычислительной сети матричного типа / В.П. Климанов // Четырнадцатая всесоюзная школа-семинар по вычислительным сетям. Минск: 1989.-С. 216-220.

20. Вишневский В.М. Теоретические основы проектирования компьютерных сетей. М.: Техносфера, 2003. — 512 с.

21. Клейнрок JI. Вычислительные системы с очередями. М.: Мир, 1979. -600 с.

22. Шварц М. Сети связи: протоколы, моделирование и анализ. В 2-х ч. -М.: Наука, 1992.-272 с.

23. Захаров Г. П. Методы исследования сетей передачи данных. М.: Радио и связь, 1982. 208 с.

24. Абросимов Л.И. Основные положения теории производительности вычислительных сетей // Вестник МЭИ. — М.: Издательский дом МЭИ, 2001. -№ 4. — С.70-75.

25. Климанов В.П. Корпоративные информационно-вычислительные сети. Технологии и модели / В.П. Климанов, М.В. Сутягин. М.: ГОУ ВПО МГТУ «Станкин», 2009. - 244 с.

26. Реет Н. Развертывание Microsoft Exchange Server 2007 / Н. Реет, Д. Реет. М.: Русская Редакция, 2009. - 640 с.

27. Luo S. Realistic internet traffic simulation through mixture modeling and a case study / S. Luo, G. Marin // Winter Simulation Conference. 2005. C. 2408 -2416.

28. Jena K. Modeling and Evaluation of Internet Applications / K. Jena, A. Popescu, A. Nilsson // International Teletraffic Congress ITC18. 2003.

29. Олифер В. Компьютерные сети / В. Олифер, Н. Олифер. СПб.: Питер, 2001.-672 с.

30. Компьютерные сети. Сертификация Network +. Учебный курс: пер. с анг. М.: Издательско-торговый дом «Русская Редакция», 2002. - 657 с.

31. Абросимов Л.И. Определение времени доставки электронного письма / Л.И. Абросимов, С.Г. Калашников // Электронный журнал «Вычислительные сети. Теория и практика». 2007. - №1. - Режим доступа http ://network-j о umal. mpe i. ас. r u.

32. Абросимов Л.И. Методика экспериментального анализа эффективности функционирования корпоративных компьютерных сетей / Л.И. Абросимов, С.Г. Калашников, Д.С. Репин // Вестник МЭИ. М.: Издательский дом МЭИ, 2008. - №3. - С.73-82.

33. Боровиков В.П. STATISTICA статистический анализ и обработка данных в среде Windows / В.П. Боровиков, И.П. Боровиков. - М.: Информационно-издательский дом «Филинъ», 1998. - 608 с.

34. Корн Г. Справочник по математике для научных работников и инженеров / Г. Корн, Т. Корн. М.: Изд-во «наука», 1968. - 832 с.

35. Информационно-Вычислительная Сеть МЭИ (ТУ). Режим доступа http://icc.mpei.ru/documents/00000136.html.

36. Станек У. Microsoft Exchange Server 2007. Справочник администратора. СПб.: БХВ-Петербург, 2008. - 494 с.

37. Gerber В. Mastering Microsoft Exchange Server 2007. Indianapolis: SYBEX, 2007.-816 c.

38. Вентцель E.C. Исследование операций: задачи, принципы, методология. М.: Наука, 1988. - 208 с.

39. Программный комплекс Microsoft Exchange Server Stress and Performance Tool). Режим доступа http://technet.microsoft.com/en-us/library/bb508970.aspx.

40. Таллоч M. Windows Server 2003. Справочник. СПб.: Питер, 2005.752 с.

41. Жёсткий диск Barracuda ST3160815AS. Режим доступа http://www.seagate.com/ww/v/index.jsp?vgnextoid=950b4d4b57cb01 lOVgnVCMlO 0000f5ee0a0aRCRD.

42. Androutsopoulos I. Learning to filter unsolicited commercial e-mail / G. Paliouras, E. Michelakis // Technical Report 2004/2, NCSR "Demokritos". 2004.

43. Bratko A. Spam filtering using character-level markov models: Experiments for the TREC 2005 Spam Track / A. Bratko, B. Filipic // In Proc. 14th Text REtrieval Conference (TREC 2005), Gaithersburg, MD. 2005.

44. Goodman J. Stopping spam / J. Goodman, D. Heckerman, R. Rounthwaite // Scientific American, 292(4): 42-88.-2005.

45. Pampapathi R. A suffix tree approach to anti-spam email filtering / R. Pampapathi, B. Mirkin, M. Levene // Machine Learning, 65(l):309-338. 2006.

46. Моримото P. Microsoft Exchange Server 2007. Полное руководство / P. Моримото, M. Ноэл. М.: Вильяме, 2008. - 1312 с.

47. Kaspersky Security Bulletin 2009. Спам в 2009 году. Режим доступа http://www.securelist.eom/ru/analysis/208050609/KasperskySecurityBulletin200 9Spamv2009godu.

48. Крылов В.В. Теория телетрафика и ее приложения / В.В. Крылов, С.С. Самохвалова. СПб.: БХВ-Петербург, 2005. - 288 с.

49. Калашников С.Г. Режимы работы почтового маршрутизатора МЭИ // Труды международной научно-технической конференции «Информационные средства и технологии». М.: Янус-К, 2006. - Т.2. — С. 187-190.

50. Абросимов Л.И. Разработка модели для анализа производительности системы электронной почты / Л.И. Абросимов, С.Г. Калашников // Трудымеждународной научно-технической конференции «Информационные средства и технологии».-М.: МЭИ, 2007. Т.2. - С. 138-141.

51. Калашников С.Г. Методика оценки производительности почтового сервера // Труды XVII международной научно-технической конференции «Информационные средства и технологии». М.: Издательский дом МЭИ, 2009. - Т.2. - С. 212-216.

52. Калашников С.Г. Анализ характеристик почтового трафика на примере МЭИ (ТУ) // Вестник МЭИ. М: Издательский дом МЭИ, 2010. - №2. -С. 93-100.

53. Charzinski J. Observation in e-mail performance // ITC Specialist Seminar. 2002. - C. 133-142.

54. Hussein A. A new approach to enhance E-mail performance though SMPT protocol / A1 bazar Hussein и д.р. // International Journal of Computer Science and Network Security. 2008. - VOL.8 No.4. - C. 299-303.

55. Standard Performance Evaluation Corporation, Mail Servers. Режим доступа http://www.spec.Org/benchmarks.html#mail.

56. Lee Y. Characterization of Large-Scale SMTP Traffic / Y. Lee, J. Kim // Modeling, Analysis and Simulation of Computers and Telecommunication Systems. MASCOTS. IEEE International Symposium. 2008. - C. 1-10.

57. Bertolotti L. Models of mail server workloads / L. Bertolotti, M. Calzarossa // Performance Evaluation. Amsterdam: Elsevier Science Publishers, 2001.-Vol. 46.-C. 65-76.

58. Ohri R. Measurement-Based E-Mail Traffic Characterization / R. Ohri, E. Chlebus // SPECTS 05, Philadelphia, Pennsylvania, Proc. of International Symposium on Performance Evaluation of Computer and Telecommunication Systems. July 24-28. 2005.

59. A performance model for Domino Mail Server / Y. Liang и др. // International Conference on Computer Science and Software Engineering. — 2008. — C. 473-476.

60. Microsoft Exchange Load Generator. Режим доступа http://technet.microsoft.com/en-us/library/bb508893(EXCHG.80).aspx.

61. Palme J. RFC 2076. Common Internet Message Headers. Stockholm University/KTH, 1997. - Режим доступа http://tools.ietf.org/html/rfc2076.

62. Klyne G. RFC 4021. Registration of Mail and MIME Header Fields / G. Klyne, J. Palme. 2005. - Режим доступа http://tools.ietf.org/html/rfc4021.

63. Бард Й. Нелинейное оценивание параметров. М.: Статистика, 1979. -349 с.

64. Service level agreement. Режим доступа http://en.wikipedia.org/wiki/Servicelevelagreement.

65. Севастьянов Б. Л. Курс теории вероятностей и математической статистики. М.: Наука. Гл. ред. физ.-мат. лит., 1982. - 256 с.

66. Орлов А.И. Эконометрика. Учебник. М.: Издательство "Экзамен", 2002. - 576 с.

67. Кендалл М. Статистические выводы и связи / М. Кендалл, А. Стыоарт М.: Наука, 1973. - 466 с.