Исследование и разработка методов и средств повышения структурной и функциональной устойчивости научных и университетских сетей тема диссертации и автореферата по ВАК РФ 05.13.16, кандидат физико-математических наук Глебовский, Александр Юрьевич

• Глебовский, Александр Юрьевич
• кандидат физико-математических наук
• 2000

Оглавление диссертации кандидат физико-математических наук Глебовский, Александр Юрьевич

ВВЕДЕНИЕ

ГЛАВА 1. Показатели и модели оценки функциональной и структурной устойчивости корпоративных сетей научных и образовательных учреждений

Введение ^

1.1 Научные и образовательные сети: сетевое окружение, концептуальная модель, ресурсы и источники отказов

1.1.1 Концептуальная модель многосвязной корпоративной сети, внешние и внутренние ресурсы, источники отказов

1.1.2 Разновидности внешних трасс маршрутизации пакетов

1.2 Устойчивость сети, сервисная способность, типы и качество сервисов, гарантированные уровни качества

1.2.1 Понятие сервисной способности сети, показатели, характеризующие это свойство и модель его оценки

1.2.2 Формализация требований к сети: типы сервисов ТоБ и качество сервисов (2о

1.2.3 Перспективы обеспечения гарантированного качества сетевого обслуживания

1.3 Постановка проблемы генерализированной оценки сервисной способности

1.3.1 Частные интегральные показатели ССС

1.3.2 Проблема статистического усреднения результатов измерений, адекватность и познавательная ценность результатов усреднения

1.4 Индикативные обобщенные показатели, ассоциативные шкалы их измерения, модель генерализованной оценки, степени ССС

1.4.1 Выбор обобщенных индикативных показателей сервисной способности

1.4.2 Методика измерения средней наработки на отказ длительности хк

Выводы

ГЛАВА 2. Метод адаптивного функционального контроля и его реализация в программном анализаторе состояния сети и трасс передачи пакетов

Введение

2.1 Актуальность и предлагаемая концептуальная основа решения проблем диагностирующего мониторинга сети

2.2 Проблема мониторинга трасс и ее место в современной архитектуре систем менеджерирования корпоративными сетями

2.2.1 Службы и интегрированные системы сетевого администрирования, цели, критерии эффективности, стандарты

2.2.2 Задачи управления и администрирования: функциональные группы и иерархия задач

2.2.3 Распределенные системы администрирования: принципы построения и альтернативные структуры

2.2.4 Классификация программно-аппаратных средств мониторинга сетей

2.2.5 Лицензионные службы и платформы администрирования и управления корпоративными сетями

2.2.6 Свободно распротраняемые программные средства

2.3 Постановка задачи оперативной диагностики функционального состояния корпоративной сети

2.3.1 Общая формулировка задачи

2.3.2 Дополнительные условия и ограничения

2.4 Предлагаемый метод комплексной диагностики состояния сети и трасс передачи пакетов

2.4.1 Общая концепция: две технологии сбора данных - два процесса ^^

2.4.2 Процесс-наблюдатель

2.43 Процесс-генератор тестов,

Выводы

ГЛАВА 3. Синтез топологии магистральных связей опорной сети кампуса по критериям структурной надежности и живучести

Введение

3.1 Проблемы синтеза топологии и концептуальная основа их преодоления

3.2 Этап 1 - определение исходных положений и целей

3.3 Этап 2 - определение обобщенной модели топологии создаваемой сети

3.4 Этап 3 - уточнение параметров обобщенной модели кампусной сети

3.5 Этап 4 - синтез топологической схемы магистральных и ответвительных сегментов опорной сети

3.6 Этап 5 - построение схемы коммутации

3.7 Пример реализации рассмотренной методики синтеза физической топологии магистральных связей волоконно-оптической опорной сети кампуса

Выводы

Введение диссертации (часть автореферата) на тему «Исследование и разработка методов и средств повышения структурной и функциональной устойчивости научных и университетских сетей»

Актуальность темы. Фундаментальные и прикладные исследования во всех областях физики, как теоретической, так и экспериментальной, в возрастающей степени опираются на информационные, вычислительные и коммуникационные сервисы так называемых "академических" компьютерных сетей, интегрированных в Интернет. Эта тенденция характерна и для высшей школы. Институты РАН и университеты были очагами зарождения российских региональных академ сетей, продолжают играть ведущую роль в разработке и внедрении новейших сетевых технологий и сервисов, обеспечивающих использование удаленных вычислительных мощностей, совместную работу рассредоточенных научных групп, дистанционные наблюдения и эксперименты, дистанционное образование при подготовке и повышении квалификации научных кадров. Научные и образовательные учреждения собственными усилиями, опираясь на свой интеллектуальный потенциал в большей степени, чем на финансовые ресурсы, развивают свои корпоративные сети, предоставляющие контингенту сотрудников не только возможность работы во внешних сетях, но и все более возрастающие по значимости внутренние информационные, вычислительные и коммуникационные сервисы самой корпоративной сети (интранет).

Однако по мере того, как все большая часть сферы деятельности организации опирается на сетевые технологии, возрастает ее зависимость от качества и надежности услуг ее корпоративной сети и внешних академсетей. Критерии эффективности и надежности академических сетей определяются целями и условиями их функционирования, отличными от специфики коммерческих, фирменных или административно-ведомственных сетей, и должны быть сформулированы с учетом их предназначения и на основе представлений научного коллектива и отдельного сотрудника о качестве и надежности предоставляемого им сервиса. 5

Возрастающие требования к безотказности сети и гарантированному качеству сетевых услуг должны с опережением учитываться при создании новых и модернизации существующих научных сетей любого масштаба - от региональной до локальной лабораторной сети - на всех уровнях сетевой иерархии - от физической среды до протоколов прикладного уровня.

Таким образом, исходя из целей функционирования научных и образовательных сетей, закономерностей их децентрализованного индивидуального становления и развития в условиях существенных финансовых ограничений, заведомо ненадежной внешней сетевой среды и с учетом возрастающей степени риска при отказах в сети, приводящих к срыву дорогостоящих плановых экспериментов, научных конференций и образовательных программ, результаты исследований, позволяющие повысить эффективность и надежность таких сетей, отвечают потребностям не только научных кругов, но и общества в целом.

Цель работы. Цель работы лежит в русле обозначенного выше актуального направления исследований, сформулирована в названии диссертации и предполагает решение следующих задач.

1. Проанализировать критерии эффективности и надежности компьютерных сетей, их применимость для научных и образовательных сетей.

2. Обосновать необходимость и разработать обобщенный показатель функциональной и структурной устойчивости рассматриваемых сетей, позволяющий учитывать стабильность и качество предоставляемых ими сервисов.

3. На основе вводимого показателя определить первостепенные направления оптимизации параметров функционирования сети.

4. Разработать методику и средства сбора статистических данных для оценки обобщенного показателя эффективности и надежности сетей.

5. Исследовать проблему синтеза физической топологии сети кампуса по критериям топологической устойчивости и живучести, разработать практическую методику поиска субоптимальных решений, отвечающих таким критериям.

Методы исследования. В работе использованы методы оптимизации, теории надежности, теории ассоциативных измерений, математической статистики. Общей методологической основой служит системный поход

Научная новизна. Рассмотренные в работе взаимосвязанные задачи сформулированы в новой постановке и для их решения предложены либо оригинальные методы, либо новая комбинация ранее известных методов с их модификацией.

1. Предложен и обоснован обобщенный показатель эффективности и надежности корпоративных сетей, учитывающий специфику их использования в научных исследованиях и в образовательных целях (астрофизические эксперименты, радиометрические наблюдения, дистанционное взаимодействие исследовательских групп и обучение).

2. На сетевом и транспортном уровнях сформулирована и исследована задача комплексной диагностики состояния сети и внешних трасс передачи дейтаграмм в IP-сетях. Предложены принципы построения адаптивного анализатора протоколов TCP/IP, позволяющего периодически зондировать внешние относительно многосвязного местного коммуникационного узла трассы с частотой и степенью детальности тестирования, автоматически варьируемыми в зависимости от интенсивности потока сообщений об ошибках доставки исходящих из сети пакетов к удаленным адресатом и других симптомов, прогнозирующих возникновение перегрузок, широковещательных штормов, угроз внешнего воздействия (ICMP-flooding).

3. На уровне физической среды сформулирована и исследована задача топологического синтеза территориально распределенной сети кампуса с учетом прогнозируемой динамики роста информационно-вычислительных и телекоммуникационных ресурсов сети и роста потребностей подразделений-пользователей. Предложен и обоснован принцип структурирования магистрали сети, обеспечивающий гибкую адаптивность синтезируемой структуры и живучесть сети в течение длительного периода. Доказана целесообразность введения существенной структурной избыточности в синтезируемую топологию. Предложена модель структуризации, позволяющая применить декомпозиционный метод решения задачи многокритериального синтеза топологической структуры, отвечающей выбранным критериям эффективности и надежности. Разработана многоэтапная итеративная процедура решения задачи синтеза в условиях существенной неопределенности исходных данных. На защиту выносятся:

• методика оценки эффективности и надежности сетей по обобщенному показателю, учитывающему стабильность и качество предоставляемых сервисов;

• метод построения адаптивного программного анализатора, позволяющего осуществить комплексный мониторинг состояния сети и внешних трасс передачи дейтаграмм;

• методика построения опорной сети кампуса с перестраиваемой логической топологией магистральных связей, обеспечивающая живучесть сети и возможность ее адаптации к изменяющимся условиям эксплуатации.

Основные концепции и структура построения работы

Диссертация состоит из введения, трех глав, заключения, списка литературы из 106 источников и трех приложений. Объем работы-95 страниц.

Заключение диссертации по теме «Применение вычислительной техники, математического моделирования и математических методов в научных исследованиях (по отраслям наук)», Глебовский, Александр Юрьевич

Результаты работы нашли практическое применение в разработках, в которых автор принимал участие в качестве руководителя группы, ответственного исполнителя, соисполнителя, консультанта или эксперта, а также частично отражены в лекциях по курсу "Архитектура сетей ЭВМ", в электронном пособии и в сетевой обучающей системе. Исследования по разделам диссертации проводились в рамках научных программ Мин/науки, РАН, РФФИ и Министерства образования.

По разделам диссертации опубликовано 25 работ (в том числе справочное экспертно-аналитическое пособие, 2 статьи, 2 внешних отчета и тезисы 20 докладов). Основные положения диссертационной работы обсуждались в период с 1994 по 2000 Гг. на международных и всероссийских конференциях, школах и семинарах.

ЗАКЛЮЧЕНИЕ

Ключевая идея и главные задачи диссертации в одной фразе могут быть сформулированы так: для научных и вузовских сетей с учетом целей, специфики их функционирования в ненадежной среде и в то же время в условиях возрастающих требований к устойчивости, может быть сформулирован адекватный этим условиям и требованиям критерий устойчивости предоставляемых сетью информационных и коммуникационных услуг, допускающий количественную оценку, обеспечиваемую соответствующей методикой и средствами измерения значений, входящих в этот критерий параметров, а на основе этого критерия могут решаться задачи анализа и оценки текущего и прошлых состояний сети, и он может быть учтен при решении проблемы синтеза структуры сети, способной обеспечивать необходимый уровень топологической устойчивости и живучести при разнообразных неблагоприятных воздействиях.

Соответственно сформулированы и исследованы три проблемы: показателей, критериев и моделей оценки устойчивости и стабильности предоставляемых сетью услуг научной общественности; методов и средств эмпирической оценки сети по выбранным критериям; методики придания сети структурной избыточности, обеспечивающей необходимую живучесть и устойчивость к воздействиям неблагоприятных факторов.Три названные взаимосвязанные проблемы решаются последовательно в главах диссертации.

В первой главе в качестве обобщенных показателей устойчивости сервисной способности сети предложено оценивать ее характеристиками ♦ фк=Тп(т к) - средними временами наработки на отказы различных длительностей т\. В качестве относительного генерализированного показателя стабильности соблюдения заданного уровня 0о8 для трех критериев качества услуг предложено рассматривать порядок отношения средней наработки на отказ некоторой длительности к длительности соответствующего отказа в сервисе: як = Тн (т\) - т*к.

Фиксированные целочисленные степени q могут рассматриваться в качестве критериальных обобщенных показателей, характеризующих минимальную обеспечиваемую сетью степень устойчивости сервисов на заданном уровне QoS. Рассмотренный подход к оценке качества работы сети по выдвинутому обобщенному показателю ССС позволяет оценить уровень качества предоставляемых сетью услуг, надежность сети, определить длительности отказов, существенно снижающих сервисную способность сети.

Полученные выводы служат основанием для определения последующих направлений исследования проблем повышения отказоустойчивости академических сетей с использованием введенных терминов, понятий и критериальных оценок. Среди этих направлений в качестве основных в работе были выделены следующие два. 1 ) Разработка методики и средства регистрации длительностей событий отказов в сервисах, формирования исходных экспериментальных данных для расчета введенных обобщенных показателей и построения характеристических зависимостей вида (р=Тн(т k), а также для диагностики причин отказов ,что позволит повысить устойчивость сети к функциональным нарушениям ее работоспособности. 2) Наиболее ощутимые последствия вызывают длительные отказы - их причины обусловлены форс-мажорными факторами структурного и организационного характера. В таких случаях методы функциональной коррекции сбоев на канальном, сетевом и транспортном уровнях не работают, если они не обеспечены на нижнем физическом уровне возможностью использования альтернативных путей передачи данных. Иными словами, предупреждения длительных отказов должны быть обеспечены соответствующей структурной устойчивостью корпоративной (в частности кампусной) сети.

Во второй главе предложена методика сбора, накопления и обработки данных о состоянии внутренних и внешних трасс передачи пакетов в корпоративных научных сетях. Полученные статистические данные о событиях, состоящих в отказах либо в снижении качества сервиса по критериям

ОоЬ, могут быть использованы для оценки устойчивости сервисной способности сети. Представленный метод, основанный на активном и пассивном мониторинге сети, позволяет автоматически выполнить частичную диагностику и локализацию причин сбоев, а также оперативное оповещение и накопление статистических данных.

В третьей главе дан анализ итеративного процесса синтеза топологии разветвленной опорной сети кампуса, моделей и алгоритмов, используемых на его этапах, критериев оптимизации по показателям живучести и надежности. Предложена отвечающая таким критериям модель сети, топологическая устойчивость которой обеспечивается тем, что локальная коннективность узлов сети дополняется дублирующей глобальной коннективностью. Заложенное в модель свойство топологической гибкости, обеспечиваемое магистральными кроссами, позволяет синтезировать реконфигурируемую структуру, адаптируемую к изменяющимся условиям эксплуатации. Предложенный подход и методика построения сегментированных оптоволоконных магистралей могут быть использованы при проектировании кампусных сетей широкого класса.

Список литературы диссертационного исследования кандидат физико-математических наук Глебовский, Александр Юрьевич, 2000 год

1. Крылов А.Н. Мои воспоминания. Л.: Судостроение, 1987

2. Кнорринг В.Г. Теоретические основы информационно-вычислительной техники. Основные понятия теории шкал (Конспект лекций). Л ПИ им М.И. Калинина, Л.: 1983.

3. Кнорринг В.Г. Развитие репрезентационной теории измерений//Измерение, контроль, автоматизация, 1980,№ П-12, с. 3-9.

4. Суппес П., Зинес Дж., Основы теории измерений. В кн. Психологические измерения/Под ред. Л.Д. Мешалкина.-М.:Мир, 1967, с 9-110.

5. Martin J. Teleprocessing Network Organization. Prentice-Hall N.Y. 1961

6. Stephenson p. Create a WAN//Byte, July 1991, pp. 169-177

7. Mathis M. Windowed Ping// Proc. INET'94/JENC5 pp.523. 2-6. July 1994, Prague

8. Автоматизированные информационные ресурсы России. Состояние и тенденции развития (Национальный доклад) // Подгот. по инициативе Ком. при Президенте РФ по политике информатизации // Вести. Рос, общ-ва информатики и вычисл. техники, 1994, № 4-5, С.5-66.

9. Кедровский О. Информационное пространство России // Информ. ресурсы России, 1994, №4. С.2-3.

10. Ю.Шамурина Ю. Управление проектами в России и Восточной Европе (обзор материалов международного симпозиума INTERNET) // Пробл. теории и практики упр., 1994, №1, С. 121-124.

11. П.Васильев В.И., Васенин В.А., Зыбарев Ю.М., Кирчин Ю.Г. RUNNet: реализация второго этапа // "Телематика-95". Всерос. науч-метод. конф. 3—7 апреля 1995г., Санкт-Петербург, с. 16.

12. Садовничий В.А., Васенин В.А., Тарев В.Ю., Щербаков А.Е., Щербатых КМ. Центр электронных коммуникаций МГУ и научно-образовательной сети России // "Телематика-95". Всерос. науч-метод. конф. 3-7 апреля 1995 г., Санкт-Петербург, с.37—38.

13. Верма П. Сети связи ЭВМ Оценка эффективности функционирования: Структурный анализ: Перс англ. М.: Радио и связь, 1992.

14. Шварц М. Сети ЭВМ: Анализ и проектирование: Пер. с англ. М.: Радио и связь, 1981. 327с.

15. Markov, M.V. Doss and S.A. Mitchell, " A Reliability Model for Data Communication", Proc. Int. Conf. Comm/ ICC 78T Toroste, Jœie 1978.

16. Lottor, Mark, "Internet Growth (1981-1991); RFC 1296," Network Working Group Request for Comments ( RFC 1296)Network Information Systems Center, SRI International, (January 1992).

17. Schwartz, Michael F. and Quartennan, John S., "The Changing Global Internet Service Infrastructure," IRENAP 3(3) pp. 8-25 Meckler, (Fall 1993). ISSN 1066-2243.19.1nter&active week. Vol. 60 №50 Dec 6, 1999, p.7, Critical Path Problem.

18. Yu. Parijskij et al. "Dark Ages" of the Universe. Proceed if International School of Astrophysics, D.Chalonge, 1977

19. Черненков.ВМетодика подготовки и проведения наблюдений на РАТАН-600 в режиме теледоступа. XXVI Радиоастрономическая конференция. Тезисы докл., стр. 398, СПб, 1995

20. А.Ю.Глебовский, Интранет вуза: перспективы, проблемы, архитектура и сценарий развития. Всероссийская научно-методическая конференция Телематика'99. Санкт-Петербург, 7-10 июня 1999г. Тезисы докл.

21. Глебовский А.Ю., Заборовский B.C., Александров В.К., п/р Кораблева В.В. Европейские академические сети на пути интеграции в единое информационное пространство (Введение в проблематику и справочное пособие). Изд-во СПбГТУ, 1993г. 90 стр.

22. Глебовский А.Ю., Заборовский B.C. Краткий сетевой терминологический справочник. СПб. Интеграция университетов России в общемировую систему университетского образования и науки. Т.1, МГУ, Москва, 1994 г., стр. 128-150

23. V.S.Fedonyuk, A.Yu.Glebovsky, D.E. Probert, V.S.Zaborovsky. A fiber-optics backbone network for Internet connectivity in worth-western Russia: progress and issues. Joint INET'94/JENC5 International conference, Prague, June 15-15 1994.

24. Аничкин C.A., Белов C.A., Бернштейн A.B. и др. Протоколы информационно-вычислительных сетей: Справочник; под ред. И .А . Мизина, А.П. Кулешова. М.: Радио и связь, 1990. 504с.

25. Блэк Ю. Сети ЭВМ: протоколы, стандарты, интерфейсы. М.: Мир, 1990. 510с.

26. Дэвис Д., Барбер Д., Прайс У., Соломонидес С. Вычислительные сети и сетевые протоколы//М., "Мир", 1982

27. Нессер Д.Дж. Оптимизация и поиск неисправностей в сетях: Пер. с англ. К.: Диалектика, 1996.

28. Halsall F. Data Communications, Computer Networks and Open Systems. 4-е изд. -Addison-Wesley, 1996.

29. Stevens W.R. TCP/IP Illustrated. Volume 1. The Protocols. Addison - Wesdey, 1994.

30. Huitema С/ Routing in the Internet. Prentice Hall PRT, 1995.

31. Mathis M. Windowed Ping: An IP Layer Performance Diagnostic// "Proceedings of INET94/JENC5" Prague 1994, book II, pp 523.1-523.10.

32. Claffy K.C. Vizualization of Internet Topology, Workload, Performance and Routing Statistics. Networking Conference. Lisbon. 22-25 May 2000.

33. Floyd S., Yacobson V. Random Early Detection Gateways for Congestion Avoidance. IEEE/ACM Transactions on Networking, August 1993.

34. Raibulet C., Demartini C. Mobile Agent Technology for the Management of Distributed Systems a case Study. Networking Conference, Lisbon, 22-25 may 2000.

35. Bissel T. et al. Service Level Management with Agent Technology. Networking Conference, Lisbon, 22-25 may 2000.

36. Варакин Л.Е. Интеллектуальная сеть: эволюция сетей и услуг связи // Электросвязь, №1, 1992г. с.2-8.

37. Cerf/YCNRI, Vinton G. Editor, 'Guidelines for Internet Measurement Activities; RFC 1262," Request for Comments, (1262) Network Working Group, Internet Activities Board, (October 1991).

38. Cormer D., "Internetworking with TCP/IP, Volume I," Prentice Hall International, 1991.

39. Postel J., "Internet Control Message Protocol," RFC792, USC/information Sciences Institute, September 1981.

40. Miller M., "Troubleshooting TCP/IP," M&T Books, 1992.

41. Jacobson V., "traceroute," Documentation and source available via ftp from ftp.ee.lbl.gov.

42. Jacobson V., "Congestion Avoidance and Control," Proc~. ACM SIGCOMM '88, August 1988, pp. -314-329.

43. Mankin A., "Random Drop Congestion Control," Proceeding of SIGCOMM 90, September 1990.

44. Floyd S., Jacobson V. "Random Early Detection Gateways for Congestion Avoidance," IEEE/ACM Translation on Networking, August 1993.

45. Postel J., "Internet Protocol," RFC791, USC/information Sciences Institute, September 1981.

46. Quarterman J.S. Internet Interaction Pinged and Mapped. Proc. INET'94 p. 522-1, Prague, 1994.

47. Карпов Ю.Г. Теория автоматов и алгоритмов: Учебное пособие. С-Пб.: Геликон Плюс, 2000.

48. Клейнрок Л. Вычислительные системы с очередями: Пер. с англ. М.: Мир, 1979. 600с.

49. Протоколы и методы управления в сетях передачи данных: Пер. с англ. / Под ред. Ф.Ф.Коу. М.: Радио и связь, 1980. 480с.

50. Глебовский А.Ю., Принципы построения адаптивного программного анализатора для диагностики состояния трасс передачи дейтаграмм в IP-сетях, 29 мая 1 июня 2000 года, Санкт-Петербург. Тезисы докл.

51. Бутусов М.М., Верник С.М., Галкин С. Л. и др. Волоконно-оптические методы передачи: Учебник для вузов. М.: Радио и связь, 1992,415 с.

52. Скляров O.K. Зарубежные оптические кабели для ВОЛ С// "Технологии и средства связи" 1998, w 6, с 18-26.

53. Гауэр Д. Оптические системы связи: Пер. с англ. М.: Радио и связь, 1989.

54. Пападнмитриу X., Стайглиц К. Комбинаторная оптимизация. Алгоритмы и сложность: Пер. с англ. М.: Мир, 1985.

55. Гадасин В. А. Методы расчета структурной надежности сетей сложной конфигурации. М.: Знание, 1984.

56. Малашенко Ю.Е., Рогожин B.C., Ферапонов Е.В. Детерминированные модели оценки живучести и уязвимости сетей. // "Изв. АН СССР. Техн. кибер." 1989, №2, с. 17-32.

57. Рогожин B.C. Синтез однопродуктовых сетей с учетом живучести // "Изв. АН СССР. Техн. кибер" 19888, №3, с. 122-126.

58. Гнеденко Б.В., Беляев Ю.К., Соловьев А.Д. Математические методы в теории надежности. М.: Наука, 1965.

59. Ушаков И.А. Методы расчета эффективности системы на этапе проектирования. -М.: Знание, 1883.

60. Райншке К., Ушаков И.А. Оценка надежности систем с использованием графов. М.: Радио и связь, 1988.

61. Ушаков H.A. Решение задач многокритериально дискретной оптимизации с использованием универсальной производящей функции // "Изв. АН СССР. Техн кибер", 1987, №1.77.3айченко Ю.П. Гонта Ю.В. Структурная оптимизация сетей ЭВМ. К.: Техника, 1986.

62. Топологическое проектирование вычислительных сетей с распределенными ресурсами. -М.: 1977, с. 14-31.

63. Франк Г., Фриш И. Сети, связь и потоки: Пер с англ. М.: Связь, 1978.

64. Ху Т. Целочисленное программирование и потоки в сетях: Пер с англ. М.: Митр, 1974.

65. Богатырев В.А. К расчету надежности сети связи по совокупности путей // "Электросвязь", 1981, №2, с. 42-44.

66. Форд Л., Флакерсон Д. Потоки в сетях. М.: Мир. 1966.

67. Рожинский В.Н., Богатырев В.А. К расчету структурной надежности связей в сети //

68. Процессы и устройства управления в сетях связи". М.: Наука, 1982, с. 50-55.

69. Агаян A.A., Захаренко Г.П., Крутякова Н.П. Математические модели для проектирования цифровых сетей связи: Учебное пособие М.: ИПК, 1986.

70. Горбенко H.H., Крутякова Н.П. Имитационное моделирование сетей связи. Техника средств связи, Сер. ТПС, 1983, вып. 4, с. 8-15.

71. Политаенко A.B. Метод определения числа и мест размещения узлов коммутации вычислительной сети. В кн: Всесоюзная школа семинар по вычислительным сетям. 4.1. -М: Владивосток, 1980, с. 105-108.

72. Политаенко A.B. Топологические задачи проектирования вычислительных сетей: результаты, направления, методы. Информсвязь, вып. 23. - М.: Знание, 1987.

73. Волик Б.Г., Рябинин И.А. Эффективность, надежность и живучесть вычислительных сетей: результаты, направления, методы. Информсвязь, вып. 23 - М., 1979.

74. Черкесов Г.Н. Методы и модели оценки живучести сложных систем. М.: Знание, 1987.

75. Черкесов Г.Н. Практические методы резервирования и статистической оценки надежности ЦВП.

76. Ушаков И.А. Вероятностные модели надежности иформационно-вычислительных машин. М.: Радио и связь, 1991.

77. Филин Б.П. Методы анализа структурной надежности сетей связи. М.: Радио и связь, 1988.

78. Малашенко Ю.Е., Новикова Н.М. Многокритериальный и максимальный анализ многопродуктивных сетей. М.: ВЦ АН СССР, 1988.

79. Дундин Б.Я., Овчаренко В.Ф., Орлов В.К. и др. Надежность и живучесть систем связи. М.: Радио и связь, 1984.

80. Демин В.К. Оптимальное резервирование систем с сетевой структурой. // "Техника средств связи". 1986, вып. 6.

81. Филлипс Д., Гарша-Диас А. Методы анализа сетей. М.: Мир, 1984.

82. Малашенко Ю.Е. Гарантированные оценки живучести сетей. // "Известия АН СССР. Техн. киберн." 1988, №6, с.97-102.

83. Вольфсон Н.Е. Некоторые задачи синтеза коммуникационной сети с учетом надежности. М.: ВЦ АН СССР, 1986.

84. Подиновский В.В., Ногин В.Д. Парето-оптимальные решения многокритериальных задач. М.: Наука, 1982.

85. Lamport L. Time, clocks and the ordering of events in a distributed system // Comm. ACM, v.2 1, N7 p.558-565.

86. Глебовский А.Ю. Проектирование кампусной сети с гибкой топологией магистральных связей (на примере волоконно-оптической опорной сети СПбГТУ) Тезисы докл. Телематика'98, СПб, май 1998

87. Christopher Pichardson, Susan Hares, Alexander Yu. Glebovsky, "IP Multicast: current practice and research directions", Всесоюзная научно-методическая конференция Телематика'99, СПб, 7-10 июня1999 г., Тезисы докл.

88. Юб.Карпов Ю.Г. Протоколы групповой коммуникации. Отчет по НИР по теме "Формальные модели и алгоритмы групповой коммуникации". Рукопись, 44 стр., Кафедра РВ и КС, СПбГТУ, 1997