Исследование вероятностно-временных характеристик региональных сетей, построенных на базе технологии устойчивых пакетных колец тема диссертации и автореферата по ВАК РФ 05.12.13, кандидат технических наук Руин, Алексей Александрович

• Руин, Алексей Александрович
• кандидат технических наук
• 2003

Оглавление диссертации кандидат технических наук Руин, Алексей Александрович

Содержание.

Введение.

Глава1. Технологии транспорта IP-трафика.

1.1 Введение. Общие положения.

1.2 Варианты технологий транспорта IP-трафика.

1.2.1 Общее описание.

1.2.2 Таблица параметров сравнения технологий.

1.2.2.1 Технология передачи пакетов IP через ATM (IP over ATM).

1.2.2.2 Технология передачи пакетов по каналам СЦИ (POS).

1.2.2.3 Протокол MAPOS.

1.2.2.4 Технология передачи кадров Ethernet по каналам СЦИ (Ethernet over SDH.

1.3 Устойчивое пакетное кольцо (технология RPR).

1.3.1 Услуги, качество обслуживания и управление ресурсами в сетях RPR.

1.3.1.1 Виды услуг.

1.3.1.2 Управление потоком от источника (Steer).

1.3.1.3 Перенаправление трафика в другое кольцо (Wrap).

1.3.2 Классы качества обслуживания.

1.3.3 Механизмы управления доступом к ресурсу.

1.3.3.1 Механизм пространственного использования ресурсов.

1.3.3.2 Алгоритм справедливого доступа.

Выводы к главе 1.

Глава 2. Аналитическая модель коммутатора RPR.

2.1 Введение и постановка задачи.

2.2 Приоритетная модель коммутатора RPR.

2.2.1 Аналитическая модель коммутатора RPR.

2.2.2 Входной поток и дисциплина осблуживания.

2.2.3 Имитационная модель коммутатора RPR.

2.2.4 Анализ результатов моделирования.

2.3. Модель механизма управления входным накопителем коммутатора RPR.

2.3.1 Общая характеристика механизмов управления буферами.

2.3.2 Особенности взаимодействия сетей RPR.

2.3.3 Механизм ограничения входного буфера коммутатора RPR.

2.3.4 Определение параметра N управления буфером.

Выводы к главе 2.

Глава 3. Аналитическая модель сети RPR.

3.1 Введение и постановка задачи.

3.2 Применение основной теоремы для сетей массового обслуживания к анализу сетей RPR.

3.2.1 Теорема о мультипликативном виде выражения для вероятности стационарного состояния сети.

3.2.2 Применение теоремы ВСМР для анализа сети RPR.

3.3 Анализ влияния длины кадра на эффективную скорость передачи.

Выводы к главе 3.

Глава 4. Исследование алгоритмов назначения и распределения длин волн в сетях RPR со спектральным мультиплексированием.

4.1 Введение и постановка задачи.

4.2 Особенности сетей со спектральным мультиплексированием каналов.

4.2.1 Общие сведения о сетях, использующих спектральное мультиплексирование.

4.2.2 Иерархический подход к проектированию сетей со спектральным мультиплексированием.

4.3 Задача формирования логической топологии в линейных сетях.

4.3.1 Проектирование сетей, не использующих спектральное мультиплексирование (одна длина волны).

4.3.1.1 Базовый алгоритм проектирования логической топологии.

4.3.1.2 Алгоритм проектирования логической топологии для различных размеров логических колец.

4.3.2 Проектирование сетей на базе спектрального мультиплексирования.

4.3.2.1 Проектирование сети RPR на базе двоичного алгоритма.

4.3.2.2 Проектирование сети RPR на базе алгоритма частичного параметра.

4.3.2.3 Уточненный алгоритм частичного параметра.

4.4 Проектирование логической топологии в кольцевых сетях.

4.4.1 Проектирование сетей, не использующих спектральное мультиплексирование (одна длина волны).

4.4.2 Проектирование сетей на базе спектрального мультиплексирования.

4.4.2.1 Базовый алгоритм проектирования логической топологии.

4.4.2.2 Проектирование сети RPR на базе двоичного алгоритма.

4.4.2.3 Проектирование сети RPR на базе алгоритма частичного параметра.

4.4.2.4 Уточненный алгоритм частичного параметра.

Выводы к главе 4.

Введение диссертации (часть автореферата) на тему «Исследование вероятностно-временных характеристик региональных сетей, построенных на базе технологии устойчивых пакетных колец»

Актуальность работы. Волоконно-оптические кольца уже давно являются обязательной частью структуры территориально распределенных сетей (WAN -Worldwide Area Network) и, особенно, больших городских сетей (сетей MAN — Metropolitan Area Networks, известных также как сети Metro). Эффективность кольцевых структур сегодня является общепризнанной, однако, основное применение колец в крупных городских сетях состоит в использовании колец для организации магистральных сегментов телефонных сетей общего пользования (ОП) — сетей, построенных на базе технологии коммутации каналов.

В основе разделения ресурсов на физическом уровне в современных кольцевых сетях лежит технология SDH - технология синхронного временного разделения каналов (TDM - Time Division Multiplexing), которая может быть эффективной только в условиях гладкого трафика и становится ограничивающим фактором при необходимости масштабирования как ресурсов, так и услуг.

В последние несколько лет в связи с конвергенцией телефонных сетей общего пользования и сетей Интернет возникла концепция построения сетей следующего поколения (сетей NGN), в которой предполагается применять на сетевом и транспортном уровне IP-ориентированные протоколы. Если эта идея будет реализована (а сегодня пока нет причин сомневаться в этом), это будет означать смену парадигмы -уход от сетей ОП на базе коммутации каналов к сетям ОП на базе коммутации пакетов. Однако при использовании популярных сегодня кольцевых топологий, протоколы которых выбирались с учетом специфики сетей с коммутацией каналов, могут возникнуть проблемы, связанные с трудностями оптимизации и масштабирования кольцевых структур для пакетных сетей NGN.

Построение сетей NGN является проблемой хотя и близкого, но будущего. Другая, более насущная проблема - как совместить две широко используемых технологии - SDH и Ethernet. Практически, за последние 20 лет технология Ethernet превратилась в стандарт de facto при передаче данных в локальных сетях, а с появлением технологий семейства Gigabit Ethernet - и в сетях класса Metro. Широкое применение сетей Ethernet в сетях LAN и MAN определяется, в первую очередь, их высокими экономическими показателями в пересчете на стоимость передачи одного мегабита. Трафик Ethernet переносится сегодня непосредственно через высоконадежную транспортную среду SDH, которая, как было отмечено выше, оптимизирована для транспортировки голосового трафика и не способна обеспечить эффективные решения для существенно пачечного трафика в силу своей статической природы и негибких принципов управления пропускной способностью.

С развитием сетей на базе IP требования к ресурсам, необходимым для доставки новых услуг, непрерывно растут. Продвижение на рынок услуг, жестко связанных с величиной необходимой полосы пропускания, заставляет сервис-провайдеров отказываться от классических моделей обслуживания, базировавшихся только на величине ресурса, и развивать модели, определяемые видом трафика (речь, данные, видео). Такой подход приводит к необходимости создания новых технологий доступа к разделяемой среде. Эти технологии должны учитывать особенности структуры трафика, обладать свойствами отказоустойчивости, обеспечивать возможность динамического управления транспортными ресурсами и быть экономически эффективными.

В конце 2000 г. в институте IEEE была создана рабочая группа 802.17, которая начала разработку спецификации транспортной технологии для кольцевых структур в пакетных сетях. Эта технология получила название технологии устойчивых пакетных колец (Resilient Packet Ring, RPR). Основной целью разработки новой технологии было создание возможностей развертывания отказоустойчивых пакетно-ориентированных сетей класса Metro, которые могут обеспечить экономически эффективную транспортировку пачечного трафика, в первую очередь трафика Ethernet, через кольцевые топологии на базе SDH.

Следует отметить, что все научные исследования, выполненные специально созданным комитетом RPR (RPR Alliance), сводятся лишь к имитационному анализу на основе специализированных пакетов прикладных программ, таких как Opnet Modeler системного решения компании Cisco - технологии DPT, при полном отсутствии аналитических исследований технологии RPR. Среди работ в этом направлении отметим имитационные исследования сотрудников компании Cisco и членов рабочей группы по стандартизации технологии RPR: L. Byoung-Joon, G. Peng и J. Lemon. Однако все компании-производители, члены комитета RPR, признают, что эффективное построение сетей класса Metro возможно только при детальном исследовании технологии RPR, поэтому аналитические исследования в этом направлении являются актуальными. В числе авторов, получивших важные результаты в решении задач анализа вероятностно-временных характеристик (ВВХ) отметим отечественных и зарубежных исследователей Г.П. Захарова, В.М. Вишневского, Г.Г. Яновского, N. Uzun и др.

Цель и задачи исследования. Целью диссертационной работы является создание методов оценки характеристик региональных сетей RPR и их элементов и разработка к построению эффективных сетей RPR. Поставленная цель обусловила необходимость решения следующих основных задач: разработка аналитической модели коммутатора RPR; разработка аналитической модели сети RPR; разработка механизма ограничения входного буфера при взаимодействии нескольких сетей RPR; анализ методов управления канальными ресурсами в сетях RPR со спектральным разделением каналов.

Методы исследования. Для достижения поставленной цели в качестве аппарата исследования использованы методы теории массового обслуживания, теории вероятностей, теории графов и математической статистики, общей теории транспортных сетей.

Для численных расчетов использовались следующие программные средства: Advanced Grapher 2.06,3D Grapher 1.2, Qnat и Qts plus, Mathematica.

Научная новизна определяется следующим: получены оценки вероятностно-временных характеристик устройств и сетей RPR в целом; разработан механизм управления входным буфером коммутатора при взаимодействии сетей RPR; разработан подход к применению в сетях RPR известных алгоритмов назначения длин волн магистральных сетей SDH/DWDM (Synchronous Digital Hierarchy/Dense Wave Division Multiplexing).

В процессе проведения исследований были получены следующие научные результаты: оценки среднего времени ожидания в коммутаторе RPR для различных типов трафика; оценки среднесетевой межконцевой задержки в сети RPR; определение оптимальной длины кадра по критерию максимизации эффективной скорости передачи; границы применимости алгоритмов назначения длин волн в сетях RPR с целью минимизации задержки протокольных блоков, а также разработан метод управления входным буфером коммутатора при взаимодействии сетей RPR и определены параметры, обеспечивающие максимизацию производительности коммутатора.

Практическая значимость работы состоит в следующем:

Представленные результаты диссертационной работы могут быть использованы проектными организациями связи при проектировании современных волоконно-оптических кольцевых сетей класса Metro для проведения инженерных расчетов ВВХ и определения стратегии управления сетевыми ресурсами.

Реализация результатов работы. Основные результаты диссертационной работы внедрены в ФГУП ЛОНИИС, ОАО Типросвязь СПб" и СПБ ГУТ имени проф. М.А.Бонч-Бруевича, что подтверждается актами о внедрении.

Апробация работы. Результаты диссертации были представлены и обсуждались на следующих семинарах и конференциях:

1. The 8th International Conference on Informational Networks, Systems and Technologies. ICINSAT — 2002. Saint-Petersburg, September 16 - 19, 2002.

2. Международный семинар "Telecommunication networks and teletraffic theory", Санкт-Петербург, ЛОНИИС, 29 Января - 1 Февраля, 2003 г.

3. 2003 Saint-Petersburg IEEE Chapters Conference, SPb-IEEE Con'03. Saint-Petersburg, June 10-11,2003.

4. Научный симпозиум Технологического Университета Мюнхена и СПб ГУТ. Санкт-Петербург, 19-20 июня, 2003, а также на научно-технических конференциях профессорско-преподавательского состава, научных работников и аспирантов СПб ГУТ им.проф. М.А. Бонч-Бруевича в 2002-2003 гг.

По результатам проведенных исследований сделано 6 докладов.

Основные положения, выносимые на защиту:

1. Математическая модель коммутатора RPR.

2. Математическая модель сети RPR.

3. Метод управления входным буфером при взаимодействии сетей RPR.

4. Применение алгоритмов назначения длин волн, разработанных для магистральных сетей SDH/DWDM, в сетях RPR.

Личный вклад автора. Основные научные положения, теоретические выводы и рекомендации, содержащиеся в диссертационной. работе, получены автором самостоятельно.

Публикации. Основные результаты диссертационной работы опубликованы в 5 печатных работах.

Структура и объем работы. Диссертация состоит из введения, четырех глав, заключения, списка литературы и приложений. Работа содержит 128 страницы машинописного текста, 49 рисунков, 9 таблиц и список литературы из 69 наименований.

Заключение диссертации по теме «Системы, сети и устройства телекоммуникаций», Руин, Алексей Александрович

Выводы.

1. Предложен подход к проектированию колец сетей RPR, имеющих различные логические топологии, образованные путем применения спектрального мультиплексирования (технология DWDM). Задача минимизации среднесетевой задержки решена путем выбора соответствующего диаметра логической топологии RPR, получаемого при применении двоичного алгоритма, алгоритма частичного параметра или уточненного алгоритма частичного параметра. Аналогичная задача решена для физической топологии шины, образуемой в сети RPR в результате срабатывания механизма защиты.

2. Полученные оценки сверху диаметров логических топологий при применении различных алгоритмов распределения и назначения длин волн позволяют определить границы применимости каждого алгоритма в рамках которых применение алгоритма гарантирует минимизацию диаметра логической топологии и следовательно минимизацию среднесетевой задержки. Это позволяет выбрать соответствующий алгоритм распределения и назначения длин волн.

ЗАКЛЮЧЕНИЕ

В процессе проведенных в диссертационной работе исследований получены следующие основные результаты:

1. Разработана аналитическая модель коммутатора для сетей RPR, основанная на теории приоритетных СМО. Получены оценки среднего времени ожидания в коммутаторе RPR для транзитного трафика и трафика, генерируемого коммутатором. Проведено сравнение результатов аналитического и имитационного моделирования и показано, что представленная аналитическая модель позволяет получить достаточно точные данные, особенно при низких и средних нагрузках. При нагрузках р, близких к единице, различия результатов имитационной и аналитической моделей могут иметь порядок 20%.

2. Исследована модель взаимодействия сетей RPR. Показана необходимость введения в коммутатор механизма ограничения входного накопителя для борьбы с перегрузками. Предложен механизм управления входным буфером, основанный на выборе оптимального числа мест ожидания, и установлено количество мест в буфере, при котором производительность узла достигает максимального значения.

3. На основе теории открытых сетей массового обслуживания разработана аналитическая модель сети RPR. Получена оценка межконцевой среднесетевой задержки в сети RPR. Эта оценка базируется на теореме о мультипликативной форме выражения для вероятности стационарного состояния сети (Теорема ВСМР).

4. На основе разработанной модели сети массового обслуживания решена задача определения оптимальной длины кадра по критерию максимизации эффективной скорости передачи для случаев наличия и отсутствия ошибок в тракте передачи.

5. Предложен подход к проектированию колец сетей RPR, имеющих различные логические топологии, образованные путем спектрального разделения каналов (технология DWDM). Решена задача минимизации среднесетевой задержки путем выбора соответствующего диаметра логического кольца RPR. Аналогичная задача решена для физической топологии шины RPR.

6. Полученные результаты диаметров логических топологий при применении различных алгоритмов позволяют определить границы применимости каждого алгоритма и выбрать соответствующий алгоритм распределения и назначения длин волн.

Список литературы диссертационного исследования кандидат технических наук Руин, Алексей Александрович, 2003 год

1. "Теория телетрафика", перевод с нем. под ред. Башарина Г.П., Москва, Связь, 1971, 320 с.2. "Теория электрической связи", под ред. Кловского Д.Д., Москва, Радио и связь, 1998,433 с.

2. Башарин Г.П., Бочаров П.П., Коган Я.А., "Анализ очередей в вычислительных сетях", Москва, Наука, 1989,336 с.

3. Блох Э.Л. и др. "Статистическая теория связи и ее практические приложения", Москва, Связь, 1979,288 с.

4. Вишневский В.М. "Теоретические основы проектирования компьютерных сетей", Москва, Техносфера, 2003, 512 с.

5. Гнеденко Б.В., Коваленко И.Н. "Введение в теорию массового обслуживания", Москва, Наука, 1987, 336 с.

6. Клейнрок Л. "Теория массового обслуживания", Москва, Машиностроение, 1989, 600 с.

7. Корн Г., Корн Т., "Справочник по высшей математике для научных работников и инженеров. Определения, теоремы, формулы", Москва, Наука, 1978, 832 с.

8. Кульгин М. "Технологии корпоративных сетей. Энциклопедия". СПб, Питер, 2000, 704 с.

9. Лившиц Б.С., Пшеничников А.П., Харкевич А.Д. "Теория телетрафика", Москва, Связь, 1979,224 с.

10. Минаси М, Андерсон К. "Локальные сети. Полное руководство", Москва, ЭНТРОП, 1999, 624 с.

11. Руин А.А. "Технология RPR" Международный семинар "Telecommunication networks and teletraffic theory", Санкт-Петербург, ЛОНИИС, 29 Января 1 Февраля, 2003, тезисы конференции.

12. Руин А.А. "Models of Resilient Packet Rings", тезисы конференции ТУМ и СПБ ГУТ. Санкт-Петербург, 19-20 июня, 2003.

13. Стерлинг Д. Дж. "Волоконная оптика. Техническое руководство". Москва, Лори, 1998,288 с.

14. ТаттУ. "Теория графов", Москва, Мир, 1988,424 с.

15. Шварц М. "Сети связи. Протоколы, моделирование и анализ". В 2 томах, Москва, Наука, 1992,336 с.

16. Шварц М. "Сети ЭВМ. Анализ и проектирование", Москва, Радио и связь, 1981, 336 с.

17. Шнепс М.А. "Системы распределения информации. Методы расчета", Москва, Связь, 1979,342 с.

18. Яновский Г. Г., Руин А. А. "Применение устойчивых пакетных колец в сетях связи следующего поколения", Вестник связи №7, 2003, с. 54-56.

19. Яновский Г. Г., Руин А. А. "Транспортные сети следующего поколения на базе технологии RPR: исследование вероятностно-временных характеристик", Вестник связи №10, принята jc опубликованию.

20. Antoniades N., Boskovic A. "Performance engineering and topological design of metro WDM optical networks using computer simulation", IEEE sel. ar. communications, vol. 20, n.l, 2002, pp. 149-164

21. Amrinder A., Subramaniam S. "Logical topology design", IEEE sel. ar. communications, vol. 20, n.l, 2002, pp. 62-74.

22. Aybay G., O'Connor M., Vasani K., and Tim Wu. An introduction to Resilient Packet Ring technology. A white paper by Resilient Packet Ring Alliance, 2001, 16 p.

23. Baskett F., Chandy K.M., Muntz R.R., Palacious F.G. "Open, Closed and Mixed Networks of Queues with Different Classes of Customers". J. Assoc. Comput. Mach.-1975,- Vol. 22, N 2. pp.-248-260.

24. Bhat U., Fischer M., "Multichannel queuing systems with heterogeneous classes of arrivals", Nav. Res. Logist. Quarterly, vol. 23, n. 2,1976, pp. 271-283.

25. Bruel S.C., Balbo G. "Mean value analysis of mixed multiple class BCMP networks with load dependent service stations", Perform. Eval., 1984, v.4. n.4. pp. 241-260.

26. Busi I., Wai-Chau Hui, Faber A., "Proposed Draft Standard for Resilient Packet Ring Access Method & Physical Layer Specifications (OAM&P and Layer Management). Draft 0.3", 2001, p. 32.

27. Byoung-Joon L. "Simulation results on SRP fairness algorithm", Cisco systems, 2000. 21 P

28. Byoung-Joon L., Xie D. "Resilient packet ring solution. Ratonale and performance", Cisco systems, 2000, p. 16.

29. Chao X. "A queuing network model with catastrophes and product form solution", Open. Res. Letters, 1995, v. 18, pp. 75-79.

30. De Jaegher J., Fan J., Lemon J., Peng H., Thepot F., "Topology Discovery Proposal To IEEE 802.17", v. 0.9, 2001, p. 14.

31. Eilam Т., Moran S. "Lightpath arrangement in survivable rings to minimize the switching cost", IEEE sel. ar. communications, vol. 20, n.l, 2002, pp. 172-182.

32. Fan J., Lemon J., Mascolo V., Peng H., Thepot F., "Protection proposal to IEEE 802. 17, v. 0.7, p. 8.

33. Fourneau J.N., Gelenbe E., Suros R. "G-networks with multiple classes of negative and positive customers", Theor. Сотр. Sci., 1996, v. 155, pp. 141-156.

34. Grover D. W., Doucette J. "Design of a meta-mesh of chain subnetworks: enhancing the attractiveness of mesh-restorable WDM networking on low connectivity graphs", IEEE sel. ar. communications, vol. 22, n.l, 2002, pp. 47-61.

35. Gunter K., "Prevention of deadlocks in packet-switched data transport systems", IEEE Trans. On Comm., vol. COM-29, n. 4,1981, pp. 512-524.

36. Henderson W., "Queuing networks with negative customers and negative queue lengths", J. Appl. Prob., 1993, v. 30, pp. 931-942.

37. Holness M, Ghanwani A., Brewer M., "A Proposal for 802.17 MAC Compatibility With 802.ID and 802.1Q Bridging", 2001, p. 9.

38. IEEE 802. 17," Media Access Control(Bandwidth Management and Transit-Path)", 2001, p. 24.

39. Irland M., "Buffer management in a packet switch", IEEE Trans. On Comm., vol. COM-26, n. 3, 1978, pp. 328-337.

40. Jackson J. R. Networks of waiting lines. Operations Research. 1957.-V. 5., N4. - pp. 518-521.

41. Lam S.S., Luke L. "Congestion control of packet communication networks by input buffer limits a simulation study", IEEE Transactions on computers, Vol. C30, N10, 1981, pp. 733-743.

42. Lam S.S., Reiser M., "Congestion Control of Store-And-Forward Networks by Input Buffer Limits: An Analysis", IEEE Trans. On Comm., vol. Com-27, no. 1, Jan. 1979, pp. 127-134.

43. Lavenberg S., Reiser M., "Stationary state probabilities of arrival instants for closed queuing networks with multiple types of customers", J. Appl. Prob., vol. 17, 1980, pp. 1048-1061.

44. Lemon J., "IEEE 802.17 Draft Proposal MAC Frame Format Revision 1.0", 2001, p. 13.

45. Lemon J., "RPR MAC Service Model Proposal To IEEE 802.17", 2001, p. 14.

46. Murakami K„ Muruyama M., "MAPOS Multiple Access Protocol over SONET/SDH Version 1", RFC 2171, NTT Laboratories, 1997, p.9.

47. Narula-Tam A., Lin J. P. "Efficient routing and wavelength assignment for reconfigurable WDM networks", IEEE sel. ar. communications, vol. 20, n.l, 2002, pp. 75-88.

48. Peng G. "IPT fairness controlled access protocol. Simulation report", Nortel networks, 2000, p. 29.

49. Peng-Jun Wan, Ophir Frieder, G. Calinescu "Minimizing electronic line terminals for automatic ring protection in general WDM optical networks", IEEE sel. ar. communications, vol. 20, n.l, 2002, pp. 183-189.

50. Pennoti M., Schwartz M., "Congestion control in store and forward tandem links", IEEE Trans, on Comm., vol. COM-23, n. 12, 1975, pp. 1434-1443.

51. Reiser M., Lavenberg S.S., "Mean value analysis of closed multichain queuing network", Assoc. Comput. Mach., 1980, v. 27, N.2, pp. 313-322.

52. Sahasrabuddhe L., Ramamurthy S. "Fault management in IP-over-WDM networks: WDM protection versus IP restoration, IEEE sel. ar. communications, vol. 20, n.l, 2002, pp. 2133.

53. Segal M., "A preemptive priority model with two classes of customers", ACM/IEEE, 1971, pp. 168-174.

54. White Paper "Cisco Metro Ethernet Access Services Directions in Control-Plane Concepts", Cisco sys., 2001, p. 11.

55. White Paper "Cisco's Packet over SONET/SDH (POS) Technology Support; Mission Accomplished", Cisco sys., 2000, p.8.

56. White Paper "Dynamic Packet Transport Technology and Applications Overview", Cisco sys., 2000, p. 12.

57. White Paper "Dynamic Packet Transport Technology and Performance", Cisco sys., 2002, p. 12.

58. White Paper "Metro IP Technology and Architectures", Cisco sys., 2001, p. 10.

59. White Paper "Spatial reuse protocol technology", Cisco sys., 2001, p. 22.

60. Wong J.V., Lam S.S. "Queuing network models of packet switching networks", Perform Eval., 1982, pp. 9-21.

61. Yanovsky G.G., Rouine A.A. "Analytical model of RPR switch", Proceedings of 2003 Saint-Petersburg IEEE Chapters Conference, 2003, pp.12-16.

62. Данное оборудование установлено на сетях связи компаний «МТУ-информ» по договору № 3998-02-121, «Комбеллга» по договору №. 4474-03-121 и «Петербург-Транзит-Телеком» по договору №. 4330-03-122. .t

63. Главный инженер ОАО "Гипросвязь СПбit1. А. В. Кайдак1. Главный технологС1. ОАО "Гипросвязь СПб1.1. УТВЕРЖДАЮ

64. Проректор по учебной работе