Алгоритм и устройство отказоустойчивой маршрутизации сообщений с динамическим обходом отказов тема диссертации и автореферата по ВАК РФ 05.13.05, кандидат технических наук Абдель-Джалил Джихад Надир

• Абдель-Джалил Джихад Надир
• кандидат технических наук
• 2006

Оглавление диссертации кандидат технических наук Абдель-Джалил Джихад Надир

Введение

1. ЗАДАЧИ ОБРАБОТКИ СООБЩЕНИЙ В ПАРАЛЛЕЛЬНЫХ 8 ВЫЧИСЛИТЕЛЬНЫХ СИСТЕМАХ

1.1. Архитектура современных вычислительных систем.

1.1.1. Классификация архитектур вычислительных систем.

1.1.2. Организация памяти вычислительных систем.

1.2. Организация коммуникационной сети вычислительных систем.

1.3. Задача и алгоритмы маршрутизации сообщений.

1.4. Отказоустойчивая маршрутизация сообщений.

1.5. Выводы по главе.

2. ОТКАЗОУСТОЙЧИВАЯ МАРШРУТИЗАЦИЯ СООБЩЕНИЙ И 50 ПРОЦЕДУРА ЕЕ РЕАЛИЗАЦИИ

2.1. Постановка задачи отказоустойчивой маршрутизации.

2.2. Процедура отказоустойчивой маршрутизации с поворотом 54 «системы координат».

2.3. Примеры применения процедуры маршрутизации.

2.4. Выводы по главе.

3. УСТРОЙСТВО ОТКАЗОУСТОЙЧИВОЙ МАРШРУТИЗАЦИИ 82 СООБЩЕНИЙ

3.1. Структурно-функциональная организация устройства 82 маршрутизации.

3.2. Анализ функционирования устройства маршрутизации.

3.3. Выводы по главе.

4. СРАВНИТЕЛЬНАЯ ОЦЕНКА СОЗДАННОГО АЛГОРИТМА 122 МАРШРУТИЗАЦИИ

4.1. Экспериментальная оценка потерь сообщений и времени 122 маршрутизации.

4.1.1. Экспериментальная оценка потерь сообщений и времени 122 маршрутизации.

4.1.2. Особенности языка имитационного моделирования.

4.1.3. Архитектура инструментальных программных средств.

4.1.4. Модель разработанного устройства маршрутизации.

4.1.5. Результаты вычислительного эксперимента.

4.2. Оценка аппаратной сложности устройства маршрутизации

4.3. Оценка времени построения маршрутов.

4.4. Выводы по главе. 150 Заключение. 151 Список литературы. 153 Приложения 1 Листинг программы моделирования процедур 164 маршрутизации.

Введение диссертации (часть автореферата) на тему «Алгоритм и устройство отказоустойчивой маршрутизации сообщений с динамическим обходом отказов»

Одной из ключевых задач современной вычислительной техники является обеспечение эффективного межпроцессорного взаимодействия в многопроцессорных системах (мультикомпьютерах). Применительно к-современным мультикомпьютерам (особенно реализуемым в базисе СБИС) эта задача должна решаться с учетом неоднородностей, обусловленных дефектами и отказами процессоров. При этом обмен информацией между работоспособными процессорами должен осуществляться в течение приемлемого времени с минимизацией потерь сообщений и исключением зацикливаний, а затраты на организацию обхода отказов должны удовлетворять заданным ограничениям.

Реализация межпроцессорного взаимодействия согласно указанным условиям требует разработки соответствующих алгоритмов отказоустойчивой маршрутизации сообщений. К настоящему моменту создан целый ряд подобных алгоритмов, ориентированных на мультикомпьютеры с различной топологией и отличающихся правилами обхода отказов (Л.А.Закревский, А.В. Тимофеев, J. Al-Sadi, R.V. Boppana, G.N. Khan, J. Wu, и др.). Основным недостатком большинства этих алгоритмов является значительный дополнительный трафик, возникающий из-за необходимости обновления информации о состоянии процессоров и допустимых направлениях маршрутизации и ведущий к росту потерь сообщений (Л.А.Закревский, А.В. Тимофеев, J. Al-Sadi, J. Wu). Известен алгоритм, не требующий подобных обменов (Е.Г. Анпилогов, И.В.Зотов). Однако его недостатком являются существенные затраты локальной памяти процессоров для хранения таблиц маршрутизации и заранее заданных альтернативных маршрутов обхода. Кроме того, ему свойственно значительное время построения (программирования) сети маршрутов. Многие алгоритмы отказоустойчивой маршрутизации допускают зацикливания сообщений без возможности их отслеживания и предупреждения.

Таким образом, актуальной научно-технической задачей является создание алгоритмов и устройств отказоустойчивой маршрутизации в мультикомпьютерах, обеспечивающих снижение потерь сообщений, не порождающих дополнительного трафика и удовлетворяющих ограничениям по объему памяти таблиц маршрутизации. Целесообразно стремление к разработке таких алгоритмов, которые позволяли бы снизить время программирования сети маршрутов.

Работа выполнена при поддержке гранта «Столетовские гранты -2003» Министерства образования РФ, а также в рамках плана НИР Курского государственного технического университета по единому заказ-наряду Министерства образования РФ в 2003-2006 годах, утвержденному начальником управления планирования и финансирования научных исследований.

Объектом исследования в диссертации являются коммуникационные средства процессорных модулей матричных мультикомпьютеров.

Предмет исследования составляют устройства маршрутизации сообщений в составе указанных коммуникационных средств.

Цель диссертации: снижение потерь сообщений в матричных мультикомпьютерах при одновременном уменьшении предельной емкости памяти таблиц маршрутизации и времени программирования сети маршрутов на основе создания алгоритма отказоустойчивой маршрутизации и реализующего его устройства, использующих новые правила динамического обхода отказов.

Задачи исследований:

1. Сравнительный анализ известных алгоритмов отказоустойчивой маршрутизации с точки зрения потерь сообщений, аппаратно-программных затрат и сложности построения маршрутов.

2. Создание алгоритма отказоустойчивой маршрутизации с динамической модификацией маршрутов сообщений на основе новых правил обхода отказов.

3. Разработка принципов функционирования и функциональных схем устройства отказоустойчивой маршрутизации, реализующего созданный алгоритм.

4. Исследование на имитационной модели зависимостей коэффициента потерь сообщений и среднего времени их доставки от интенсивности потока сообщений и наработки процессоров на отказ.

5. Аналитическая оценка предельной емкости памяти таблиц маршрутизации и времени программирования сети маршрутов.

Научная новизна работы:

1. Разработан алгоритм отказоустойчивой маршрутизации сообщений в матричных мультикомпьютерах, позволяющий снизить потери сообщений при одновременном уменьшении предельной емкости памяти таблиц маршрутизации и времени построения маршрутов на основе использования новых правил отклонения, компенсации и возврата для обхода отказов.

2. Получены зависимости коэффициента потерь сообщений от интенсивности потока сообщений и наработки процессора на отказ, демонстрирующие как минимум двухкратное снижение потерь сообщений по сравнению с аналогами.

3. Выполнена аналитическая оценка времени программирования сети маршрутов и предельной емкости памяти таблиц маршрутизации, показывающие минимальное преимущество созданного алгоритма перед лучшими известными аналогами в 1,2 раза и в 4 раза соответственно.

Достоверность полученных результатов обеспечивается применением аппарата математической логики, комбинаторного анализа, методов теории множеств и теории графов, методов теории вероятностей и математической статистики, теории систем массового обслуживания, строгим обоснованием ключевых утверждений, а также результатами имитационного моделирования.

Практическая ценность работы:

1. Разработанные принципы функционирования устройств маршрутизации позволяют строить коммуникационные средства матричных мультикомпьютеров с более низкими потерями сообщений.

2. Динамическая модификация маршрутов на основе правил отклонения, компенсации и возврата в созданном устройстве обеспечивает снижение времени построения сети маршрутов минимум в 1,2 раза.

3. Созданное устройство характеризуется снижением предельной емкости таблиц маршрутизации (в битах) в 4 раза, что позволяет уменьшить аппаратную сложность процессора.

Реализация и внедрение. Результаты диссертационного исследования используются в учебном процессе в Курском государственном техническом университете в рамках дисциплины «Отказоустойчивые многопроцессорные платформы», а также внедрены в филиале ФГУП «Радиочастотный центр центрального федерального округа» в Орловской области и ООО «Кентавр Электронике» (г.Курск), что подтверждается соответствующими актами.

Апробация работы. Основные результаты диссертационной работы докладывались: трижды на Международной НТК «Information and telecommunication technologies - in; intelligent systems» (Barcelona, 2004, Mallorca, 2005, Katania, 2006), на XLI Всероссийской конференции по проблемам математики, информатики, физики и химии (Москва, 2005), на VII Международной НТК «Распознавание-2005» (Курск, 2005), на VIII Международной НТК «Медико-экологические информационные технологии» (Курск, 2005), на XXXIV вузовской НТК студентов и аспирантов «Молодежь и XXI век» (Курск, 2006).

Научные положения, выносимые на защиту: 1. Алгоритм отказоустойчивой маршрутизации сообщений в матричных мультикомпьютерах, основанный на новых аппаратно реализуемых правилах обхода отказавших процессоров и дефектов: отклонения, компенсации и возврата.

2. Принципы функционирования и функциональная схема устройства отказоустойчивой маршрутизации, реализующего разработанный алгоритм.

3. Результаты исследования на имитационной модели зависимостей коэффициента потерь сообщений от интенсивности потока сообщений и наработки процессоров на отказ.

4. Аналитические оценки времени программирования сети маршрутов и предельной емкости памяти таблиц маршрутизации.

Публикации. Основные результаты диссертации опубликованы в 6 статьях, 6 тезисах докладов и защищены патентом на изобретение.

Личный вклад автора. В работах, опубликованных в соавторстве и приведенных в конце автореферата, лично соискателем выполнено следующее: в [1-5] разработаны правила обхода отказавших процессоров при маршрутизации; в [7] изложена методика имитационного моделирования алгоритмов отказоустойчивой маршрутизации; в [8-10] разработана процедура маршрутизации сообщений при реализации типовых информационных обменов в управляющих мультикомпьютерах; в [11] спроектированы блоки маршрутизации сообщений микроконтроллерной сети; в [12,13] предложена методика снижения межпроцессорного трафика при разбиении алгоритмов.

Объем и структура работы. Диссертационная работа состоит из введения, четырех глав, заключения, списка литературы, включающего 79 источника и приложений. Работа содержит 166 страниц текста, 45 рисунков и 6 таблицы. Приложения включают 66 страниц.

Заключение диссертации по теме «Элементы и устройства вычислительной техники и систем управления», Абдель-Джалил Джихад Надир

4.4. Выводы по главе

1. Разработанный алгоритм обеспечивает снижение коэффициента потерь сообщений минимум в 2 раза, что позволяет строить на его основе коммуникационные средства мультикомпьютеров, обладающие более высокой устойчивостью к локальным отказовым неоднородностям.

2. Созданные алгоритм и устройство маршрутизации позволяют уменьшить время маршрутизации сообщений в КС мультикомпьютера, что положительно сказывается на его производительности.

3. Снижение предельной емкости памяти таблиц маршрутизации процессора не менее чем в 4 раза способствует упрощению реализации отдельных устройств маршрутизации и коллективов подобных устройств в базисе СБИС.

4. Сокращение времени построения маршрутов передачи сообщений снижает трудоемкость проектирования мультикомпьютера в части организации взаимодействия протекающих в нем процессов.

Заключение

В диссертационной работе решена научно-техническая задача разработки алгоритма и устройства отказоустойчивой маршрутизации сообщений в матричных мультикомпьютерах, обеспечивающего снижение потерь сообщений при отсутствии дополнительного трафика, упрощение программирования сети маршрутов и снижение предельной емкости памяти таблиц маршрутизации.

При решении поставленной задачи были получены следующие результаты.

1. Создан алгоритм отказоустойчивой маршрутизации сообщений в матричных мультикомпьютерах, обеспечивающий снижение потерь сообщений при одновременном уменьшении предельной емкости памяти таблиц маршрутизации и времени построения маршрутов путем применения новых аппаратно реализуемых правил отклонения, компенсации и возврата для обхода отказавших и дефектных процессоров.

2. На основе созданного алгоритма разработаны принципы функционирования и функциональные схемы устройства отказоустойчивой маршрутизации, позволяющие строить коммуникационные средства матричных мультикомпыотеров с пониженным коэффициентом потерь сообщений. Предложенное техническое решение защищено патентом РФ № 2280887, БИ№21 от 27.07.2006.

3. Путем имитационного моделирования получены зависимости коэффициента потерь сообщений и среднего времени их доставки от интенсивности потока сообщений и наработки процессора на отказ, демонстрирующие преимущества предложенных алгоритма и устройства перед аналогами с точки зрения потерь сообщений (минимальный выигрыш - в 2 раза).

4. Аналитическое исследование показало, что динамическая модификация маршрутов на основе правил отклонения, компенсации и возврата в созданном устройстве обеспечивает снижение времени построения сети маршрутов минимум в 1,2 раза и более чем четырехкратное уменьшение предельной емкости таблиц маршрутизации (в битах).

Список литературы диссертационного исследования кандидат технических наук Абдель-Джалил Джихад Надир, 2006 год

1. Flynn, М. Very high-speed computing system Text. / M.Flynn// Proc. IEEE.- 1966. N 54. - P.l 901-1909.

2. Flynn, M. Some Computer Organisations and Their Effectiveness Text. / M.Flynn// IEEE Trans. Computers. 1972. - V.21. N 9. - P.948-960.

3. Briggs, F.A. Computer Architecture and Parallel Processing Text. / F.A.Briggs, K.Hwang // IEEE . 1984. - P.32-40.

4. Johnson, E.E. Completing an MIMD Multiprocessor Taxonomy Text. / E.E.Johnson // Computer Architecture News. 1988. - V. 16. N 2. -P.44-48.

5. Орлов, С.А. Организация ЭВМ и систем СПб Текст. / С.А.Орлов, Б.Я.Цилькер // СПб: Изд-во Питер, 2004. -668 с.

6. Воеводин, В.В. Параллельная вычисления ЭВМ Текст. / В.В. Воеводин, Вл.В.Воеводин // СПб : Изд-во БХВ, 2002. -608 с.

7. Богданов, А. Архитектуры и топологии многопроцессорных вычислительных систем Текст. / А. Богданов, В. Мареев, Е. Станкова, • В. Корхов // Электронный источник http://www.informatika.ru

8. Гибкое автоматизированное производствоТекст. / Под общ. ред. С.А. Майорова, Г.В. Орловского, С.Н. Халкиопова. Л.: Машиностроение, 1985.-454 с.

9. Feng, T.-Y. A survey of interconnection networks Text. / T.-Y. Feng // IEEE Computer. -1981. vol.14, № 12. - PP. 12-27

10. McMillen, R.J. A survey of interconnection methods for reconflgurable parallel processing systems Text. / RJ.McMillen, H.J.Siegel, P.T.Mueller// In: AFIPS Conf. Proc., Washington, D.C. 1979. - vol. C. 29,№2.-PP. 108-115.

11. Jafari, H. Simulation of a class of ring structured networks Text. / H.Jafari, T.G.Lewis, J.D.Spragins // IEEE Transactions on Computers. -1980. vol. C. 29, № 5. - PP. 385-392.

12. Arden, B.W., lee H. Analysis of chordial ring network Text. / B.W. Arden, H.Lee // IEEE Transactions on Computers. 1981. - vol. C. 30, №4. -PP. 291-295.

13. Horowitz, E. The binary tree as an interconnection network: applications of multiprocessor systems and VLSI Text. / E.Horowitz, A.Zorat // IEEE Transactions on Computers. 1981. - vol. C. 30, № 4. - PP. 247253.• л

14. Lee, Y.-H. Design of HM p a hierarchical multimicroprocessor for general-purpose applications Text. / Y.-H.Lee, J.Sasidhar, K.G.Schin // IEEE Transactions on Computers. - 1982. - vol. C. 31, № It. - PP. 10451053.

15. McKeown, N. Design and Implementation of a Packet Switched Routing Chip Text. /N.McKeown, P.Kupta // Proceedings of Hot Interconnects 6. Stanford. 1998.-PP. 77-84.

16. Saad, Y. Topological properties of hypercubes Text. / Y.Saad, M.U.Schults // IEEE Transactions. 1988. - vol. C. 37, № 7. - PP. 867872.

17. Preparata, F.P. The cube-connected cycles: a versatile network for parallel computation Text. / F.P.Preparata, J.Vuillemin // Communications of ACM. -1981. vol. 24, № 5. - PP. 300-309.

18. Апраксин, Ю.К. Алгоритмы маршрутизации для сетей с коммутацией сообщений Текст. / Ю.К.Апраксин, А.А.Запевалин, В.В.Кирюхин // Автоматика и вычислительная техника. 1982. -№2. - С. 87-92.

19. Corbertt, J.C. Practical algorithms for online routing on fixed and reconfigurable meshes Text. / J.C.Corbertt, M.C.Herbort, C.C.Weems // J. Paral. Distrib. Comput. 1994. - vol.20, No.3. - PP. 341-356.

20. Kunde, M. Packet routing on grids of processors Text. / M.Kunde // Lecture Notes in Computer Science, New York: Springer-Verlag.1998.-vol.401.-PP. 129-136.

21. Лукьянов, A.B. Адаптивное управление маршрутизацией в коммуникационных сетях с коммутацией пакетов Текст. /

22. A.В.Лукьянов, А.А.Первозванский // Автоматика и вычислительная техника. 1983. - №1. - С. 60-65.

23. Шеметов, В.В. Гибридные алгоритмы маршрутизации для информационно-вычислительных сетей Текст. / В.В.Шеметов // Автоматика и вычислительная техника. 1986. - №1. - С. 50-53.

24. Шеметов, В.В. Децентрализованные алгоритмы маршрутизации для коммуникационных сетей с коммутацией пакетов Текст. /

25. B.В.Шеметов // Автоматика и вычислительная техника. 1985. -№6.-С. 17-26.

26. А.С. 1287172 СССР G 06F15/16. Устройство формирования маршрута сообщения в однородной вычислительной системе Текст. / В.И.Самошин. опубл.23.02.93, БИ №41

27. Зотов, И.В. Функционально-топологическая организация микропрограммных мультимикроконтроллеров группового логического управления Текст. / И.В. Зотов // Тула: Изд-во Тул. гос. ун-т, 1997. 226 с.

28. Волков, А.П. Организация и синтез микропрограммных мультимикроконтроллеров Текст. / А.П. Волков, И.В. Зотов, В.А. Колосков, B.C. Титов, К.А. Сапронов Н Курск: Изд-во «Курск»,1999.-368 с.

29. Bredner, G.J. Universal schemes for parallel computation Text. / G.J. Bredner, L.G. Valiant // Proc. 13 ACM Symp. Theory of Comput. PP. 88-92.

30. Leighton F.T. A 2n-2 step algorithm for routing in an nxn array with constant size queues Text. / F.T.Leighton, F.Makedon, I.Tollis // Proc. 1 ACM Symp. Parallel Alg. and Archit. 1989. - PP. 328-335.

31. A.C. 1462344 СССР G 06 F 15/16. Устройство для формирования маршрута сообщений в однородной вычислительной системе Текст. / В .А. Мельников и др. опубл.28.02.89, БИ №8.

32. А.С. 1501080 СССР G 06 F 15/16. Устройство для формирования маршрута сообщений в однородной вычислительной системе Текст. / В.А. Мельников и др. опубл. 15.08.89, БИ №30.

33. А.С. 1508228 СССР G 06 F 15/16. Устройство для формирования маршрута сообщений в однородной вычислительной системе Текст. / В.А. Мельников и др. опубл.15.09.89, БИ №34.

34. Wittie, L.D. Communication structures for large networks of microcomputers Text. / L.D.Wittie // IEEE Transactions on Computers. 1981. - vol. C. 30, № 4. - PP. 264-273.

35. Karpovsky, M.G. Fault-Tolerant Message Routing for Multiprocessors, Parallel and Distributed Processing, Springer Text. / M.G. Karpovsky, L. Zakrevski // IEEE 1998. - p.714-731.

36. Khan, G.N. Fault-tolerant Wormhole Routing using a Variation of Distributed Recovery Block Approach Text. / G.N. Khan, G. Wei // IEEE Proceeding Computers and Digital Techniques. 2000. - Vol. 147.-№6.-P. 397-402.

37. Al-Sadi, J. Probability-based Fault-tolerant Routing in Hypercubes, Text. / J.Al-Sadi, K.Day, M.Ould-Khaoua // IEEE The Computer Journal. -2001 Vol. 44, No. 5. - p.368-373.

38. Wu, J. Fault-Tolerant Adaptive and Minimal Routing in Mesh-Connected Multicomputers Using Extended Safety Levels Text. / J.Wu // IEEE Transactions on Parallel and Distributed Systems. 2000. - Vol. 11.-№2.-P. 149-159.

39. Wu J. A Limited-Global Information Model for Dynamic Fault-Tolerant Routing in Cube-Based Multicomputers Text. / Z. Jiang, J. Wu // nca, Second IEEE International Symposium on Network Computing and Applications, 2003, p. 333.

40. Zotov, I.V. Model of fault-tolerant message routing for matrix-type microcontroller networks, Automatic Control and Computer Sciences Text. / I.V.Zotov // IEEE 2002. - Vol.36, No.2. - p. 15-26.

41. Zotov, I.V. Model of fault-tolerant message routing for matrix-type microcontroller networks Text./ I.V. Zotov// Automatic Control and Computer Sciences, 2002, Vol.36, No.2. p. 15-26.

42. Апраксин, Ю.К., Запевалин A.A., Кирюхин B.B. Алгоритмы маршрутизации для сетей с коммутацией сообщений Текст. / Ю.К.Апраксин, А.А.Запевалин, В.В.Кирюхин // А и ВТ.- 1982. -№2.-С. 87-92.

43. Олифер, Н. Маршрутизация в составных сетях Текст. / Н.Олифер // Журнал сетевых решений. 2001. - №5.

44. Кун, С. Матричные процессоры на СБИС Текст. / Кун, С.// Москва, Пер. с англ. Мир, 1991г., 672 с.

45. Анпилогов, Е.Г. Квазиадаптивная маршрутизация сообщений в матричных микроконтроллерных сетях Текст. / Е.Г Анпилогов, Ю.В. Беляев, И.В. Зотов // Деп. в ВИНИТИ 07.06.2001, №1417-В2001.26 с.

46. Анпилогов, Е.Г., Зотов И.В. Модель квазиадаптивной маршрутизации сообщений и ее оценка Текст. / Е.Г. Анпилогов, И.В. Зотов // Сборник материалов 5-ой международной конференции. Распознавание-2001, Курск, 2001. КурскГТУ. 4.2 С. 235-237.

47. Пат №222204 Россия, кл. G 06 F 15/173. Анпилогов Е.Г., Беляев Ю.В., Зотов И.В. Модуль для ретрансляции сообщений вматричном коммутаторе. Текст./ Е.Г.Анпилогов, Ю.В.Беляев, И.В.Зотов. заявл. 08.04.2002; опубл. 20.01.2004, БИ №2. - 16 с.

48. Анпилогов, Е.Г. Процедура вещания сообщений в матричных параллельных системах, методы и средства систем обработки информации Текст./ Е.Г.Анпилргов // Сборник научных статей. -Курск: Изд-во КурскГТУ,2003. №3. - С. 79 - 87.

49. Анпилогов, Е.Г. Алгоритм квазиадаптивной маршрутизации сообщений с обходом отказов Текст./ Е.Г.Анпилилогов // Сборник материалов 6-ой международной конференции «Распознавание-2003». Курск, 2003. - С. 229 - 231.

50. Анпилогов, Е.Г. Процедура отказоустойчивой маршрутизации сообщений для параллельных вычислительных систем Текст./ Е.Г.Анпилогов, И.В.Зотов, В.С.Титов //Курск: Изд-во Известия КурскГТУ, 2004. №2(13). - С. 74 - 78.

51. Abdel-Barr М. Fundamentals of Computer Organization and Architecture Text. / M. Abdel-Barr, H. El-Rewini// Publisher: Wiley-Interscience, 2005, 288 p., ISBN:0-471-46741-3.

52. Abd-El-Barr M. Advanced Computer Architecture and Parallel Processing Text. / M. Abd-El-Barr, H. El-Rewini // Publisher: Wiley-Interscience, 2005 , p. 288, ISBN: 0471467405 .

53. Duato J. Interconnection Networks : An Engineering Approach Text. / Jose Duato, Lionel M. Ni, Sudhakar Yalamanchili // Publisher: IEEE, 1997, p. 515, ISBN: 0818678003.

54. Абдель-Джалиль, Дж. H. Процедура отказоустойчивой маршрутизации с динамическим изменением последней реализации Текст. / Дж.Н. Абдель-Джалиль, М.Х. Наджаджра, И.В. Зотов //

55. Материалы VIII-й Международная научно-техническая конференция «Медико-Экологические Информационные Технологии 2005». Курск: Изд-во КГТУ, 2005. - С. 141-145.

56. Абдель-Джалиль, Дж. Н. Динамический алгоритм маршрутизации с поворотом «системы координат» Текст. / Дж.Н. Абдель-Джалиль, И.В. Зотов // Курск: Изд-во КГТУ, 2005. 37с. Деп. в ВИНИТИ 28/09/2005, №1259.

57. Пат. № 2280887 РФ, МКИ G05B 19/18, G06 F 9/28. Микроконтроллерная сеть Текст./ А.А Иванов, Дж. Н. Абдель

58. Джалиль, И.В. Зотов, Виноградов С.В. -№2005104065/09; заявлено 15.02.2005; опубл. 27.07.2006, Бюл. №21.

59. Зотов, И.В. Процедурно-логическая модель маршрутизации сообщений в микроконтроллерных сетях с матричной организацией Текст. / И.В.Зотов // Автоматика и вычислительная техника. 1999. - №3. - С. 59-68.

60. Абдель-Джалиль, Дж. Коммутационный процессор с параллельно-конвейерной обработкой сообщений Текст. / Абдель-Джалиль Дж., Крикунов О.В., Зотов И.В., Наджаджра М. // Телекоммуникации. -2006.-№10.

61. Колосков, В.А. Поиск абонента в мультиконтроллере с репродуцированной программой поведения Текст. / В.А.Колосков, А.В.Малышев, М.В.Медведева // Телекоммуникации. 2002. - №5.

62. Малышев, А.В. Адаптационный алгоритм самоорганизации обменных взаимодействий в мультимикроконтроллерной сетиТекст. / А.В.Малышев // Тез. докл. Международной научной конференции «XXVIII Гагаринские чтения». Москва. 2002.

63. Малышев, А.В. Клеточные алгоритмы и среды отказоустойчивой маршрутизации самоорганизующегося мультиконтроллера / Дисс.на соискание ученой степени кандидата технических наук. Курск: Изд-во КГТУ, 2003. - 148с.

64. Советов, Б.Я. Моделирование систем Текст. / Советов Б.Я., Яковлев С.А. // М.: Высшая школа, 2001. 273 с.

65. Гради, Буч Объектно-ориентированный анализ и проектирование с примерами приложений на С++ Текст. / Гради, Буч // М.: издательство: Бином, 2001. 560 с.

66. Свидетельство об официальной регистрации программы для ЭВМ №2006610308 Текст. / Ватутин Э.И., Зотов И.В. Библиотекаклассов для имитационного моделирования коммуникационных сетей ; заявл. 22.10.2005; per. 16.01.2006.

67. Programming Languages С++. International Standard. - ISO/IEC 14882, 1998. 776 P.

68. Степанян, C.O. Коммуникационные сети в многопроцессорных ЭВМ Текст. / С.О. Степанян// А и ВТ, 1987, №3, С. 31-41.