Синтез цифровых автоматов в нейросетевом базисе тема диссертации и автореферата по ВАК РФ 05.13.18, кандидат технических наук Белокрылов, Петр Юрьевич

• Белокрылов, Петр Юрьевич
• кандидат технических наук
• 2009

Оглавление диссертации кандидат технических наук Белокрылов, Петр Юрьевич

ВВЕДЕНИЕ.

Актуальность темы исследований.

Цель работы.

Научная новизна.

Теоретическая и практическая ценность работы.

Апробация результатов.

1. РОЛЬ ЦИФРОВЫХ АВТОМАТОВ В ОРГАНИЗАЦИИ СОВРЕМЕННЫХ ВЫЧИСЛИТЕЛЬНЫХ СИСТЕМ.

1.1. Базовые принципы организации современных вычислительных систем и тенденции их развития.

1.2. Моделирование в нейросетевом базисе как способ выделения существенного параллелизма задач.

1.3. Гибридные вычислительные системы.

1.4. Выводы.

2. ТРАДИЦИОННЫЕ МЕТОДЫ СИНТЕЗА ЦИФРОВЫХ АВТОМАТОВ.

2.1. Синтез цифрового автомата на абстрактном уровне описания.

2.2. Структурный синтез цифрового автомата.

2.3. Проблемы синтеза схем комбинационной логики.

2.4. Выводы.

3. НЕЙРОСЕТЕВОЙ ПОДХОД К ПРОБЛЕМЕ СИНТЕЗА СХЕМ КОМБИНАЦИОННОЙ ЛОГИКИ.!.

3.1. Концепция искусственной нейронной сети.

3.2. Представление задач в нейросетевом базисе.

3.3. Задача синтеза логических комбинационных схем в нейросетевом базисе.

3.4. Выводы.

4. АЛГОРИТМЫ И МЕТОДЫ ОБУЧЕНИЯ НЕЙРОННЫХ СЕТЕЙ.

4.1. Эволюционно-генетические алгоритмы.

4.2. Метод «отжига», базирующийся на статистическом подходе.

4.3. Выводы.

5. ПРИМЕРЫ СИНТЕЗА НЕКОТОРЫХ СХЕМ КОМБИНАЦИОННОЙ ЛОГИКИ.

5.1. Синтез одноразрядного комбинационного сумматора.

5.2. Синтез схемы ускоренного переноса.

5.3. Выводы.

6. ПРОГРАММНАЯ РЕАЛИЗАЦИЯ.

6.1. Объектно-ориентированное представление нейронной сети.

6.2. Программный комплекс синтеза схем произвольной комбинационной логики в нейросетевом базисе с использованием эволюционно-генетического алгоритма.

6.3. Программный комплекс синтеза схем произвольной комбинационной логики в нейросетевом базисе на основе метода «отжига».

Введение диссертации (часть автореферата) на тему «Синтез цифровых автоматов в нейросетевом базисе»

Актуальность темы исследований

Цифровые автоматы, как объект исследования, представляют интерес в двух аспектах. Во-первых, как средства технического обеспечения информационных систем различного назначения (САПР, АСУ, АСНИ, АОС и т.д.). Во-вторых, как объект проектирования в САПР микроэлектронных устройств цифровой аппаратуры. Постоянное совершенствование архитектуры цифровых вычислительных систем, усложнение их конструктивно-технологической базы от интегральной и функциональной микроэлектроники, использование цифровых модулей в реализациях нейрокомпьютеров предъявляют особые требования к методам и технологиям их проектирования. Развитие этих методов в свою очередь способствует появлению и внедрению в вычислительную практику новых архитектурных решений для альтернативных парадигм обработки информации, что находит свое отражение в совершенствовании параллельных ВС. Таким образом, прослеживается положительная обратная связь, определяющая высокие темпы прогресса в данной предметной области.

Развитие современных вычислительных систем (ВС) в направлении цифровых архитектур параллельного действия, а также нейроархитектур, реализующих существенный параллелизм вычислений в нейросетевом базисе, ставит в разряд наиболее актуальных проблемы формализации задач под выбранную архитектуру вычислительной системы.

Синтез произвольных цифровых автоматов с памятью традиционно разделяется на несколько основных этапов: блочного синтеза, абстрактного синтеза и структурного синтеза, завершающегося синтезом схем комбинационной логики. В рамках логико-математической теории релейно-контактных схем теория комбинационного синтеза развивалась в трудах Д. Хафмена [1], Г. Мили [2], В. И. Шестакова[], М. Уилкса [4] и др. Теория абстрактного и надежностного синтеза автоматов получила свое развитие в работах, опубликованных в сборнике статей «Автоматы» под редакцией К. Шеннона и Дж. Маккарти [5]. Существенный вклад в развитие теории автоматов внес Дж. Фон Нейман [6]. В работе [7] теория цифровых автоматов была доведена до уровня, который обеспечивал ей возможность непосредственного применения к решению реальных задач. В связи с этим следует отметить работу [8], представляющую системный подход к созданию совокупности средств автоматизации всех этапов проектирования цифровых устройств, объединенных в программной системе ЛЯПАС.

Нейросетевому подходу к задачам моделирования объектов и систем уделялось внимание в ряде работ, посвященных тематике искусственных нейронных сетей. Возможность аналитического моделирования объектов с помощью нейронных сетей обоснована в [9, 10]. В [10] также обсуждаются нейросетевые методы построения моделей сложных систем на основе экспериментальных данных. Рассмотрены постановки типовых задач информационного моделирования (прямых, обратных и смешанных). В работах [10, 11] рассматриваются вопросы некорректно поставленных задач моделирования объектов, для которых предлагается нейросетевая информационная технология построения гибридной нейроархитектуры, содержащей кластеризующую карту Кохонена и семейство сетей с обратным распространением, обучаемых на данных индивидуальных кластеров. Построение моделей нечеткого управления с помощью нейронных сетей рассматривается в [12]. Задача построения конечно-автоматной модели информационно-телеметрической системы с применением нейросетевого представления транспортной задачи решается в [13].

Проектированию систем вычислений на основе подходов, развиваемых нейроматематикой, и разработке нейрокомпьютеров, функционирующих в альтернативной (по отношению к позиционной) системе счисления характеризующейся естественным параллелизмом, посвящена работа [14]. В этой же работе отмечено следующее.

На сегодняшний день не существует общих способов организации универсальных параллельных вычислительных систем. Кроме того, на основе анализа математических методов преобразования позиционных кодов в остаточные установлено, что отсутствие теории построения цифровых специализированных преобразователей приводит к интуитивным методам их разработки. Отмечено, что слабое развитие теоретических основ построения преобразователей информации и, как следствие, неразвитость методов и средств их проектирования, становится критическим участком во всем цикле разработки специализированных ЭВМ. Естественным решением этой проблемы является создание теории и принципов построения специализированных ЭВМ. В этой же работе замечено, что проблемам нейросетевого моделирования произвольной логики в современной литературе уделяется недостаточно внимания.

Естественным следствием создавшегося положения дел в области проектирования проблемно ориентированных нейровычислителей являются попытки разработки универсальных методов решения выше обозначенных проблем.

Подводя итог, следует отметить, что сфера применения цифровой аппаратуры постоянно расширяется. Цифровые автоматы являются неотъемлемой составляющей не только цифровых ВС, но и ВС, базирующихся на альтернативных принципах организации вычислений (действующих нейрокомпьютеров, экспериментальных образцов квантовых и молекулярных компьютеров). Постоянно растущее стремление обеспечить высокие технические показатели разрабатываемой аппаратуры по критериям быстродействия, аппаратной сложности (стоимости), надежности, потребляемой мощности и другим обуславливают применение нанотехнологий. Как следствие, повышается степень интеграции и функциональность цифровых модулей, совершенствуется конструктивно-технологическая база их исполнения от интегральной и функциональной микроэлектроники. При этом не всегда удается эффективно использовать наработанные типовые проектные решения, и требуется создание (иногда в достаточно оперативном режиме) цифровых устройств, реализующих оригинальную (произвольную) логику. Все это обуславливает необходимость критического анализа существующих в настоящее время методов и технологий проектирования цифровых автоматов и рассмотрения возможных направлений их развития.

Цель работы

Целью работы является разработка и исследование универсального подхода к синтезу цифровых автоматов в их комбинационной части, основанного на сведении трудноформализуемой задачи синтеза схем произвольной комбинационной логики к формальной задаче обучения (оптимизации) исходно избыточной искусственной нейронной сети (ИНС).

Предложенный подход отличается высокой степенью формализма, не достижимой для классической теории синтеза комбинационных схем, и покрывает единым образом как общую классическую задачу синтеза так все частные ее классы (с дополнительными условиями в различных сочетаниях), в т.ч. каноническую задачу комбинационного синтеза.

В отличие от классического, он позволяет осуществлять синтез многофункциональных (векторных) устройств произвольной комбинационной логики в различных функционально полных малых базисах, что обуславливает возможность использования его при решении проблем интеграции схем.

Научная новизна

Показана возможность представления комбинационной логической схемы эквивалентной (бинарной или биполярной) нейронной сетью прямого распространения (с сохранением физического и математического смысла всех параметров) что позволяет свести трудноформализуемую проблему синтеза схем произвольной комбинационной логики к формальной задаче обучения (оптимизации) исходно избыточной нейронной сети с распараллеливанием вычислений (анализа нейронной сети) на каждой итерации оптимизационного процесса.

Предложенный подход отличается высокой степенью формализма, не достижимой для классической теории синтеза комбинационных схем, и покрывает единым образом как общую классическую задачу синтеза так все частные ее классы (с дополнительными условиями в различных сочетаниях), в т.ч. каноническую задачу комбинационного синтеза. В отличие от классического, данный подход позволяет осуществлять синтез многофункциональных (векторных) устройств произвольной комбинационной логики в различных функционально полных базисах, что обуславливает возможность использования его при решении проблем интеграции схем.

С учетом специфики задачи обучения нейронной сети на основе эволюционно-генетического метода разработаны конкретные алгоритмы, использующие схему непосредственного кодирования и оригинальные генетические операторы репродукции и отбора решений.

Для ускорения процесса поиска решений предложена модификация алгоритма «тушения», комбинирующая в себе функцию вероятности принятия нового состояния метода «отжига» с законом убывания температуры, заимствованным из модификации Коши.

Теоретическая и практическая ценность работы

Предложена методика представления задач в базисе нейронных сетей прямого распространения, которая опробована применительно к задаче синтеза схем произвольной комбинационной логики.

Реализованы два программных комплекса синтеза схем произвольной комбинационной логики в нейросетевом базисе, использующих эволюционно-генетический алгоритм обучения нейронной сети и алгоритм, основанный на методе «отжига».

При опробовании предложенного подхода на примерах синтеза конкретных комбинационных схем выработаны эвристики, применение которых на практике позволяет ускорить формальный процесс поиска решений.

Разработанное программное обеспечение может быть эффективно использовано в практике синтеза цифровых автоматов, комбинационная часть которых, как правило, отличается многофункциональностью, а также при решении проблем интеграции комбииационных схем.

Получаемые проектные решения могут быть оперативно реализованы в среде СБИС ПЛ (CPLD, FPGA, FLEX).

Апробация результатов

Результаты диссертационной работы докладывались и обсуждались на Всероссийской научно-технической конференции «Информационные системы и технологии» ИСТ-2007 (Н.Новгород, 2007г.), конференции «Технологии Microsoft в теории и практике программирования» (Н.Новгород, 2007г.), конференции учебно-научного инновационного комплекса «Модели, методы и программные средства (Н.Новгород, 2007г.), на XV Международной конференции «Проблемы теоретической кибернетики» (Казань, 2007г.), на семинарах кафедры информатики и автоматизации научных исследований факультета ВМК ННГУ.

Заключение диссертации по теме «Математическое моделирование, численные методы и комплексы программ», Белокрылов, Петр Юрьевич

ЗАКЛЮЧЕНИЕ

В работе получены следующие основные результаты:

• предложена методика представления задач в базисе нейронных сетей прямого распространения;

• показана возможность представления комбинационной логической схемы эквивалентной (бинарной или биполярной) нейронной сетью прямого распространения (с сохранением физического и математического смысла всех параметров);

• трудноформализуемая проблема синтеза схем произвольной комбинационной логики сведена к формальной задаче обучения (оптимизации) исходно избыточной нейронной сети с возможностью распараллеливания вычислений (анализа нейронной сети) на каждой итерации оптимизационного процесса; предложенный подход отличается высокой степенью формализма, не достижимой для классической теории синтеза комбинационных схем, и покрывает единым образом как общую классическую задачу синтеза так все частные ее классы (с дополнительными условиями в различных сочетаниях), в т.ч. каноническую задачу комбинационного синтеза; в отличие от классического, данный подход позволяет осуществлять синтез многофункциональных (векторных) устройств произвольной комбинационной логики в различных функционально полных базисах, что обуславливает возможность использования его при решении проблем интеграции схем;

• с учетом специфики задачи на основе эволюционно-генетического метода разработаны конкретные алгоритмы, использующие новую схему непосредственного кодирования и оригинальные генетические операторы репродукции решений;

• для ускорения процесса поиска решений предложена модификация алгоритма «тушения», использующая закон убывания температуры, который заимствован из модификации Коши для метода «отжига»;

• реализованы два программных комплекса синтеза схем произвольной комбинационной логики в нейросетевом базисе, использующих эволюционно-генетический алгоритм обучения нейронной сети и алгоритм, основанный на методе «отжига»;

• предложенный подход опробован на примерах синтеза конкретных комбинационных схем; при этом выработаны эвристики, применение которых на практике позволяет ускорить формальный процесс поиска решений.

Список литературы диссертационного исследования кандидат технических наук Белокрылов, Петр Юрьевич, 2009 год

1. Huffman D. A. The synthesis of sequential switching circuits, Journal of the Franklin 1.st., v. 257, № 3 and 4, 1954, pp. 161-190, 275-303.

2. Mealy G. H. A method for synthesizing sequential cirquits. Bell system Tech. J., v. 34, 1955, pp. 1045-1079.

3. Шестаков В. И. Алгебраический метод синтеза автономных систем двухпозиционных реле. Автоматика и телемеханика, т. 15, № 4, 1954, с. 310-324.

4. Wilkes М. V. Microprogramming, Proc. East. Joint. Comput. Conf. NT-114, New York, 1959, pp. 18-20.

5. Шеннон К., Маккарти Дж. Автоматы, М: ИЛ, 1956.6. фон Нейман Дж. Теория самовоспроизводящихся автоматов. М: Мир, 1971.

6. Глушков В.М. Синтез цифровых автоматов. М.: Физматгиз, 1962, 476 с.

7. Закревский А.Д., Потгосин Ю.В., Черемисинова Л.Д. Логические основы проектирования дискретных устройств. М.: Физматлит, 2007, 592 с.

8. Галушкин А.И., Судариков В.А., Шабанов Е.В. Нейроматематика: методы решения задач на нейрокомпьютерах. Математическое моделирование, 1991, т. 3, №8, с. 93-111.

9. Горбань А.Н., Дунин-Барковский В.Л., Кирдин А.Н. и др. Нейроинформатика. Новосибирск: Наука. Сибирское предприятие РАН, 1998, 296 с.

10. Осовский С. Нейронные сети для обработки информации. М.: Финансы и статистика, 2004, 344 с.

11. Рутковская Д., Пилинский М., Рутковский Л. Нейронные сети, генетические алгоритмы и нечеткие системы. М.: Горячая линия-Телеком, 2004, 452 с.

12. Назаров А.В., Лоскутов А.И. Нейросетевые алгоритмы прогнозирования и оптимизации систем. СПб.: Наука и Техника, 2003, 384 с.

13. Червяков Н.И., Сахнюк П.А., Шапошников А.В., Ряднов С. А. Модулярные параллельные вычислительные структуры нейропроцессорных систем М.: ФИЗМАТЛИТ, 2003, 288 с.

14. Таненбаум Э. Архитектура компьютера. 4-е изд. СПб.: Питер, 2003, с.584585.

15. Баранов В.Г., Бажанов Ю.С. От традиционных САПР к интеллектуальным системам проектирования (ИСпроекг) цифровых устройств. // Межвузовский сборник научных трудов «Системы обработки информации и управления» / НГТУ, 1995, Выпуск 1.

16. Бажанов Ю.С., Баранов В.Г. Базовые микрооперации интеллектуальных систем проектирования цифровых автоматов. // Межвузовский сборник научных трудов «Системы обработки информации и управления» / НГТУ, 1997, Выпуск 2.

17. Угрюмов Е.П. Цифровая схемотехника. СПб.: БХВ-Петербург, 2001, 528 с.

18. Мс. Cluskey Minimizations of boolean functions, Bell, System Techn. J., v. 35, №6, 1956, pp. 1417-1444.

19. A. Blake, Canonical expression in Boolean Algebra. Dissertation, Chicago, 1937.

20. R. J. Nelson, Simplest normal truth functions. J. Sumb. Logic, v. 20, № 2, 1955, pp. 105-108.

21. S. R. Petrick, A direct decomposition of the irredundant forms of a boolean function from the set of prime-implicants. Tech. reports Air Force Cambridge Research Center, 1956, pp. 56-110.

22. E. W. Veitch, A chart method for simplifying truth functions. Proc. Ass. Сотр. Mach., 1952, May, №2, 3, p. 127-133.

23. M. Karnaugh, The map method for synthesis of combinational logic circuits, Trans. AIEE, v. 72, № 1, 1953, p. 593-599.

24. Кругл OB B.B., Борисов В.В. Искусственные нейронные сети. Теория и практика. 2-е изд. М.: Горячая линия Телеком, 2002, 382 с.

25. Сергеев Я.Д., Стронгин Р.Г., Гришагин В.А. Введение в параллельную глобальную оптимизацию. Учебное пособие. Нижний Новгород: Изд-во Нижегородского университета, 1998, 87 с.

26. Вороновский Г.К., Махотило К.В., Петрашев С.Н., Сергеев А.С. Генетические алгоритмы, искусственные нейронные сети и проблемы виртуальной реальности. Х.ЮСНОВА, 1997, 112 с.

27. Колмогоров А.Н. О представлении непрерывных функций нескольких переменных суперпозициями непрерывных функций меньшего числа переменных. Докл. АН СССР, 1956. Т. 108, №2, с. 179-182.

28. Колмогоров А.Н. О представлении непрерывных функций нескольких переменных в виде суперпозиции непрерывных функций одного переменного. Докл. АН СССР, 1957. Т. 114, № 5, с. 953-956.

29. Арнольд В.И. О функциях трех переменных. Докл. АН СССР, 1957. Т. 114, No. 4, с. 679-681.

30. Cybenko G. Approximation by superposition of a sigmoidal function. Mathematics of Control, Signals, and Systems, 1989, vol. 2, pp. 303 314.

31. Hornik K., Stinchcombe M., White H. Multilayer feedforward networks are universal approximators. Neural Networks. 1989, vol. 2, pp. 359 366.

32. Kochenov D.A., Rossiev D.A. Approximations of functions of CA,B. class by neural-net predictors (architectures and results). AMSE Transaction, Scientific Siberian, A. 1993, Vol. 6, Neurocomputing, pp. 189-203. Tassin, France.

33. Батищев Д.И., Костюков B.E., Старостин H.B., Смирнов А.И. Популяционно-генетический подход к решению задач покрытия множества: Учебное пособие. — Нижний Новгород: Изд-во ННГУ им. Н.И. Лобачевского, 2004. — 152 с.

34. Уилкинсон Барри. Основы проектирования цифровых схем. — М.: Издательский дом «Вильяме», 320 с.

35. Вороновский Г.К, Махотило К.В., Петрашев С.Н., Сергеев С.А. Генетические алгоритмы, искусственные нейронные сети и проблемы виртуальной реальности. — X.: ОСНОВА, 1997. — 112 с.

36. Haykin S. Neural networks, a comprehensive foundation. N.Y.: Macmillan College Publishing Company, 1994.

37. Hornik K., Stinchcombe M., White H. Multilayer feedforward networks are universal approximators //Neural Networks, 1989, vol. 2, pp. 359-366.

38. Geva S., Sitte J. Progress in supervised neural networks // IEEE Trans. N. N., 1992, vol. 3, pp. 621-625.

39. Osowski S. Sieci neuronowe. Warszawa: Oficyna Wydawnicza PW, 1994.

40. Hecht-Nielsen R. Neurocomputing. Amsterdam: Addison Wesley, 1991.

41. Osowski S. Sieci neuronowe w ujeciu algorytmicznym. Warszawa: WNT, 1996.

42. Fukushima K., Wake N. Handwritten alphanumeric character recognition by the neocognitron// IEEE Trans. N.N., 1991, vol. 2, pp. 355-365.

43. Schaffer J.D., Whitley L., Eshelman J. Combinations of Genetic Algorithms and Neural Networks, COGANN-92, 1992.

44. Whitley D. Applying genetic algorithms to neural network learning, Proceedings of the Seventh Conference of the Society of Artificial Intelligence and Simulation of Behavior, Sussex, England, Pitman Publishing, 1989, pp. 137-144.

45. Evolver — the Genetic Algorithm Problem Solver, Axcelis, Inc., 4668 Eastern Avenue N., Seattle, WA 98103, USA. 248.

46. Whitley D., Starkweather Т., Bogart C. Genetic algorithms and neural networks: Optimizing connections and connectivity, Parallel Computing, 1990, nr 14, pp. 347-361.

47. Harp S.A., Samad Т., Guha A. Towards the genetic synthesis of neural networks, in: Proceedings of the Third International Conference on Genetic Algorithms and Their Applications; Schaffer J.D. (ed.), Morgan Kauffmann, San Mateo, CA, 1989, pp. 360-369.

48. Guo Z., Uhrig R. E. Use of genetic algorithms to select inputs for neural networks, in: Proceedings of International Workshop on Combinations of Genetic Algorithms and Neural Networks, COGANN-92, 1992, pp.223-234.

49. Schaffer J.D., Caruana R.A., Eshelma'n L.J. Using genetic search to exploit the emergent behavior of neural networks, in: Forrest S. (ed.) Emergent Computation, Amsterdam: North Holland, 1990, pp. 244-248.

50. Kitano H., Designing neural networks using genetic algorithms with graph generation system, Complex Systems, 1990, nr 4, pp 461-476.

51. Mexrill J.W.L., Port R.F. Fractally configured neural networks, Neural Networks, 1991, t. 4 pp. 53-60.

52. Yao X. A review of evolutionary artificial neural networks, International Journal of Intelligent Systems, 1993, pp. 539-567.

53. Brindle M. Genetic algorithms for Function Optimization, Ph. D.dissertation, University of Alberta, 1981.

54. Goldberg D. E. Algorytmy genetyczne I ich zastosowania, WNT, Warszawa, 1995.

55. FlexTool (GA) M2.1, Flexible Intelligence Group, L.L.C, Tuscaloosa, AL 35486-1477, USA.

56. Басалин, П.Д. Синтез комбинационных логических схем в нейросетевом базисе / П.Д. Басалин, П.Ю. Белокрылов // Вестник ВГАВТ. — 2006. Выпуск 2

57. Басалин, П.Д. Структурный синтез цифровых автоматов в нейросетевом базисе / П.Д. Басалин, П.Ю. Белокрылов // Научно-технический журнал «Системы управления и информационные технологии». — Воронеж, — 2007. — №3(29). -— С.44-48

58. Лоскутов А.Ю., Михайлов А.С. Введение в синергетику. — М.: Наука. Гл. ред. физ.-мат. лит., 1990.

59. Новые физические принципы оптической обработки информации: Сборник статей / Под ред. С.А. Ахманова и М. А. Воронцова. — М.: Наука. Гл. ред. физ.-мат. лит., 1990.

60. Уссермен Ф. Нейрокомпьютерная техника. — М.: Мир, 1992.

61. Muller В., Reinhardt J. Neural networks. Springer-Verlag. 1990.

62. Kirpatrick S., Gelatt C. D., Vecchi M.P. Optimization by simulated annealing. // Science, 1983, vol. 220, pp. 671-680.

63. Johnson D., Aragon C., Schevon C. Optimization by simulated annealing: an experimental evaluation. Part I: graph partitioning // Operations Research, 1989, vol. 37, pp. 865-892.

64. Ingber L. and Rosen B. Genetic algorithms and very fast simulated reannealing: A comparison, Mathl. Comput. Modelling 16, 11, 1992, pp. 87-100.

65. Джонс M.T. Программирование искусственного интеллекта в приложениях. Пер. с англ. Осипов А.И. — М.: ДМК Пресс, 2006. 312 с.

66. Белокрылов, П.Ю. Синтез быстродействующих схем комбинационной логики в нейросетевом базисе / П.Ю. Белокрылов // Сборник трудов НГТУ / НГТУ — 2007.

67. OpenMP API. Version 3.0 May 2008.

68. MPI: A Message-Passing Interface Standard Version 2.1 Message Passing Interface Forum June 23, 2008.

69. Гришагин B.A., Свистунов А.Н. Параллельное программирование на основе MPI. Учебное пособие Нижний Новгород: Изд-во ННГУ им.Н.И. Лобачевского, 2005. - 93 с.

70. CLR via С#. Программирование на платформе Microsoft .NET Framework 2.0 на языке С#. Мастер-класс. / Пер. с англ. — М. : Издательство «Русская Редакция» ; СПб. : Питер , 2007. — 656 стр.

71. Professional С#. Simon Robinson, Ollie Cornes, Jay Glynn, Burton Harvey, Craig McQuenn, Jerod Moemeka, Christian Nagel, Morgan Skinner, Karli Watson. 2001, Wrow Press.

72. Нейгел Кристиан, Ивьен Билл, Глин Джей, Скиннер Морган, Уотсон Карли. С# 2005 и платформа .NET 3.0 для профессионалов.: Пер. с англ. — М.: ООО «И.Д. Вильяме», 2008. — 1376 с.