Математическое и программное обеспечение массивно-параллельных вычислений в распределенных системах на базе аппарата нейронных сетей тема диссертации и автореферата по ВАК РФ 05.13.11, кандидат технических наук Калинин, Александр Викторович

• Калинин, Александр Викторович
• кандидат технических наук
• 2003

Оглавление диссертации кандидат технических наук Калинин, Александр Викторович

Введение.

Глава 1 Анализ современных алгоритмов программирования искусственных нейронных сетей.

1.1 Основные положения теории нейронных сетей.

1.2 Математическое описание нейросетевого аппарата.

1.3 Синтез нейросетевых конфигураций как задача многомерной оптимизации.

1.3.1 Обучение нейронных сетей.

1.3.2 Синтез топологии сети.

1.3.3 Вычислительные эксперименты в нейросетевом базисе.

1.4 Современные технологии построения распределенных систем.

1.5 Практическое применение нейросетевого аппарата.

1.5.1 Использование нейронных сетей в задачах медицинской диагностики.

1.5.2 Актуальные проблемы численного анализа и нейронные сети.

Постановка задач диссертационного исследования.

Глава 2 Разработка методов реализации параллельных алгоритмов программирования нейронных сетей в распределенных системах.

2.1 Анализ базовых нейросетевых процедур.

2.2 Синтез обобщенного нейросетевого алгоритма.

2.3 Разработка представления распределенной системы.

2.4. Создание методов отображения обобщенного нейросетевого алгоритма на распределенную систему.

2.4.1 Отображение на уровне нейронных процедур.

2.4.2 Отображение на уровне нейросетевых конфигураций.

2.5 Стратегия решения нейросетевой задачи в распределенной системе.

Выводы.

Глава 3 Разработка архитектуры распределенного программного комплекса нейросетевых вычислений.

3.1 Функциональная архитектура.

3.2 Структурная архитектура.

3.3 Внутренняя организация сервисов.

3.4 Проблемы надежности распределенной системы.

3.5 Выбор платформы, тестирование.

Выводы.

Глава 4 Разработка тестовых процедур оценки эффективности распределенного комплекса на основе типовых нейросетевых задач.

4.1 Конфигурация тестового полигона.

4.2 Тестовая процедура на основе задачи диагностики пароксизмов мерцательной аритмии.

4.3 Тестовая процедура на основе решения некорректных задач

4.3 Генерация многомерных тестовых распределений.

Выводы.

Введение диссертации (часть автореферата) на тему «Математическое и программное обеспечение массивно-параллельных вычислений в распределенных системах на базе аппарата нейронных сетей»

Актуальность темы. В последние годы в ряде областей, как традиционно относящихся к точным наукам, так и в биологии, медицине, психологии, где по объективным и историческим причинам отсутствует строгая формализация знаний, перспективным является использование универсальных аппроксиматоров широкого класса многомерных нелинейных функций — искусственных нейронных сетей, относящихся к классу MLP (Multi Layer Perceptron — многослойный персептрон) и допускающих как программную, так и аппаратную реализацию. Одной из основных проблем использования нейронных сетей являются высокие требования к вычислительным ресурсам, так как в процессе программирования нейронных сетей приходится многократно производить процедуры глобальной нелинейной оптимизации.

Одним из путей решения этой проблемы является развитие теоретической базы нейронных сетей в области совершенствования алгоритмов глобальной нелинейной оптимизации. Другой путь - использование технологии параллельных вычислений.

Нейронные сети, относящиеся к классу MLP и обучающиеся по методу обратного распространения ошибки, обладают хорошими возможностями для распараллеливания. Обычно выделяют параллелизм на уровне сети в целом, параллелизм на уровне нейронов и параллелизм на уровне синапсов. При этом традиционно для реализации каждого из данных типов параллелизма используются многопроцессорные вычислительные системы или специализированные параллельные машины.

В современных социально-экономических условиях в связи с появлением быстро растущего парка персональных компьютеров и развитием сетевых технологий альтернативой использования специализированных машин может стать технология массивно-параллельных нейросетевых вычислений с использованием ресурсов локальных и глобальных сетей. При таком подходе основной задачей является организация распределенной системы, в которой доступные локальные .ресурсы используются с максимальной эффективностью и разработка методов управления параллельными процессами при программировании нейронных сетей в данной распределенной среде.

Таким образом, разработка методов реализации параллельных алгоритмов программирования нейронных сетей в распределенных средах и создание инструментальных средств параллельного нейросетевого программирования является актуальной задачей.

Диссертационная работа выполнена в рамках научного направления Воронежского государственного технического университета - "Вычислительные системы и программно-аппаратные электротехнические комплексы".

Цель и задачи исследования. Целью работы является разработка средств специального математического и программного обеспечения массивно-параллельных вычислений на базе аппарата нейронных сетей, позволяющих повысить эффективность решения нейросетевых задач в распределенных средах, а также апробация разработанных методов применительно к задачам медицинской диагностики и численного анализа.

В соответствии с данными целями были поставлены следующие основные задачи исследования:

1. Осуществить анализ современных подходов к построению распределенных систем, а также методов организации параллельных вычислений на базе аппарата нейронных сетей.

2. Разработать средства специального математического и программного обеспечения массивно-параллельных вычислений на базе нейросетевых технологий, способных эффективно применяться в распределенных системах.

3. Разработать программно-алгоритмические методы синтеза адаптивной процедуры формирования стратегии параллельного решения нейросетевой задачи в зависимости от специфики распределенной системы.

4. На базе системной методологии разработать структуру и создать компьютерную систему параллельного решения нейросетевых задач, способную адаптироваться к заданной конфигурации распределенной среды.

5. Разработать систему тестовых процедур, способных оценить эффективность параллельного решения задачи при заданной конфигурации распределенной системы.

6. Осуществить апробацию компьютерной системы применительно к задачам медицинской диагностики (осуществление прогнозирования нарушений сердечного ритма у больных ишемической болезнью сердца) и численного анализа (задачи обращения плохо обусловленных матриц, возникающих при дискретизации линейных некорректных задач).

Методы исследования. В работе использованы методы системного анализа, теории искусственных нейронных сетей, параллельных и распределенных вычислений, математического анализа, линейной алгебры, методы теории графов, объектно-ориентированного программирования.

Научная новизна. В работе получены следующие результаты, характеризующиеся научной новизной:

- методы построения обобщенного алгоритма решения нейросетевой задачи, особенностью которых является учет возможностей параллельных реализаций на уровнях динамического формирования структуры сети и проведения вычислительных экспериментов с синтезируемыми нейросетевыми конфигурациями; средства специального математического и программного обеспечения массивно-параллельных вычислений в распределенных средах на базе аппарата нейронных сетей, отличающиеся возможностью идентификации параметров аппаратных ресурсов каждого элемента распределенной среды и характеристик каналов связи для целей повышения эффективности отображения нейросетевой задачи;

- эвристическая процедура формирования стратегии параллельного решения нейросетевой задачи, характеризующаяся возможностью адаптации вычислительного процесса к изменениям распределенной среды;

- структура компьютерной системы массивно-параллельных вычислений в распределенных средах, отличающаяся возможностью интегрировать в унифицированную вычислительную среду совокупность вычислительных узлов, каждый из которых обладает индивидуальными аппаратными и программными характеристиками;

- набор тестовых процедур, позволяющих оценить эффективность решения вычислительной нейросетевой задачи в сформированной распределенной среде.

Практическая значимость работы. Практическая значимость работы заключается в создании специального программного обеспечения, повышающего эффективность процессов нейросетевой обработки данных и знаний за счет организации массивно-параллельных вычислений в распределенной системе.

Реализация результатов работы. Разработанный программный комплекс решения сложных нейросетевых задач, адаптированный для диагностики нарушений сердечного ритма, внедрен в практическую деятельность городской клинической больницы № 9 (БСМП). Материалы диссертации используются в учебном процессе Воронежского государственного технического университета при обучении студентов специальности 220100 в курсах "Системы искусственного интеллекта" и "Теория принятия решений".

Апробация работы. Основные положения диссертации докладывались и обсуждались на международной научной конференции "Математические методы в технике и технологиях" (Смоленск, 2001; Ростов н/Д, 2003), международной научно-технической конференции и Российской научной школе молодых ученых и специалистов "Системные проблемы качества, математического моделирования, информационных, электронных и лазерных технологий" (Сочи, 2002), V-VIII Республиканских научных конференциях "Современные проблемы информатизации" (Воронеж, 2000-2003), а также на научных семинарах кафедры ABC ВГТУ (Воронеж, 2000-2003).

Публикации. По результатам исследований опубликовано 17 печатных работ, в том числе 3 без соавторов. В работах, опубликованных в соавторстве и приведенных в конце автореферата, лично соискателем предложены: в [1-2, 14] основные принципы параллельных вычислений в распределенных системах на базе нейронных сетей, в [3 - 5, 13] методы построения инструментального программного комплекса нейросетевых вычислений, в [9 - 12, 15 - 17] применение аппарата нейронных сетей для решения практических задач в областях медицинской диагностики, численного анализа и адаптивного управления.

Структура и объем работы. Диссертация состоит из введения, четырех глав, заключения, трех приложений, изложена на 132 листах машинописного текста, содержит список литературы из 116 наименований, 45 рисунков, 17 таблиц.

Заключение диссертации по теме «Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей», Калинин, Александр Викторович

7. Результаты работы реализованы в виде программной системы нейросетевого анализа, повышающей эффективность процессов обработки данных и знаний за счет организации массивно-параллельных вычислений в заданной распределенной среде.

Возможности распределенного решения задач на базе нейросетевого подхода далеко неисчерпаны. Дальнейшее развитие данной технологии связано со следующими направлениями:

1. Совершенствование методов анализа структур нейронных сетей и создание алгоритмов быстрого синтеза заданной топологии.

2. Создание алгоритмов обучения нейронных сетей, отличающихся большей степенью параллельности и в лучшей степени отвечающих специфике целевой функции.

3. Совершенствование архитектуры системы распределенного обучения с целью повышения степени ее масштабируемости, и создание предпосылок реализации ее в рамках произвольных классов кластерных и GRID систем.

4. Исследование возможности применение нейросетевого анализа для широко класса задач медицинской диагностики, адаптивного управления, принятия решений и вычислительной математики.

Заключение

Теория искусственных нейронных сетей является одной из бурно развивающихся областей современного научного знания. Но одной из основных проблем данного аппарата является высокие требования к вычислительным ресурсам. Поэтому разработка системы распределенного решения задач на основе нейросетевого подхода представляется актуальной проблемой. В рамках реализации данной задачи были получены следующие результаты:

1. Проведен анализ современных параллельных алгоритмов программирования искусственных нейронных сетей, относящихся к классу MLP и обучающихся по методу обратного распространения ошибки и рассмотрены возможности их эффективного применения в распределенных средах как на уровне нейронных процедур, так и на уровне решения нейросетевой задачи.

2. Предложены методы построения обобщенного нейросетевого алгоритма с учетом возможностей параллельной реализации на уровнях обучения нейронной сети, динамического формирования ее структуры, оценки наиболее значимых нейронных связей и проведения численных экспериментов с различными нейросетевыми конфигурациями.

3. Созданы алгоритмические и программные средства управления параллельными процессами программирования искусственных нейронных сетей в распределенных средах, характеризующиеся возможностью идентификации параметров аппаратных ресурсов каждого элемента распределенной системы и характеристик каналов связи для целей повышения эффективности отображения нейросетевой задачи.

4. Разработана эвристическая процедура формирования стратегии решения нейросетевой задачи, позволяющая учесть изменение параметров распределенной системы, что повышает надежность нейросетевых вычислений и делает возможным применение комплекса на широком классе систем.

5. Предложена структура программной системы массивнопараллельных вычислений, позволяющая интерпретировать гетерогенную распределенную среду как единый вычислительный комплекс, что дает возможность эффективным образом на уровне практической реализации адаптировать базовые алгоритмы программирования нейронных сетей.

6. На основе типовых задач медицинской диагностики и численного анализа создан набор тестовых процедур, позволяющий оценить эффективность решения нейросетевой задачи в сформированной распределенной среде и выработать рекомендации по повышению производительности распределенного комплекса.

Список литературы диссертационного исследования кандидат технических наук Калинин, Александр Викторович, 2003 год

1. Аведьян Э.Д. Алгоритмы настройки многослойных нейронных сетей // Автоматика и телемеханика. 1995. - N4. - С. 106-118.

2. Айвазян С.А., Енюков И.С., Мешалкин Л.Д. Прикладная статистика. Исследование зависимостей. М.: Финансы и статистика, 1985. - 487 с.

3. Алексеев А.В. Разработка математического и программного обеспечения интеллектуального анализа данных в микроэкономических системах на основе нейросетевых технологий. Диссертация на соискание ученой степени канд. техн. наук. Москва, 2001 .-114с.

4. Аляутдинов М.А., Галушкин А.И., Назаров Л.Е. Методы распараллеливания и программно-аппаратной реализации нейросетевых алгоритмов обработки изображений // Нейрокомпьютеры: разработка, применение, № 2. Москва: Изд-во "Радиотехника". 2003 г. - С. 3-21.

5. Амосов А.А., Дубинский Ю.А, Копченова Н.В. Вычислительные методы для инженеров: Учеб. пособие. М.: Высш. шк., 1994. - 544 с.

6. П.Богачев К.Ю. Основы параллельного программирования. М.: БИНОМ. Лаборатория знаний, 2003. - 342 с.

7. Бухгейм А.Л. Введение в теорию обратных задач. Новосибирск: Наука, 1988,271с.

8. Буцев А.В., Первозванский А.А. Локальная аппроксимация на искусственных нейросетях // Автоматика и телемеханика. 1995. - N9. - с. 127-136.

9. Верлань А.В., Сизков Н.М. Методы решения интегральных уравнений. Справочное пособие.- Киев.: Наукова думка, 1988.-315 с.

10. Вилков Д.В. Алгоритм настройки весовых коэффициентов для многослойного персептрона // Нейроинформатика и ее приложения: Материалы IX Всероссийского семинара. Красноярск: ИПЦ КГТУ, 2001. с.ЗЗ

11. Винокуров В. А. О понятии регуляризуемости разрывных отображений // "Журнал вычислительной математики и математической физики", -1971,-т. 11, №5;

12. Винокуров В. А. Регуляризуемость и аналитическая представимость // "Доклады АН СССР", 1975, - т. 220, № 2.

13. Власова Е.А. Ряды: учеб. для вузов. 2-е изд. (Сер. Математика и техническом университете) / Под ред. Зарубина B.C., Крищенко А.П. М.: Изд-во МГТУ им. Н.Э. Баумана, 2002. - 612 с.

14. Воеводин В.В. Информационная структура алгоритмов. М. МГУ, 1997.-139 с.

15. Воеводин В.В. Массивный параллелизм и декомпозиция алгоритмов // ЖВМ и МФ. 1995. - Т. 35. N6, - С.988-996

16. Воеводин В.В. Математические модели и методы в параллельных процессах. — М.:Наука, 1986. 296 с.

17. Воеводин В.В. Математические основы параллельных вычислений. М.:МГУ, 1991.-345 с.

18. Воеводин В.В. Параллельные структуры алгоритмов и программ. -М.: ОВМ АН СССР, 1987. 148 с.

19. Воеводин В.В., Воеводим Вл. В Параллельные вычисления. СПб.: БХВ-Петербург, 2002. - 608 с.

20. Галушкин А.И. Теория нейронных сетей. Кн. 1: Учеб. пособие для вузов / Общая ред. Галушкина А.И. М.: ИПРЖР, 2000. - 416 с.

21. Галушкин А.И. Теория нейронных сетей. Кн. 3: Учеб. пособие для вузов / Общая ред. Галушкина А.И. М.: ИПРЖР, 2000. - 416 с.

22. Галушкин А.И., Остапенко Г.П. Пути и средства реализации нейросетевых алгоритмов,VIII Всероссийская конференция. Труды конференции. Москва. 2002.

23. Гилл Ф., Мюррей У., Райт М. Практическая оптимизация. М.: Мир, 1985.-509 с.

24. Головко В.А. Нейронные сети: обучение, организация и применение. Кн. 4: Учеб. пособие для вузов / Общая ред. А.И. Галушкина. М.: ИПРЖР, 2001.

25. Горбань А.Н. Быстрое дифференцирование сложных функций и обратное распространение ошибки // Нейроинформатика и ее приложения. Тезисы докладов V Всероссийского семинара. Красноярск: изд. КГТУ, 1997, -с. 54-56.

26. Горбань А.Н. Обучение нейронных сетей. — М.: изд. СССР-США. СП "Параграф", 1990. 160 с.

27. Горбань А.Н., Россиев Д.А. Нейронные сети на персональном компьютере. Новосибирск: Наука. Сибирская издательская фирма РАН, 1996.-276 с.

28. Джейн А., Мао Ж., Моиуддин М. Введение в искусственные нейронные сети // Открытые системы, 1997. N4. - С. 16-24.

29. Дубровин В.И., Субботин С.А. Алгоритм ускоренного обучения нейросетей // Нейроинформатика и ее приложения: материалы IX Всероссийского семинара. Красноярск: ИПЦ КГТУ, 2001. с. 63-64

30. Дэннис Дж., Шнабель Р. Численные методы безусловной оптимизации и решения нелинейных уравнений. М.: Мир, 1988. - 440 с.

31. Ершов Н.М. Стохастические алгоритмы обучения нейросетей в задаче определения коэффициентов переноса среды // Вест. Моск. ун-та. Сер. 15, Вычислительная математика и кибернетика. 1996. №4. С. 31-34.

32. Калинин А.В. Методы обеспечения надежности сервисной сети анализа данных // Современные проблемы информатизации в технике и технологиях: Сб. трудов. Вып. 8. Воронеж: Центрально-Черноземное книжное издательство, 2003. С. 110-111.

33. Калинин А.В. Оптимизация надежности распределенной сети анализа данных // Новые технологии в научных исследованиях, проектировании, управлении, производстве. Труды региональной научно-технической конференции. Воронеж: ВГТУ, 2003. С. 207.

34. Калинин А.В., Подвальный C.JT. Применение нейронных сетей для решения обратных некорректных задач математической физики // Электротехнические комплексы и системы управления. Воронеж: ВГТУ, 2003. С 4-8.

35. Калинин А.В., Подвальный СЛ. Создание методов параллельной реализации алгоритмов обучения и синтеза структуры нейронных сетей //

36. Электротехнические комплексы и системы управления. Сб. науч. тр. Воронеж: Изд-во ВГТУ, 2003. С. 57-63.

37. Каллан Р. Основные концепции нейронных сетей. : Пер. с англ. -М.: Издательский дом "Вильяме", 2001.-288 с.

38. Козлов В.А., Мазья В.Г., Фомин А.В. Об одном итерационном методе решения задачи Коши для эллиптических уравнений // ЖВМ и МФ.-1991.-Т.31.- № 12.-С. 64-74.

39. Комашинский В.И., Мирнов Д.А. Нейронные сети и их применение в системах управления и связи. М.: Горячая линия-Телеком, 2002. - 94 с.

40. Корженевский А. В. Использование искусственных нейронных сетей для решения обратных задач электроимпедансной и магнитоиндукцион-ной томографии // Журнал радиоэлектроники. 2001, N 12.

41. Круглов В.В., Борисов В.В. Искусственные нейронные сети. Теория и практика. М.: Горячая линия-Телеком, 2002. - 382 с.

42. Круглов В.В., Дли М.И., Годунов Р.Ю. Нечеткая логика и искусственные нейронные сети: учеб. пособие. М.: Издательство физико-математической литературы, 2001. - 224 с.

43. Кушаковский М.С. Аритмии сердца: Руководство для врачей. -СПб.: Гиппократ, 1992. 544 с.

44. Лаврентьев М.М. О некоторых некорректных задачах математической физики.-Новосибирск: Изд-во СО АН СССР.-1962.- 134 с.

45. Лаврентьев М.М., Савельев Л .Я. Теория операторов и некорректные задачи. Новосибирск: Изд-во Ин-та математики, 1999.

46. Латерс Р., Лионе Ж.-Л. Метод квазиобращения и его приложения,-М.: Мир, 1970.-336 с.

47. Лихтциндер Б.Я., Кузякин М.А., Росляков А.В., Фомичев С.М. Интеллектуальные сети связи. М.: Эко-Трендз, 2002. - 206 с.

48. Малышев А.Н. Введение в вычислительную линейную алгебру. -Новосибирск: Наука, 1991.-228 с.

49. Миркес Е.М. Нейрокомпьютер. Новосибирск: Наука, Сибирская издательская фирма РАН, 1998.-418 с.

50. Нейронные сети. Statistical Neural Networks / Пер. с англ. М.: Горячая линия-Телеком, 2000. - 182 с.

51. Нейронные сети: история развития теории. Кн. 5 / Под ред. Гапуш-• кина А.И., Цыпкина Я.З. М.: ИПРЖР, 2001. - 840 с.

52. Полевой Н.Ю. Интеллектуализация принятия решений при лечении больных бронхиальной астмой на основе нейросетевого моделирования. Автореферат диссертации на соискание ученой степени канд. мед. наук. Воронеж, 2001. 19 с.

53. Полевой Н.Ю. Методика построения набора входных параметров для нейросетевых моделей в области медицины // Интеллектуальные информационные системы: тр. Всеросс. конф. Ч. 2. Воронеж: ВГТУ, 1999. С. 2122.

54. Рамм А.Г. Многомерные задачи рассеяния: Пер. с англ. М.: Мир, 1994.-494 с.

55. Розенблат Ф. Аналитические методы изучений нейронных сетей // Зарубежная электроника, 1965.-№ 5. С. 40-50.

56. Розенблат Ф. Принципы нейродинамики. М.:Мир, 1965. - 302 с.

57. Романов А. Г. Обратные задачи математической физики. М.: Наука, 1984, 368 с.

58. Таненбаум Э., Ван Стеен М. Распределенные системы. Принципы и парадигмы. СПб.: Питер, 2003. - 877 с.

59. Технологии создания распределенных систем. Для профессионалов. / Цимбал А.А., Аншина МЛ. СПб.: Питер, 2003. - 576 с.

60. Тихонов А.Н. Арсенин В.Я. Методы решения некорректных задач.-М.: Наука, 1986.-312 с.

61. Тихонов А.Н. Самарский А.А. Уравнения математической физики.-М.: Наука, 1983.- 735 с.

62. Тихонов А.Н., Гончарский А.В., Степанов В.В., Ягола А.Г. Численные методы решения некорректных задач.- М.: Наука, 1990,226 с.

63. Треногин В.А Функциональный анализ. М.: Наука. Главная редакция физико-математической литературы, 1980. - 494 с.

64. Уоссермен Ф. Нейрокомпьютерная техника. М.: Мир, 1992. - 184с.

65. Филюшин Ю.И. Концепция и принципы построения интеллектуальных сетей связи. -М.: ЦАТИ "Информсвязь", 1995.

66. Хехт-Нильсен Р. Нейрокомпьютинг: история, состояние, перспективы // Открытые системы. 1998. - N4-5, - с. 11-19.

67. Эндрюс Г.Р. Основы многопоточного, параллельного и распределенного программирования. : Пер. с англ. М.: Издательский дом "Вильяме", 2003.-512 с.

68. Baxt W.G. Use of an artificial neural network for the diagnosis of myocardial infarction // Ann. Intern. Med. 1991. - V. 115, № 11. pp. 843-848.

69. Brodksy M.A., Allen B.J., Capparelli E.V. et. al. Factors determining maintenance of sinus rhythm after chronical atrial fibrillation with left atrial dilatation//Amer. J. Cardiol.- 1989.-Vol. 63.-No. 15.-P. 1065-1068.

70. Campbell C. Constructive Learning Techniques for Design Neural Networks Systems // Neurocomputing. 1997. - V. 10. - P. 178-231.

71. Cybenco G. Approximation by superposition of a sigmoidal function // Math. Control Systems and Signals. 1989. - N2. - P. 303-314

72. Duch W., Korczak J.Optimisation and global minimization methods suitable for neural networks // Neural Networks. 1998. - V.10. - P. 203-244.

73. Emmerich W. Engineering distributed objects. New York: John Wiley,2000.

74. Foster I., Kesselman C. Computation grids: the future of high performance distributed computing. San Mateo, С A: Morgan Kaufman, 1998.

75. Fujiki A., Joshida Sh., Sasayama Sh. Paroxysmal atrial fibrillation with and without primary atrial vulnerability // J. Electrocardiol. 1989. - Vol. 22. -No 2.-P. 153-158.

76. Hoher M., Kestler H.A., Palm G. et. al. Neural network based QRS classification of the signal averaged electrocardiogram // Eur. Heart J. 1994. - V. 15 - Abstr. Supplement ХИ-th World Congress Cardiology (734). - P. 114.

77. Jansen M., Klaver E., Verkaik P., Van Steen M. and Tanenbaum A. Encapsulating distribution in remote objects. Information and software technology, vol. 43, no. 6, 2001. pp. 353-363.

78. Kalinin A., Podvalny S., Chernikova I. The distributed environment of manufacturing control // Proceedings of the 13-th international conference on flexible automation and intelligent manufacturing. Tampa, Florida. USA, 2003. P. 177-181.

79. Kalinin A.V., Podvalny S.L. and Balashov A.A., Chernikova I.A. The neural nets with distributed architecture // Proceedings of the 12-th international conference on flexible automation and intelligent manufacturing. Dresden. Germany, 2002. P. 522-527.

80. Liang Y.C., Feng D.P., Lee H.P., Lim S.P., Lee K.H. Successive approximation training algorithm for feed forward neural networks // Neurocomput-ing, 2002. V. 42. - P. 311-322.

81. Loshin P. Big book of lightweight directory access protocol (LDAP) RFCs. San Mateo, CA: Morgan Kaufman, 2000.

82. Perrone P., Venkata R., Chaganti Building Enterprise Systems with J2EE. Indianapolis, 2000

83. Poli R., Cagnoni S., Livi R. et al. A neural network expert system for diagnosing and treating hypertension // Computer. 1991. - № 3, pp 64-71.

84. Rumelhart D. E., Hinton G. E., Williams R. J. 1986. Learning internal reprentations by error propagation. In Parallel distributed processing, vol. 1, pp. 318-62. Cambridge, MA: MIT Press.

85. S. Podvalniy, A. Kalinin, I. Chernikova Multivariate distribution generation // ICEIS: proceedings of the third international conference on enterprise information systems, Setubal. Portugal, 2001. P. 518-521.

86. S. Podvalniy, V. Burkovskiy, V. Nazarov, A. Kalinin. Instrument of neural net control of complex chemical-technological processes // ICPR, Praga. 2001.

87. Siegel J. Corba 3: Fundamental and Programming. New York, 2000

88. Simon N. Constructive Supervised Learning Algorithms for Artificial Neural Networks // Neural Networks, 1993. V.2. - P. 343-395.

89. Snir M., Otto S., Huss-Lederman S., Walker D. and Dongarra J. MPI: the complete reference the MPI core. Cambridge, MA: MIT Press, 1998.

90. Sun Microsystems: Java Remote Method Invocation Specification, JDK 1.2. Sun Microsystems, Mountain View, Calif., 1998.

91. Sun Microsystems: JavaSpaces service specification, version 1.1. Sun Microsystems, Palo Alto, CA, 2000.

92. Sun Microsystems: Jini architecture specification, version 1.1. Palo Alto, CA, 2000.

93. Sundarajan N. and Saratchandran P. Parallel architectures for artifitial neural networks Computer Society, 1998.

94. Van Steen M., Homburg P. and Tanenbaum A. Globe: a wide-area distributed system. IEEE Concurrency, vol. 7, no. 1, pp. 70-78,1999.

95. Von Eicken Т., Culler D., Goldstein S. and Schauser K. Active messages: a mechanism for integrated communication and computation. Proc. 19th Int'l symp. on computer architecture, 1992. pp. 256-266.

96. White H. Learning in artificial neural networks: A statistical perspective // Neural Computation. 1989. - V.l, N4, - P. 425-464.

97. Wooldridge M. Agent-based computing. Interoperable Communication Networks, vol. 1, no.l, pp. 71-97, 1998.

98. Y. LeCun, L. Bottou, G. Orr, and K. Muller, "Efficient BackProp," in Neural Networks: Tricks of the trade, (G. Orr and Muller K., eds.), 1998.44 pages.

99. Yasinaga M., Yoshida E. Optimization of parallel BP implementation: training speed of 1.056 MCUPS on the massively parallel computer CP-PACS, IJCNN-98 Alaska, May, 1998.