Модели информационных процессов и структур для повышения эффективности нейросетевого симулятора тема диссертации и автореферата по ВАК РФ 05.13.17, кандидат наук Крючин, Олег Владимирович

• Крючин, Олег Владимирович
• кандидат наук
• 2013

Оглавление диссертации кандидат наук Крючин, Олег Владимирович

ОГЛАВЛЕНИЕ

Перечень условных обозначений и определений

Введение

1 Состояние проблемы разработки нейросетевых симулято-ров и их информационных моделей

1.1 Модели искусственных нейронных сетей

1.1.1 Биологический прототип

1.1.2 Модели искусственного нейрона

1.1.3 Информационные процессы обучения искусственных нейронных сетей

1.1.4 Анализ нейросетевых структур и информационных процессов их выбора

1.2 Анализ методов и подходов к построению нейросетевых си-муляторов

1.2.1 Нейросимуляторы для персональных компьютеров

1.2.2 Повышение эффективности построения нейросетевых симуляторов за счет использования параллельных вычислений на кластерных системах

1.3 Выводы по главе 1 и постановка задачи диссертационного исследования

2 Модель информационных процессов обучения и выбора структур нейросетевого симулятора

2.1 Построение модели информационных процессов обучения

2.2 Повышение эффективности информационного процесса обучения на уровне «вычисления значения целевой функции»

2.3 Повышение эффективности информационного процесса обучения на уровне «подбора весовых коэффициентов»

2.3.1 Метод полного сканирования

2.3.2 Метод Монте-Карло

2.3.3 Градиентные методы

2.4 Повышение эффективности информационного процесса обучения на уровне «подбора активационных функций»

2.4.1 Компоненты нейрона

2.4.2 Подбор активационных функций

2.4.3 Подбор активационных функций всех нейронов

2.4.4 Повышение эффективности информационного процесса обучения

2.5 Повышение эффективности информационного процесса выбора структуры сети

2.5.1 Определение минимальной структуры

2.5.2 Информационный процесс выбора структуры многослойного персептрона

2.5.3 Информационный процесс подбора структуры сети каскадной корреляции Фальмана и сети Вольтерри

2.5.4 Повышение эффективности информационных процессов выбора структуры

2.6 Аналитические модели, связывающие эффективность построения ИНС-модели с характеристиками ИР

2.6.1 Вычисление выходных значений сети

2.6.2 Уровень «вычисления значения целевой функции»

2.6.3 Уровень «подбора весовых коэффициентов»

2.6.4 Уровень «подбора активационных функций нейронов»

2.6.5 Уровень «подбора структуры сети»

2.7 Подбор оптимального числа ИР-элементов

2.7.1 Оценка эффективности по временным затратам

2.7.2 Целочисленная задача подбора оптимального числа ИР-элементов

Выводы по главе 2

3 Вычислительные эксперименты

3.1 Прогнозирование котировок валютных пар

3.1.1 Описание задачи

3.1.2 Вычислительные эксперименты

3.2 Моделирование биоценоза биологической системы

3.2.1 Описание задачи

3.2.2 Вычислительные эксперименты

3.3 Прогнозирование температуры воздуха в городе Тамбове

3.3.1 Описание задачи

3.3.2 Вычислительный эксперимент

3.4 Определение зависимости профессиональной предрасположенности школьников от их личностных качеств

3.4.1 Описание задачи

3.4.2 Вычислительный эксперимент

3.5 Выводы по главе 3

4 Техническая реализация нейросетевого симулятора

4.1 Нейросетевой комплекс

4.1.1 Архитектура

4.1.2 Протокол передачи данных

4.1.3 Язык конфигурации

4.1.4 Универсальный нейросетевой симулятор

4.1.5 Сервер симуляторов

4.1.6 Компонент сбора статистической информации

4.1.7 Клиентская программа

4.2 Библиотеки и их описание

4.2.1 Средство межпроцессорной передачи данных на основе MPI

4.2.2 Реализация высокоуровневой надстройки над функциями MPI

4.3 Выводы по главе 4

Заключение

Список использованных источников

Приложения

П.1. Исходный код

Модуль ядра обучения ИНС brain::ateacher

Модуль подбора весовых коэффициентов brain::wteacher

Модуль подбора активационных функций brain::nteacher

Модуль подбора структуры ИНС brain::steadier

Модуль ядра параллельных алгоритмов parallel::ateacher

Модуль параллельного подбора весовых коэффициентов

parallel: :wteacher

Модуль параллельного подбора структуры ИНС и активаци-

онных функций parallel: :teacher

Модуль управления обучением и расчетом management

Модуль симулятора simulator

П.2. Свидетельства государственной регистрации

П.2. Свидетельства государственной регистрации

Перечень условных обозначений и определений

ИНС - это адекватная компьютерная модель биологической нейронной сети, отличающаяся от аналога в количественном отношении, но использующая базовые принципы устройства прототипа. В математическом плане ИНС - это набор определенных процедур, хорошо известных в различных областях математики (теория графов, численные методы, методы аппроксимации, методы нелинейного программирования и др.).

Информационный процесс обучения ИНС - выполнение набора действий, направленных на построение модели, основанной на нейронных сетях за конечное время.

Кластерная вычислительная система (вычислительный кластер) - это группа компьютеров, объединённых высокоскоростными каналами связи и представляющая с точки зрения пользователя единый аппаратный ресурс.

Нейросетевой симулятор (НСС) - это универсальная программа построения ИНС-моделей.

Нейросетевой комплекс - это комплекс, предназначенный для построения ИНС-моделей заданных объектов с использованием параллельных вычислений на кластерных вычислительных системах. В состав такого комплекса входят нейросетевой симулятор, реализующий параллельные алгоритмы построения ИНС-модели, сервер симуляторов и клиентская программа, предназначенная для взаимодействия с пользователем.

Введение диссертации (часть автореферата) на тему «Модели информационных процессов и структур для повышения эффективности нейросетевого симулятора»

Введение

Актуальность. На современном этапе развития общества, которое характеризуется возрастающей сложностью информационных процессов с одной стороны и увеличением их количества с другой, особую значимость приобретают симуляторы, которые нашли широкое применение в различных областях науки и техники: системах искусственного интеллекта и распознавания образов, представления знаний, математического моделирования в различных сферах, кибернетике. В основу построения симуляторов были положены методы математического программирования, системного анализа, теории экстремальных задач, при этом математические модели, формализующие предметную область, строились на основе применения детерминированного или стохастического подходов с соответствующими системами допущений, что существенно ограничивало область эффективного применения.

Качественный скачок в области построения симуляторов произошел после введения в рассмотрения искусственных нейронных сетей (ИНС), впервые предложенных МакКалоком У. и Питсом У.

В настоящее время можно выделить ряд зарубежных (Хайкин С., Осовский С.) и российских ученых (Круглов В.В., Борисов В.В., Голушкин А.И.), которые внесли существенный вклад как в развитие теоретических методов построения и настройки нейросетевых структур, так и в расширение области их применения в различных сферах деятельности, включая и построение симуляторов. В связи с этим симуляторы, построенные на основе применения нейросетевых структур, целесообразно назвать неросе-

тевыми симуляторами (HCC).

Однако, при построении и настройке НСС имеет место существенный недостаток, сводящий на нет все приемущества, обеспечиваемые применением нейросетевых структур. Суть данного недостатка заключается в сложности организации соответствующих информационных процессов, обуславливаемых количеством необходимых вычислений.

В связи с этим особое значение приобретают вопросы, связанные с повышением эффективности организации информационных процессов и, как следствие, информационных структур, положенных в основу построения НСС.

Одним из наиболее перспективных подходов при решении данных вопросов является повышение эффективности информационных процессов, связанных с обучением НСС и выбором его структуры.

В настоящее время развитию данного подхода не было уделено должного внимания. В связи с этим тема научного исследования, направленная на повышение эффективности информационных процессов обучения и выбора структур при построении НСС, является актуальной.

Целью данной работы является повышение эффективности функционирования нейросетевого симулятора за счет построеных моделей параллельных информационных процессов обучения и выбора структур. Для достижения поставленной цели необходимо решить следующие задачи:

• построить информационную модель выбора структур нейросетевого симулятора и параллельных процессов обучения;

• построить аналитическую модель расчета эффективности информационных процессов обучения и выбора структур НСС;

• поставить и решить оптимизационную задачу, направленную на определение оптимального числа элементов информационных ресурсов (ИР-элементов), используемых для обучения НСС;

• провести имитационное исследование, подтверждающее адекватность разработанных моделей информационных процессов обучения и выбора структур.

Область исследования. Работа соответствует паспорту специальности 05.13.17 «Теоретические основы информатики», в частности пункту 2.1 «исследование информационных структур, разработка и анализ моделей информационных процессов и структур».

Объект исследования - нейросетевые симуляторы.

Предмет исследования - модели выбора структур и информационных процессов обучения и повышения эффективности нейросетевого си-мулятора.

Научная новизна:

• построена модель информационных процессов обучения и выбора структур нейросетевого симулятора, отличающаяся использованием новых способов реализации информационных процессов обучения НСС, адаптированных для использования большого числа информационных ресурсов;

• построены аналитические модели расчета эффективности, отличающиеся наличием выявленной связи, между эффективностью (скоростью) информационных процессов обучения и характеристиками используемых информационных ресурсов (временными затратами на передачу данных между ИР-элементами и т.д.);

• поставлена и решена оптимизационная задача, направленная на определение оптимального числа ИР-элементов, используемых для обучения НСС;

Практическая значимость работы состоит в следующем.

• разработано программное обеспечение, реализующее параллельные

информационные процессы обучения и выбора структуры НСС, повышающие эффективность построения ИНС-моделей;

• разработана программная реализация нейросетевого комплекса для кластерных вычислительных систем, включающая НСС, сервер си-муляторов и компонент сбора статистической информации, позволяющая эффективно использовать ресурсы кластерной вычислительной системы;

• разработана библиотека, реализующая язык конфигурации ИНС-моделей, базирующийся на XML и позволяющий эффективно формировать задания для обучения НСС;

• разработана высокоуровневая библиотека межпроцессорной передачи данных, базирущаяся на MPI и позволяющая эффективно использовать ИР-элементы.

s

Реализация и внедрение результатов работы. Результаты работы могут найти широкое применение при решении задач, требующих существенно снизить временные затраты на построение моделей. К таким задачам можно отнести моделирование объектов из различных сфер, прогнозирование временных рядов, распознавание образов и т.д.

Данная работа выполнена в соответствии с тематическим планом ТГУ им. Г.Р. Державина по теме «Разработка параллельных алгоритмов математического моделирования на основе нейросетевых методов и символьных вычислений» (регистрационный номер НИР 1.12.09 2009-2010 гг) и при поддержке программы Президента Российской Федерации (приказ Министерства от 03.08.2010 г. №832). Также эта работа поддержана фондом содействия развитию малых форм предприятий в научно-технической сфере «У.М.Н.И.К.» (проект «Программный комплекс для моделирования объектов социально-экономического назначения с использованием искусственных нейронных сетей на кластерных вычислительных системах») и выполнена в рамках совместного европейского проекта TEMPUS TACIS

«Join European Project on System Modernisation of University Management (SMOOTH, UM_JEP 24217-2003)».

Результаты работы внедрены в учебный процесс Тамбовского государственного университета им. Г.Р. Державина, производственный процесс компаний ООО «КреоВектор», ООО «КомпМарт» (г. Тамбов) и ООО «Служба Первая Компьютерная» (г. Котовск).

Апробация работы. Основные результаты диссертации обсуждались на конференциях и научных семинарах: XV международной конференции по нейрокибернетике «Интерфейс "Мозг-Компьютер"» (Ростов-на-дону, 2008), VIII-ой Всероссийской научно-практической конференции с международным участием «Информационные технологии и математическое моделирование (ИТММ-2009)» (Томск, 2009), II Всероссийской научно-практической конференция «Актуальные вопросы современной науки, техники и технологий» (Москва, 2010), VII Всероссийской научной конференции молодых ученых, аспирантов и студентов «Информационные технологии, системный анализ и управление» (Таганрог, 2009), Международном IX симпозиуме «Интеллектуальные системы» (Владимир 2010), II Всероссийской межвузовской научной конференции «Зворыкинские чтения» (Муром, 2010) и XV научной конференции преподавателей и аспирантов ТГУ им. Г.Р. Державина «Державинские чтения» (Тамбов 2010).

Публикации. По результатам диссертации опубликовано 18 печатных работ, из них 11 статей (8 статей в издании из Перечня ВАК для публикации научных результатов диссертаций на соискание ученой степени доктора и кандидата наук), 6 тезисов докладов в материалах Международных, Всероссийских и внутривузовских конференций, 4 свидетельства государственной регистрации программы для ЭВМ.

Основное содержание работы. Диссертация включает в себя перечень условных обозначений, введение, 4 главы, заключение, список используемых источников из 93 наименований и приложения. Работа изложена на 136 страницах, содержит 42 рисунка и 11 таблиц.

Во введении показана актуальность работы, сформулированы цели и основные задачи исследования, представлены основные научные результаты, приведено краткое содержание по главам.

В первой главе приведен анализ методов и подходов к построению НСС и рассмотрены существующие на данный момент. Проведен анализ нейросетевых структур, наиболее подходящих для использования в симу-ляторе, в результате чего были выбраны три - многослойный персептрон, сеть каскадной корреляции Фальмана и сеть Вольтерри. В результате анализа литературных источников сделан вывод, что на данный момент не существует симуляторов, использующих технологии ИНС и обеспечивающих высокую эффективность информационных процессов обучения, и, как следствие, снижается эффективность выбора структур НСС. Это позволило сформулировать цели и задачи диссертационного исследования.

Во второй главе представлена модель информационных процессов обучения и выбора структур ННС.

В третьей главе приведена аналитическая модель расчета эффективности информационных процессов обучения и выбора структур НСС.

В четвертой главе представлены библиотеки, предлагаемые для разработки нейросетевого комплекса, способного работать на кластерных вычислительных системах. Описаны библиотеки, разработанные в ходе диссертационного исследования.

В заключении приводятся основные результаты работы.

В списке использованных источников приведены основные источники по теме диссертации, а так-же работы самого автора.

В приложении приводятся листинги программ, свидетельства регистрации программ и акты внедрения.

1 Состояние проблемы разработки нейросетевых симуляторов и их информационных моделей

1.1 Модели искусственных нейронных сетей

Существует множество ИНС-моделей и соответствующих им моделей нейронов, в данной главе рассмотрим варианты этих моделей с выявлением области их применения.

1.1.1 Биологический прототип

Поскольку теория ИНС основана на моделировании процессов, происходящих в естественных нервных системах, то для их построения необходимы знания о биологическом прототипе. Центральная нервная система человека, координирующая деятельность всех органов и систем организма, обеспечивает его эффективное приспособление к изменениям окружающей среды и формирует целенаправленное поведение. Все эти сложнейшие и жизненно важные задачи решаются с помощью нервных клеток - нейронов, специализированных на восприятии, обработке, хранении и передаче информации и объединенных в специфически организованные нейронные сети, составляющие различные функциональные системы мозга [31, 42, 45].

Объединение нервных клеток в нейронные сети осуществляется с помощью синаптических соединений, обеспечивающих переход сигналов от одного нейрона к другому. В основе синаптических соединений лежат механизмы, обеспечивающие передачу сигналов от нейрона к нейрону через межклеточные соединения - синапсы [42].

Возбуждение и торможение в центральной нервной системе

При рассмотрении взаимодействия пары типичных биологических нейронов можно наблюдать, как переданные по синапсам входные сигналы подводятся к телу нейрона, где они суммируются, причем одни входы

Рисунок 1.1: Биологический нейрон.

стремятся возбудить нейрон, а другие - воспрепятствовать его возбуждению [33].

Возникновение возбужденного состояния в нейроне обусловлено неодинаковой электрической возбудимостью различных участков мембраны. В большинстве нейронов потенциал действия возникает в низкопороговой области (обычно это зона аксонного холмика), откуда он распространяется по аксону и на мембрану соседних участков клетки. Указанный способ возбуждения нейрона очень важен для его интегративной функции, т. е. способности суммировать влияния, поступающие на нейрон по разным си-наптическим путям.

Торможение - самостоятельный нервный процесс, вызываемый возбуждением и проявляющийся в подавлении другого возбуждения [42]. Си-наптическое торможение может вести к подавлению активности нейрона, имеющего тормозной синапс.

Таким образом, при эмуляции нейронных сетей необходимо создать

модель, объединяющую такие функциональные единицы, как нейрон и синапс. Наука, занимающаяся математическим моделированием биологических нейронных сетей получила название «нейроинформатика».

1.1.2 Модели искусственного нейрона

При моделировании искусственного нейрона необходимо учесть основные свойства нейрона биологического. Обобщенная схема искусственного нейрона, являющаяся моделью МакКаллока-Питса, представляет собой сумматор взвешенных входных сигналов и нелинейный вход формирования выходного сигнала. Свойства нелинейной функции определяют выбор алгоритма обучения.

Модель МакКаллока-Питса.

Как описано выше, модель искусственного нейрона, как самостоятельная единица, должна суммировать сигналы (£о, £ъ • • •> поступающие на него с соответствующими весовыми коэффициентами (гио, ъи1, ..., и>нх-1) и выполнять нелинейную функцию, формирующую выходной сигнал нейрона.

|о_Щ

§1 Щ

Рисунок 1.2: Модель нейрона МакКаллока-Питса.

Модель МакКаллока-Питса является одной из первых моделей искусственного нейрона. Схема модели представлена на рис. 1.2.

Для преобразования сигнала х используется пороговая функция

Г 1, X > 0;

/м Н ' ' (1-1)

Функция (1.1) называется функцией активации. Аргументом функции /(х) для каждого конкретного нейрона модели МакКаллока-Питса

выступает суммарный сигнал, вычисленный по формуле

х= (1>2)

г=0

где и){ - весовые коэффициенты межнейронных (синаптических) связей, ^ - входные сигналы, Л^ - количество входов нейрона.

Модель МакКалок-Питса с соответствующей стратегией обучения называется «простой персептрон» [58].

Сигмоидальный нейрон

Наиболее часто используемым нейроном является сигмоидальный, что обусловлено его определенной универсальностью. Нейрон сигмоидаль-ного типа имеет такую же структуру, что и модель МакКаллока-Питса, с тем отличием, что функция активации представлена сигмоидальной униполярной или биполярной функциями

т = г^

где с^ — параметр, характеризующий наклон графика функции активации, х - входной параметр, /(х) - значение выхода нейрона [33, 45].

Другой широко используемой активационной функцией является гиперболический тангенс. По форме она сходна с логистической функцией и часто используется биологами в качестве математической модели активации нервной клетки [31]

¡(х)=1апЪ (с/х). (1.4)

х

Рисунок 1.3: Сигмоидальная активационная функция (1.3) при С/ = 1.

1.1.3 Информационные процессы обучения искусственных нейронных сетей

Исследования в области интеллектуальных систем [4, 7] и ИНС в частности, проводимые различными авторами, позволили определить ряд конфигураций и способов организации информационных процессов обучения ИНС. Ниже .представлены некоторые из них.

Алгоритм обратного распространения ошибки

Простой персептрон является моделью МакКаллока-Питса с соответствующей стратегией обучения, которая заключается в выполнении следующих правил:

• при первоначально выбранных значениях весовых коэффициентов ю на вход нейрона подается обучающий вектор х и рассчитывается значение выходного сигнала у{.

• по результатам сравнения фактически полученного значения Уг с заданным значением д,{ уточняются значения весовых коэффициентов:

= + " Уг)х^, (1.5)

х

Рисунок 1.4: Функция гиперболического тангенса (1.4) при Cf = 1.

= Ц0) + (¿0 - ЗЛ))Х(У У = 0,^-1). (1.6)

• после завершения уточнения весовых коэффициентов представляют следующий набор входных данных £¿+1 и соответствующее им целевое (ожидаемое) значение

Многослойная ИНС, в отличие от немногослойной, состоит из нейронов, расположенных на разных уровнях [33].

Математический аппарат, определяющий стратегию обучения обратного распространения ошибки, заключается в определении значений всех весовых коэффициентов, таких, что для всех слоев сети при заданном входном векторе х можно получить значения выходного вектора у, которые с заданной точностью будут соответствовать ожидаемым.

Основу алгоритма составляет целевая функция, формулируемая в виде квадратичной суммы разностей между расчетными и ожидаемыми значениями выходных сигналов [33]. Для единичной обучающей выборки целевая функция имеет следующий вид:

р-1 1 р-1

¿о = - = 2 ^ - с1-7)

.7=0 .7=0

где х - вектор коэффициентов входных значений обучающей выборки, с^ - у-ое выходное значение обучающей выборки, уЗ - вектор коэффициентов значений весовых (синаптических) связей, у3 - ^'-ое выходное значение ИНС, Р - к-во выходов ИНС.

При увеличении количества выборок целевая функция вычисляется как сумма по всем выборкам ¿(0 = 1,2,..., АГ — 1)

м-1

с1-8)

г=0

^ ЛГ-1.Р-1 ^ n—1 р—1

5 = ^ Е - = ^ Е Е(^> ^ -

г=0 .7=0 г=0 .7=0

Основная идея метода обучения состоит в распространении сигналов ошибки от выходов сети к её входам, в направлении, обратном прямому распространению сигналов в обычном режиме работы. Для возможности применения этого метода активационные функции нейронов должны быть дифференцируемы [33, 45].

( ~Ук,г( 1 - Ук,г){^,3 ~ У к,г): к = 1;

Щ,г = < йк+1-1 , (/-1)\ (1-Ю)

~ук)1{ 1 - У к,г) Е {ик+1,зЩ,1,г ) ' к < ~ 1,

™к1э = ^кы + = и>кы] - 8ик+иУк,3. (1.11)

Здесь (II>г - выходное значение моделируемого объекта при использовании /-ой строки обучающей выборки, - выходное значение ^'-го нейрона, расположенного на к-ом слое, - значение весового коэффициента, соединяющего г-ый нейрон на к-ом слое и ^'-ый нейрон на (к + 1)-ом слое, Л^ - количество нейронов на £;-ом слое, я - коэффициент обучения (шаг).

Обратное распространение использует разновидность градиентного спуска, т.е. осуществляет спуск вниз по поверхности ошибки, непрерывно подстраивая веса в направлении к минимуму. Поверхность ошибки сложной сети сильно изрезана и содержит множество оврагов в пространстве

высокой размерности. Сеть может попасть в локальный минимум при наличии рядом более глубокого. Избежать это помогает коэффициент обучения й. Однако в этом случае проблему представляет определение величины шага. Если размер шага 5 очень мал, то сходимость слишком медленная, если же очень велик, то может возникнуть «паралич сети».

Градиентные алгоритмы

Если рассматривать обучение ИНС как минимизацию априори определенной целевой функции £, то можно воспользоваться алгоритмами, считающимися наиболее эффективными в теории оптимизации - градиентными. Эти методы связаны с разложением целевой функции в ряд Тейлора в ближайшей окрестности точки имеющегося решения ги. В случае целевой функции многих переменных такое представление связывается с окрестностью ранее определенной точки в направлении р{"ш). Подобное разложение описывается формулой следующего вида:

£(П = £(1-1) + уе('-1)доЮ) + \(р(^))тН{ъи{1))р(ъи^) + ..., (1.12)

где Уе = •••, ^ ~ это градиент, а симметричная квадратная

матрица

Н{ги) =

д2

£

дю0дю0 ' ' ' Зи>0дю^-г д2е д2е

IX) — 1 ^

является матрицей производных второго порядка, называемой гессианом. В выражении (1.12) р(ги) играет роль направляющего вектора, зависящего от значений ги. На практике чаще всего рассчитывают три первых члена

и \{р{гп^))т Н^^р^1^)), а последующие игнорируются [56, 68].

В процессе поиска минимального значения целевой функции направление поиска р(ъи) и шаг ¿Г подбираются таким образом, чтобы для каждой очередной точки й)^ = г^7-1) + ¿^Дг^7-1)) выполнялось условие

£{1) < £(/-1) Поиск минимума продолжается до тех пор, пока норма градиента не упадет ниже априори заданного значения допустимой погрешности либо пока не будет превышено максимальное время вычислений.

Универсальный оптимизационный алгоритм обучения ИНС можно представить в следующем виде:

1. Проверка текущего решения ги^. Если точка чЛ^ отвечает условиям остановки процесса - завершение вычислений. В противном случае -переход к пункту 2.

2. Определение вектора направления оптимизации р(ъи) для точки ъи^ (способы определения значения вектора описаны ниже).

3. Выбор величины шага ^ в направлении р{ги^) по формуле

41] = 3 = (0,^-1), (1.13)

где с8 - коэффициент изменения шага обучения.

4. Определение нового решения = + ^р(гпи соответствующих ему значений и а если потребуется, - то и

и возврат к пункту 1 [33].

Различные градиентные методы по разному вычисляют вектор направления : наиболее известный - метод наискорейшего спуска использует формулу

= -У£(/-1}. (1.14)

Иногда используется модифицированная формула:

„(1 =„('-')+ Д„Г>, ] = (5Ж=Т) (1.15)

от) '

где д - коэффициент момента, принимающий значение в интервале [0, 1].

Предложенный Фальманом алгоритм С^шскРгор использует формулу [52, 67]

,Мд.„И Л...С-1)

,0= (116) • < 'Л Ди.Г1» = о, 1 ]

где

(i)

q\ = mm

v г i

Максимальное значение коэффициента момента qMAX = 1-75 [51].

Другой эвристический алгоритм - разработанный Ридмиллером и Брауном алгоритм RPROP (Resilient back PROPagation) [63, 70] - вычисляет элементы вектора коэффициентов обучения s по следующей формуле:

где qмAX■,(lMIN ~~ максимальное и минимальное значения коэффициента обучения (в алгоритме RPROP qмAX = 50, qмIN = Ю~6 [70]), qь - константы (да = 1.2, qь = 0.5) [64]. Особенностью данного метода является то, что значение градиента не учитывается и вектор направления р(ги) определяется исключительно знаком (-1, 0, 1) [22].

Другие методы обучения

Среди других алгоритмов обучения ИНС можно отметить метод Монте-Карло и алгоритм полного сканирования. Первый из них, как следует из названия, основан на генерации случайных чисел. Изначально весовые коэффициенты га^ инициализируются случайными значениями из заданного диапазона [¿о, ¿1], а затем происходит их уточнение по следующей формуле:

где г - вектор случайных чисел из диапазона [¿о, 1\]- Данный метод подвержен застреванию в локальных минимумах [34, 44].

Что касается алгоритма полного сканирования, то он заключается в последовательном переборе всех возможных комбинаций значений весовых

(1.18)

коэффициентов. Его особенностью является надежность (он не подвержен застреванию в локальных минимумах, оврагах и т.д.) и невысокая скорость, что обуславливает крайне редкую используемость этого метода [43, 44].

1.1.4 Анализ нейросетевых структур и информационных процессов их выбора

Помимо наиболее распространенной структуры ИНС - многослойного персептрона (рис. 1.5), существует множество других конфигураций, из которых были выбраны две: сеть каскадной корреляции Фальмана и сеть Вольтерри.

Рисунок 1.5: Двухслойный нерсеитрон.

Сеть каскадной корреляции Фальмана

Сеть каскадной корреляции Фальмана - это специализированная многослойная нейронная конструкция, в которой подбор структуры сети происходит параллельно с ее обучением путем добавления на каждом этапе обучения одного скрытого нейрона. Таким образом, определение структуры сети и реализацию алгоритма обучения можно трактовать как подбор оптимальной архитектуры.

Архитектура сети каскадной корреляции представляет собой объединение нейронов взвешенными связями в виде развивающегося каскада (рис. 1.6). Каждый очередной добавляемый нейрон подключается к входным узлам и ко всем уже существующим скрытым нейронам сети. Выходы всех скрытых нейронов и входные узлы сети напрямую подключаются также и к выходным нейронам [53, 54].

Каждый нейрон старается так адаптировать веса своих связей, чтобы быть востребованным для выполняемого сетью отображения данных. На начальном этапе формируется сеть, состоящая только из входных узлов и выходных нейронов. Количество входов и выходов зависит только от специфики решаемой задачи и не подлежит модификации. Каждый вход соединен со всеми выходами посредством связей, веса которых уточняются в процессе обучения. Выходные нейроны могут быть как линейными, так и нелинейными, с практически произвольной активационной функцией. Скрытые нейроны добавляются в сеть по одному. В момент подключения нейрона к ранее созданной структуре сети фиксируются веса его входных связей, которые в дальнейшем не подлежат модификации, тогда как веса его связей с выходными нейронами постоянно уточняются. Каждый добавляемый скрытый нейрон образует отдельный одноэлементный слой.

Процесс обучения сети начинается до ввода в нее скрытых нейронов. Непосредственное соединение входов и выходов тренируется таким образом, чтобы минимизировать значение целевой функции.

Если результат функционирования сети считается удовлетворительным с точки зрения ожидаемой или допустимой погрешности, процесс обучения и формирования структуры сети завершается. В противном случае следует расширить структуру сети добавлением одного скрытого нейрона. Для этого применяется специальная процедура, при выполнении которой вначале формируются и фиксируются входные веса нового нейрона, после чего он вводится в существующую сетевую структуру и его выход подклю-

чается ко всем выходным нейронам посредством связей с соответствующими весами. После подключения очередного скрытого нейрона происходит уточнение (с использованием выше описанной процедуры) весов выходных нейронов. Если полученный результат признается удовлетворительным, обучение завершается. В противном случае процедура включения в сеть очередного скрытого нейрона повторяется вплоть до достижения желаемого результата обучения [33, 59].

Список литературы диссертационного исследования кандидат наук Крючин, Олег Владимирович, 2013 год

СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ

1 Антонов, A.C. Введение в параллельные вычисления: метод, пособие. / A.C. Антонов - М.: МГУ им. М.В. Ломоносова. Науч.-исслед. центр, 2009. - 69 с.

2 Абакумов, А.И. Методология математического моделирования природных и экономических систем / А.И. Абакумов // Тр. Дальрыбв-туза (ТУ), 2006, Вып. 7. - С. 11-16.

3 Абрамов, С.М. Т-Система - среда программирования с поддержкой автоматического динамического распараллеливания программ. Пример реализации алгоритма построения изображений методом трассировки лучей / С.М. Абрамов, А.И. Адамович, М.Р. Коваленко // Программирование, 1999, № 25, Т. 25 (2). - С. 100-107.

4 Андрейчиков, A.B. Интеллектуальные информационные системы: учеб. / A.B. Андрейчиков. - М.: Финансы и статистика, 2006. - 424 с.

5 Бланшет, Ж. QT4: программирование GUI на С++ / Ж. Бланшет, М. Саммерфильд. - М.: Кудиц-пресс, 2007. - 575 с.

6 Букатов, A.A. Программирование многопроцессорных вычислительных систем / A.A. Букатов, В.Н. Дацюк, А.И. Жегуло - Ростов-н/Д.: Изд-во ООО ЦВВР, 2011. - 208 с.

7 Вагин, В.Н. Достоверный и правдоподобный вывод в интеллектуальных системах / В.Н. Вагин; под ред. Д.А. Поспелова. - М.: Физматлит, 2004. - 704 с.

8 Вапник, В.Н. Теория распознавания образов: статистические проблемы обучения / В.Н. Вапник, А.Я. Червоненкис. - М.: Наука, 1974. -416 с.

9 Воеводин В. В., Воеводин Вл. В. Параллельные вычисления. - СПб: БХВ-Петербург, 2002. - 608 с.

10 Горбань, А.Н. Нейронные сети на персональном компьютере / А.Н.Горбань, Д.А. Россиев. - Новосибирск: Наука. Сибир. отд-ние, 2006. - 276 с.

11 Когаловский, М.Р. Энциклопедия технологии баз данных / М.Р. Ко-галовский. - М: Финансы и статистика, 2008. - 800 с.

12 Козадаев, A.C. Предварительная оценка качества обучающей выборки для искусственных нейронных сетей в задачах прогнозирования временных рядов / A.C. Козадаев // Вестн. Тамб. ун-та. Сер. Естеств. и техн. науки. 2008. - Т. 13, Вып. 1 - С. 99-100.

13 Козадаев, A.C. Прогнозирование временных рядов с помощью аппарата искусственных нейронных сетей / A.C. Козадаев // Инновационные технологии обучения: проблемы и перспективы: сб. науч. тр. Всерос. науч.-метод, конф., 29-30 марта 2008 г. - Липецк, 2008. - С. 120-123.

14 Колмогоров, А.Н. Элементы теории функций и функционального анализа / А.Н. Колмогоров, Фомин C.B. - М.: Физматлит, 2004. - 572 с.

15 Крючин, О.В. Сравнение эффективности последовательных и параллельных алгоритмов обучения искусственных нейронных сетей на кластерных вычислительных системах / О.В. Крючин, A.A. Аразмасцев // Вестн. Тамб. ун-та. Сер. Естеств. и техн. науки. 2010. - Т. 15, Вып. 6 - С. 1872-1889.

16 Крючин, О.В. Искусственные нейронные сети и кластерные системы. Реализация нейросетевого симулятора // Вестн. Тамб. ун-та. Сер. Естеств. и техн. науки. 2010. - Т. 15, Вып. 1. - С.306-311.

17 Крючин, О.В. Использование кластерных систем для обучения искусственных нейронных сетей при применении параллельного вычисле-

ния значения невязки / О.В. Крючин // Наука и образование в развитии промышленной, социальной и экономической сфер регионов России [Электронный ресурс]: II Всерос. науч. Зворыкинские чтения: сб. тез. докл. II Всерос. межвуз. науч. конф., Муром, 5 февраля 2010 г. -Муром: Изд.- полиграф, центр МИ ВлГУ, 2010. - 802 с. - 1 электрон, опт. диск (CD-ROM).

18 Крючин, О.В. Использование технологии искусственных нейронных сетей для прогнозирования временных рядов на примере валютных пар / О.В. Крючин // Вестн. Тамб. ун-та. Сер. Естеств. и техн. науки. 2010. - Т. 15, Вып. 1. - С. 312.

19 Крючин, О.В. Параллельные алгоритмы обучения искусственных нейронных сетей и их применение для прогнозирования численности популяции креветки в Индийском океане / О.В. Крючин, A.C. Козадаев, A.A. Арзамасцев // Вестн. Тамб. ун-та. Сер. Естеств. и техн. науки. 2010. - Т. 15, Вып. 5. - С. 1465-1469.

20 Крючин, О.В. Прогнозирование температуры в городе Тамбове при помощи аппарата искусственных нейронных сетей с использованием кластерных систем / О.В. Крючин, A.C. Козадаев // Интеллектуальные системы: тр. IX междунар. симп. / под ред. К.А. Пупкова. - М., 2010 - С. 620-624.

21 Крючин, О.В. Нейросетевой симулятор с автоматическим подбором активационных функций / О.В. Крючин // М.: Информационные технологии. - 2010. - №7 - С. 47-52.

22 Крючин, О.В. Разработка параллельных эвристических алгоритмов подбора весовых коэффициентов искусственной нейронной сети / О.В. Крючин // Информатика и ее применение. - 2010. - Т. 4, Вып. 2. - С. 53-56.

23 Крючин, О.В. Параллельные алгоритмы обучения искусственных нейронных сетей / О.В. Крючин // Информационные технологии и мате-

матическое моделирование (ИТММ-2009) : матер. VIII Всерос. науч,-практ. конф. с междунар. участием, 12-13 ноября 2009 года. - Томск:, 2009. - Ч. 2. - С. 241-244.

24 Крючин, О.В.Библиотека распараллеливания / О.В. Крючин, А.Н. Королев // Вестн. Тамб. ун-та. Сер. Естеств. и техн. науки. 2009. - Т. 14, Вып. 2. - С. 465-467.

25 Крючин, О.В. Параллельные алгоритмы обучения искусственных нейронных сетей / О.В. Крючин // Матер. XV междун. конф. по нейро-кибернетике. Т. 2. Симпозиум «Интерфейс "Мозг-Компьютер"», 3-й Симпозиум по Нейроинформатике и Нейрокомпьютерам. - Ростов-н/Д. 2009. - С. 93-97.

26 Крючин, О.В. Параллельные алгоритмы обучения искусственных нейронных сетей с использованием градиентных методов / О.В. Крючин // Актуальные вопросы современной науки, техники и технологий: матер. II Всерос. науч.-практ. (заоч.) конф. - М: 2010. - С. 81-86.

27 Кузнецов, С.П. Динамический хаос / С.П. Кузнецов М.: Физмалит, 2000. - 294 с.

28 Ленди, М. Borland JBuilder. Руководство разработчика: пер с англ. / М. Ленди, С. Сиддикви, Д. Свишер. - М.: Издат. дом «Вильяме», 2004. - 864 с.

29 Личностные качества, профессиональная предрасположенность и социальная активность школьников старших классов / A.A. Арзамасцев [и др.] - Тамбов: ТГУ им. Г.Р. Державина, 2004. - 103 с.

30 Наварро, Э. XHTML: учеб. курс / Э. Наварро; пер. с англ. И. Сини-цына- СПб. Литер, 2001. - 336 е.: ил. - Пер. изд.: XHTML by Example / Ann Navarro.

31 Нейроинформатика / А.Н.Горбань [и др.]. - Новосибирск: Наука. Си-бир. предприятие РАН, 1998. - 296 с.

32 Нейросетевое моделирование социального объекта с использованием кластерных систем / А.А. Арзамасцев [и др.] // Вестн. Тамб. Ун-та. Сер. Естеств. и техн. науки. 2010. - Т. 15, Вып. 5 - С. 1460-1464.

33 Осовский, С. Нейронные сети для обработки информации / С.Осовский; пер. с пол. И.Д. Рудинского. - М.: Финансы и статистика, 2002. - 344 с.

34 Реализация проекта Tempus Tacis «System Modernisation of University Management» в Тамбовском государственном университете им. Г.Р. Державина / А.А. Арзамасцев [и др.] // Вестн. Тамб. ун-та. Сер. Естеств. и техн. науки. 2006. - Т. 11, Вып. 5 - С. 619-645.

35 Рочкинд, М.Д. Программирование для UNIX. / М.Д. Рочкинд; пер. с англ. под общ. ред. В.Г. Вшивцева. - СПб.: БХВ-Петербург, 2005. -Пер. изд.: Advanced Unix Programming /M.J. Rochkind.

36 Секунов, H. Программирование на С++ в Linux / H. Секунов. - СПб.: БХВ-Петербург, 2004. - 368 с.

37 С++, сб. рецептов / Д.Р. Стефенс [и др.]; пер. с англ. О. Босис, В. Казаченко - М.: Кудиц-Пресс, 2007. - 624 с.

38 Стивене, P. UNIX. Профессиональное программирование / Р. Стивене, С. Раго; пер. с англ. А. Киселева - СПб.: Символ-Плюс, 2007. - 1040 с.

39 Стивене, У. UNIX: взаимодействие процессов / У. Стивене; пер. с англ. Д. Солнышков - СПб.: Питер, 2003. - 576 с.

Таненбаум Э., Мартин ван Стеен. Распределенные системы. Принципы и парадигмы // Санкт-Петербург: Питер, 2003. - 877 с.

40 Т-Система с открытой архитектурой / С.М. Абрамов [и др.] // Суперкомпьютерные системы и их применение. SSA'2004: тр. междун. научн. конф. - Минск, 2004 - С. 18-22.

41 Тютюнов, Ю.В. Модель динамики численности судака в Азовском море / Ю.В. Тютюнов, Л.И. Титова, И.Н. Сенина // Модели иерархического управления устойчивым развитием эколого-экономических систем / под. ред. Г.А. Угольницкого - М.: Вузовская книга, 2005.

42 Физиология человека / под ред. Г.И. Косицкого. - 3-е изд., перераб. и доп. - М.: Медицина, 1985. - 544 с.

43 Универсальный программный комплекс для компьютерного моделирования на основе искусственной нейронной сети с самоорганизацией структуры / A.A. Арзамасцев [и др.] // Вестн. Тамб. Ун-та. Сер. Естеств. и техн. науки, 2006. - Т. 11, Вып. 4. - С. 564-570.

44 Универсальный симулятор, базирующийся на технологии искуствен-ных нейронных сетей, способный работать на параллельных машинах / О.В. Крючин [и др.] // Тамбов: Вестн. Тамб. ун-та. Сер. Естеств. и техн. науки. 2008. - Т. 13, Вып. 5. - С. 372-375.

45 Уоссермэн, Ф. Нейрокомпьютерная техника / Ф.Уоссермэн; пер. на рус. яз. Ю. А. Зуев, В. А. Точенов. - М.: Мир, 1992. - 185 с.

46 Чан, Т. Системное программирование на С++ для UNIX / Т. Чан; пер. с англ. С. Тимпчева - Киев.:ВНУ, 2011. - 592 с.

47 Шлее, M. Qt4. Профессиональное программирование на С++ / М. Шлее. - СПб.: БХВ-Петербург, 2007. - 880 с.

48 Шлее, M. Qt4. Профессиональное программирование на С++/ М. Шлее - СПб.: БХВ-Петербург, 2009. - 544 с.

49 Bovet, D.P., Cesati, M. Understanding the Linux Kernel / D.P. Bovet, M.Cesati. - 3-rd edit. Paperback:0'Reilly, 2006. - 923 p.

50 McCulloch, W.S. A logical calculus of the ideas immanent in nervous activity /W.S. McCulloch, W. Pitts // Bull. Matn. Biophys. - 1943. -№ 5. - P. 133-135.

51 Fahlman, S.E. An empirical study of learning speed in back-propagation networks, technical report, CMU-CS-88-162, Carnegie-Mellon University, 1988. - 19 p.

52 Fahlman, S.E. Faster-learning variations on back-propagation: An empirical study. In 1988 Connectionist Models Summer School (San Mateo, CA, 1988), T. J. S. G. E. Hinton and D. S. Touretzky, Eds., Morgan Kaufmann. - 21 p.

53 Fahlman, S.E., Lebiere, C. The cascade-correlation learning architecture: tech. rep. CMU-CS-90-100, School of Computer Science, Carnegie Mellon University, August 1991. - 18 p.

54 Fahlman, S.E. The recurrent cascade-correlation architecture: tech. rep. CMU-CS-91-100, School of Computer Science, Carnegie Mellon University, 1991. - 16 p.

55 Gillbert, N., Simulation for the Social Scientist / N. Gilbert, K.G. Troitzsch. - Glasgow, 2005. - 295 p.

56 Gill, P.E. Practical Optimisation / P.E. Gill, W. Murray, M.H. Wrights -New York: Academic Press, 1981. - 420 p.

57 Haykin, S. Neural networks, a comprehensive foundation / S. Haykin -New York: Macmillan College Publishing Company, 1994. - 842 p.

58 Hertz, J. Wstep do teorii obliczen neuronowych. Wyd. II. / J. Hertz, A. Kroght, R. Palmer - Warszawa: WNT, 1995. - 374 p.

59 Hoefeld, M., and Fahlman, S.E. Learning with limited numerical precision using the cascade-correlation algorithm. Tech. Rep. CMU-CS-91-130, School of Computer Science, Carnegie Mellon University, 1991.

60 Hornik, K. Multilayer feedforward networks are universal approximators / K. Hornik, M. Stinchcombe, H. White // Neural Networks. 1989 - Vol. 2 - P. 359-366.

61 Osowsky, S. Study of generality ability of neural networks / S. Osowsky, K. Siwek // III Konferencja «Sieci Neuronowe i ich zastosowania». - Kule, 1997. - 19 p.

62 Stevens, W.R. Advanced Programming in the UNIX® Environment / W.R. Stevens, S.A. Rago - 2-nd edit. - Addison Wesley Professional, 2005.

- 420 p.

63 Riedmiller, M., Brawn, H., RPROP - a fast adaptive learning algorithms. Technacal Report, Karlsruhe: University Karlsruhe, 1992. - 7 p.

64 Riedmiller, M. Untersuchungen zu konvergenz und generalisierungsverhalten überwachter lernverfahren mit dem SNNS. In Proceedings of the SNNS. 1993. - 89 p.

65 Rosenblantt, F. Principle of neurodynamics / F. Rosenblantt - New York: Spartan, 1992. - 616 p.

66 Rugh, W. Nonlinear System Theory: The Volterra / Wiener Approach / W. Rugh / - New York: J.Hopkins Press, 1981. - 344.

67 Veith, A.C. A modified quickprop algorithm / A.C. Veith, G.A. Holmes // Neural Computation. - 1991. - Vol. 3 - P. 310-311.

68 Widrow, B. Adaptive signal processing / B. Widrow, S. Stearns. - New York: Prentice Hall, 1985. - 528 p.

69 William, S. Davis, David, C. Yen. The Information System Consultant's Handbooks: Systems Analysis and Design, CRC Press, 1998.

70 Zadeh, L.A. The concept of linguistic variable and its application to approximate reasoning. Part 1-3 / L.A. Zadeh // Information Sciences.

- 1975. - Vol. 8 - P. 199-249.

Электронные ресурсы

71 Боровский, А. Программирование для Linux [Электронный ресурс] / А. Боровский. - Режим доступа: http: //symmetrica, net / uploads/linapi/linapil 2 .pdf.

72 Нейронная сеть позволит посадить подбитый самолет [Электронный ресурс] // Проект «Космические новости». - Режим доступа: http://news.cosmoport.eom/2002/08/06/5.htm.

73 Остроухов, И. Нейросети: работа над ошибками [Электронный ресурс] / И. Остроухов, П. Панфилов. - Режим доступа: http://www.toracent-re.ru/library/nscalp/spekulant02.htm.

74 Довженко, А.Ю. Параллельная нейронная сеть с удаленным доступом на базе распределенного кластера ЭВМ. [Электронный ресурс] / А.Ю. Довженко, С.А. Крашаков. - Режим доступа: // http://www.comphys.ru/Articles/cacr2001.htm, свободный. - Загл. с экрана.

75 Федорова, H.H. Параллельная реализация алгоритмов обучения нейронных сетей прямого распространения с использованием стандарта MPI [Электронный ресурс] / H.H. Федорова, С. А. Терехов. - Режим доступа: / / http://www.aconts.com/pub/archive/ijcnn99_p423_rus.pdf, свободный. - Загл. с экрана.

76 Нейросимуляция [Электронный ресурс]. - Режим доступа: // http://offline.computerra.ru/2002/445/18040.

77 Предсказание финансовых временных рядов [Электронный ресурс]. -Режим доступа: // Режим доступа: http://articles.mql4.com/ru/542.

78 BrainMaker for Windows and Macintosh [Электронный ресурс]. - Режим доступа: http://www.calsci.com/BrainMaker.html.

79 TradeStation Securities [Электронный ресурс]. - Режим доступа: http://www.tradestation.com.

80 Advanced Neural Network Software for Financial Forecasting and Stock Prediction [Электронный ресурс]. - Режим доступа: http://www.neuroshell.com.

81 University of Tübingen: JavaNNS [Электронный ресурс]. - Режим доступа: http://www.ra.cs.uni-tuebingen.de/software/JavaNNS.

82 SNNS - Stuttgart Neural Network Simulator [Электронный ресурс]. -Режим доступа: http://www.ra.cs.uni-tuebingen.de/SNNS.

83 ::: NeuralWare | Products | NeuralWorks Predict ::: [Электронный ресурс]. - Режим доступа: http://www.neuralware.com/products.jsp.

84 Simbrain [Электронный ресурс]. - Режим доступа: http://www.simbrain.net.

85 NeuroPro - нейронные сети, анализ данных, прогнозирование и классификация [Электронный ресурс]. - Режим доступа: http://www.neuropro.ru.

86 BaseGroup.ru :: Neural Network Wizard [Электронный ресурс]. - Режим доступа: http://www.basegroup.ru/download/demoprg/nnw.

87 BaseGroup.ru :: Deductor [Электронный ресурс]. - Режим доступа: http: / / www.basegroup.ru/deductor.

88 Суперкомпьютерная программа «Скиф» Союзного государства [Электронный ресурс]. - Режим доступа: http://skif.pereslavl.ru/skif/index.cgi?module=chap&action-=getpage&data=publications%5Cpub2005%5CGRID-

technology %5CG RID-technology. doc.

89 Свидетельство №2007610622 о регистрации программы для ЭВМ. Многофункциональный программный комплекс для компьютерного моделирования на основе искусственной нейронной сети с самоорганизацией структуры / Арзамасцев A.A., Крючин О.В., Королев А.Н.,

Зенкова H.A. (Р.Ф.) - М., 2007. - 1 с. - Зарегистрировано в реестре программ для ЭВМ 8.02.2007.

90 Свидетельство №2008610860 о регистрации программы для ЭВМ. Универсальный симулятор, базирующийся на технологии нейронных сетей способный работать на параллельных машинах (UNS) / Арзамасцев A.A., Крючин О.В., Королев А.Н., Суспицына М.А., Вязовова Е.В., Семенов Н.О. (Р.Ф.) - М., 2008. - 1 с. - Зарегистрировано в реестре программ для ЭВМ 20.02.2008.

91 Свидетельство №2008614091 о регистрации программы для ЭВМ. SCRVL (Standart Creo Vector Library) / Крючин O.B., Королев А.Н., Арзамасцев A.A., Горбачев С.И., Квашенкин Д.О., Суспицына М.А., Вязовова Е.В., Семенов Н.О. (Р.Ф.) - М., 2008. - 1 с. - Зарегистрировано в реестре программ для ЭВМ 27.08.08.

92 Свидетельство №2010610579 о регистрации программы для ЭВМ. Клиент с графическим интерфейсом для универсального нейросетево-го симулятора (QUNS) / Крючин О.В., Арзамасцев A.A. (Р.Ф.) -М., 2009. - 1 с. - Зарегистрировано в реестре программ для ЭВМ 20.02.2008.

93 Kryuchin O.V. A universal simulator based on artificial neural networks for computer clusters / O.V. Kryuchin, A.A. Arzamastsev, K.G. Troitzsch // Arbeitsberichte aus dem Fachbereich Informatik. - Nr. 2/2011 - 2011.

- 13 р. [Электронный ресурс]. - Режим доступа: http://www.uni-koblenz.de/fb4reports/2011/2011_02_Arbeitsberichte.pdf

94 Kryuchin O.V. The efficiency comparison of serial and parallel algorithms of the training artificial neural networks with usage of computer clusters / O.V. Kryuchin, A.A. Arzamastsev, K.G. Troitzsch // Arbeitsberichte aus dem Fachbereich Informatik. - Nr. 4/2011 - 2011.

- 12 р. [Электронный ресурс]. - Режим доступа: http://www.uni-koblenz.de/%7Efb4reports/2011/2011_04_Arbeitsberichte.pdf