Математическое моделирование распознавания образа предмета с помощью нейронных сетей тема диссертации и автореферата по ВАК РФ 05.13.18, кандидат физико-математических наук Ферцев, Александр Александрович

• Ферцев, Александр Александрович
• кандидат физико-математических наук
• 2011

Оглавление диссертации кандидат физико-математических наук Ферцев, Александр Александрович

Содержание

Введение

1. Глава 1. Алгоритм распознавания образов

1.1. Постановка задачи

1.2. Математическая модель

1.3. Улучшение изображений при помощи фильтров

1.4. Нейронная сеть обратного распространения

1.5. Модифицированный численный метод Левенберга-Марквардта

1.6. Нейронная сеть прямого распространения

1.7. Байесовская регуляризация

1.8. Инициализация Нгуена-Уидроу

1.9. Метод раннего останова

2. Глава 2. Программный комплекс ImageRecognizer

2.1. Параллельные вычисления на графическом ускорителе

2.2. Описание программного комплекса

2.3. Тестирование программного комплекса

3. Глава 3. Задача распознавания изображений с помощью нейронных сетей

3.1. Постановка задачи

3.2. Результаты расчета Т1

3.3. Результаты расчета Т2

3.4. Результаты расчета ТЗ

3.5. Результаты расчета Т4

Заключение

Литература

Введение диссертации (часть автореферата) на тему «Математическое моделирование распознавания образа предмета с помощью нейронных сетей»

Введение

Объект исследования и актуальность темы работы. В задачах обнаружения сигналов на фоне помех значительное развитие получили статистические методы, которые успешно используются при анализе и синтезе радиотехнических, радиолокационных и гидроакустических систем. Эти методы стали применяться и в оптических и оптико-электронных системах. Однако теория приема оптических сигналов на фоне сильных помех и принятие решения по ним еще не достаточно полно разработана и не всегда дает ответ.

В последнее время интенсивно проводятся исследования по созданию систем искусственного интеллекта. Основной целью являлась разработка математических и программных средств моделирования процессов человеческого мышления для автоматического решения различных прикладных и теоретических задач. К 80-м годам XX века пришло понимание того, что эффективность систем такого рода зависит от знаний, которыми они обладают. Эти знания не только чисто эмпирические (полученные эмпирическим путем), но и эвристические - набор правил и рекомендаций, которыми следует пользоваться в той или иной ситуации, возникающей в данной предметной области. Такого рода эмпирические правила (эвристики) поставляются экспертами, в связи с чем системы и получили название экспертных систем. В самом общем виде экспертная система - это программный комплекс, способный в данной предметной области вырабатывать решения, по эффективности конкурирующие с решениями эксперта.

Подобные программные комплексы наиболее целесообразно применять для управления автоматическими системами, участие человека в управлении которыми либо невозможно, либо нецелесообразно. К таким системам относятся различные системы компьютерного зрения, системы теленаведения, управления летательными аппаратами и тому подобные.

Основным критерием при разработке подобных систем является их автономность при принятии решений. То есть, для принятия решений система может использовать лишь данные, полученные из окружающей среды, а также определенные правила и алгоритмы, запрограммированные заранее. Создание таких программных систем приводит к необходимости решения класса задач, ранее решаемых при непосредственном участии человека-эксперта. К таким задачам относится задача по распознаванию образов предметов.

В самом общем случае под образом предмета понимается отражение свойств реального объекта, в общем случае неполное. Это отражение дает исходные данные для задачи. Решение задачи распознавания есть отнесение исходных данных к определенному классу, то есть установление предмета, образом которого являются исходные данные. В общем случае образ предмета - его искаженное, зашумленное и неполное представление. Таким образом, задачи распознавания образов обладают следующими свойствами:

• невозможность алгоритмического решения (в силу плохой формализуемости самих задач или огромных затрат машинного времени);

• противоречивость, неполнота, возможная ошибочность исходных данных;

• огромная размерность данных, плохо представимых в какой-либо наглядной форме;

• динамически меняющийся состав данных (в силу постоянного их пополнения, изменения и развития);

• необходимость широкого использования в процессе решений эвристических и эмпирических процедур, сформулированных экспертами;

• необходимость участия в процессе решения человека (пользователя), который путем ответа на дополнительно задаваемые

вопросы привносит дополнительную информацию и выбирает альтернативные пути принятия решения.

Поэтому для решения задач распознавания невозможно применять обычные методы с жесткими алгоритмами и ограничениями. Автоматическая система, решающая такие задачи должна не программироваться, а обучаться.

Для решения задач с такими свойствами в последнее время наиболее часто применяются методы на основе нейронных сетей. Нейронные сети представляют собой математическую модель функционирования биологических нейронных сетей - сетей нервных клеток живого организма. Как и в биологической нейронной сети, основным элементом искусственной нейронной сети является нейрон. Соединенные между собой нейроны образуют слои, количество которых может варьироваться в зависимости от сложности нейронной сети и решаемых ею задач. Способность нейронных сетей к генерализации, то есть к принятию верного решения для входных данных, которые не предъявлялись нейронной сети ранее, большое количество эвристических алгоритмов обучения нейронных сетей и устойчивость к различным флюктуациям входных данных - все это делает нейронные сети самым предпочтительным направлением для решения этих задач. В отличие от классических численных методов, нейронные сети не программируются в прямом смысле этого слова, а обучаются. В зависимости от входных данных и конечной цели обучения нейронные сети одного и того же типа могут в конечном итоге иметь совершенно разные параметры. Тем не менее, именно нейронные сети позволяют решать задачи, для которых ранее не существовало алгоритмов решения. Все вышеизложенное обуславливает актуальность выбранной тематики исследований.

Обзор литературы. Нейронные сети впервые были введены в рассмотрение МакКаллохом и Питтсом 1943 году в [1] и получили развитие в работе [2] Розенблатта. Это были простейшие однослойные нейронные сети. В 1949 Хебб предложил первый алгоритм обучения нейронной сети в [3]. Для решения практических задач нейронные сети практически не

5

применялись, поскольку, как справедливо отмечал в своей работе [4] Минский, они были не способны решить некоторые простейшие задачи (например, реализовать функцию «исключающее ИЛИ»). Интерес к нейронным сетям возродился в конце 80-х годов прошлого века после повторного изобретения Румельхартом метода обратного распространения ошибки [5], предложенного еще в 1974 году Галушкиным [6] и Вербосом [7]. Рост интереса к нейронным сетям совпал с бурным развитием вычислительной техники, поскольку обучение большинства нейронных сетей требует существенных вычислительных затрат. Появляется множество новых моделей нейронных сетей различного назначения.

Суть метода обратного распространения ошибки в том, что нейронная сеть учится реагировать на каждый обучающий пример таким образом, чтобы результат удовлетворял ряду условий, определенных заранее. Для этого по некоторому правилу вычисляется расхождение полученного результата с желаемым - ошибка нейронной сети. С помощью ошибки вычисляются приращения параметров последнего слоя. Эти приращения используются для вычисления изменений параметров предыдущих. То есть, фактически, ошибка распространяется от последнего слоя нейронной сети к первому. Именно поэтому метод получил свое название.

Этот метод имеет ряд существенных недостатков, значительно снижающих его применимость. Первым усовершенствованием метода было введение зависимости искомых изменений параметров от найденных на предыдущем этапе обучения в работах [5] и [8]. Это привело лишь к незначительному улучшению метода. Затем последовали другие эвристические подходы - переменная скорость обучения [9] и стохастическое обучение [10], которые также не добились существенного улучшения метода. Метод был значительно улучшен с помощью искусственного увеличения ошибки нейронов из области насыщения. Такой подход описан в работах [11], [12], [13] и [14]. Однако, наиболее значительные улучшения классического алгоритма обратного

распространения ошибки были достигнуты с помощью методов второго порядка - метода Ньютона [15], сопряженных градиентов [16], и метода Левенберга-Марквардта [17]. В частности, в работе [17] доказывается, что метод Левенберга-Марквардта является наиболее эффективным.

Несмотря на свою эффективность, метод Левенберга-Марквардта требует больших вычислительных затрат. Для обеспечения практической применимости метода необходимо максимально снизить время его работы для нейронных сетей большой размерности. Достичь такой цели можно только одним способом - прибегнуть к параллельным вычислениям. В настоящее время технологии параллельных вычислений посвящено большое количество работ: [18], [19], [20], [21]. С 2007 года одним из наиболее быстро развивающихся направлений в этой области являются параллельные вычисления с использованием графических ускорителей [22], [23]. Главным преимуществом графических ускорителей является высокая производительность при решении большого класса вычислительных задач и относительно низкая стоимость аппаратного обеспечения.

Цели и задачи исследования. Целью данной работы является построение эффективных методов распознавания образов с помощью нейронных сетей и разработка программ, реализующих эти методы. Для этого необходимо решить следующие задачи:

• построение нейронных сетей и эффективных алгоритмов обучения для решения задачи распознавания образов;

• разработка программного комплекса для реализации построенных нейронных сетей и алгоритмов обучения с использованием параллельных вычислений на графических ускорителях;

• тестирование разработанного программного комплекса на известных задачах;

• решение с помощью разработанного программного комплекса задачи распознавания образов, сравнение результатов с другими подобными работами.

Методы исследования. В данной работе для обучения нейронной сети прямого распространения был построен метод обучения на основе метода Левенберга-Марквардта. Метод основан на модифицированном классическом численном методе Левенберга-Марквардта. Модификация реализована за счет применения ряда подходов:

• регуляризация с помощью байесовских гиперпараметров;

• инициализация параметров нейронной сети на основе метода Нгуена-Уидроу;

• предотвращение потери нейронной сетью генерализации методом раннего останова.

Численный метод был реализован в виде параллельного алгоритма обучения с использованием вычислительных возможностей графического ускорителя. Разработана собственная реализация на графическом ускорителе численного метода обращения матриц, основанного на Ьи-разложении. На основе построенного алгоритма разработан программный комплекс, способный решать многие задачи классификации, что подтверждается результатами тестовых расчетов.

Научная новизна данной работы заключается в следующем:

• предложена математическая модель распознавания образов с помощью нейронных сетей;

• предложен новый алгоритм обучения нейронной сети прямого распространения, основанный на численном методе Левенберга-Марквардта, регуляризации Байеса, инициализации Нгуена-Уидроу и методе раннего останова;

• построена нейронная сеть прямого распространения с модифицированным алгоритмом обучения на основе численного метода Левенберга-Марквардта;

• созданы алгоритмы распараллеливания с использованием графических ускорителей, которые позволили существенно повысить эффективность решения задач распознавания образов; в частности, предложена реализация численного метода обращения матриц, основанного на Ьи-разложении на графических ускорителях;

• разработан программный комплекс, реализующий построенную нейронную сеть прямого распространения и алгоритм обучения на основе метода Левенберга-Марквардта с использованием вычислительных возможностей графических ускорителей;

• решены задачи распознавания образов с помощью разработанного программного комплекса;

Практическая значимость:

• построенная в диссертации модель и вычислительные алгоритмы апробированы на тестовых задачах и могут быть применены для решения многих задач классификации;

• программный комплекс разработан с использованием современных технологий параллельных вычислений с использованием возможностей графических ускорителей, многократно ускоряющих вычисления.

Основные положения, выносимые на защиту:

• математическая модель распознавания образа предмета с помощью нейронных сетей;

• новый алгоритм обучения нейронной сети прямого распространения, основанный на модифицированном численном методе Левенберга-Марквардта;

• построенная нейронная сеть с эффективным алгоритмом обучения на основе модифицированного численного метода Левенберга-Марквардта;

• алгоритмы распараллеливания с использованием графических ускорителей; реализация численного метода обращения матриц, основанного на LU-разложении;

• программный комплекс для параллельных вычислений с использованием возможностей графических ускорителей;

• результаты исследования наиболее предпочтительных параметров программного комплекса для решения задачи распознавания образов;

• результаты решения задачи распознавания образов и сравнительный анализ с другими работами.

Апробация результатов. Основные результаты докладывались и обсуждались на конференциях, семинарах и школах-семинарах:

• X международный семинар «Супервычисления и математическое моделирование» (Саров, 2008, 29 сентября - 2 октября);

• XII международный семинар «Супервычисления и математическое моделирование» (Саров, 2010, 11 - 15 октября);

• XIII международный семинар «Супервычисления и математическое моделирование» (Саров, 2011, 3 - 7 октября);

• VIII Международная научная конференция «Дифференциальные уравнения и их приложения» (Саранск, 2008, 12- 16 мая);

• IX научная конференция «Дифференциальные уравнения и их приложения в математическом моделировании» с участием зарубежных ученых (Саранск, 2010, 1 - 3 июля);

• школа-семинар «Математическое моделирование, численные методы и комплексы программ» (Саранск, 2011, 1 - 13 июля);

• VI Международная научно-техническая конференция «Аналитические и численные методы моделирования естественнонаучных и социальных проблем» (Пенза, 2011, 25 - 29 октября).

Публикации. Основные результаты опубликованы в работах [24], [25], [26], [27], [28], [29].

Структура и объем диссертации: диссертация состоит из введения, трех глав, заключения и списка цитируемой литературы. Общий объем диссертации - 111 листов. Список литературы содержит 103 наименования.

Первая глава диссертации посвящена алгоритмам и методам, использованным в данной работе. Ставится основная практическая задача, решению которой посвящена работа и строится основная математическая модель - процесс распознавания образов. Подробно описываются методы и практические подходы, с помощью которых решалась поставленная задача. Рассмотрены две основные модели нейронных сетей - нейронная сеть с обратным распространением ошибки и нейронная сеть прямого распространения. Основная часть главы посвящена построению эффективного алгоритма обучения нейронной сети прямого распространения на основе модифицированного численного метода Левенберга-Марквардта. Рассматриваются его теоретические основания и преимущества по отношению к другим методам. Для повышения эффективности выбранного метода обучения нейронной сети применены регуляризация с помощью байесовских гиперпараметров, инициализация Нгуена-Уидроу и метод раннего останова. Модификация метода Левенберга-Марквардта с помощью байесовской регуляризации позволяет не допустить неограниченного роста весов нейронной сети в процессе обучения. В результате, в первой главе построена нейронная сеть прямого распространения с алгоритмом обучения с повышенными показателями скорости сходимости и эффективности.

Вторая глава содержит описание параллельного алгоритма с использованием возможностей графического ускорителя и его реализацию в

11

программном комплексе ImageRecogmzer. Программный комплекс 1т^еКесо§Ш2ег представляет собой эффективное средство не только для решения задач распознавания образов, но и для задач классификации в целом. Это подтверждается результатами тестирования программного комплекса на трех известных задачах классификации. Кроме того, результаты тестирования демонстрируют многократное возрастание скорости работы программного комплекса при использовании возможностей графического ускорителя.

Третья глава посвящена решению практической задачи распознавания зашумленных изображений. Для решения применяется разработанный программный комплекс ImageRecognizer. Перед репдением поставленной задачи проводятся расчеты с целью выявления наиболее предпочтительных параметров - состава обучающей выборки, порога останова обучения и количества нейронов в скрытом слое. Также проведено тестирование программного комплекса с оптимальными параметрами с целью демонстрации ускорения обучения нейронной сети при использовании возможностей графического ускорителя. Показатели ускорения, достигнутые в данной работе, существенно превосходят результаты других авторов. Нейронная сеть с наиболее предпочтительными параметрами успешно применена к решению задачи распознавания зашумленных изображений с высокими показателями эффективности.

Благодарности. Автор диссертации выражает благодарность своему научному руководителю, коллективу кафедр прикладной математики и кафедры алгебры и геометрии Мордовского Государственного университета.

получатель

сэ

приемник

Рисунок 1.1. Принцип действия ЫОАН Результатом сканирования предмета с помощью ЬШАК является образ этого предмета, отражающий часть его характеристик. В данной работе в качестве образов рассматриваются изображения в цифровом формате. 1ЛГ)АЯ в данной работе является средством получения таких изображений, и его конструктивные особенности, также как и особенности сканирования предме тов с помощью лазерного излучения, не рассматриваются.

Поскольку между излучателем, приемником и сканируемым предметом присутствует некая рассеивающая среда (например, морская вода), то образ, полученный в результате сканирования, будет искажен различными шумами. Тогда практической задачей данной работы является распознавание зашумленных образов с целью выявления исходных предметов, к которым эти образы относятся. Разобьем процесс решения поставленной задачи на этапы:

1. формирование совокупности эталонных образов (изображений), наиболее точно соответствующих предметам;

2. разработка и реализация эффективного алгоритма распознавания образов;

3. адаптация алгоритма к реальным входным данным, полученным из совокупности эталонных образов;

4. проверка пригодности разработанного алгоритма для решения поставленной задачи - алгоритм должен с высокой вероятностью распознавать реальные (зашум ленные) образы.

1. Глава 1. Алгоритм распознавания образов

Глава 1 посвящена алгоритмам и методам, использованным » данной работе. Вначале ставится основная практическая задача, решению которой посвящена работа. Затем строится основная математическая модель процесс распознавания образов. После этого подробно описываются методы и практические подходы, с помощью которых решалась поставленная задача. В частности, рассмотрены две основные модели нейронных сетей нейронная сеть с обратным распространением ошибки и нейронная сеть прямого распространения. Далее рассматривается алгоритм обучения нейронной сети прямого распространения на основе численного метода Левенберга-Марквардта, его теоретические основания и преимущества по отношению к другим методам. В заключительной части главы описываются практические подходы, призванные устранить недостатки выбранного метода обучения нейронных сетей.

1.1. Постановка задачи

Одним из перспективных методов исследования земной поверхности, океана, атмосферы является Технология LIDAR (англ. Light Detection and Ranging). Это технология получения и обработки информации об удалённых объектах с помощью активных оптических систем, использующих явления отражения света и его рассеивания в прозрачных и полупрозрачных средах. Принцип действия LIDAR не имеет больших отличий от радара: направленный луч источника излучения отражается от целей, возвращается к источнику и улавливается высокочувствительным приёмником ( н случае LIDAR - светочувствительным полупроводниковым прибором); время отклика обратно пропорционально расстоянию до цели (см. рисунок 1.1).

1.2. Математическая модель

Фактически, образами предмета в данной работе являются цифровые изображения. Тогда задача распознавания образов эквивалентна задаче распознавания изображений. В данной работе предлагается математическая модель распознавания образа предмета с помощью нейронных сетей. Будем рассматривать дискретные изображения, представляемые в виде прямоугольной матрицы пикселей А = [ву],/ — 1, •••, M,j = Значение каждого элемента матрицы а.ц есть дискретная величина яркости (я иностранной литературе употребляется термин «уровень серого» - gray level) пикселя изображения. данной работе рассматриваются изображения, имеющие 256 градаций яркости или 8-битные изображения, то есть каждый элемент матрицы имеет значения ¡% — 0,'",255. Изображения такою тина принято называть полутоновыми. Над изображениями возможны операции сложения, вычитания и некоторых других простых преобразований, которые понимаются в смысле соответствующих операций с каждым элементом изображения. Например, сумма изображений есть изображение, каждый ОЛСМС1П которого получен суммированием яркостей соответствующих элементов суммируемых изображений, причем изображения должны быть одинаковой размерности: А^ + А^г) = [йу^1* + i — 1, , MJ =

1

Окрестностью Vy элемента а^ будем называть множество элементов, непосредственно окружающих элемент а1;. Обозначим индексом г положение элемента в окрестности. Тогда элементы, входящие в Уц будут пронумерованы: € Щг,т =

Сегментом изображения Sk назовем совокупность элементов изображения со сходными характеристиками (например, окрестность одного пикселя), причем сегменты изображения не пересекаются и совокупность всех сегментов изображения тождественна самому изображению:

т = с^п^ = ^ = А

к

Приведем общую постановку задачи распознавания, которую мы будем

использовать в данной работе. Ра смотрим два пространства: пространство

характеристик С и тематическое пространство Т. Элементами пространства С

являются п-мерные векторы, представляющие собой наборы характеристик

различных образов. Элементами тематического пространства Т являются

сами образы в каком-либо эвристическом представлении.

Таким образом, задачей распознавания образов будет задача

построения классифицирующего отображения К пространства характеристик

к

С в тематическое пространство С -* Т (см. рисунок 1.2), На классифицирующее отображение налагаются условия:

1. Каждому элементу пространства характеристик соответствует только один элемент тематического пространства

2. Каждому элементу тематического пространства может соответствовать несколько элементов пространства характеристик

Рисунок 1.2. Модель распознавания Образ - группа элементов тематического пространства со сходными характеристиками.

В рамках данной работы классифицирующее отображение - нейронная сеть прямого распространения. Нейронную сеть прямого распространения представим в виде четверки (¿г,В,Т,Ь), где а - функция активации нейрона. в = (0!,..., в3Уг - параметры нейронной сети, Т = (X*, г = 1,... N -обучающая выборка (Х^ - вектор входных данных, — желаемый выход

сети), Ь - совокупность слоев нейронной сети и правил соединения нейронов друг с другом. В данной работе каждый нейрон последующего слоя соединен с каждым нейроном предыдущего слоя. Выход каждого нейрона можно рассчитать по формуле

Подобно человеческому мозгу, нейронная сеть способна обучаться, используя так называемое обучающее множество. Ошибкой нейронной сети на обучающем множестве за одну эпоху назовем среднеквадратичную ошибку, вычисляемую по формуле:

где у{. - у'-тый компонент выхода сети на /-той итерации, - у'-тый

компонент /-того желаемого выхода. В рамках математической модели распознавания образов обучение нейронной сети есть минимизация ошибки Е0. Совокупность характеристик объектов, для которых известны их образы, образует обучающее множество (набор эталонов). Аналогичное множество, предназначенное для проверки построенного отображения, называется тестовым или проверочным множеством. Основная задача распознавания заключается в том, чтобы, исходя из обучающего множества, определить образ, которому соответствует набор конкретных характеристик, либо установить, что такого образа не существует.

Применительно к распознаванию изображений, пространство характеристик содержит различные характеристики изображений, тематическое пространство содержит сами изображения в каком-либо представлении, например, в виде растра. В данной работе процесс распознавания изображений разделен на три этапа:

1. Улучшение изображений с целью минимизации различных шумов

N Р

Заключение диссертации по теме «Математическое моделирование, численные методы и комплексы программ», Ферцев, Александр Александрович

Заключение

В ходе выполнения данной работы получены следующие основные результаты:

1. Предложена математическая модель распознавания образов с помощью нейронных сетей. Построена нейронная сеть прямого распространения ошибки, обучаемая по модифицированному алгоритму на основе численного метода Левенберга-Марквардта. Модификация заключается в совместном применении ряда подходов -замены регуляризующего слагаемого на диагональ матрицы Гессе, применение регуляризации Байеса, инициализации параметров нейронной сети по методу Нгуена-Уидроу и метода раннего останова обучения с пороговым критерием останова. Примененные подходы позволяют избежать основных недостатков классического метода Левенберга-Марквардта - чувствительности к флюктуациям исходных данных, зависимости от начальных значений параметров нейронной сети и потери генерализации нейронной сети при избыточности эпох обучения. Созданы алгоритмы распараллеливания с использование графических ускорителей, которые позволили существенно повысить эффективность решения задач распознавания образов; в частности, предложена реализация численного метода обращения матриц с помощью LU-разложения на графических ускорителях;

2. Разработан программный комплекс ImageRecognizer для решения задачи распознавания образов с использованием построенной нейронной сети прямого распространения. Программный комплекс разработан с использованием технологии NVIDIA CUDA, позволяющей использовать возможности графического ускорителя для вычислений. Разработанный программный комплекс протестирован на известных задачах о классификации растений рода «Ирис», типов рака легкого и сигналов гидролокатора, что показывает его применимость для решения задач классификации в целом.

3. Построенный программный комплекс ImageRecognizer применен для решения задачи распознавания образов. Исследовано влияние состава обучающей выборки на качество распознавания. Определены наиболее предпочтительные параметры нейронной сети с точки зрения скорости обучения и качества распознавания - величина порога раннего останова и количество нейронов в скрытом слое сети. Проведено исследование количества нейронов в скрытом слое сети на производительность программного комплекса при использовании возможностей графического ускорителя и при использовании только центрального процессора. Полученные показатели ускорения работы программного комплекса превышают аналогичные показатели в работах других авторов.

4. Была успешно решена поставленная практическая задача распознавания зашумленных изображений с достаточно высокими результатами. Изображения, зашумленные шумом с уровнем, не превышающим 38%, распознавались программным комплексом в 90% случаев, то есть ошибка распознавания не превышала 10%. При повышении уровня шума на изображениях до 45% ошибка распознавания не превышала 20%.

Список литературы диссертационного исследования кандидат физико-математических наук Ферцев, Александр Александрович, 2011 год

Литература

1. McCulloch W.W., Pitts W. A logical calculus of the ideas imminent in nervous activity // Bulletin of Mathematical Biophysics. 1943. T. 5. С. 115-133.

2. Rosenblatt F. The Perceptron: A Probabilistic Model for Information Storage and Organization in the Brain // Psychological Review. 1958. T. 65. № 6. C. 386408.

3. Hebb D. The Organization of Behavior. New-York: Wiley, 1949.

4. Minsky M.A., Papert S.A. Perceptrons. Cambridge: MIT Press, 1969.

5. Rumelhart D.E., Hinton G.E., Williams R.J. Learning internal representations by error propagation // Parallel Distributed Processing. 1986. Т. 1. С. 318-362.

6. Галушкин А.И. Синтез многослойных систем распознавания образов. Москва: Энергия, 1974.

7. Werbos Р.J. Beyond regression: New tools for prediction and analysis in the behavioral sciences // 1974.

8. Minai A.A., Williams R.D. Acceleration of back-propagation through learning rate and momentum adaptation // International Joint Conference on Neural Networks. San Diego, CA: IEEE, 1990. C. 676-679.

9. Jacobs A.R. Increased rates of convergence through learning rate adaptation // Neural Networks. 1988. Т. 1. № 4. C. 295-308.

10. Salvetti A., Wilamowski B. Introducing Stochastic Process within the Backpropagation Algorithm for Improved Convergence // Artificial Neural Networks in Engineering. St. Louis, Missouri: IEEE, 1994.

11. Balakrishnan K., Honavar V. Improving convergence of back propagation by handling flat-spots in the output layer // Second International Conference on Artificial Neural Networks. Brighton, U.K.: International Conference on Artificial Neural Networks, 1992.

12. Parekh R., Balakrishnan K., Honavar V. An empirical comparison of flat-spot elimination techniques in back-propagation networks. Auburn: Auburn University, 1992. C. 55-69.

13. Torvik L., Wilamowski B.M. Modification of the Backpropagation Algorithm for Faster Convergence // Workshop on Neural Networks. Nagoya: IEEE, 1993. C. 191-194.

14. Krogh A., Thorbergsson G.I., Hertz J.A. A cost function for internal representations // Advances in neural information processing systems II. 1989. C. 733-740.

15. Battiti R. First- and second-order methods for learning: between steepest descent and Newton's method // Neural Computation. 1992. T. 4. № 2. C. 141-166.

16. Charalambous C. Conjugate gradient algorithm for efficient training of artificial neural networks // IEEE Proceedings. 1992. T. 139. № 3. C. 301-310.

17. Hagan M.T., Menhaj M. Training feedforward networks with the Marquardt algorithm // IEEE Transactions on Neural Networks. 1994. T. 5. № 6. C. 989-993.

18. Воеводин В.В., Воеводин В.В. Параллельные вычисления. СПб: БХВ-Петербург, 2002.

19. Гергель В.П. Теория и практика параллельных вычислений. Москва: Бином. Лаборатория знаний, 2007.

20. Эндрюс Г.Р. Основы многопоточного, параллельного и распределенного программирования. Москва: Вильяме, 2003.

21. Якобовский М.В. Распределенные системы и сети. Москва: МГТУ "Станкин," 2000.

22. GPGPU.org. General-Purpose Computation on Graphics Hardware [Электронный ресурс]. URL: http://gpgpu.org/.

23. NVIDIA. Что такое вычисления на GPU? [Электронный ресурс]. URL: http://www.nvidia.ru/page/gpu_computing.html.

24. Ферцев А.А. Восстановление образа предмета с помощью нейронных сетей // Журнал Средневолжского математического общества. 2008. Т. 10. № 2. С. 202-212.

25. Ферцев А.А. Об одном методе сегментации растровых изображений с помощью нейронных сетей встречного распространения // Журнал Средневолжского математического общества. 2010. Т. 12. № 1. С. 86-91.

26. Ферцев А.А. Распознавание изображений с помощью нейронной сети и технологии NVIDIA CUDA // Аналитические и численные методы моделирования естественно научных и социальных проблем: сборник статей VI Международной научно-технической конференции. 2011. С. 156-158.

27. Ферцев А.А. Распознавание образа предмета с помощью нейронных сетей // Труды XII международного семинара "Супервычисления и математическое моделирование." 2010. С. 367-374.

28. Ферцев А.А. Реализация нейронной сети для распознавания изображений с помощью технологии NVIDIA CUDA // Прикладная информатика. 2011. № 6(36). С. 102-110.

29. Ферцев А.А. Практическая реализация распознавания образа предмета с помощью нейронных сетей // Вопросы атомной науки и техники: серия «Математическое моделирование физических процессов». 2012. № 1. С. 6675.

30. Mashor M.Y., Sulaiman S.N. Recognition of Noisy Numerals using Neural Network // International Journal of the computer, the internet and management. 2001. T. 9. № 3. C. 158-164.

31. Прэтт У. Цифровая обработка изображений. Москва: Мир, 1982.

32. Gonzalez R., Woods R. Digital Image Processing. Boston, USA: Addison-Wesley Publishing Company, 1992.

33. Cooley J.W., Tukey J.W. An algorithm for the machine calculation of complex Fourier series // Math. Comput. 1965. T. 19. № 90. C. 297-301.

34. Круглов B.B., Борисов B.B. Искусственные нейронные сети. Москва: Горячая линия - Телеком, 2002.

35. Plagianakos V.P., Magoulas G.D., Vrahatis M.N. Learning rate adaptation in stochastic gradient descent // Advances in Convex Analysis and Global Optimization / под ред. N. Hadjisavvas, P.M. Pardalos. Dordrecht, The Netherlands: Kluwer Academic Publishers, 2001. C. 433-444.

36. Fiesler E., Moreira M. Comparing parameterless learning rate adaptation methods // International Conference on Neural Networks. Houston: IEEE, 1997. C. 1082-1087.

37. Weir M.K. A method for self-determination of adaptive learning rates in back propagation // Neural Networks. 1991. T. 4. № 3. C. 371-379.

38. Koda M., Okano H. A new stochastic learning algorithm for neural network // Journal of the operations Research. 2000. T. 43. № 4. C. 469-485.

39. Patan K., Parisini T. Stochastic learning methods for dynamic neural networks: simulated and real-data comparisons // American Control Conference. Anchorage, Alaska, USA: IEEE, 2002. C. 2577-2582.

40. Lattanzi G. и др. Stochastic learning in a neural network with adapting synapses // Physical Review E. 1997. T. 56. № 4. C. 4567-4573.

41. Likas A., Stafylopatis A. Training the Random Neural Network Using QuasiNewton Methods // European Journal of Operational Research. 2000. T. 126. № 2. C. 331-339.

42. Yoshida T. A learning algorithm for multilayered neural networks: a Newton method using automatic differentiation // International Joint Conference on Neural Networks. Seattle, USA: IEEE, 1991. C. 970-973.

43. Setiono R., Hui L.C.K. Use of a quasi-Newton method in a feedforward neural network construction algorithm // IEEE Transactions on Neural Networks. 1995. T. 6. № 1. C. 273-277.

44. Chatterjee A. A Fletcher-Reeves Conjugate Gradient Neural-Network-Based Localization Algorithm for Wireless Sensor Networks // IEEE Transactions on Vehicular Technology. 2010. T. 59. № 2. C. 823-830.

45. Gong N., Shao W., Xu H. The Conjugate Gradient Method with neural network control // Intelligent Systems and Knowledge Engineering. Hangzhou: Nanjing University of Technology, 2010. C. 82-84.

46. Blue J.L., Grother P.J. Training feed-forward neural networks using conjugate gradients // SPIE. San Jose, CA, USA: The International Society for Optical Engineering, 1992. C. 179-190.

47. Andersen T.J., Wilamowski B.M. A Modified Regression Algorithm for Fast One Layer Neural Network Training // World Congress of Neural Networks. Washington DC, USA: ,1995. C. 687-690.

48. Xu J., Ho D.W.C., Zheng Y. A Constructive Algorithm for Feedforward Neural Networks // Control Conference. Shanghai: Inst, of Syst. Sci., East China Normal Univ., 2004. C. 659-664.

49. Suratgar A.A., Bagher M., Hoseinabadi A. Modified Levenberg-Marquardt Method for Neural Networks Training // Engineering and Technology. 2005. T. 6.

50. Levenberg K. A Method for the Solution of Certain Non-Linear Problems in Least Squares // The Quarterly of Applied Mathematics. 1944. T. 2. C. 164-168.

51. Marquardt D. An Algorithm for Least-Squares Estimation of Nonlinear Parameters // SIAM Journal on Applied Mathematics. 1963. Т. 11. № 2. C. 431441.

52. Логинов H.B. Сингулярное разложение матриц. Москва: МГАПИ, 1996.

53. Тихонов А.Н. Об устойчивости обратных задач // Доклады АН СССР. 1943. Т. 39. № 5. С. 195-198.

54. Roweis S.T. Levenberg-marquardt optimization [Электронный ресурс]. URL: http ://cs .nyu. edu/~ro wei s/notes/lm.pdf.

55. Wilamowski B.M., Chen Y., Malinowski A. Efficient Algorithm for Training Neural Networks with one Hidden Layer // IJCNN. Laramie, WY, USA: IEEE, 1999. C. 1725-1728.

56. Kohl N. Role of Bias in Neural Networks [Электронный ресурс]. URL: http://stackoverflow.com/questions/2480650/role-of-bias-in-neural-networks/2499936#2499936.

57. Geman S., Bienenstock E., Doursat R. Neural networks and the bias/variance dilemma//Neural Computation. 1992. T. 4. № 1. C. 1-58.

58. Wilamowski B.M. и др. Computing Gradient Vector and Jacobian Matrix in Arbitrarily Connected Neural Networks // IEEE Transactions On Industrial Electronics. 2008. T. 55. № ю. C. 3784-3790.

59. MacKay D. A practical Bayesian framework for backpropagation networks // Neural Computation. 1992. T. 4. C. 448-472.

60. MacKay D. Bayesian methods for neural networks - FAQ [Электронный ресурс]. URL: http://www.inference.phy.cam.ac.uk/mackay/Bayes_FAQ.html.

61. Foresee D., Hagan M. Gauss-Newton approximation to Bayesian learning // International Conference on Neural Networks. Houston, USA: IEEE, 1997. C. 1930-1935.

62. Poland J. On the Robustness of Update Strategies for the Bayesian liyperparameter alpha [Электронный ресурс]. URL: http://www-alg.ist.hokudai.ac.jp/~jan/alpha.pdf.

63. Nguyen D., Widrow B. Improving the learning speed of 2-layer neural networks by choosing initial values of the adaptive weights // International Joint Conference on Neural Networks. Washington DC, USA: IEEE, 1990. C. 21-26.

64. Pavelka A., Prochazka A. Algorithms for initialization of neural network weights // Sbornik prispevku 12. rocniku konference MATLAB. 2004. T. 2. C. 453-459.

65. Alglib.ru. Нейронные сети [Электронный ресурс]. URL: http://alglib.sources.ru/dataanalysis/neuralnetworks.php.

66. Lutz P. Early Stopping-But When? // Neural Networks: Tricks of the Trade. London, UK: Springer-Verlag, 1998.

67. NVIDIA. NVIDIA CUDA С Getting Started Guide For Microsoft Windows [Электронный ресурс]. URL:

http://developer.download.nvidia.eom/compute/DevZone/docs/html/C/doc/CUDA _C_Getting_Started_Windo ws .pdf.

68. NVIDIA. NVIDIA CUDA С Programming Guide [Электронный ресурс]. URL:

http://developer.download.nvidia.eom/compute/DevZone/docs/html/C/doc/CUDA _C_Programming_Guide.pdf.

69. CUDA: аспекты производительности при решении типичных задач [Электронный ресурс]. URL: http://habrahabr.ru/blogs/hi/l 19435/.

70. Боголепов Д., Захаров М. Сравнение OpenCL с CUDA, GLSL и ОрепМР [Электронный ресурс]. URL: http://habrahabr.ru/blogs/hi/96122/.

71. Karimi К., Dickson N.G., Firas Н. A Performance Comparison of CUDA and OpenCL.

72. Message Passing Interface Forum [Электронный ресурс]. URL: http://www.mpi-forum.org.

73. The OpenMP® API specification for parallel programming [Электронный ресурс]. URL: http://www.openmp.org.

74. Гравитационная задача N тел [Электронный ресурс]. URL: http://ru.wikipedia.org/wiki/%D0%93%D 1 %80%D0%B0%D0%B2%D0%B8%D 1 %82%D0%B0%D 1 %86%D0%B8%D0%BE%D0%BD%D0%BD%D0%B0%D 1 % 8F% D 0 % В 7 % D 0 % В 0 % D 0 % В 4 % D 0 % В 0 % D1 %87%D0%B0_N_%D 1 %82% D О %В 5 %D О %В В.

75. NVIDIA. CUFFT Library [Электронный ресурс]. URL:

http://developer.download.nvidia.com/compute/cuda/l_l/CUFFT_Library_l. 1 .pdf.

76. Frigo М., Johnson S. FFTW [Электронный ресурс]. URL: http://www.fftw.org.

77. NVIDIA. CUDA Toolkit 4.0 CUBLAS Library [Электронный ресурс]. URL: http ://developer.download.nvidia. com/compute/cuda/1 _0/CUBLAS_Library_ 1.0 .p df.

78. NVIDIA. CUDA Toolkit 3.2 Math Library Performance [Электронный ресурс]. URL:

http://developer.download.nvidia.com/compute/cuda/3__2/docs/CUDA_3.2_Math_ Libraries_Performance.pdf.

79. Intel. Intel® Math Kernel Library (Intel© MKL) [Электронный ресурс]. URL: http://software.intel.com/en-us/articles/intel-mkl/.

80. Embarcadero. RAD Studio [Электронный ресурс]. URL: http://www.embarcadero.com/products/rad-studio.

81. Microsoft. GDI+ [Электронный ресурс]. URL: http://msdn.microsoft.com/en-us/library/ms5 33798(v=vs. 8 5) .aspx.

82. Махфуд У.А. Комбинированные алгоритмы сегментации цветных изображений // 2002.

83. Ортега Д. Введение в параллельные и векторные методы решения линейных систем. Москва: Мир, 1991.

84. LU Matrix Decomposition in parallel with CUDA [Электронный ресурс]. URL: http://www.noctua-blog.com/index.php/2011/04/21/lu-matrix-decomposition-in-parallel-with-cuda/.

85. UC Irvine Machine Learning Repository [Электронный ресурс]. URL: http://archive.ics.uci.edu/ml/machine-learning-databases/.

86. Fisher R.A. The Use of Multiple Measurements in Taxonomic Problems // Annals of Eugenics. 1936. № 7. C. 179-188.

87. Dy J.G., Brodley C. Feature Selection for Unsupervised Learning // Journal of Machine Learning Research. 2004. T. 5. C. 845-889.

88. Zhou Z.-H., Jiang Y., Chen S. Extracting symbolic rules from trained neural network ensembles // AI Communications - Artificial Intelligence Advances in China. 2003. T. 16. № l.C. 3-15.

89. Bouckaert R.R., Frank E. Evaluating the Replicability of Significance Tests for Comparing Learning Algorithms // Lecture Notes in Computer Science. 2004. T. 3056. C. 3-12.

90. Jiang Y., Zhou Z. Editing training data for knn classifiers with neural network ensemble // Lecture Notes in Computer Science. 2004. T. 3173. C. 356-361.

91. Hong Z.Q., Yang J.Y. Optimal Discriminant Plane for a Small Number of Samples and Design Method of Classifier on the Plane // Pattern Recognition. 1991. T. 24. №4. C. 317-324.

92. Dash M., Liu H. Hybrid Search of Feature Subsets // 5th Pacific Rim International Conference on Artificial Intelligence: Topics in Artificial Intelligence. Singapore: Springer-Verlag, 1998. C. 238-249.

93. Li J., Wong L. Using Rules to Analyse Bio-medical Data: A Comparison between C4.5 and PCL // Fourth International Conference on Web-Age Information Management. Chengdu: Springer-Verlag, 2003. C. 254-265.

94. Fung G., Sandilya S., Rao R.B. Rule extraction from linear support vector machines // 11th ACM SIGKDD international conference on Knowledge discovery in data mining. New York, USA: ACM, 2005. C. 32-40.

95. Gorman R.P., Sejnowski T.J. Analysis of Hidden Units in a Layered Network Trained to Classify Sonar Targets //Neural Networks. 1988. Т. 1. № 1. C. 75-89.

96. Jiang Y., Zhou Z. NeC4.5: neural ensemble based C4.5 // IEEE Transactions on Knowledge and Data Engineering. 2004. T. 16. C. 770-773.

97. Skurichina M., Kuncheva L., Duin R.P.W. Bagging and Boosting for the nearest mean classifier: Effects of sample size on diversity and accuracy // Third International Workshop MCS. Cagliari, Italy: MCS, 2009. C. 62-71.

98. Rodriguez J.J., Alonso C.J., Bostrom H. Boosting interval based literals // Intelligent Data Analysis. 2001. T. 5. № 3. C. 245-263.

99. Kinson J.M. Minimum number of hidden neurons does not necessarily provide the best generalization // Applications and Science of Computational Intelligence III. 2000. T. 4055. C. 11-17.

100. Shibata K., Ikeda Y. Effect of number of hidden neurons on learning in large-scale layered neural networks // ICCAS-SICE. Fukuoka: IEEE, 2009. C. 50085013.

101. Изотов П.Ю., Суханов C.B., Головашкин Д.Л. Технология реализации нейросетевого алгоритма в среде CUDA на примере распознавания рукописных цифр // Компьютерная оптика. 2010. Т. 34. №2. С. 243-252.

102. Honghoon J., Anjin P., Keechul J. Neural Network Implementation Using CUDA and OpenMP // DICTA, Computing: Techniques and Applications. Canberra: IEEE, 2008. C. 155-161.

103. Sierra-Canto X., Madera-Ramirez F., Cetina V.U. Parallel Training of a Back-Propagation Neural Network Using CUDA // Ninth International Conference on Machine Learning and Applications. Washington, DC: IEEE, 2010. C. 307-312.