Разработка методов математического моделирования на основе нормализованных радиально-базисных сетей тема диссертации и автореферата по ВАК РФ 05.13.18, кандидат физико-математических наук Колбин, Илья Сергеевич

• Колбин, Илья Сергеевич
• кандидат физико-математических наук
• 2013

Оглавление диссертации кандидат физико-математических наук Колбин, Илья Сергеевич

Введение.

Глава 1. Нейросетевые алгоритмы моделирования стационарных процессов переноса.

1.1. Постановка задачи. Нейросетевой метод решения. Радиально-базисные и нормализованные радиально-базисные сети.

1.2. Методы подбора параметров нейросетевой модели. Функционал ошибки. Подбор параметров с использованием методов многомерной оптимизации.

1.3. Применение нейросетевого метода на примере решения краевой задачи для уравнения Пуассона на плоскости.

1.4. Сравнение нейросетевых методов, основанных на РБС и на НРБС

1.5. Сравнение нейросетевого и конечно-разностного методов.

1.6. Построение программного комплекса.

1.7. Выводы.

Глава 2. Нейросетевые алгоритмы моделирования нестационарных процессов переноса.

2.1. Постановка задачи. Нейросетевой метод решения.

2.2. Гибридный метод решения нестационарных задач с конечно-разностным разбиением по времени.

2.3. Сравнение прямого и гибридного нейросетевых методов.

2.4. Решение начально-краевой задачи для уравнения Бюргерса.

2.5. Выводы.

Глава 3. Нейросетевые алгоритмы решения обратных задач (задач идентификации).

3.1. Постановка задачи и нейросетевой метод идентификации.

3.2. Идентификация правой части.

3.3. Идентификация граничного режима.

3.4. Выводы.

Введение диссертации (часть автореферата) на тему «Разработка методов математического моделирования на основе нормализованных радиально-базисных сетей»

Нейросетевая технология является одной из самых активно развивающихся областей научно-прикладного знания. Разнообразные методы, в основу которых положены нейронные сети, успешно применяются в самых различных прикладных областях: задачи управления [37,38,41,43-45], прогнозирование экономических показателей [21,26,46], распознавание графических образов [53,70,92,134], аппроксимация зависимостей по результатам точечных измерений [71,90,91,97], задачи сжатия информации [49,99,121] и т.п. Нейроматематика успешно применяется в задачах, для которых сложно или невозможно найти аналитическое решение, но можно построить адекватную аппроксимацию. Нейросетевые методы допускают естественное распараллеливание, что особенно ценно в условиях современности в связи с появлением доступных технологий высокопроизводительных параллельных вычислений, таких как CUDA [98,126,130], OpenCL и др.

В последнее время наметился значительный интерес к применению бессеточных методов в задачах математического моделирования. Это обусловлено, в первую очередь, типичными трудностями, которые возникают при использовании сеточных методов для решения многомерных задач в областях со сложной геометрией, задач с неточно заданными коэффициентами, обратных задач при наличии погрешностей измерений и т.д. [2,8]. Как правило, в подобных ситуациях требуется специальная адаптация вычислительных алгоритмов к рассматриваемой проблеме. С другой стороны, применение нейросетевых методов позволяет в значительной степени преодолеть указанные трудности и использовать унифицированные алгоритмы для решения задач различного типа [4,5].

Широкий круг задач математического моделирования (как правило, это задачи моделирования сложных технических объектов с распределенными параметрами) сводится к решению краевых и начально-краевых задач для дифференциальных и интегро-дифференциальных уравнений и систем. К настоящему моменту накоплен существенный объем знаний для решения подобных задач, в том числе различные варианты нейросетевых подходов, которые представляют предмет дальнейшего рассмотрения.

Существенное влияние на нейросетевой подход к решению дифференциальных уравнений в частных производных оказали работы Харди [90,91]. В обобщающей публикации [91] приводится история развития и примеры успешного применения авторского мультиквадрик-бигармонического метода. Изначальная мотивация разработки метода была в построении кривых и поверхностей по разрозненным данным, в частности, в задачах топографии. В работе отмечается высокая точность предложенного подхода по сравнению с разложением по тригонометрическим и полиномиальным рядам. Харди дает обзор приложений метода в геодезии, картографии, контроле и распознавании, в обработке сигналов и др. В статье Франке [77] приводится сравнение 29 различных схем для аппроксимации по разрозненным данным. В соответствии с результатами вычислений метод Харди обладает лучшими показателями точности и простоты реализации.

Одни из первых успехов в применении нейросетевых алгоритмов на основе радиально-базисных сетей (РБС) для решения дифференциальных уравнений в частных производных принадлежат Канза. В своих работах [101,102] он успешно использовал в качестве аппроксиматоров мультиквадрики Харди для решения эллиптических, параболических и гиперболических задач математической физики. В работе [102] решена одномерная задача конвекции-диффузии, показано, что применение метода, основанного на мультиквадрик-аппроксимации, позволяет получить довольно точные решения при сравнительно компактном размере нейросетевой модели.

В публикации [100] Канза отмечает, что в численных методах решения уравнений в частных производных в настоящее время доминируют методы конечных разностей, конечных элементов и объемов, для работы которых 4 применяются локальные интерполяционные схемы. В качестве аппроксимирующих функций, как правило, применяются полиномы младших степеней. При этом эффективность методов (точность результирующих приближений, скорость сходимости, и т.д.) сильно зависит от правильно подобранной сеточной структуры. В работе отмечается, что построение сетки для многомерных пространств уже само по себе представляет нетривиальную задачу.

Представляют значительный интерес работы Голберга и Чена. В статье [83] авторы приводят результаты использования мультиквадриков для решения уравнений в частных производных. Показана высокая точность предлагаемого метода. В монографии [82] авторы продемонстрировали, что приложение нейросетевого метода позволяет найти решение трехмерной краевой задачи для уравнения Пуассона в эллипсоиде с помощью сети из 60 случайно распределенных в области нейроэлементов, причем точность полученной аппроксимации соответствует решению методом конечных элементов с 71000 узлов.

Стоит отметить публикации Мей-Дуй и Трэн-Конга [107-109], в которых авторы рассматривают приложение оригинального метода, основанного на радиально-базисных сетях. Отличительной особенностью используемого метода является применение непрямого подхода. Вместо аппроксимации непосредственно уравнения (прямой подход) нейросетевой моделью при применении непрямого подхода осуществляется приближение производных старших порядков. В дальнейшем, для поиска решения используется интегрирование нейросетевых представлений. В статьях рассматривается приложение метода для задач высокого порядка. Настройка параметров нейросетевой модели заключалась в подборе весовых коэффициентов при неизменных значениях «ширин» и центров. «Ширины» выбирались по эвристическому правилу, а в качестве центров базисов выбирались узлы коллокации.

Важную роль в развитии нейросетевого подхода сыграли работы Е.Гальперина, Чжена и др. [78-80,123]. В публикациях авторы развивают подход для решения задач с использованием методов оптимизации. Мотивацией для разработки подобных методов является то обстоятельство, что часто используемые процедуры коллокации, как правило, плохо обусловлены. Применение подхода подразумевает решение задачи в экстремальной постановке. Для этого из начальных и краевых условий, и из самих уравнений формируются локальные функционалы, которые далее суммируются с некоторыми весами, образуя общий функционал. Важно отметить, что в такой постановке подход без каких-либо значительных изменений может быть эффективно применен для широкого круга задач. В частности, в работе [80] рассматривается решение для сЛабо сингулярных уравнений Вольтерра.

В работах [52,128] рассматривается приложение радиально-базисных сетей на основе мультиквадриков для приближенного решения уравнений с дробными производными. Приводится сравнение с другими методами, показано, что предложенный метод обладает хорошей точностью.

Существенное влияние на развитие нейросетевой технологии оказали работы В.И. Горбаченко. В монографии [23] подробно исследованы приложение нейрокомпьютеров для решения краевых задач теории поля. Представляют значительный интерес публикации [1,24] в которых рассматривается решение задач математической физики с использованием радиально-базисных сетей. В [22,25] исследовано решение коэффициентных обратных задач, отмечается хорошая точность полученной нейросетевой аппроксимации.

Особенно стоит выделить работы А.Н. Васильева и Д.А. Тархова, ключевые идеи которых легли в основу настоящей диссертационной работы. Характерной чертой применяемого авторами подхода является подбор линейных и нелинейных параметров сети путем оптимизации функционала при подстановке нейросетевой модели в исходные уравнения при 6 перегенерации точек коллокации [2,4,8,13]. Предложенная в работах методология достаточно универсальна и может без значительных модификаций быть адаптирована для решения широкого класса задач. В работах [6,7] приводятся решения задач с нелинейными составляющими.

Разработанный подход без особенных сложностей распространяется на решение задач в составных областях. В публикациях [9,16,17] рассматриваются задачи с фиксированными границами раздела сред. Делается замечание, что при поиске решения для задач с областями составного типа можно применять единую нейронную сеть для всей области, либо искать решение в виде набора сетей и рассматривать нейронную сеть для каждой из подобластей. При использовании первого подхода будет получено бесконечно гладкое решение (при соответствующем выборе базиса), но при наличии разрывов на границах точность решения может значительно снизиться. Второй подход лишен указанного недостатка, но его применение влечет за собой усложнение вычислительного алгоритма, т.к. требуется удовлетворение условиям согласования на границах. В работах [14,15,18,129] дается решение задач со свободной границей с применением нейросетевого подхода. В публикации [14] исследованы нейросетевые подходы для решения задачи Стефана. Выделяется работа [18], в которой рассматривается приложение нейросетевого подхода для построения математической модели образцовой проверочной камеры - калибратора переменного давления. В публикации отмечаются преимущества нейросетевого подхода перед классическими методами [3]: помехоустойчивость алгоритма позволяет применять его при наличии погрешностей во входных данных, при решении серии однотипных задач нет необходимости полностью перестраивать всю сеть, достаточно выбрать уже обученную и доучить ее до требуемой точности.

Важной особенностью предложенного авторами нейросетевого подхода является эффективная адаптация для решения задач по разнородным данным. В практике повсеместно встречаются задачи построения моделей 7 сложных объектов по разнородной информации, которая представлена в виде набора соотношений: это могут быть дифференциальные уравнения и системы, результаты измерения датчиков и т.д. В публикациях [4,10-12] предлагается единая методология для построения подобных моделей с использованием нейросетевой технологии.

Из анализа доступной литературы можно сделать вывод, что при использовании нейросетевых методов для поиска решения краевых задач для уравнений в частных производных доминируют подходы, основанные на радиально-базисных сетях (РБС). Данный выбор обусловлен рядом факторов: простота реализации и организации процесса обучения, точность получаемых аппроксимаций, бесконечная гладкость решений и др. В настоящей работе предлагается в качестве нейросетевых моделей использовать нормализованные радиально-базисные сети (НРБС). Впервые НРБС были описаны в [110] практически в одно время с РБС [58], однако интерес к приложениям появился позже. Как и классические ненормализованные радиально-базисные сети, НРБС являются универсальными аппроксиматорами [55]. В публикациях [55,60] отмечаются хорошие обобщающие свойства данных сетей, в [55,60,65,125] указывается, что эффективность НРБС в значительно меньшей степени зависит от неудачного выбора центров в сравнении с ненормализованными сетями. Представляет интерес статья [63], где указывается важное отличие в поведении нормализованных и классических радиально-базисных сетей, если в качестве базисной функции выбран гауссиан. В зависимости от расположения центров и заданных «ширин» базисы НРБС в рассматриваемых точках могут проявлять как локальные свойства, так и нелокальные. С другой стороны, нейроэлементы РБС с гауссовой функцией активации обладают только локальными свойствами. Стоит отметить работы [48,61] в которых рассматривается применение НРБС в робототехнике.

Настоящая работа посвящена исследованию приложений нормализованных радиально-базисных сетей для решения задач 8 математического моделирования широкого класса физических объектов. Выбор НРБС в качестве приближенных моделей систем обусловлен рассмотренными выше свойствами.

Целью диссертационной работы является создание унифицированной вычислительной технологии для решения задач математического моделирования на основе нормализованных радиально-базисных сетей. Для достижения обозначенной цели предполагается:

1. Анализ современных нейросетевых методов для решения задач математического моделирования.

2. Разработка методов построения нейросетевых моделей стационарных и нестационарных процессов переноса в физических системах при наличии разнородной информации на основе нормализованных радиально-базисных сетей.

3. Разработка нейросетевых методов решения некорректных задач математической физики на основе нормализованных радиально-базисных сетей.

4. Сравнение разработанных методов с существующими нейросетевыми и классическими методами.

5. Создание программного комплекса, реализующего разработанные методы.

Научная новизна. Предложены новые методы для решения задач математического моделирования, построенные на основе нормализованных радиально-базисных сетей.

Разработаны бессеточные вычислительные алгоритмы решения классических и обратных задач математической физики. Отличительной чертой алгоритмов является использование подвижного функционального базиса, что позволяет адаптироваться к особенностям решения и обеспечить достаточно высокую точность при относительно низких вычислительных затратах.

Исследованы особенности применения нейросетевых алгоритмов к нестационарным задачам математической физики. Показано, что в задачах данного класса наиболее эффективным является гибридный разностно-нейросетевой алгоритм.

Рассмотрены вопросы применения разработанных алгоритмов к задачам идентификации. Анализ результатов решения представительного набора задач по восстановлению источниковых слагаемых и граничных условий в уравнениях теплопереноса показал, что разработанные алгоритмы обладают регуляризирующими свойствами и позволяют добиться высокой точности при значительной погрешности в измерениях.

Достоверность и обоснованность результатов, полученных в ходе диссертационного исследования, обеспечивается сопоставлением полученных решений с известными аналитическими решениями, хорошей согласованностью результатов проведенных вычислительных экспериментов с точными или приближенными решениями тестовых задач.

Практическая ценность. Разработанные в диссертации нейросетевые модели и алгоритмы в силу их универсальности, а также высокого потенциала к распараллеливанию вычислений, представляют значительный интерес для специалистов в области математического моделирования. Предложенные методы могут применяться для решения стационарных и нестационарных задач переноса в физических системах со сложной расчетной областью, с неточно заданными коэффициентами, при построении решений по разнородным данным. Созданный программный комплекс востребован, в первую очередь, при проектировании тепловой защиты летательных аппаратов, двигателей и энергетических установок летательных аппаратов и т.д. Результаты диссертационного исследования могут быть использованы при составлении образовательных курсов по математическому моделированию и численным методам.

Апробация работы. Основные результаты работы докладывались и обсуждались: на XVII Международной конференции по вычислительной механике и современным прикладным программным системам (Алушта, 2011), на 10-й Международной конференции «Авиация и космонавтика» (Москва, 2011), на XIV Всероссийской научно-технической конференции «Нейроинформатика-2012» (Москва, 2011), на Московской молодежной научно-практической конференции «Инновации в авиации и космонавтике-2012» (Москва, 2012), на IX Международной конференции по неравновесным процессам в соплах и струях (Алушта, 2012), на семинаре международной молодежной научной школы по теории и численным методам решения обратных и некорректных задач (Воронеж, 2012), на 11-й Международной конференции «Авиация и космонавтика - 2012» (Москва, 2012).

Публикации. По теме диссертации опубликовано 9 работ [27-29,31-36], среди которых 3 статьи [27,31,34] в изданиях, рекомендованных ВАК для представления результатов диссертационного исследования на соискание ученых степеней кандидата и доктора наук, 1 работа [30] принята к публикации.

Структура и объем работы. Диссертация состоит из введения, трех глав, заключения и списка литературы. В работе содержится 29 рисунков и 134 библиографических ссылок. Общий объем диссертации составляет 105 страниц.

Заключение диссертации по теме «Математическое моделирование, численные методы и комплексы программ», Колбин, Илья Сергеевич

3.4. Выводы

В главе рассмотрено приложение нейросетевой технологии для решения обратных задач математической физики. Предлагаемый подход успешно применен к решению задач по восстановлению правой части и граничных условий для стационарных и нестационарных уравнений теплопереноса. С целью исследования регуляризационных свойств метода проведен анализ влияния погрешностей измерений на численное решение. По результатам вычислительных экспериментов можно заключить, что метод сохраняет работоспособность при наличии существенных ошибок в исходных данных и может эффективно применяться в задачах идентификации.

Заключение

Итогом диссертационного исследования являются следующие научные и практические результаты:

• Разработаны методы построения нейросетевых моделей стационарных и нестационарных процессов переноса в физических системах при наличии разнородной информации, основанные на использовании нормализованных радиально-базисных функций.

• Разработаны бессеточные вычислительные алгоритмы решения эллиптических задач математической физики с адаптацией нормализованного функционального базиса к особенностям решения. Показано, что разработанные алгоритмы позволяют эффективно решать задачи с погранслойным характером решения, задачи в областях со сложной геометрией, многомерные задачи.

• Построены нейросетевые и гибридные разностно-нейросетевые алгоритмы для решения параболических задач математической физики.

• Разработана модификация предложенных нейросетевых алгоритмов применительно к обратным задачам математической физики. Рассмотрены вопросы идентификации источниковых слагаемых и граничных условий для стационарных и нестационарных задач теплопереноса. Показано, что присущие нейросетевым алгоритмам регуляризирующие свойства позволяют эффективно решать задачи идентификации при значительных погрешностях измерений.

• Создан комплекс программ для математического моделирования процессов переноса в физических системах с использованием нормализованных радиально-базисных сетей.

Список литературы диссертационного исследования кандидат физико-математических наук Колбин, Илья Сергеевич, 2013 год

1. Артюхина Е.В., Горбаченко В.И. Решение краевых задач математической физики на радиально-базисных нейронных сетях. // Программные продукты и системы. 2007. - № 3 (79). - С. 74-77.

2. Васильев А.Н. Нейросетевое моделирование в математической физике. // «Нейрокомпьютеры»: разработка, применение. -М.: Радиотехника, 2009. -№5.-С. 25-38.

3. Васильев А.Н., Осипов В.П., Тархов Д.А. Унифицированный процесс моделирования физико-технических объектов с распределенными параметрами. // Научно-технические ведомости СПбГПУ. Физико-математические науки. 2010. - №3. - С. 39-51.

4. Васильев А.Н., Порубаев Ф.В., Тархов Д.А. Нейросетевой подход к решению некорректных задач теплопереноса. // Научно-технические ведомости СПбГПУ. Информатика. Телекоммуникации. Управление. 2011. -№1. - С. 133-141.

5. Васильев А.Н., Тархов Д.А. 11ВР-сети и некоторые задачи математической физики. // Сборник докладов Международной конференции по мягким вычислениям и измерениям 8СМ'2004. - СПб., 2004. - Том 1. -С. 309-312.

6. Васильев А.Н., Тархов Д.А. Нейронные сети как новый универсальный подход к численному решению задач математической физики. // «Нейрокомпьютеры»: разработка, применение. М.: Радиотехника, 2004. - №7-8. - С. 111-118.

7. Васильев А.Н., Тархов Д.А. Нейросетевое моделирование. Принципы, алгоритмы, приложения. СПб.: Изд-во Политехи, ун-та, 2009.

8. Васильев А.Н., Тархов Д.А. Нейросетевые подходы к решению краевых задач в многомерных составных областях. // Известия ТРТУ. 2004. - №9. - С. 80-89.

9. Васильев А.Н., Тархов Д.А. Построение нейросетевой модели по дифференциальным уравнениям и экспериментальным данным. // Известия ТРТУ.-2005.-№10(54).-С. 98-107.

10. Васильев А.Н., Тархов Д.А. Построение приближенных нейросетевых моделей по разнородным данным. // Математическое моделирование. 2007. -Том 19, №12 -С.43-51.

11. Васильев А.Н., Тархов Д.А. Применение искусственных нейронных сетей к задаче Стефана. // Искусственный интеллект. Донецк, 2005. - № 1. -С. 37-47.

12. Васильев А.Н., Тархов Д.А. Применение искусственных нейронных сетей к моделированию многокомпонентных систем со свободной границей. // Известия ТРТУ. 2004. - № 9. - С. 89-100.

13. Васильев А.Н., Тархов Д.А. Расчет теплообмена в системе «сосуды-ткани» на основе нейронных сетей. // «Нейрокомпьютеры»: разработка, применение. 2006. - №7. - С. 48-53.

14. Васильев А.Н., Тархов Д.А., Гущин Г. Моделирование калибратора переменного давления с помощью системы нейронных сетей. // Сборник докладов Международной конференции по мягким вычислениям и измерениям SCM'2004. - СПб., 2004. - Том 1. - С. 304-308.

15. Винников В.В., Ревизников Д.Л. Применение декартовых сеток для решения уравнений Навье-Стокса в областях с криволинейными границами. // Математическое моделирование. 2005. - Т. 17, №8. - С. 15-30.

16. Винников В.В., Ревизников Д.Л., Способин A.B. Двухфазный ударный слой при обтекании тел сверхзвуковым запыленным потоком. // Математическое моделирование. 2009. - Т. 21, №12. - С. 89-102.

17. Горбатов А.И. Прогнозирование экономических показателей на основе искусственных нейронных сетей: Диссертация кандидата экономических наук: 08.00.13 : Москва, 2003 175 с.

18. Горбаченко В.И. Нейрокомпьютерный алгоритм решения коэффициентной обратной задачи. // Известия ПГПУ им. В. Г. Белинского. -2011.-№26.-С. 367-374.

19. Горбаченко В.И. Нейрокомпьютеры в решении краевых задач теории поля. — М.: Радиотехника, 2003. — 336 С.

20. Горбаченко В.И., Довженко А.Ю. Решение на нейронной сети уравнения теплопроводности с нелинейным источником. // Нейрокомпьютеры: разработка, применение. 2007. - № 9. - С. 24-32.

21. Горбаченко В.И., Москвитин С. А. Решение обратных коэффициентных задач математической физики на нейронных сетях. // Нейрокомпьютеры: разработка, применение. 2007. - № 9. - С. 136-143.

22. Киселев М., Соломатин Е. Средства добычи знаний в финансах и бизнесе. // Открытые системы. — 1997 г., №4.

23. Колбин И.С., Ревизников Д.Л. Решение задач математической физики с использованием нормализованных радиально-базисных сетей. // «Нейрокомпьютеры»: разработка, применение. 2012. — № 2 - С. 12-19.

24. Колбин И.С. Нейросетевой метод решения граничной обратной задачи для нестационарного уравнения теплопроводности. // Московская молодежная научно-практическая конференция «Инновации в авиации и космонавтике-2012». М.: ООО «Принт-салон», 2012 - С. 239.

25. Колбин И.С. Программный комплекс для решения задач математического моделирования с использованием нейросетевой методологии. // Программная инженерия. 2013. - № 2 - С. 25-30 (статья принята к публикации).

26. Колбин И.С. Разработка системы нейросетевого моделирования. // Информационные и телекоммуникационные технологии. 2012. - № 14 - С. 83-86.

27. Колбин И.С. Решение стационарных задач математической физики с использованием нормализованных радиально-базисных сетей. // Научно-технический вестник Поволжья. 2011. - № 5 - С. 178-181.

28. Нечаев Ю.И. Нейросетевые технологии в бортовых интеллектуальных системах реального времени. // В сб. «Лекции по нейроинформатике». М.: МИФИ, 2002.-Часть 1. - С. 114-163.

29. Нечаев Ю.И. Принципы использования нейронных сетей в бортовых интеллектуальных системах. // «Нейрокомпьютеры»: Разработка, применение. 2004. - № 7-8 - С. 49-56.

30. Пантелеев A.B., Летова Т.А. Методы оптимизации в примерах и задачах. М.: Высш. шк., 2008.

31. Поляк Б.Т. Метод сопряженных градиентов в задачах на экстремум. // Журнал вычислительной математики и математической физики. 1969. - том 9, №4.-С. 807-821.

32. Пупков К.А., Егупов Н.Д. Методы робастного, нейро-нечеткого и адаптивного управления. М.: МГТУ им. Н.Э. Баумана, 2002. - 744 с.

33. Самарский A.A., Вабищевич П.Н. Численные методы решения обратных задач математической физики. -М.: Изд-во ЛКИ, 2009.

34. Сигеру Омату, Марзуки Хал ид, Рубия Юсоф. Нейроуправление и его приложения. М.: ИПРЖР, 2000. - 271 с.

35. Терехов В.А., Ефимов Д.В., Тюкин И.Ю. Нейросетевые системы управления. М.: ИПРЖР, 2002. - 480 с.

36. Терехов С.А. Адаптивные нейросетевые методы в многошаговых играх с неполной информацией. // В сб. «Лекции по нейроинформатике». -М.: МИФИ, 2005. С. 92-135.

37. Тихонов Э.Е., Кузьмищев В.А. Методы и алгоритмы прогнозирования экономических показателей на базе нейронных сетей и модулярной арифметики: Монография. Невинномысск: Издательство НИЭУП, 2004. -166 с.

38. Хайкин С. Нейронные сети: полный курс, 2-е издание. Пер. с англ. -М.: Изд. Дом «Вильяме», 2006. 1104 С.

39. Althoefer К., Bugmann G. Planning and Learning Goal-Directed Sequences of Robot-Arm movements. // in Fogelman-Soulie F. and Gallinari P. (eds), Proc. of ICANN'95, Paris. 1995. - Vol. 1. - pp. 449-454.

40. Amerijckx C., Verleysen M., Thissen P. Image Compression by Self-Organized Kohonen Map. // IEEE Transactions on Neural Networks. 1998. -Vol. 9, No. 3 - pp. 879-892.

41. Armijo L. Minimization of functions having Lipschitz continuous first partial derivatives. // Pacific J. Math. 1966. - Vol. 16(1). - pp. 1-3.

42. Arminjon P., Beauchamp C. A finite element method for Burgers' equation in hydrodynamics. // International Journal for Numerical Methods in Engineering. 1978.-Vol. 12,No. 3.- pp. 415-428.

43. Avaji M., Hafshejani J.S., Dehcheshmeh S.S., Ghahfarokhi D.F.

44. Numeric Solution of Fractional Oridnary Differential Equations using a Multiquadric Approximation Scheme. // Journal of Applied Sciences. 2012. -Vol. 2, Issue 2. - pp. 168-173.

45. Basul J.K., Bhattacharyya D., Kim T. Use of Artificial Neural Network in Pattern Recognition. // International Journal of Software Engineering and Its Applications. 2010 - Vol. 4, No. 2. - pp. 23-33.

46. Bee J., Khanin K. Burgers turbulence. // Physics Reports. 2007. - Vol. 447, Issues 1-2.-pp. 1-66.

47. Benaim M. On the functional approximation with normalized Gaussian units. //Neural Computation. 1994. - Vol. 6. - pp. 314-333.

48. Bishop C.M. Pattern Recognition and Machine Learning. Springer, 2006. - 740 p.

49. Brent R.P. Algorithms for Minimization without Derivatives, Chapter 4. -Prentice-Hall, Englewood Cliffs, NJ, 1973.

50. Broomhead D.S., Lowe D. Multivariable Functional Interpolation and Adaptive Networks. // Complex Systems. 1988. - Vol. 2. - pp. 321-355.

51. Broyden C. The Convergence of a Class of Double-Rank Minimization Algorithms: Part 2 The New Algorithm. - Computing Centre of University of Essex, 1970.

52. Bugmann G. Normalized Gaussian radial basis function networks. // Neurocomputing. 1998. - Vol. 20 (1-3). - pp. 97-110.

53. Burgers J.M. The Nonlinear Diffusion Equation. D. Reidel Publishing Company, Dordrecht-Boston, 1974.

54. Cha I., Kassam S.A. Interference cancellation using radial basis function networks. // Signal Processing. 1995. - Vol. 47. - pp. 247-268.

55. Chai ZShi B. Novel lattice Boltzmann model for the Poisson equation. // Applied Mathematical Modelling. 2008. - Vol. 32. - pp. 2050-2058.

56. Cowpe M.R., Mulgrew B., Unsworth C.P. Nonlinear prediction of chaotic signals using a normalized radial basis function network. // Signal Processing. -2002. Vol. 82. - pp. 775-789.

57. Dai Y.H., Yuan Y. A nonlinear conjugate gradient method with a strong global convergence property. // SIAM J. Optim. 1999. - Vol. 10. - pp. 177-182.

58. Davidon W.C. Variable metric method for minimization. // SIAM Journal on Optimization. 1991.-Vol. l.-pp. 1-17.

59. Davidon W.C. Variable metric method for minimization. // Technical ReportANL-5990 (revised). 1959. - Argonne National Laboratory, Argonne, IL.

60. Dennis J.E., Schnabel R.B. Numerical Methods for Unconstrained Optimization. Prentice-Hall, Englewood Cliffs, NJ, 1983. Reprinted by SIAM Publications, 1993.

61. Egmont-Petersen M., D. de Ridder, Handels H. Image processing with neural networks a review. // Pattern Recognition Society - 2002. - Vol. 35 - pp. 2279-2301.

62. Ferrari S., Stengel R.F. Smooth Function Approximation Using Neural Networks. // IEEE Transactions on Neural Networks. 2005. - Vol. 16, No. 1 -pp. 879-892.

63. Fletcher R. A New Approach to Variable Metric Algorithms. // The Computer Journal. 1970. - Vol. 13. - pp. 317-322.

64. Fletcher R. Practical Methods of Optimization Vol. 1: Unconstrained Optimization. John Wiley & Sons, New York, 1987.

65. Fletcher R. Practical Methods of Optimization. John Wiley & Sons, New York, second ed., 1987.

66. Fletcher R., Powell M.J.D. A Rapidly Convergent Descent Method for Minimization. //The Computer Journal. 1963.-Vol. 6.-pp. 163-168.

67. Fletcher R., Reeves C. Function minimization by conjugate gradients. // Computer Journal. 1964. - Vol. 7. - pp. 149-154.

68. Franke R. Scattered data interpolation: Tests of some methods. // Math. Comput. — 1971. — № 38. — pp. 181-192.

69. Galpcrin E.A., Pan Z., Zheng Q. Application of global optimization to imlicit solution of Partial Differential Equations. // Computers & Mathematics with Applications. Pergamon Press Ltd. - 1993. - Vol. 25, No. 10/11.-pp. 119-124.

70. Galperin E.A., Zheng Q. Solutuion and control of PDE via global optimization methods. // Computers & Mathematics with Applications. -Pergamon Press Ltd. 1993. - Vol. 25, No. 10/11.-pp. 103-118.

71. Gilbert J.C., Nocedal J. Global convergence properties of conjugate gradient methods for optimization. // SIAM J. Optim. 1992. - Vol. 2. - pp. 21-42

72. Golberg M.A., Chen C.S. Discrete Projection Methods for Integral Equations. // Comput. Mech. Publ. 1997. - 250 p.

73. Golberg M.A., Chen C.S. Improved multiquadric approximation for partial differential equations. //Engin. Anal. Bound. Elem. 1996. - Vol. 18. - pp. 9-17.

74. Goldfarb D. Family of Variable-Metric Methods Derived by Variational Means. // Mathematics of Computation. 1970. - Vol. 24. - pp. 23-26.

75. Goldstein A.A. On steepest descent. // SIAM J. Control. 1965. - Vol. 3. -pp. 147-151.

76. Hager W.W., Zhang H. A new conjugate gradient method with guaranteed descent and an efficient line search. // SIAM J. Optim. 2005. - Vol. 16. - pp. 170-192.

77. Hager W.W., Zhang H. A survey of nonlinear conjugate gradient methods. // Pacific J. Optim. 2006. - №2. - pp. 35-58.

78. Hager W.W., Zhang H. Algorithm 851: CGJDESCENT, a conjugate gradient method with guaranteed descent. // ACM Trans. Math. Software, 32, 2006.

79. Hager W.W., Zhang H. CGDESCENT user's guide. Technical report. // Dept. Math., Univ. Florida, 2004.

80. Hardy R.L. Multiquadric equations of topography and other irregular surfaces. // J. Geophys. Res. 1971.-Vol.76. - pp. 1905-1915.

81. Hardy R.L. Theory and applications of the multiquadric-biharmonic method: 20 years of discovery. // Comput. Math. Appl. 1990 - Vol. 19, No. 8&9 -pp. 163-208.

82. Harvey R.L., DiCaprio P.N., Heinemann K.G. A Neural Network Architecture for General Image Recognition. // The Lincoln Laboratory Journal1991. Vol. 4, No. 2 - pp. 189-207.

83. Hestenes M.R., Stiefel E.L. Methods of conjugate gradients for solving linear systems. // J. Research Nat. Bur. Standards. 1952. - Vol. 49. - pp. 409436.

84. Holland J.H. Adaptation in natural and artificial systems. University of Michigan Press, Ann Arbor, 1975.

85. Hooke R., Jeeves T.A. Direct search solution of numerical and statistical problems. // J. ACM 1961.-Vol. 8(2).-pp. 212-229.

86. Huang C.H., Ozisik M.N. Inverse problem of determining heat flux inlaminar flow through a parallel plate duct. // Numerical Heat Transfer, Part A.1992.-Vol. 21.-pp. 55-70.

87. Huang G., Chen L., Siew C. Universal Approximation Using Incremental Constructive Feedforward Networks With Random Hidden Nodes. // IEEE Transactions on Neural Networks. 2006. - Vol. 17, No. 4 - pp. 879-892.

88. Jang H., Park A., Jung K. Neural Network Implementation Using CUDA and OpenMP. // Proceedings of the 2008 Digital Image Computing: Techniques and Applications.-2008.-pp. 155-161.

89. Jilani A.K., Sattar A.A. Fuzzy Neural Networks based EZW Image Compression System. // International Journal of Computer Applications. 2010. -Vol. 2, No.9. — pp. 1-7.

90. Kansa E.J. Motivation for using radial basis function. 1999. -http://www.cityu.edu.hk/rbf-pde/files/overview-pdf.pdf.

91. Kansa E.J. Multiquadrics a scattered data approximation scheme with applications to computational fluid dynamics-I. Surface approximations and partial derivative estimates. // Comput. Math. Appl. - 1990. - Vol. 9, No. 8 & 9. - pp. 127-145.

92. Kennedy J. The particle swarm: social adaptation of knowledge. // Proceedings of IEEE International Conference on Evolutionary Computation. -1997.-pp. 303-308.

93. Kennedy J., Eberhart R.C. Particle Swarm Optimization. // Proceedings of IEEE International Conference on Neural Networks. IV. 1995. - pp. 1942-1948.

94. Lemarechal C. A view of line searches. in Optimization and Optimal Control, W. Oettli and J. Stoer, eds. // №. 30 in Lecture Notes in Control and Information Science, Springer-Verlag. - 1981. - pp. 59-78.

95. Liu Y., Storey C. Efficient generalized conjugate gradient algorithms, part \.H Theory. J. Optim. Theory Appl. 1991. - Vol. 69. - pp. 129-137.

96. Mai-Duy N. Solving high order ordinary differential equations with radial basis function networks. // International Journal for Numerical Methods in Engineering. 2005. - Vol. 62. - pp. 824-852.

97. Mai-Duy N., Tran-Cong T. Compact local integrated-RBF approximations for second-order elliptic differential problems. // Journal of Computational Physics. -2011.-Vol. 230, No. 12.-pp. 4772-4794.

98. Mai-Duy N., Tran-Cong T. Integrated radial-basis-function networks for computing Newtonian and non-Newtonian fluid flows. // Computers and Structures. 2009. - Vol. 87, Issue 11-12. - pp. 642-650

99. Moody J., Darken C. Fast learning in networks of locally-tuned processing units. // Neural Computation. 1989. - Vol. 1. - pp. 281-294.

100. More J.J., Thuente D.J. Line search algorithms with guaranteed sufficient decrease. // ACM Transactions on Mathematical Software. 1994. - Vol. 20. - pp. 286-307.

101. Nelder J.A., Mead R.A. simplex method for function minimization. // Computer Journal. 1965. - Vol. 7. - pp. 308-313

102. Nocedal J. Conjugate gradient methods and nonlinear optimization. in Linear and Nonlinear Conjugate Gradient Methods, L. M. Adams and J. L. Nazareth, eds. - SIAM, Philadelphia, 1996. - pp. 9-23.

103. Nocedal J. Theory of algorithms for unconstrained optimization. // Acta Numerica.- 1991.-Vol. l.-pp. 199-242.

104. Nocedal J. Updating quasi-Newton matrices with limited storage. // Math. Comp. 1980. - Vol. 35. - pp. 773-782.

105. Nocedal J., Wright S.J. Numerical optimization. Springer Verlag, New York, NY, 1999.

106. Ortega J.M., Rheinboldt W.C. Iterative Solution of Nonlinear Equations in Several Variables. Academic Press, 1970.

107. Polak E., Ribiere G. Note sur la convergence de methodes de directions conjuguees. // Rev. Française Informat. Recherche Opérationnelle. 1969. - Vol. 3. - pp. 35-43.

108. Powell M.J.D. How bad are the BFGS and DFP Methods When the Objective Function is Quadratic. // Mathematical Programming. 1986. - Vol. 34. -pp. 34-47.

109. Powell M.J.D. Nonconvex Minimization Calculations and the Conjugate Gradient Method. Numerical Analysis, 1983.

110. Rama I., Vaddella P., Rama K. Artificial Neural Networks for compression of Digital Images: A Review. // International Journal of Reviews in Computing 2009-2010. - pp. 72-85.

111. Shanno D. Conditioning of Quasi-Newton Methods for Function Minimization. // Mathematics of Computation. 1970. - Vol. 24. - pp. 647-656.

112. Sharman M., Kansa E.J., Gupta S. Application of the Multiquadric method to numerical solution of elliptic partial differential equations. // Applied Mathematics and Computation. 1997. - Vol. 84. - pp. 275-302.

113. Shi Y., Eberhart R.C. A modified particle swarm optimizer. // Proceedings of IEEE International Conference on Evolutionary Computation. 1998. - pp. 6973.

114. Shorten R., Murray-Smith R. Side effects of normalizing radial basis function networks. // Int. J. Neural Systems. 1996. - Vol. 7. - pp. 167-179.

115. Uetz R., Behnke S. Large-scale Object Recognition with CUDA-accelerated Hierarchical Neural Networks. // In Proceedings of the 1st IEEE International Conference on Intelligent Computing and Intelligent Systems. 2009.

116. Van der Vorst H.A. Bi-CGSTAB: A Fast and Smoothly Converging Variant of Bi-CG for the Solution of Nonsymmetric Linear Systems. // SIAM Journal on Scientific and Statistical Computing. 1992. - Vol. 13 (2). - pp. 631644.

117. Vanani S.K., Aminataei A. On the numeric solution of fractional partial differential equations. // Mathematical and Computaional Applications. 2012. -Vol. 17, No. 2.-pp. 140-151.

118. Vasilyev A., Tarkhov D., Guschin G. Neural Networks Method in Pressure Gauge Modeling. // Proceedings of 10th IMECO TC7 International Symposium on Advances of Measurement Science, Saint-Petersburg, Russia. 2004. - Vol. 2. -pp. 275-279.

119. Vesely K., Burget L., GrezI F. Parallel Training of Neural Networks for Speech Recognition. // Interspeech. 2010. - pp. 2934-2937.

120. Werntges H.W. Partitions of unity to improve neural function approximators. // IEEE International Conference on Neural Networks, San Francisco, California, 1993.-pp. 914-918.

121. Wolfe P. Convergence conditions for ascent methods. // SIAM Rev. 1969. -Vol. 11 (2).-pp. 226-235.

122. Xie O., Zhao Z. Identifying an unknown source in the Poisson equation by a modified Tikhonov regularization method. // International Journal of Mathematical and Computational Sciences. 2012. - Vol. 6. - pp. 86-90.

123. Yang C.C., Prasher S.O., Landry J.A., Ramaswamy H.S. Ditommaso A.

124. Application of artificial neural networks in image recognition and classification of crop and weeds. // Canadian agricultural engineering 2000. - Vol. 42, No. 3 - p. 147-152.