Нейросетевая реализация процедуры идентификации динамических систем тема диссертации и автореферата по ВАК РФ 05.13.01, кандидат технических наук Гаврилов, Александр Игоревич

• Гаврилов, Александр Игоревич
• кандидат технических наук
• 2000

Оглавление диссертации кандидат технических наук Гаврилов, Александр Игоревич

ВВЕДЕНИЕ

ГЛАВА 1. ОБЩАЯ ПОСТАНОВКА ЗАДАЧИ ИДЕНТИФИКАЦИИ ДИНАМИЧЕСКИХ СИСТЕМ И ОБОСНОВАНИЕ ЭФФЕКТИВНОСТИ ЕЕ РЕШЕНИЯ НА ОСНОВЕ НЕЙРОСЕТЕВЫХ МОДЕЛЕЙ

1.1. Способы построения описания систем

1.2. Постановка задачи идентификации

1.3. Построение описания динамических систем на основе линейных модельных структур

1.4. Функциональные особенности искусственных нейронных сетей

1.4.1. Основные этапы развития теории искусственных нейронных сетей

1.4.2. Определение искусственных нейронных сетей и их классификация

1.4.3. Структура технического нейрона

1.5. Многослойные нейронные сети и их аппроксимирующие свойства

1.6. Сравнительный анализ нейросетевых вычислительных структур и традиционного программного обеспечения

1.7. Выводы по главе

ГЛАВА 2. РЕАЛИЗАЦИЯ ПРОЦЕДУРЫ ИДЕНТИФИКАЦИИ ДИНАМИЧЕСКИХ СИСТЕМ НА ОСНОВЕ НЕЙРОСЕТЕВЫХ МОДЕЛЬНЫХ СТРУКТУР

2.1. Основные этапы процедуры идентификации

2.2. Выбор модельной структуры

2.2.1. Базовые нейросетевые модельные структуры

2.2.2. Основные критерии выбора модельной структуры

2.3. Планирование и проведение эксперимента

2.3.1. Тестирование системы на нелинейность

2.3.2. Особенности формирования информативного множества экспериментальных данных

2.3.3. Рациональный выбор и предварительная обработка экспериментальных данных

2.4. Оптимизация параметров нейросетевой модели

2.4.1. Метод ошибки прогнозирования

2.4.2. Регуляризация и концепция обобщения

2.4.3. Особенности оптимизации параметров нейросетевых модельных структур

2.5. Принятие решения об адекватности модели 115 2.5.1. Исследование корреляционных функций 116 2.5.2 .к -шаговое прогнозирование 119 2.5.3. Оценка средней ошибки обобщения

2.6. Улучшение рабочих характеристик нейросетевых моделей методами структурной оптимизации

2.7. Выводы по главе

ГЛАВА 3. РАЗРАБОТКА ПРОГНОЗИРУЮЩИХ НЕЙРОСЕТЕВАХ МОДЕЛЕЙ ТЕХНОЛОГИЧЕСКОГО ПРОЦЕССА ДУГОВОЙ СВАРКИ

3.1. Особенности разработки систем автоматического управления сварочными процессами

3.2. Характеристика объекта управления при дуговой сварке

3.3. Классификация критериев качества

3.4. Постановка задачи оценки качества сварных соединений при аргоно-дуговой сварке

3.5. Программно-аппаратный комплекс для мониторинга технологического процесса сварки

3.6. Идентификация технологического процесса сварки на основе нейросетевых модельных структур с использованием многозадачного программного пакета NNPredictor

3.7. Выводы по главе

Введение диссертации (часть автореферата) на тему «Нейросетевая реализация процедуры идентификации динамических систем»

К концу двадцатого столетия системы автоматического управления (САУ) стали неотъемлемой частью повседневной жизни человека. САУ применяются повсеместно, начиная от предметов бытовой техники и заканчивая самолетами и космическими станциями. Несмотря на различия в принципах функционирования и наличие конструктивных особенностей, все системы управления предназначены для выполнения одной и той же задачи -задачи манипулирования (управления) некоторым объектом с целью получения желаемого поведения объекта. Совершенно очевидно, что при проектировании системы управления каким-либо конкретным объектом необходимо иметь информацию о том, как будет вести себя объект при определенных управляющих воздействиях, т.е. надо иметь некоторую модель поведения объекта. Модель может быть получена на основе знаний о структуре и физических принципах функционирования объекта либо путем проведения серии экспериментов с целью выявления особенностей поведения исследуемой системы [1]. Первый метод принципиально прост, но требует значительных временных затрат и нередко приводит к недостаточно точным моделям. Второй метод, обычно называемый идентификацией, может с успехом использоваться для получения формальных моделей с заданной степенью адекватности. Основным недостатком метода является необходимость проведения экспериментов, охватывающих весь диапазон функционирования системы.

Методы идентификации широко используются при проектировании систем управления, иногда переходя в неотъемлемую часть регулятора [1]. В этом случае подразумеваются так называемые адаптивные системы управления, в которых адекватная модель объекта определяется для текущих условий функционирования, и с учетом полученной модели изменяются параметры регулятора.

В большинстве работ в области идентификации, адаптивного управления и проектирования систем управления в целом традиционно рассматриваются линейные объекты и регуляторы. Тем не менее, все системы в той или иной мере проявляют нелинейное поведение, что вызывает интерес к исследованию методов и подходов к проектированию именно нелинейных систем.

Одним из подходов, вызывающих все больший интерес, является использование искусственных нейронных сетей (нейронных сетей, НС) для решения задач как идентификации (построения НС моделей) нелинейных динамических объектов, так и для проектирования систем автоматического управления в целом (нейроконтроллеров). Проблемам использования НС в технических приложениях посвящено огромное количество периодических научных журналов, в частности "Neural Networks" (с 1983 года), "ШЕЕ Transactions on Neural Networks" (с 1990 года). В России с 1992 г. издается журнал "Нейрокомпьютер". По данной тематике ежегодно проводится большое число конференций и симпозиумов, в том числе российские "Нейроинформатика и нейрокомпьютеры", Ростов-на-Дону, 1992 г., 1995г., 1998г., "Нейрокомпьютеры и их применение", Москва, ежегодно, начиная с 1995г. Исследования в области нейросетевых технологий поддерживаются Российским фондом фундаментальных исследований.

Теория искусственных нейронных сетей представляет собой дисциплину, у истоков которой - исследования принципов функционирования биологических нейронных структур. Развитие дисциплины привело к созданию НС моделей, значительно отличающихся от своих биологических прототипов, но обладающих такими характерными чертами, как способность к обучению, обобщению и абстрагированию. Именно эти свойства НС позволяют эффективно решать задачу построения формальных моделей сложных нелинейных динамических объектов при отсутствии априорной информации, необходимой для применения традиционных методов идентификации.

Помимо систем управления нейронные сети используются для решения таких задач, как адаптивная обработка сигналов и фильтрация, распознавание образов и кластеризация, создание памяти, адресуемой по содержанию, а также в медицине и банковской деятельности.

Обычно моделирование НС производится с помощью программно реализованных эмуляторов, но при необходимости значительно повысить скорость вычислений используются аппаратно реализованные (в виде специализированных нейропрцессоров) нейросетевые вычислительные структуры (приложение 2).

Технические системы, включающие в себя искусственные нейронные сети в качестве прогнозирующих моделей, адаптивных регуляторов или универсальных высокопараллельных вычислителей, могут быть отнесены к классу интеллектуальных систем [2], способных на основе использования сведений и знаний при наличии мотивации синтезировать цель и находить рациональные способы ее достижения.

Настоящая работа посвящена прикладным аспектам использования нейронных сетей для решения задач идентификации динамических систем. Основная цель работы - создание формализованного подхода к нейросетевой реализации процедуры идентификации, применимого к широкому классу динамических систем, и разработка технических приложений на основе полученной методики. В соответствии с поставленной целью, основными задачами работы являются:

- обоснование возможности использования НС в качестве формальных моделей динамических объектов;

- разработка базовых нейросетевых модельных структур;

- разработка, анализ и алгоритмизация многостадийной процедуры идентификации на основе нейросетевых модельных структур, включая планирование и проведение эксперимента; выбор структуры НС модели; обучение НС; тестирование (установление адекватности) модели; оптимизацию структуры НС;

- создание программно-аппаратного комплекса мониторинга технологического процесса дуговой сварки, основанного на применении прогнозирующих нейросетевых моделей.

Лейтмотивом настоящей работы является систематизация научных достижений в таких областях, как теория автоматического управления, информатика, вычислительная математика и статистика, нейрофизиология, физика и технология производства микрочипов. Выбранная стратегия привела к созданию логически законченной процедуры нейросетевой идентификации динамических систем.

Научную новизну и значительную практическую ценность составляют нейросетевые модели технологического процесса дуговой сварки, позволяющие эффективно прогнозировать качество сварного соединения на основе информационных сигналов, получаемых от уникального лабораторного стенда.

Изложение материала в настоящей работе структурируется следующим образом: вначале рассматривается общая постановка задачи идентификации и исследуются возможности использования нейросетевых моделей для решения поставленной задачи; далее предлагается многоэтапная процедура нейросетевой идентификации и исследуются ее особенности. Работа завершается описанием успешно решенной практической задачи получения нейросетевой модели технологического процесса дуговой сварки с использованием разработанных методик и программного обеспечения.

В первой главе рассматриваются традиционная постановка задачи идентификации объектов типа «черный ящик» и существующие методы решения задачи на основе использования линейных регрессионных модельных структур. Приводятся фундаментальные особенности функционирования НС, их классификация и категории решаемых задач; обосновывается возможность реализации процедуры идентификации нелинейных динамических объектов на основе одного класса нейросетевых модельных структур - многослойных перцептронов.

Во второй главе рассматривается реализация многоэтапной процедуры идентификации динамических объектов с использованием нейросетевых модельных структур. Особое внимание уделяется практическим аспектам: созданию репрезентативной выборки экспериментальных данных и их предварительной обработке, рациональному выбору нейросетевой модельной структуры, реализации методов оптимизации параметров модели, а также способам подтверждения адекватности модели.

Третья глава посвящена описанию программно-аппаратного комплекса мониторинга технологического процесса дуговой сварки, основным элементом которого являются прогнозирующие нейросетевые модели. Прежде всего выделяются особенности исследуемого технологического процесса и рассматриваются критерии оценки качества получаемого сварного соединения. Далее приводятся функциональная схема и технические характеристики лабораторной установки. Обосновывается выбор среды программирования и дается обзор функциональных возможностей разработанного программного продукта, предназначенного для решения задач обработки результатов эксперимента, идентификации, моделирования и прогнозирования поведения динамических систем. В заключение приводится детальное описание процедуры построения нейросетевой модели технологического процесса, реализованной с использованием разработанных методик и программного обеспечения.

В результате проведенной научно-исследовательской работы получены следующие основные результаты:

- Разработан комплексный формализованный подход к решению задачи идентификации, основанный на применении нейросетевых модельных структур динамических систем.

- Предложены базовые нейросетевые модельные структуры, объединяющие некоторые особенности традиционных линейных моделей (линейный регрессионный вход) и характерные свойства нейронных сетей: способность к обучению на множестве экспериментальных данных, обобщение и абстрагирование.

- Разработаны алгоритмы оптимизации параметров нейросетевых моделей, основанные на применении методов безусловной минимизации функций многих переменных.

- Исследованы и алгоритмизированы методики принятия решения об адекватности модели: многошаговое прогнозирование, оценка ошибки обобщения, корреляционные оценки ошибки прогнозирования.

- Предложен подход к оптимизации структуры нейросетевых моделей, основанный на контрастировании весовых коэффициентов НС.

- Разработан многофункциональный программный продукт, ориентированный на автоматизированное решение задачи идентификации динамических систем.

- Получены эффективные прогнозирующие нейросетевые модели технологического процесса аргоно-дуговой сварки неплавящимся электродом.

Разработанные и исследованные в работе нейросетевые методы идентификации динамических объектов могут быть использованы при создании алгоритмического обеспечения и технических средств информационно-вычислительных комплексов моделирования систем управления нелинейными процессами при отсутствии достаточного объема априорной информации.

Практической реализацией разработанных методов является программный продукт, представляющий собой композицию модулей, соответствующих каждой стадии процедуры идентификации и объединенных в одной оболочке. Интуитивно понятный интерфейс пользователя, быстрота и толерантность к ошибкам используемых алгоритмов позволяют получать адекватные нейросетевые модели за рекордно короткие сроки и с минимальным участием пользователя (проектировщика).

Полученные в результате экспериментальных исследований

12 нейросетевые модели технологического процесса дуговой сварки могут быть использованы как в системе мониторинга геометрических параметров сварного шва, так и в контурах систем автоматического управления.

Основные теоретические и практические результаты получены в ходе выполнения научно-исследовательской работы в рамках Федеральной программы «Университеты России - фундаментальные исследования» (проект №1229 «Исследование и создание интеллектуальных систем») и межвузовской программы «Многопроцессорные ЭВМ с параллельной структурой и виртуальная реальность» (приказ Министерства общего и профессионального образования РФ №572 от 02.03.98).

Разработанные в рамках настоящей работы методики, алгоритмы и программное обеспечение использованы в научно-учебном центре «Сварка и контроль» при создании системы автоматического управления сварочным процессом.

Заключение диссертации по теме «Системный анализ, управление и обработка информации (по отраслям)», Гаврилов, Александр Игоревич

3.7. Выводы по главе 3

Построенная в результате реализации многоэтапной процедуры идентификации нейросетевая модель достоверно отображает технологический процесс аргоно-дуговой сварки пластин встык с полным проплавлением. Получение данного результата объясняется способностью нейросетей реализовывать нелинейные преобразования и отображать (моделировать) сложные взаимосвязи между параметрами в результате обучения на некотором

Рис. 3.10. Обратный валик сварного шва множестве экспериментальных данных. Использование расширенного регрессионного вектора, содержащего «предысторию» развития контролируемых параметров, позволяет отразить динамические свойства процесса.

Достоверная оценка формирования геометрии сварного соединения возможна только на основе исследования большого числа информационных сигналов, отражающих протекание различных физико-химических процессов при сварке

Использование теоретических моделей для обработки большого набора информационных сигналов представляется как весьма затруднительным, так и малоэффективным. Формальные нейросетевые модели с регрессионным входом, оперирующие с большим числом информативных сигналов, могут эффективно применяться для решения данной проблемы и не имеют существенных ограничения по области применения.

Предложенная нейросетевая модель для оценки геометрии сварного соединения позволяет прогнозировать (в том числе и оперативно) с достаточной точностью параметры сварного соединения на основе 4 информационных сигналов и при наличии большого числа разнообразных возмущающих воздействий на процесс сварки.

На базе предложенной прогнозирующей модели могут быть построены нейросетевые модели оперативного управления различными технологическими параметрами сварочного процесса при наличии внешних возмущающих воздействий.

Идентификация является многоэтапной процедурой, причем практически каждый этап требует непосредственного участия инженера-разработчика. Поэтому использование специализированных многофункциональных программных средств с «дружественным» интерфейсом пользователя, включающих в себя как нейросетевые алгоритмы, так и функции предварительной обработки и анализа экспериментальных данных, может

175

ЗАКЛЮЧЕНИЕ

В результате проведенной научно-исследовательской работы получены следующие основные результаты:

1). Исследованы особенности функционирования нейронных сетей и обоснована возможность их использования в качестве формальных моделей динамических объектов.

2). Разработан комплексный формализованный подход к решению задачи идентификации, основанный на применении нейросетевых модельных структур динамических систем.

3). Предложены базовые нейросетевые модельные структуры с линейным регрессионным входом, использующие характерные свойства нейронных сетей (способность к обучению на множестве экспериментальных данных, обобщение и абстрагирование) для моделирования нелинейных динамических систем.

4). Разработаны алгоритмы оптимизации параметров нейросетевых моделей, основанные на применении методов безусловной минимизации функций многих переменных.

5). Исследованы и алгоритмизированы методы принятия решения об адекватности модели: многошаговое прогнозирование, оценка ошибки обобщения, корреляционные оценки ошибки прогнозирования.

6). Предложен подход к оптимизации структуры нейросетевых моделей с целью улучшения их рабочих характеристик, основанный на контрастировании весовых коэффициентов НС.

7). Разработан многофункциональный программный продукт, ориентированный на автоматизированное решение задачи идентификации динамических систем.

8). На основе разработанного подхода к решению задачи идентификации получены эффективные прогнозирующие нейросетевые модели технологического процесса аргоно-дуговой сварки неплавящимся электродом.

Разработанные и исследованные в работе нейросетевые методы идентификации динамических объектов могут быть использованы при создании алгоритмического обеспечения и технических средств информационно-вычислительных комплексов моделирования систем управления нелинейными процессами при отсутствии достаточного объема априорной информации.

Практической реализацией разработанных методов является программный продукт, представляющий собой композицию модулей, соответствующих каждой стадии процедуры идентификации и объединенных в одной оболочке. Интуитивно понятный интерфейс пользователя, быстрота и толерантность к ошибкам используемых алгоритмов позволяют получать адекватные нейросетевые модели за рекордно короткие сроки и с минимальным участием пользователя (проектировщика).

Полученные в результате экспериментальных исследований нейросетевые модели технологического процесса дуговой сварки могут быть использованы как в системе мониторинга геометрических параметров сварного шва, так и в контурах систем автоматического управления.

Разработанные в рамках настоящей работы алгоритмы и программное обеспечение использованы в научно-учебном центре «Сварка и контроль» при создании системы автоматического управления сварочным процессом.

В дальнейшем предполагается применить полученные научные результаты для создания средств аппаратной поддержки нейровычислений (нейропроцессоров).

Ill

Список литературы диссертационного исследования кандидат технических наук Гаврилов, Александр Игоревич, 2000 год

1. Льюнг Л. Идентификация систем. Теория для пользователя: Пер. с англ. -М.: Наука. Гл. ред. физ.-мат. лит., 1991. — 432с.

2. Пупков К.А. Проблемы теории и практики интеллектуальных систем. // Машиностроение, приборостроение, энергетика / Ред. кол.: А.Н. Тихонов, В.А. Садовничий В.И., Сергеев и др. М.: Изд-во Моск. ун-та, 1994. - 340 с.

3. Гроп Д. Методы идентификации систем: Пер. с англ. М.: Мир, 1979. -302с.

4. Цыпкин Я. 3. Информационная теория идентификации. М.: Наука, 1995. -336 с.

5. Сейдж Э. П., Мелса Д.Л. Идентификация систем управления: Пер. с англ. -М.: Наука. Гл. ред. физ.-мат. лит., 1974. 248с.

6. Ивахненко А.Г., Юрачковский Ю.Г. Моделирование сложных систем по экспериментальным данным. -М.: Радио и связь, 1987. 120 с.

7. Пупков К.А., Капалин В.И., Ющенко A.C. Функциональные ряды в теории нелинейных систем. М.: Наука, 1976. - 448 с.

8. Джейн А.К., Муиуддин K.M. Введение в искусственные нейронные сети // Открытые системы. 1997. - №4. - С. 17 - 24.

9. Гаврилов А.И. Перспективы применения нейросетевых технологий в системах автоматического управления // Вестник МГТУ им. Н.Э. Баумана. Приборостроение. 1998. - №1. - С.119-126.

10. Нейросетевые системы управления / В.А. Терехов, Д.В. Ефимов, И.Ю. Тюкин и др. СПб: Издательство С. - Петербургского университета, 1999.-265 с.

11. Харламов A.A. Ермаков А.Е. Динамическая нейронная сеть для распознавания речевых сигналов // Вестник МГТУ им. Н.Э. Баумана. Приборостроение. 1998. - №1. - С. 93-101.

12. Alhoniemi Е., Hollmen J., Simula О. Process monitoring and modelling using theself-organizing map. Amsterdam: IOS Press, 1999. - 14 p.

13. Hopfield J J., Tank D.W. Neural computation of decisions in optimization problems // Biological Cybernetics. 1985. -No.2. - P. 141-152.

14. Kosko B. Constructing an associative memory // Byte. 1987. - September. -P. 137-144.

15. McCulloch W. Pitts. W. A logical calculus of the ideas immanent in nervous activity // Bulletin of mathematical biophisics. 1943. - Vol. 5. - P.115 - 133.

16. Hebb D.O. The organization of behaviour: A neuropsychological theory. -N.-Y.: Wiley, 1949.-435 p.

17. Rosenblatt F. Principles of Neurodinamics: Perceptron and the Theory of Brain Mechanisams.- Washington (DC): Spartan Books, 1962. 480p.

18. Rosenblatt F. Two theorems of statistical separability in the perceptron // Mechanization of Thought Processes Proceedings.: Proc. of Symposium held at the National Phisical Laboratory. London, 1959. - P. 421- 456.

19. Steihbuch K., Piske V.A. Learning matrices and their applications // IEEE Trans. Electron. Comput. 1963. - Vol. EC-12, Dec. - P.846-862.

20. Widrow B. Networks of adaline neurons. Washington (DC): Spartan Books, 1962. - 245p.

21. Stark L., Okajima M., Whipple G.H. Computer Pattern Recognition Techniques: Electrografic Diagnosis // Commun. Ass. Comput. Mach.- 1962. -Vol 5. P. 527-532.

22. Malsburg C. Self-Organising of Orientation Sensitive Sells in the Striate Cortex // Kibernetik.- 1973. Vol 14. - P. 85-100.

23. Grossberg C. Adaptive Pettern Classification and Universal Recording.Parallel development and Coding of Neural Feature Detectors // Biolog. Cybernetics. -1976.- Vol.23. P. 121-134.

24. Fukushima K. Cognitron: A Self-organizing multilayered neural network // Biolog. Cybernetics.- 1975. Vol. 20. - P. 121-136.

25. Fukushima K. Neocognitron: A self -organizing neural network model for amechanism of pattern recognition unaffected by shift in position // Biolog. Cybernetics. 1980. - Vol. 36. - P. 193-202.

26. Talbert L.R.A. Real-time adaptive speech recognition system. Stanford: SUPress, 1963. -562p.

27. Hu M.J.C. Application of the Adaline system to weather forecasting. Stanford: SUPress, 1964.-437p.

28. Widrow B. The original adaptive neural net broom balancer // Proc. IEEE Intl. Symp.Circuits and Systems. - Phil. (PA), 1987. - P. 351-357.

29. Minsky M., Papert S. Perceptrons: An introduction to computational geometry. -Cambridge (Massachusets): Adison Wesly, 1969. - 262 p.

30. Widrow B., Stearns S. Adaptive Signal Pracessing. Englewood Cliffs (NY): Prentice-Hall, 1985. - 395 p.

31. Widrow B., Mantey P., Griffiths L. Adaptive antenna systems // Proc. IEEE.1967.- Vol. 5.- P. 2143-2159.

32. Widrow B. Adaptive inverse control // Autumatic Control: Proc. 2d Int. Fed. Of Autumatic Control Workshop. Lund (Sweden), 1986.- P. 1-5.

33. Widrow B. Adaptive noise cancelling: Principles and applications // Proc. IEEE. -1975.-Vol. 63. P. 1692-1716.

34. Luky R.W. Automatic equalization for digital communications // Bell Syst. Tech. J. 1965. -Vol. 44. - P. 547-578.

35. Luky R.W. Principles of Data Communication. New-York: McGraw-Hill,1968.-327p.

36. Sondhi M.M. An adaptive echo canceller // Bell Syst. Tech. J. 1967. - Vol.46. -P. 497-511.

37. Grossberg S. Adaptive pattern classification and universal recording II: Feedback, expectation, offaction, and illusions // Biolog. Cybernetics. 1976. - Vol. 23. -P. 187-202.

38. Carpenter G.A., Grossberg S. A massively parallel architecture for self-organizing neural pattern recognition // Computer vision, Graphics and Image

39. Processing. 1983. - Vol. 37. - P. 54-115.

40. Carpenter G.A., Grossberg S. Art 2: Self organizing of stable category recognition codes for analog output patterns // Applied Optics. - 1983. - Vol 26. -P. 4919-4930.

41. Carpenter G.A., Grossberg S. Art 3: Hierarchical search: Chemical transmitters in self-organizing pattern recognition architectures // Neural Networks: Proc. Int. Conf. Wash. (DC), 1990. - Vol. 2. - P. 30-33.

42. Albus J.S. A new approach to manipulator control: the cerebellar model articulation controller (CMAC) // Dyn. Sys., Measurements., Control.- 1975. -Vol. 97. P. 220-227.

43. Hopfield J.J. Neural networks and physical systems with emergent collective computational abilities // Proc. National Acad. Science. 1982. - Vol.79. -P. 2554-2558.

44. Rumelhart D.E., Hinton G.E. Williams R.J. Learning internal representation by error propagation // Parallel Distributed Processing. 1986. - Vol.l, No.8. -P. 318-362.

45. Werbos P. Beyond Regression: New Tools for prediction and Analysis in the Behavioral Sciences. Cambridge (MA): Harvard University, 1974. -212p.

46. D. Parker. Learning-Logic. Stanford (CA): Stanford University, 1982. - 214p.

47. Горбань A.H. Обучение нейронных сетей. M.: СП "ParaGraph", 1990. -160с.

48. Kohonen Т. Self-organized formation of topologically correct feature maps // Biolog. Cybernetics. 1982. - Vol. 43. - P. 59-69.

49. Kohonen T. Self-Organization and Associative Memory. New-York: Springer -Verlag, 1988.-620 p.

50. Kosko B. Adaptive bidirectional associative memories // Appl. Optics. 1987. -Vol. 26. - P. 4947 - 4960.

51. Hinton G.E., Sejnovski R.J., Ackley D.H. Boltzmann machines. Mellon: CMUPress, 1984.-267p.

52. Hinton G.E., Sejnovski RJ. Learning and relearning in Bolzmann machines // Parallel Distributed Proc. 1986. - Vol. 1. - P. 326 - 348.

53. Anderson J.A., Rosenfeld E. Neurucomputing: Foundations of Research -Cambridge (MA): M.I.T. Press, 1988. 489 p.

54. Nilsson N. Learning Machines. New York: McGraw-Hill, 1965.- 418p.

55. Parallel Distributed Processing / Eds. D.E. Rumelhart , J. I. McClelland. -Cambridge (MA): M.I.T. Press, 1986. 687p.

56. DARPA Neural Network Study. Fairlax (VA): AFCEA International Press, 1988.- 579p.

57. Галушкин А.И. Современные направления развития нейрокомпьютерных технологий в России // Открытые системы. 1997. - №4. - С. 25- 28.

58. Хокни Р. Джессхоуп К. Параллельные ЭВМ. Архитектура, программирование, алгоритмы: Пер. с англ. М.: Радио и связь, 1986. -306с.

59. Горбань А.Н., Россиев Д.А. Нейронные сети на персональном компьютере. -Новосибирск: Наука, Сиб. отделение, 1996. -276с.

60. Cybenco G. Approximation by superposition of a sigmoidal function // Math. Control Systems and Sygnals. 1989. - №2. - P. 303-314.

61. Barron A.R. Universal approximation bounds for superposition of a sigmoidal function // IEEE Transactions on Information Theory. 1993. - Vol. 39. -P. 930 -954.

62. Girosi F., Poggio T. Representation properties of networks: Kolmogorov's theorem is irrelevant // Neural Computation. 1989. - Vol.1. - P. 465-469.

63. Hecht-Nielsen R. Kolmogorov's mapping neural network existence theorem //IEEE Press. 1987.-Vol. 3.-P. 11-13.

64. Kwakernaak H., Sivan R. Linear optimal control systems. New-York: Wiley Inc. -435p.

65. He X., Asada H. A new method for identifying orders of input-output models for nonlinear dynamic systems // Proc. of the American Control Conference. San

66. Francisco, 1993. P. 67- 83.

67. Peterson C. Determining dependency structures and estimating nonlinear regression errors without doing regression // International Journal of Modern Physics.-1995.-Vol. 611.-P. 18-31.

68. Soderstrom Т., Stoica P. System identification. Englewood Cliffs (New Jersey): Prentice-Hall, 1989. - 440 p.

69. LeCun Y., Kanter I. Eigenvalues of covariance matrices: application to neural-network learning // Physical Review Letters. 1991. - Vol. 66. - P. 2396-2399.

70. Дэннис Дж., Шнабель P. Численные методы безусловной оптимизации и j решения нелинейных уравнений: Пер с англ. М.: Мир, 1998. - 440с. ^

71. Химмельблау Д. Прикладное нелинейное программирование: Пер с англ. -М.: Мир, 1975.-534 с.

72. Levenberg К. A method for the solution of certain nonlinear problems in least squares // Quart. Appl. Math. 1944. - No. 2. - P 164-168.

73. Marquardt D. An algorithm for least-squares estimation of nonlinear parameters // SIAM J. Appl. Math. 1963. - No. 11. - P. 164-168.

74. Hagan M.T., Menhaj M.B. Training feedforward networks with the Marquardt algorithm // IEEE Transactions on Neural Networks. 1994. - Vol.5, no. 6. -P. 989-993.

75. Fletcher R. Practical methods of optimization. New York: Wiley, 1987. - 423p.

76. Chen S., Billings S.A. Neural networks for non-linear dynamic system modelling and identification // Int. J. Control. 1992. - Vol.56, no. 2. - P. 319-349.

77. Larsen J., Hansen L.K. Generalization performance of regularized neural network models // Neural Networks for Signal Processing: Proc. of the IEEE Workshop IV. Brussel (Belgium), 1994. - P. 42-51.

78. Sjoberg J., Ljung L. Overtraining, regularization, and searching for the minimum in neural networks // Adaptive Systems in Control and Signal Processing: Preprint IF AC Symposium. Grenoble (France), 1992. - P. 669-674.

79. Akaike H. A new look at the statistical model identification // IEEE Trans.

80. Autom. Control. 1974. - Vol. AC-19. -P.716-723.

81. Geman S., Bienenstock E., Doursat R. Neural networks and the bias/variance dilemma // Neural Computation. 1992. - Vol. 4. - P. 1-58.

82. Реклейтис Г., Рейвиндран А., Рэгсдел К. Оптимизация в технике: В 2-х кн. Пер. с англ. М.: Мир, 1986. - Кн.1. - 349с.

83. Реклейтис Г., Рейвиндран А., Рэгсдел К. Оптимизация в технике: В 2-х кн. Пер. с англ. М.: Мир, 1986. - Кн.2. - 320с.

84. Grewal M.S., Andrews А.Р. Kalman filtering: theory and practice. Englewood Cliffs (New Jersey): Prentice-Hall, 1993. - 240p.

85. A quantitative study of pruning by optimal brain damage / J. Gorodkin, L.K. Hansen, C. Svarer et. al. // Int. Journal of Neural Systems. 1993. - No.4. -P. 159-169.

86. Anscombe F.J., Tukey J.W. The examination and analysis of residuals // Technometrics. 1963. - Vol.5. - P. 141-160.

87. Billings S.A., Zhu Q.M. Nonlinear model validation using correlation tests // Int. Journal of Control. 1994. - Vol. 60, no. 6. - P 466-470.

88. Hassibi В., Stork D.G. Second order derivatives for network pruning: optimal brain surgeon // Proceedings of the NIPS5. San Mateo (California), 1993. -P. 164-172.

89. Pederson M.W., Hansen L.K. Recurrent networks: second order properties and pruning // Neural Information Processing Systems: Proc. of th 7-th Conference. -Vienna (Austria), 1994. P. 673-680.

90. Патон Б.Е. Лебедев B.K. Электрооборудование для дуговой и шлаковой сварки. М.: Машиностроение, 1966. - 359с.

91. Патон Б.Е. Лебедев В.К. Электрооборудование для дуговой и шлаковой сварки. М.: Машиностроение, 1969. - 438с.

92. Автоматическое регулирование дуговой сварки: Труды секции электросварки и электротермии / Под ред. В.П. Никитина. М.: изд-во АН СССР, 1953.-200с.184

93. Алекин Л.Е. Способы улучшения качества регулирования дуговых автоматов в заводских условиях // Труды МВТУ. 1970. - Вып. 136. -Источники питания и автоматизация процесса сварки. - С. 97-118.

94. Гладков Э.А. Автоматизация сварочных процессов. М.: МВТУ им. Н.Э.Баумана, 1976. Часть I, II. - 176с.

95. Волченко В.Н. Оценка и контроль качества сварных соединений с применением статистических методов. М.: Стандарты, 1974. - 120с.

96. Автоматизация и механизация производственных процессов в машиностроении / Под ред. Г.А. Шаумяна М.: Машиностроение, 1967. -387с.

97. Львов Н.С., Гладков Э.А. Автоматика и автоматизация сварочных процессов. М.: Машиностроение, 1982. - 302с.

98. Герман О.В. Введение в теорию экспертных систем и обработку знаний. -Минск.: ДизайнПРО, 1995. 255с.