Измерение параметров динамических систем на основе искусственных нейронных сетей, использующих алгоритм Калмана тема диссертации и автореферата по ВАК РФ 05.11.16, кандидат технических наук Кобяков, Павел Владимирович

• Кобяков, Павел Владимирович
• кандидат технических наук
• 2004

Оглавление диссертации кандидат технических наук Кобяков, Павел Владимирович

Введение

1 Измерение параметров объектов с помощью нейросетевого моделирования

1.1 Задачи измерения параметров динамических объектов . 12 1.1.1 Пример объекта - процесс метаболизма глюкозы в человеческом организме.

1.2 Применение моделей динамических объектов в измерительных приложениях

1.2.1 Моделирование в статических режимах.

1.2.2 Динамические модели объектов.

1.2.3 Моделирование в условиях недостаточной информации

1.2.4 Моделирование с использованием нейронных сетей

1.3 Применение нейронных сетей для моделирования динамических систем.

1.4 Алгоритмы обучения динамических нейронных сетей

1.5 Нейронные сети и интеллектуальные измерительные системы

1.5.1 Интеллектуальные измерительные системы на основе нейронных сетей.

1.5.2 Нейронные сети и классические вычислительные методы

1.6 Постановка задачи диссертации

• 2 Развитие методик измерений, основанных на применении динамических нейронных сетей

2.1 Разработка методики измерения параметров линейных динамических систем по неполному вектору состояния.

2.1.1 Измерение параметров линейных динамических систем по неполному вектору состояния.

2.1.2 Моделирование измерений параметров линейных динамических систем.

2.2 Разработка методики измерения параметров линеаризованных нелинейных динамических систем по неполному вектору состояния.

2.2.1 Измерение параметров линеаризованных нелинейных динамических систем по неполному вектору состояния

2.2.2 Моделирование измерения параметров нелинейных линеаризованных динамических систем.

• 2.3 Разработка методики измерения параметров нелинейных динамических систем по неполному вектору состояния.

2.3.1 Измерение параметров нелинейных динамических систем по неполному вектору состояния.

2.3.2 Моделирование измерений параметров нелинейных динамических систем

2.4 Исследование зависимости точности измерений от параметров нейросетевой модели

2.4.1 Исследование зависимости точности измерений от количества непосредственно измеряемых компонент вектора состояния.

2.4.2 Исследование зависимости точности измерений от длины входной линии задержки

2.5 Выводы по главе 2.

3 Применение и совершенствование алгоритма обучения динамических нейронных сетей, основанного на теории фильтров Калмана

3.1 Теория фильтров Калмана.

3.1.1 Фильтр Калмана для одномерной величины

3.1.2 Фильтр Калмана для динамических систем.

3.1.3 Фильтр Калмана для нелинейных динамических систем

3.2 Обучение динамических сетей с использованием фильтров

Калмана.

3.2.1 Вычислительная сложность.

3.3 Анализ классических алгоритмов обучения нейронных сетей и алгоритма обучения, основанного на теории фильтров Калмана

3.3.1 Условия эксперимента.

3.3.2 Результаты.

3.4 Применение сетей Калмана для построения измерительных систем.

3.5 Разработка методики увеличения скорости сходимости алгоритма Калмана.

3.6 Выводы по главе 3.

4 Разработка методики оценки погрешностей в измерительных системах, использующих динамические нейронные сети

4.1 Анализ и моделирование погрешности стандартного нейрона

4.1.1 Нелинейный преобразователь.

4.1.2 Сумматор.

4.1.3 Учет собственных погрешностей элементов нейрона

4.1.4 Моделирование погрешности стандартного нейрона

4.2 Анализ и моделирование погрешности нейронной сети прямого распространения.

4.3 Разработка методики оценки погрешности рекуррентной нейронной сети.

4.4 Исследование влияния алгоритма обучения на погрешность нейронной сети.

4.5 Выводы по главе 4.

Система неинвазивного косвенного измерения уровня глюкозы крови

5.1 Задача неинвазивного косвенного измерения уровня глюкозы крови.

5.2 Система неинвазивного косвенного измерения уровня глюкозы крови.

5.2.1 Аппаратная реализация.

5.2.2 Алгоритмы обработки данных.

5.2.3 Предварительная обработка входных данных.

5.2.4 Архитектура нейронной сети.

5.3 Сравнительный анализ экспериментальных данных.

5.3.1 Результаты сравнительного тестирования нейросетевых моделей.

5.3.2 Результаты испытаний для моделей ЕМ, WB и NN

5.3.3 Результаты испытаний модели NN-K.

5.4 Система неинвазивного косвенного определения уровня глюкозы крови по параметрам термочувствительности

5.4.1 Предварительная обработка данных.

5.4.2 Архитектура нейронной сети.

5.4.3 Анализ экспериментальных данных.

5.5 Выводы по главе 5.

Введение диссертации (часть автореферата) на тему «Измерение параметров динамических систем на основе искусственных нейронных сетей, использующих алгоритм Калмана»

В настоящее время особенно актуальным является применение информационных систем в задачах измерения и контроля свойств сложных объектов, к числу которых относятся различные технологические процессы, производственные системы и комплексы, сети передачи информации, биометрические системы, а также все природные явления.

Модель сложного объекта можно представить как нелинейную динамическую систему, описываемую уравнениями состояния и измерения. В диссертации решается задача косвенного измерения параметров объекта в условиях неполной информации о векторе состояния.

В качестве конкретного примера изучаемого объекта рассматривается процесс метаболизма глюкозы в крови человека. Для данного процесса не существует полной аналитической модели, хотя известны многие параметры, влияющие на метаболизм глюкозы.

Для класса полностью управляемых сложных объектов недоступность параметров состояния не всегда является проблемой, так как модель объекта может быть построена по управляющим воздействиям (в случае их доступности). В случае частично управляемого объекта некоторые параметры состояния не поддаются внешнему контролю.

Для проведения измерений в условиях неполного вектора состояния объекта в общем случае требуется методика для оценки требуемых параметров с помощью построения модели объекта. Одним из перспективных подходов к построению моделей является использование теории нейронных сетей.

Нейронные сети применяются для построения моделей в измерительных приложениях достаточно давно. Однако, такие вопросы как оптимальный выбор архитектуры нейронной сети, выбор алгоритма обучения и исследование метрологических характеристик нейросетевых моделей остаются открытыми.

Диссертационная работа посвящена разработке методов, алгоритмов и программных средств, предназначенных для обработки информации в рамках измерительной системы, для решения задачи проведения косвенных измерений параметров нелинейных локально-стационарных динамических систем дискретного времени при условии не полностью доступного вектора состояния.

Решение этой задачи связано с выполнением следующих этапов исследования:

1. Анализ и теоретическое обоснование возможности проведения измерений в условиях неполного вектора состояния.

2. Разработка метода измерений, основанного на моделировании исследуемой динамической нелинейной системы с применением темпоральных (динамических) нейронных сетей.

3. Исследование архитектур и алгоритмов обучения динамических нейронных сетей для определения модели сети и алгоритма, максимально отвечающих требованиям измерительной системы.

4. Разработка, метода оценки погрешностей выходных сигналов нейро-сетевой модели для обоснования возможности использования нейронной сети и осуществления мониторинга погрешностей в процессе функционирования системы.

5. Применение разработанных методов для построения системы неин-вазивного косвенного определения уровня глюкозы крови.

В диссертационной работе представлены следующие новые научные результаты:

1. Систематизация архитектур динамических нейронных сетей, применяемых для обработки динамических данных.

2. Метод проведения измерений в условиях неполного измеряемого вектора состояния системы, основанный на моделировании системы с помощью динамической нейронной сети.

3. Экспериментальное обоснование наибольшей эффективности алгоритма обучения нейронной сети, основанного на теории фильтров Калмана, для решения задачи моделирования изучаемых систем.

4. Уточнение и расширение формул коррекции параметров обучения в алгоритме обучения нейронной сети, основанном на теории фильтров Калмана.

5. Метод оценки погрешностей выходных сигналов нейросетевой модели исследуемой системы.

Практическую значимость диссертационной работы составляют:

1. Алгоритм обработки данных в системе неинвазивного измерения глюкозы крови человека на основе моделирования с использованием нейронной сети и алгоритма Калмана.

2. Программное обеспечение для исследования возможностей нейросе-тевого моделирования нелинейных динамических систем с применением алгоритма обучения Калмана, предназначенное для работы в среде Matlab 6.1, включая реализацию алгоритма обучения Калмана на языке Matlab.

3. Программное обеспечение, реализующее алгоритм обучения Калмана и алгоритм оценки погрешностей, для применения в составе системы неинвазивного косвенного измерения уровня глюкозы крови, разработанное на языке С++.

На защиту выдвигаются следующие положения:

1. Метод проведения измерений в условиях неполного измеряемого вектора состояния системы, основанный на моделировании системы с помощью динамической нейронной сети с использованием алгоритма Калмана.

2. Методика коррекции параметров скорости обучения алгоритма Калмана.

3. Методика оценки погрешностей выходных сигналов нейросетевой модели в реальном времени.

Основной материал диссертации изложен в пяти главах. В первой главе диссертации проанализированы задачи обработки информации, решаемые в рамках систем измерения параметров сложных объектов. Рассмотрены основные модели динамических систем, применяемые в измерительных приложениях. Поставлена задача измерения параметров объектов по неполному вектору состояния. Эффективное решение данной задачи может быть реализовано с помощью моделирования с применением динамических (темпоральных) нейронных сетей. Систематизированы существующие архитектуры динамических нейронных сетей, рассмотрены основные алгоритмы обучения. В заключительной части главы 1 приведена формальная постановка задачи диссертации.

Вторая глава посвящена разработке и исследованию методов измерения параметров сложных объектов по неполному вектору состояния. Предложены алгоритмы проведения измерений для линейных, нелинейных линеаризованных и нелинейных динамических систем по неполному вектору состояния. С помощью моделирования исследованы зависимости погрешности от количества непосредственно измеряемых компонент вектора состояния и от параметров нейронной сети.

• В третьей главе рассматривается алгоритм обучения нейронных сетей; основанный на теории фильтров Калмана. Рассмотрен классический фильтр Калмана для линейной динамической системы, а также его расширение для случая нелинейной динамической системы. Проанализировано применение фильтра Калмана к задаче обучения нейронной сети с учителем. Приведены результаты сравнительного моделирования, демонстрирующие превосходство алгоритма обучения Калмана над стандартными алгоритмами обучения нейронных сетей. Предложена усовершенствованная методика изменения параметров обучения алгоритма Калмана, позволяющая увеличить скорость сходимости алгоритма.

В четвертой главе предложен и исследован метод оценивания погрешностей выходных сигналов нейросетевой модели. Метод позволяет оценивать погрешность выходных сигналов нейронной сети при известных погрешностях входных сигналов. Метод основывается на вычислении оценки погрешности стандартного нейрона. Погрешность выходных сигналов нейронной сети вычисляется с помощью последовательного вычисления погрешностей отдельных нейронов. Приведены результаты моделирования оценки выходной погрешности. Показано, что алгоритм обучения Калмана обеспечивает меньшую погрешность выходных сигналов сети за счет более компактного диапазона изменения весовых коэффициентов.

Пятая глава содержит результаты применения разработанных в диссертации методов и алгоритмов при разработке системы неинвазивного косвенного измерения уровня глюкозы крови. Приводится описание аппаратной реализации системы и использованных алгоритмов обработки данных. Параллельно с нейросетевой моделью процесса метаболизма глюкозы изучались водобалансная и феноменологическая модели. Приведены результаты тестирования системы, выполненного для данных 94 волонтеров. Ней-росетевая модель, использующая алгоритм обучения Калмана, позволила добиться снижения погрешности на 1-3% по сравнению с наиболее точной из альтернативных моделей.

В заключении приведены основные научные и практические результаты, полученные в-диссертации.

Заключение диссертации по теме «Информационно-измерительные и управляющие системы (по отраслям)», Кобяков, Павел Владимирович

5.5. Выводы по главе 5

1. Задача неинвазивного косвенного определения уровня глюкозы крови является актуальной альтернативой классическим методам измерения уровня глюкозы.

2. Задача неинвазивного косвенного измерения уровня глюкозы крови является задачей измерения по неполному вектору состояния, и может быть решена с применением нейросетевых методов, разработанных в главе 2.

3. Для обеспечения повышенных требований к качеству нейросетевых моделей для обучения сетей должен использоваться усовершенствованный алгоритм Калмана, рассмотренный в главе 3.

4. Контроль погрешности измерений в реальном времени может быть выполнен с применением методики, предложенной в главе 4.

5. Применения алгоритма обучения Калмана позволяет получать ней-росетевые модели, обеспечивающие минимальную погрешность выходного сигнала.

6. Сравнительный анализ экспериментальных данных показал, что использование алгоритма обучения Калмана позволяет снизить ошибку моделирования на 1-3% по сравнению с альтернативными методиками.

18 р 16 ■ 14 ■

Рис. 5.6. Гистограмма погрешностей восстановления при групповой калибровке с учетом фактов внешних воздействий

Заключение

В диссертационной работе представлена разработке методов, алгоритмов и программных средств, предназначенных для обработки информации в рамках измерительной системы, для решения задачи проведения косвенных измерений при условии неполноты и/или неточности непосредственно измеряемых компонентов вектора состояния.

Для решения этой задачи выполнены следующие этапы исследования:

1. Анализ и теоретическое обоснование возможности проведения измерений по неполному вектору состояния системы.

2. Разработка метода измерений, основанного на моделировании исследуемой динамической нелинейной системы с применением динамической нейронной сети.

3. Разработка метода оценки погрешностей выходных сигналов нейро-сетевой модели в реальном времени для обоснования возможности использования нейронной сети и осуществления мониторинга погрешностей в процессе функционирования системы.

4. Применение разработанных методов для построения системы неинвазивного косвенного измерения глюкозы крови.

В ходе выполнения диссертационной работы получены следующие научные и практические результаты:

1. Выполнена систематизация архитектур динамических нейронных сетей, применяемых для обработки динамических данных.

2. Предложен метод проведения измерений в условиях неполного измеряемого вектора состояния системы, основанный на моделировании системы с помощью динамической нейронной сети.

3. Обосновано применение алгоритма обучения нейронной сети, основанного на теории фильтров Калмана, для обеспечения большей точности и скорости обучения модели системы.

4. Выполнено расширение формул коррекции параметров обучения в алгоритме обучения нейронной сети, основанном па теории фильтров Калмана, позволяющее повысить скорость сходимости алгоритма.

5. Предложен и реализован метод оценки погрешностей выходных сигналов нейросетевой модели исследуемой системы в реальном времени.

6. Разработан алгоритм обработки данных в системе неинвазивного измерения глюкозы крови человека на основе моделирования с использованием динамической нейронной сети и алгоритма Калмана.

7. Разработано программное обеспечение для исследования возможностей нейросетевого моделирования нелинейных динамических систем с применением алгоритма обучения Калмана, предназначенное для работы в среде Matlab 6.1, включая реализацию алгоритма обучения Калмана на языке Matlab.

8. Разработано программное обеспечение, реализующее алгоритм обучения Калмана и алгоритм оценки погрешностей на языке С++, для применения в составе интеллектуальной системы неинвазивного измерения глюкозы крови.

Таким образом, в диссертации содержится новое решение задачи разработки методов проведения измерений по неполному вектору состояния, что имеет существенное значение при создании информационных и информационно-измерительных систем.

Список литературы диссертационного исследования кандидат технических наук Кобяков, Павел Владимирович, 2004 год

1. Абраменкова И.В. Проблема устойчивости нейронной сети: Нейрокомпьютеры: разработка, применение, ном. 3-4, 2003, с. 3-6.

2. Ахмедзянов A.M., Галиулин К.Ф. Метод диагностики проточной части ГТД с использованием априорной информации Тезисы докладов Всесоюзной Научно-технической конференции "Методы и средства машинной диагностики ГТД и их элементов", Харьков, 1983. -с.59-60

3. Неинвазивные методы определения уровня глюкозы крови: внутренний документ ООО "Алгоритм", 2004, 29 с.

4. Экспериментальные данные для волонтеров с диабетом различных типов: внутренний документ ООО "Алгоритм", 2004, 21 с.

5. Кохен М. Сахарный диабет краткое руководство по лечению: http://medi.ru/doc/051500.htm.

6. Полная и частичная идентификация линейной динамической системы- тезисы докладов научно-технической конференции "Диагностика, информатика, метрология-95", СПб, 1995. с. 88-89.

7. Дубравский Н.В., Мокроус М.Ф. Параметрические методы диагностического контроля состояния авиадвигателей Труды ЦИАМ N964, 1981, 28с.

8. Ермаков А.Е., Халамов А.А. Применение динамической нейронной сети для распознавания речи. // Нейрокомпьютеры. 2000. - N 1. - С. 49-53.

9. Галушкин А.И. Теория нейронных сетей. Кн.1: Учеб. Пособие для вузов/ Общая ред. А.И. Галушкина. М.: ИПРЖР, 2000. 416 с.

10. Галушкин А.И. Нейрокомпьютеры и их применение, Кн. 3. Учебное пособие для вузов. М.: ИПРЖР, 2000. 528 с.

11. Горбань А.Н. Обучение нейронных сетей.- Москва, "Параграф", 1990.- 160 с.

12. Горбань А.Н., Сенашова М.Ю. Погрешности в нейронных сетях // Вычислительный центр СО РАН в Красноярске, Красноярск, 1999, 38 с.

13. Отчет о научно-исследовательской работе по теме 801501 (805540)/1432К, Ленинград, 1987 г., 68 с.

14. Ищук И.П. Многофакторные измерения при идентификации переменных на линиях неопределенности. М. Метрология N12, 2003. с. 3-7.

15. Калач А.В. Применение метрологии искусственных нейронных сетей для обработки сигналов сенсоров Нейрокомпьютеры N10-11, 2003. -с. 43-47.

16. Кобяков П.В., Малыхина Г.Ф. Анализ архитектур темпоральных сетей и их применение в информационных системах // Датчики и системы: Сборник докладов международной конференции. Том III. СПб.: Изд-во СПбГПУ, 2002. с. 140-144.

17. Кобяков П.В. Темпоральные нейронные сети и их применение в информационных системах // Международная конференция по мягким вычислениям и измерениям: Сборник докладов. Том 2. СПб.: Гидро-метеоиздат, 2002. с. 56-59.

18. Кобяков П.В. Фильтры Калмана и темпоральные нейронные сети // XXXI Неделя науки СПбГПУ. Ч. VI: Материалы межвузовской научной конференции. СПб.: Изд-во СПбГПУ, 2003. с. 61-63.

19. Кобяков П.В., Малыхина Г.Ф. Неинвазивное косвенное измерение глюкозы в крови по параметрам термочувствительности // Компьютерное моделирование 2003: Труды Междунар. науч.-техн. конф. СПб.: Нестор, 2003. с. 170-171.

20. Кобяков П.В. Анализ классических нейронных сетей и сетей, основанных на фильтре Калмана // Международная конференция по мягким вычислениям и измерениям: Сборник докладов. Том 1. СПб.: Изд-во СПбГЭТУ, 2003. с. 363-366.

21. Кобяков П.В., Малыхина Г.Ф. Применение темпоральных нейронных сетей в биометрических системах // Международная конференция по мягким вычислениям и измерениям: Сборник докладов. Том 1. СПб.: Изд-во СПбГЭТУ, 2003. с. 367-370.

22. Кобяков П.В. Применение калмановских нейронных сетей в медицинских измерениях //II Всероссийская научно-техническая дистанционная конференция "ЭЛЕКТРОНИКА"/ Москва, 2003 г. 2 с. (http://wAvw.mocnit.miee.ru/upload/conf/00s4us4p8wspcq/Kobiakov.pdf)

23. Кобяков П.В., Малыхина Г.Ф. Измерение параметров сложных объектов по неполному вектору состояния // тезисы конференции "Экстремальная робототехника-2004", 6-7 апреля 2004 г.

24. Конюхов Е.М. Диагностика авиационных ГТД на основе параметризации протекающих в них процессов 2001. - с.13-14.

25. Ковальчук А.К., Святный Д.А., Шахтарин Б.И. Применение алгоритмов оптимальной фильтрации для обучения нейросети (на примере фильтра Калмана) М. Научный Вестник МГТУ ГА ном. 36, серия "Радиофизика и радиотехника", 2001, стр. 49-58.

26. Круглов В.В., Борисов В.В. Искусственные нейронные сети. Теория и практика. М.: Горячая линия - Телеком, 2001, 382 с.

27. Кудрявцев М.Д. Совокупные измерения: классификация и планирование тезисы докладов научно-технической конференции "Диагностика, информатика, метрология-94", СПб, 1994. - с. 260-262.

28. Линевский О.В., Седельников В.А. Математическое обеспечение комплекса с теневой лазерной измерительной головкой тезисы докладов научно-технической конференции "Диагностика, информатика, метрология-95", СПб, 1995. - с. 185-186.

29. Миронов А.Н., Пеньков М.М. Прогнозирование границ поля допуска параметров элементов сложных технических систем. М. Приборостроение N 1, 2003. с. 7-11.

30. Мироновский Л.А., Осипкин С.А. Нейросетевое диагностирование динамических объектов тезисы научно-технической конференции " Диагностика, информатика, метрология, экология, безопасность", СПб, 1998. с. 11-12.

31. Муха Ю.П., Скворцов М.Г. Супермногоканальные ИИС на базе нейросетевых технологий сборник докладов международной конференции по мягким измерениям и вычислениям, т. 1, СПб, 2001. - с. 275-278.

32. Назаров А.А. Нейросетевые алгоритмы оценки влажности почвы с использованием данных пассивной СВЧ радиометрии. М. Нейрокомпьютеры N2, 2003. с. 20-29.

33. Недосекин Д.Д., Прокопчина С.В. Информационные технологии интеллектуализации измерительных процессов. СПб, Энергоатомиз-дат, 1995, 185 с.

34. Новицкий П.В. Оценка погрешностей результатов измерений 2-е изд. перераб. и дополн. JL: Энергомашиздат, 1991. - 304 с.

35. Прокопчина С.В., Аверкин А.Н. Краткий очерк концепции мягких измерений. СПб.: Гидрометеоиздат, 1997. - 46 с.

36. Сирая Т.Н. Модели сигналов и данных в задачах обработки данных при измерениях тезисы научно-технической конференции "Диагностика, информатика, метрология, экология, безопасность", СПб, 1998. - с. 98-99.

37. Первозванский А.А. Курс теории автоматического управления: Учебное пособие. М.: Наука, Гл. ред. физ.-мат. лит., 1986. - 616 с.

38. Волков В.Г. Исследование методов идентификации ГТД для автоматизированного контроля его состояния Тезисы докладов Всесоюзной Научно-технической конференции "Методы и средства машинной диагностики ГТД и их элементов", Харьков, 1983. - с.88-89.

39. Жернаков С.В. Контроль и диагностика параметров газотурбинного двигателя нейронными сетями // Нейрокомпьютеры: разработка, применение. 2003. N 8-9. - с. 51-66.

40. Back A.D., Tsoi А.С. FIR and IIR Synapses, a New Neural Network

41. Architectures for Time Series Modelling: Neural Computation, 3(3): 375385, 1991.

42. Baltersee J., Chambers J. Non-linear Adaptive Prediction of Speech with a Pipelined Recurrent Neural Network and a Linearized Recursive Least Squares Algorithm: Chapter in Signal Analysis and Prediction, Birkhauser Boston, 1998, 54 p.

43. Bartolini F., Cappelini V., Nerozzi S. Recurrent Neural Network Predictors for EEG Signal Compression: in Proceedings of International Conference on Acoustic Speech and Signal Processing ICASSP'95, Detroit, Michigan, USA, May 8-12, 1995, pp. 3395-3398.

44. Bengio Y., Frasconi P., Gori M., Soda G. Recurrent Neural Networks for Adaptive Temporal Processing: In E. Caianello, editor, Proc. of the 6th Italian Workshop on Neural Networks, WIRN-93, Vietri, Italy, 1993, pp. 1183-1195.

45. Berns K. Requirements and Use of Neural Networks for Industrial Applications: in Proceedings Fourth European Workshop on Learning Robots, 1995, pp 2032-2040.

46. Campolucci P., Uncini A., Piazza F., Rao, B.D. On-line Learning Algorithms for Locally Recurrent Neural Netwroks: IEEE Transactions on Neural Networks, vol. 10, No. 2, March 1999, pp. 253-271.

47. Cheppelier J., Gori M., Grumbach A. Time in Connectionist Models: in Sequence Learning: Paradigms, Algorithms and Applications, 2001, pp. 105-134.

48. Chappelier J., Grumbach A. Time in Neural Networks: SIGART Bulletin, vol. 5, No. 3, 1992, pp. 3-11.

49. Chen C.J., Miikkulainen R. Creating Melodies with Evolving Recurrent

50. Neural Networks: In Proceedings of the International Joint Conference on Neural Networks (IJCNN-01, Washington DC), 2001, pp. 2241-2246.

51. Costa N., Ribeiro B. A Neural Prediction Model for Monitoring and Fault Diagnosis of a Plastic Injection Moulding Machine: in Proceedings of the European Conference Control, ECC'99, 1999, pp 100-120.

52. Dorffner G. Neural Networks for Time Series Processing: Neural Network World No. 4, 1996, pp. 447-468.

53. Edwards P., Murray A. Modelling weight- and input-noise in MLP learning: Proceedings Of International Conference on Neural Networks (ICNN'96). USA, Washington, June 3-6, vol. 1, 1996, pp. 78-83.

54. Elman J. Finding structure in time: Cognitive Science 14 (1990), pp. 179211.

55. Feldkamp L.A., Puskorius G.V. Unified Formulation for Training Recurrent Networks with Derivative Adaptive Critics: in Proceedings of International Conference on Neural Networks-ICNN'97, 1997, pp. 12301241.

56. Feldkamp L.A., Puskorius G.V. A Signal Processing Framework Based on Dynamic Neural Networks with Applications to Problems in Adaptation, Filtering, and Classification: Proceedings of the IEEE, vol. 86, No. 11, November 1998, pp. 2259-2277.

57. Fessant F., Bengio S., Collobert D. On the Prediction of Solar Activity Using Different Neural Network Models: Annales Geophysicae vol. 14, 1996, pp. 20-26.

58. Gerstner W. Time Structure of the Activity in Neural Network Models: Physical Review, vol. 51, No. 1, 1995, pp. 738-758.

59. Haykin S. Kalman Filters: in Kalman Filtering and Neural Networks, Edited by Simon Haykin, John Wiley & Sons, 2001, pp. 1-21

60. Haykin S. Neural Networks: A Comprehensive Foundation, Macmillan, 1995, 760 p.

61. Haykin S. Neural Networks, A Comprehensive Foundation, Second Edition, Macmillan, 1999, 830 p.

62. Henriques J, Gil P., Dourado A., Duarte-Ramos H. Application of a Recurrent Neural Network in On-line Modelling of Real-Time Systems: in Proceedings ESIT99, Crete, Greece, 1999, pp. 1032-1041.

63. Home B.G., Giles C.L. An Experimental Comparison of Recurrent Neural Networks: Neural Information Processing Systems 7, MIT Press, 1995, pp. 697-710.

64. Huet B. Recurrent Neural Networks for Temporal Sequences Recognition: MSc Thesis, University of Westminster, September 1993, 157 p.

65. Jordan M.I., Attractor Dynamics and Parallelism in a Connectionist Sequential Machine: Proceeding of The 8th Annual Conference of the Cognitive Science Society, 1986: 531-546.

66. Kaelbling L.P., Littman M.L. Reinforcement Learning: A Survey: Journal of Artificial Intelligence Research 4, 1996, pp. 237-285.

67. Kaiser M. Time-Delay Neural Networks for Control: 4th International Symposium on Robot Control, 1994, pp. 305-320.

68. Time-delay recurrent neural network for temporal correlations and prediction: Neurocomputing 20, 1998, pp. 253-263.

69. Kremer S.C Spatio-temporal Connectionist Networks: A Taxomony and Review: Neural Computation, vol. 13, no. 2, 2001, pp. 249-306.

70. Lange F. Fast and Accurate Training of Multilayer Perceptrons Usings an Extended Kalman Filter (EKFNet): internal paper, http://www.robotic.dlr.de/Friedrich.Lange, 1995.

71. Lawrence S., Tsoi A.C., Back A.D. The Gamma MLP for Speech Phoneme Recognition: in Advances in Neural Information Processing Systems 8, MIT Press, 1996, pp. 785-791.

72. Leleux D.P., Claps R., Chen W., Tittel F.K., Harman T.L. Applications of Kalman Filtering to Real-time Trace Gas Concentration Measurements: Applied Physics, No. 74, 2002, pp. 85-93.

73. Li S. Comparative Analysis of Backpropagation and Extended Kalman Filter in Pattern and Batch Forms for Training Neural Networks: IEEE, 2001. ???

74. Mackey M, Glass L. Oscillations and Chaos in Physiological Control Systems: Science 197, 1977, pp 281-287.

75. Mozer M.C. Neural Net Architectures for Temporal Sequence Processing: Predicting the future and understanding the past, A. Weigend and N. Gershenfeld (eds.), Addison-Wesley, Reading, MA, 1993, pp. 143-164.

76. Papik K., Molnar В., Schaefer R., Dombovari Z., Tulassay Z., Feher J. Application of Neural Networks in Medicine a Review: Mediacal Science Monitor 4(3), 1997, pp. 538-546.

77. Perez-Ortiz J.A., Calera-Rubio J., Forcada M.L. A Comparison between Recurrent Neural Architectures for Real-time Nonlinear Prediction of

78. Speech Signals: in Proceedings of the IEEE Neural Network for Signal Processing Workshop, NNSP 2001, North Falmouth, Massachusetts, USA, pp 207-230.

79. Polikar R. Learn++: An Incremental Learning Algorithm for Supervised Neural Networks: IEEE Transactions on Systems, Man and Cybernetics, vol. 31, No.4, 2001, pp. 497-508.

80. Kuo J., Principe J.C., de Vries, B. Prediction of Chaotic Time Series Using Recurrent Neural Networks: In Proceedings 1992 IEEE Workshop of Neural Networks in Signal Processing, 1992, pp. 436-443.

81. Principe J.C. Backpropagation Through Time with Fixed Memory Size Requirements: In Processing 3rd Workshop on Neural Networks for Signal Processing, Maryland, 1993, pp. 207-215.

82. Puskorius G.V., Feldkamp L.A. Parameter-based Kalman Filter Training: Theory and Practice: in Kalman Filtering and Neural Networks, Edited by Simon Haykin, John Wiley к Sons, 2001, pp 22-67.

83. Puskorius G.V., Feldkamp L.A., Davis L.I. Dynamic Neural Network Methods Applied to On-Vehicle Idle Speed Control: Proceedings of The IEEE, vol. 84, No. 10, October 1996, pp. 1407-1419.

84. Singhal S., Wu L. Training Multilayer Perceptrons With the Extended Kalman Algorithm: in Neural Information Processing Systems 1, San Mateo, CA, 1989, pages 133-140.

85. Sontag E. Neural Nets as Systems Models and Controllers: in Proc. Seventh Yale Workshop on Adaptive and Learning Systems, Yale University, 1992, pp. 73-79.

86. Sontag E. Recurrent Neural Networks: Some Systems-Theoretic Aspects: in Dealing with Complexity: a Neural Network Approach (M. Karny, K. Warwick, and V. Kurkova, eds.), Springer-Verlag, London, 1997, pp. 1-12.

87. Southall В., Buxton B.F., Marchant J.A. Controllability and Observability: Tools for Kalman Filter Design: In Proc. BMVC98, vol. 1, 1998, pp. 164-173.

88. Spiegelman M. An Introduction to Dynamical Systems and Chaos: internal paper, http://www.ldeo.columbia.edu/ mspieg/Complexity/Problems/Problems. 1997.

89. Steil J.J. Input-Output Stability of Recurrent Neural Networks with Time-Varying Parameters: Proc. ESANN 2000, ed. M. Verleysen, 2000, pp. 281286.

90. Stornetta W.S., Hogg Т., Huberman B.A. A Dynamical Approach to Temporal Pattern Processing: In Anderson D.Z. (ed.), Neural Information Processing Systems, 1988, pp. 750-759.

91. Tresp V., Briegel Т., Moody J. Neural-Network Models for the Blood

92. Glucose Metabolism of a Diabetic: IEEE Transactions on Neural Networks, Vol. 10, No. 5, 1999, pp. 1204-1213.

93. Tsakalis K. Stability, Controllability and Observability: internal paper, http://www.eas.asu.edu/ tsakalis/notes/sco.pdf, 2000.

94. Tutschku K. Recurrent Multilayer Perceptrons for Identification and Control: The Road to Applications: Institute of Computer Science, University of Wurzburg, tecnical report 118, 1995, 95 p.

95. Wah B.W., Quin M. Constrained Formulations and Algorithms for Stock-• Price Predictions Using Recurrent FIR Neural Networks: Eighteenthnational conference on Artificial intelligence, Edmonton, Alberta, Canada, 2002, pp. 211-216.

96. Haffner P., Waibel A. Multi-State Time Delay Neural Networks for Continuous Speech Recognition: in J.E. Moody, Hanson S.J., and R.P. Lipmann, editors, Advances in Neural Information Processing Systems 4, 1992, pp. 135-143.

97. Wan E., Nelson A.T. Dual EKF Methods: Kalman Filtering and Neural Networks, Wiley Publishing, Eds. Simon Haykin, 2001, 40 p.

98. Wan E. Finite Impulse Response Neural Networks for Autoregressive Time Series Prediction: Proceedings of the NATO Advanced Workshop on Time Series Prediction and Analysis , Santa Fe, NM, 1992, pp. 504-531.

99. Welch G., Bishop G. An Introduction to the Kalman Filter: TR95-041, University of North Carolina at Chapel Hill, Department of Computer Science, 1995, 35 p.

100. Werbos H. Backpropagation Through Time: What it does and how to do it: Proceedings of the IEEE, vol. 78, No. 10, 1990, pp. 1550-1560.

101. Widrow В., Plett G.L. Nonlinear Adaptive Inverse Control: Proceedings of the 36th Conference on Decision and Control, San Diego, December 1997, pp. 1032-1037.

102. Williams R.J., Zipser D. A Learning Algorithm for Continually Running Fully Recurrent Neural Networks: Neural Computation, 1, 1989, pp. 270280.

103. Williams R.J. Some Observations on the Use of the Extended Kalman Filter as a Recurrent Network Learning Algorithm: Technical Report NU-CCS-92-1, Boston: Northeastern University, College of Computer Science, 1992.

104. Williams R.J. Training Recurrent Networks Using the Extended Kalman Filter: Proceedings of the International Joint Conference on Neural Networks, June, Baltimore, MD, Vol. IV, 1992, pp. 241-246.

105. Zhang Y.Q., Chan L.W. ForeNet: Fourier Recurrent Networks for Time Series Prediction: Proceedings of International Conference on Neural Information Processing, 2000, pp. 576-582.