Нейросетевые и нечеткие методы оценивания стохастических систем тема диссертации и автореферата по ВАК РФ 05.13.18, доктор технических наук Амосов, Олег Семенович

• Амосов, Олег Семенович
• доктор технических наук
• 2004

Оглавление диссертации доктор технических наук Амосов, Олег Семенович

ОСНОВНЫЕ ОБОЗНАЧЕНИЯ И СОКРАЩЕНИЯ.

ВВЕДЕНИЕ.

1. СОВРЕМЕННОЕ СОСТОЯНИЕ ПРОБЛЕМЫ ОПТИМАЛЬНОГО ОЦЕНИВАНИЯ И ФИЛЬТРАЦИИ.

1.1. Традиционные методы стохастического оценивания.

1.2. Постановка и решение задачи оценивания на основе байесовского подхода.

1.3. Постановка и решение задачи оценивания на основе небайесовского подхода.

1.4. Постановка и решение задачи оценивания на основе метода наименьших квадратов.

1.5. Постановка и решение задачи фильтрации марковских последовательностей.

1.6. Основные проблемы и недостатки традиционных методов оценивания.

1.7. Аналитический обзор и классификация работ по использованию нейронных сетей и нечетких систем для оценивания.

1.8. Обсуждение современного состояния проблемы оптимального оценивания на основе нейронных сетей и нечетких систем.

1.9. Выводы и постановка задач исследования.

2. БАЙЕСОВСКОЕ ОЦЕНИВАНИЕ С ИСПОЛЬЗОВАНИЕМ НЕЙРОННОЙ СЕТИ.

2.1. Постановка и решение традиционной задачи байесовского оценивания.

2.2. Постановка задачи «байесовского» оценивания при наличии обучающей выборки.

2.3. Решение задачи оценивания с использованием линейной нейронной сети.

2.4. Постановка и решение задачи оценивания с идентификацией матрицы и шумов измерения.

2.5. Примеры решения задач оценивания.

2.6. Выводы.

3. ОПТИМАЛЬНАЯ РЕКУРРЕНТНАЯ ФИЛЬТРАЦИЯ С V. ИСПОЛЬЗОВАНИЕМ НЕЙРОННОЙ СЕТИ.

3.1. Традиционный рекуррентный алгоритм фильтрации.

3.2. Нейросетевой рекуррентный алгоритм фильтрации.

3.3. Доказательство эквивалентности ФК и «обученного с учителем» нейросетевого алгоритма.

3.4. Сопоставление нейросетевого алгоритма и фильтра Калмана

3.5. Пример оценивания марковского процесса второго порядка.

3.6. Традиционный рекуррентный алгоритм нелинейной фильтрации - расширенный фильтр Калмана.

3.7. Нейросетевой рекуррентный алгоритм нелинейной фильтрации.

3.8. Доказательство эквивалентности расширенного ФК и «обученного с учителем» нейросетевого алгоритма.

3.9. Выводы.

4. ОЦЕНИВАНИЕ С ПОМОЩЬЮ МЕТОДА МОНТЕ-КАРЛО И НЕЙРОННОЙ СЕТИ С РАДИАЛЬНЫМИ БАЗИСНЫМИ

ФУНКЦИЯМИ.

4.1. Постановка и решение традиционной задачи оценивания с помощью метода Монте-Карло.

4.2. Постановка и решение задачи оценивания при наличии обучающей выборки.

4.3. Сопоставление нейросетевого алгоритма и алгоритма на основе метода Монте-Карло.

4.4. Обобщенные нейронные сети с РБФ.

4.5. Обучение нейронной сети с РБФ.

4.6. Иллюстрирующие примеры.

4.7. Выводы.

5. ОЦЕНИВАНИЕ НА ОСНОВЕ НЕЙРОННОЙ СЕТИ ПРИ ЕЕ ОБУЧЕНИИ В РЕЖИМЕ РЕАЛЬНОГО ВРЕМЕНИ.

5.1. Постановка и решение традиционной задачи оценивания на основе метода наименьших квадратов.

5.2. Постановка задачи «нейросетевого» оценивания при отсутствии обучающей выборки.

5.3. Решение задачи оценивания с использованием линейной нейронной сети.

5.4. Примеры решения задач оценивания.

5.5. Сопоставление нейросетевого алгоритма и алгоритма на основе метода наименьших квадратов.

5.6. Выводы.

6. ОЦЕНИВАНИЕ СЛУЧАЙНЫХ ПОСЛЕДОВАТЕЛЬНОСТЕЙ НА ОСНОВЕ СИСТЕМ НЕЧЕТКОЙ ЛОГИКИ И НЕЙРОНЕЧЕТКИХ

1 СЕТЕЙ.

6.1. Решение задачи байесовского оценивания при наличии обучающей выборки с использованием нечеткой системы.

6.2. Генерация нечеткой системы на основе алгоритма 81щепо с проведением кластеризации данных.

6.3. Настройка нейронечеткой системы с учителем при использовании обучающей выборки.

6.4. Использование нечеткой системы для рекуррентного оценивания и оценивания в режиме реального времени.

6.5. Примеры оценивания случайных последовательностей с использованием нечетких систем на основе алгоритма 81щепо.

6.6. Основная концепция построения структурных схем систем оценивания на основе нейронных сетей и нечетких систем.

6.7. Выводы.

7. ПРИМЕНЕНИЕ БАЙЕСОВСКОГО, НЕЙРОСЕТЕВОГО ПОДХОДОВ И СИСТЕМ НЕЧЕТКОЙ ЛОГИКИ ДЛЯ ОЦЕНИВАНИЯ МАРКОВСКИХ ПОСЛЕДОВАТЕЛЬНОСТЕЙ.

7.1. Постановка и решение задачи адаптивной нелинейной фильтрации случайных последовательностей для параметрической неопределенности.

7.2. Синтез оптимальных и адаптивных нелинейных фильтров для оценки параметров движения объектов на основе байесовского подхода.

7.3. Фильтрация марковских последовательностей на основе байесовского, нейросетевого подходов и систем нечеткой логики при оценке параметров движущихся объектов.

7.4. Синтез оптимальных фильтров для систем управления электромеханических преобразователей.

7.5. Выводы.

Введение диссертации (часть автореферата) на тему «Нейросетевые и нечеткие методы оценивания стохастических систем»

В диссертационной работе поставлена актуальная научная задача, состоящая в теоретическом сопоставлении традиционных методов оценивания с методами на основе нейронных сетей, нечеткой логики, нейронечетких систем, выявления преимуществ и недостатков последних и синтеза на их основе адаптивных систем оценивания.

Методы оценивания, область использования, актуальность проблемы. Методы теории оптимального оценивания и фильтрации широко используются при оценивании состояния стохастических систем, случайных процессов и последовательностей [1, 7, 21, 23, 24, 36, 38,54,73-78,80-83, 88-90, 93, 94, 102, 182, 193-195, 211]. Среди традиционных методов оценивания и фильтрации особо выделяется байесовский подход, который лежит в основе теории фильтрации. Достоинством байесовского подхода является то, что он обеспечивает решение задачи оценивания при: 1) нелинейности уравнений динамики и/или измерений; 2) наличии неточно известных параметров в этих уравнениях; 3) негауссовском характере функции плотности распределения вероятности (ф.п.р.в.) для ошибок измерений или начального вектора состояния.

При решении задачи оценивания в рамках классического (небайесовского) подхода широкое распространение получила процедура, основанная на максимизации функции правдоподобия.

В случае, когда не привлекается какая-либо априорная статистическая информация, задача оценивания решается с помощью метода наименьших квадратов (МНК).

Повышение точности оценивания в режиме реального времени состояний и параметров динамических систем по зашумленным измерениям выходных переменных по-прежнему во многих инженерных приложениях представляет актуальную проблему оценки состояния, которая включает в себя решение задач сглаживания, фильтрации и прогноза. Среди таких приложений можно назвать управление состоянием системы, прогноз случайных последовательностей, слежение за подвижными объектами. В полной мере это относится и к навигационным системам, основное назначение которых заключается в определении местоположения объекта в пространстве, его ориентации и характера передвижения [17,23, 24, 26, 31, 33,46, 47, 51, 53, 55, 57, 58, 66, 73, 77, 81, 90, 97, 103, 184].

Современное состояние проблемы оценивания на основе традиционных методов. В рамках байесовского подхода наибольшее применение на практике нашли быстродействующие алгоритмы калмановского типа, которые опираются на хорошо разработанную теорию линейной фильтрации марковских последовательностей и процессов [24, 54, 81,74-76,78,193-196]. Простота получаемых здесь оптимальных алгоритмов, в частности, линейная зависимость вычисляемых оценок вектора состояния от измерений, является следствием гауссовского характера апостериорной (условной к измерениям) плотности вероятности (АПВ) для этого вектора.

Используют различные приближенные процедуры нахождения параметров гауссовской аппроксимации апостериорной плотности. Существует широкое разнообразие алгоритмов такого рода. Здесь необходимо выделить алгоритмы нелинейной фильтрации марковских последовательностей, основанные на гауссовской аппроксимации апостериорной вероятности: обобщенный фильтр Калмана (ОФК), итерационный ОФК, называемый иногда также фильтром с локальными итерациями. В случаях, когда апостериорная плотность многоэкстремальна, применяются другие методы ее аппроксимации: ряды Грамма-Шарлье, ряды Эджворта, сплайн-аппроксимации. Однако получающиеся при этом алгоритмы мало пригодны для реализации на ЭВМ. Один из заслуживающих специального рассмотрения методов аппроксимации АПВ - метод сеток, основан на ее представлении с помощью набора дельта-функций. Одно из наиболее удобных описаний, обеспечивающих учет локального поведения АПВ, основано на ее полигауссовской аппроксимации.

Недостатки традиционных методов фильтрации. Один из основных недостатков методов фильтрации при байесовском подходе заключается в том, что для построения оптимальных алгоритмов требуется исчерпывающая априорная информация о свойствах оцениваемых процессов и ошибок их измерений. При решении нелинейных задач, кроме того, возникает проблема построения реализуемых алгоритмов, поскольку для нахождения апостериорной плотности, необходимой для отыскания оценок, требуется в непрерывном случае решать интегро-дифференциальное уравнение Фоккера-Планка-Колмогорова, а в дискретном - вычислять громоздкие многократные интегралы [24, 81, 104, 193].

Реализация метода наименьших квадратов характеризуется низкой скоростью сходимости.

Указанные недостатки заставляют исследователей искать новые подходы к построению алгоритмов. Один из таких подходов может быть основан на использовании нейронных сетей, нечеткой логики и нейронечетких систем.

Нерешенные проблемы использования нейронных и нечетких систем. При попытке использования нейронных сетей для решения задач фильтрации весьма важным является вопрос взаимосвязи и отличий предлагаемых алгоритмов с теми, которые применяются традиционно для решения этих задач. Установив эти отличия и взаимосвязи, можно более обоснованно рассуждать о преимуществах или недостатках нейросетевого подхода по сравнению с традиционным. К сожалению, как показал обзор отечественных и зарубежных публикаций, этот вопрос должным образом не обсуждается. Как правило, сопоставление предлагаемых и традиционных алгоритмов опирается на результаты моделирования частных примеров [3,26,67,70,180,192,197,203] . Из работ теоретического толка следует выделить работу [197], в которой показано, что рассматриваемые там рекуррентные нейронные сети при определенных условиях сходятся по точности к фильтру с минимальной дисперсией. Однако связь между самими алгоритмами в ней также должным образом не обсуждается.

Работ, посвященных применению нечетких систем для решения задач оценивания, значительно меньше, чем с применением нейронных сетей [185, 187, 205]. В то же время наибольший эффект ожидается именно от их совместного использования в виде нейронечетких систем.

Предлагаемая работа направлена на установление взаимосвязи традиционных алгоритмов и алгоритмов на основе нейронных сетей и нечетких систем.

Цель диссертационной работы - разработка теоретических положений и научно обоснованных технических решений, обеспечивающих эффективность и повышение качества оценивания состояния стохастических систем за счет применения нейросетевых и нечетких методов.

Формулировка научной проблемы. Исходя из вышеизложенного, научная проблема диссертационного исследования формулируется следующим образом: теоретическое установление взаимосвязи и сопоставление с традиционными методами оценивания и фильтрации с целью выявления преимуществ и недостатков нейросетевых, нечетких и нейронечетких систем.

Направления исследований: систематизация и классификация работ отечественных и зарубежных авторов по использованию нейронных, нечетких и нейронечетких систем; разработка теоретических положений для оценивания и идентификации на основе нейронных, нечетких и нейронечетких систем, устанавливающих взаимосвязи и отличия между традиционными алгоритмами и алгоритмами на основе нейронных сетей и нечетких систем, и позволяющих выявить преимущества и дополнительные возможности синтезируемых систем оценивания; разработка концепции построения систем оценивания и фильтрации на основе нейронных сетей, нечетких систем и нейронечетких сетей, обучение которой производится как в предварительном режиме по набору согласованных реализаций процесса и измерений, так и режиме реального времени по поступающим измерениям. разработка нелинейных байесовских, нейросетевых фильтров и фильтров на основе нечетких систем для слежения за координатами и параметрами движущихся объектов;

- решение задачи адаптивной нелинейной дискретной фильтрации параметров движущихся объектов в условиях априорной неопределенности на основе байесовского подхода с использованием нейронных, нечетких и нейронечетких систем.

В соответствии с целью поставлены следующие задачи исследования: развитие теоретических представлений о взаимосвязях и отличиях традиционного оптимального в среднеквадратическом смысле алгоритма оценивания в рамках байесовской постановки и нейросетевого алгоритма; разработка теоретических положений о взаимосвязях и отличиях традиционного оптимального в среднеквадратическом смысле алгоритма рекуррентного оценивания - линейного и расширенного фильтра Калмана и нейросетевого алгоритма;

- доказательство возможности идентификации моделей динамики и измерения в рамках байесовской постановки задачи оценивания с использованием методов нейросетевого и нечеткого анализа и синтеза;

- формирование теоретических представлений о взаимосвязях и отличиях традиционного оптимального в среднеквадратическом смысле алгоритма на основе метода Монте-Карло и нейросетевого алгоритма;

- уточнение теоретических представлений о взаимосвязях и отличиях традиционного оптимального в среднеквадратическом смысле алгоритма на основе метода наименьших квадратов и нейросетевого алгоритма при отсутствии априорной информации; сопоставление алгоритмов оценивания на основе систем нечеткой логики и традиционных алгоритмов; обоснование и разработка концепции построения систем оценивания на основе нейронных сетей и систем нечеткой логики; разработка моделей и алгоритмов нейросетевого и нечеткого оценивания с ориентацией на приложения в теории управления движущихся объектов и электромеханических преобразователей; создание комплекса программ для оценивания динамических процессов и последовательностей на основе традиционных методов, нейронных сетей, нечетких систем и нейронечетких систем.

Методы исследований. При выполнении диссертационной работы использовались методы современной теории оптимального управления, теории оптимальных процессов, теории идентификации, теории дифференциальных и разностных стохастических уравнений, вычислительной математики, теории вероятностей и математической статистики, теории нейронных сетей, теории нечеткой логики, а также методы математического моделирования.

Достоверность и обоснованность полученных результатов. Разработанные теоретические положения и новые технические решения проверялись путем моделирования на ЭВМ, результаты исследований точности оценивания сопоставлялись с потенциальной точностью при решении задач оценивания марковских последовательностей, и с известными экспериментальными данными других исследователей.

Научная новизна работы состоит в том, что: проведен системный анализ отечественных и зарубежных работ, на основе которого создана и представлена с использованием предложенных признаков классификация применений нейронных и нечетких систем для оценивания, позволяющая наглядно и обозримо провести систематизацию алгоритмов оценивания данного класса; в развитие теории байесовского оценивания доказана теорема, позволяющая трактовать традиционный оптимальный байесовский алгоритм оценивания как нейронную сеть, обученную с учителем по набору согласованных реализаций процесса и измерений; в развитие теории рекуррентного оценивания доказаны теоремы, позволяющие трактовать линейный и расширенный фильтры Калмана как нейронные сети, обученные с учителем по набору согласованных реализаций процесса и измерений; доказано, что может быть получен нейросетевой алгоритм, вырабатывающий оценки, свойства которых близки к свойствам оптимальных оценок без привлечения уравнений динамики и измерения путем идентификации входящих в них матриц; в развитие теории нелинейного оценивания получен результат, позволяющий трактовать традиционный алгоритм на основе метода Монте-Карло как нейронную сеть с радиальными базисными функциями, обученную с учителем по набору согласованных реализаций процесса и измерений; в дополнение к сложившимся теоретическим представлениям получен результат, позволяющий трактовать традиционный алгоритм оценивания на основе метода наименьших квадратов как нейронную сеть, обучаемую в режиме реального времени по поступающим измерениям; показано, что с использованием нечетких систем может быть получен алгоритм оценивания, вырабатывающий оценки, свойства которых близки к свойствам оптимальных оценок на основе традиционных алгоритмов; предложена концепция построения структурных схем систем нелинейного оценивания и фильтрации на основе нейронных, нечетких и нейронечетких систем, обучение которой производится как в предварительном режиме по набору согласованных реализаций процесса и измерений, так и режиме реального времени по поступающим измерениям; получено новое решение задачи адаптивной нелинейной дискретной фильтрации параметров движущихся объектов в условиях априорной неопределенности на основе байесовского подхода с использованием нейронных, нечетких и нейронечетких систем; предложен класс нелинейных байесовских, нейросетевых фильтров и фильтров на основе нечетких систем для слежения за координатами и параметрами движущихся объектов; создан комплекс программ для оценивания состояния динамических процессов и последовательностей на основе традиционных методов, нейронных сетей, нечетких систем и нейронечетких систем; разработаны алгоритмы и программы оценивания состояния электромеханических преобразователей с использованием нейросетевых, нечетких и нейронечетких систем, в том числе и в технических решениях, защищенных 2 свидетельствами и 3 патентами на полезные модели.

Содержание работы по главам.

В первой главе дан анализ современного состояния проблемы оптимального оценивания и фильтрации случайных процессов и последовательностей, как с помощью традиционных методов, так и с помощью получивших обсуждение лишь в последнее десятилетие нейронных сетей и систем нечеткой логики. Указаны проблемы и недостатки традиционных методов: байесовского, классического (небайесовского) и метода наименьших квадратов. Проведен системный анализ полученных теоретических и практических результатов и подходов по использованию нейронных сетей и нечетких систем в оценивании. Приведена по предложенным признакам классификация работ отечественных и зарубежных авторов в этой области. Проведено обсуждение современного состояния проблемы оптимального оценивания на основе нейронных сетей, нечетких систем и нейронечетких систем. Названы основные вопросы, которые остались нерешенными в этой области — отсутствие теоретического сопоставления традиционных подходов и подходов на основе нейронных сетей и нечетких систем. Основными причинами, которые заставили обратиться к этой проблеме, являются следующие.

Не существует однозначного ответа относительно преимуществ и недостатков нейросетевого подхода в сравнении с традиционным.

Взаимосвязи и различия нейросетевых алгоритмов с традиционными не установлены.

Нет ответа на вопрос: можно ли трактовать традиционный алгоритм как специального вида нейронную сеть?

На основе проведенного анализа современного состояния проблемы оценивания сформулирована цель и поставлены задачи диссертационного исследования.

Во второй главе применительно к задаче оценивания, решаемой в рамках байесовской постановки, исследуется связь традиционного (оптимального в среднеквадратическом смысле) алгоритма и алгоритма, основанного на использовании нейронных сетей. Рассматривается нелинейное оценивание, для которого задача линейного оценивания является частным случаем.

Сформулированы и доказаны две теоремы.

Показано, что линейная нейронная сеть при соответствующем выборе критерия, используемого для ее предварительного обучения, обеспечивает получение оценок, близких по своим свойствам к оценкам, получаемым с помощью байесовского алгоритма, оптимального в классе линейных алгоритмов. Это позволяет в принципе трактовать оптимальный в линейном классе алгоритм как нейронную сеть простейшего вида, обучаемую в соответствии с приведенным критерием.

Показано, что при наличии уравнения измерений входящие в него матрица измерений и шумы измерения могут быть идентифицированы.

Проводится обсуждение полученных результатов, и рассматриваются иллюстрирующие примеры.

В третьей главе применительно к задаче фильтрации случайных последовательностей исследуется связь алгоритмов оптимальной рекуррентной фильтрации - линейного и расширенного фильтров Калмана и алгоритмов, основанных на использовании нейронных сетей.

Основные результаты главы сформулированы и доказаны в виде леммы и двух теорем.

Показано, что рассматриваемые в главе алгоритмы, в которых использованы рекуррентные нейронные сети, при соответствующем выборе критерия обучения обеспечивают получение оценок, близких по своим свойствам к оценкам, вырабатываемым линейным и расширенным фильтрами Калмана. Это позволяет трактовать линейный и расширенный фильтры Калмана как нейронные сети, обученные с учителем по набору согласованных реализаций процесса и измерений.

Проводится обсуждение полученных результатов, и рассматривается иллюстрирующие примеры.

В четвертой главе применительно к задаче оценивания, решаемой с применением метода Монте-Карло, исследуется связь традиционного (оптимального в среднеквадратическом смысле) алгоритма и алгоритма, основанного на использовании нейронных сетей. В частности, показано, что нейронная сеть с радиальными базисными функциями при соответствующем выборе критерия, используемого для ее предварительного обучения, и радиальных базисных функций, обеспечивает получение оценок, близких по своим свойствам к оценкам, получаемым с помощью оптимального алгоритма на основе метода Монте-Карло. Показано, что НС с РБФ по точности сходится к фильтру с минимальной дисперсией. Это позволяет трактовать традиционный алгоритм на основе метода Монте-Карло как нейронную сеть с радиальными базисными функциями, обученную с учителем по набору согласованных реализаций процесса и измерений.

Проводится обсуждение полученных результатов, и рассматриваются иллюстрирующие примеры.

В пятой главе применительно к задаче оценивания, решаемой в рамках метода наименьших квадратов, исследуется связь традиционного алгоритма и алгоритма, основанного на использовании нейронных сетей. В частности, показано, что нейронная сеть при соответствующем выборе критерия, используемого для ее обучения в режиме реального времени, обеспечивает получение оценок, близких по своим свойствам к оценкам, получаемым с помощью метода наименьших квадратов. Это позволяет трактовать традиционный алгоритм на основе метода наименьших квадратов как нейронную сеть, обучаемую в режиме реального времени по поступающим измерениям;

Проводится обсуждение полученных результатов, и рассматривается иллюстрирующий пример.

В шестой главе применительно к задачам оценивания случайных последовательностей показано, что системы нечеткой логики и нейронечеткие системы при соответствующем выборе критерия, используемого для их предварительного обучения и обучения в режиме реального времени, обеспечивает получение оценок, близких по своим свойствам к оценкам, получаемым с помощью традиционных алгоритмов. Показано, что при наличии уравнений динамики и измерений, входящие в них матрицы динамики и измерений, а также порождающие шумы и шумы измерения могут быть идентифицированы с помощью нечетких систем.

Предложена концепция построения структурных схем систем нелинейного оценивания и фильтрации на основе нейронных, нечетких и нейронечетких систем, обучение которой производится как в предварительном режиме по набору согласованных реализаций процесса и измерений, так и режиме реального времени по поступающим измерениям;

Проводится обсуждение полученных результатов, и рассматриваются иллюстрирующие примеры.

В седьмой главе рассмотрено применение алгоритмов оценивания на основе нелинейных байесовских фильтров, нейронных сетей и на основе нечетких систем для оценивания координат и параметров движущихся объектов и для оценивания состояния электромеханических преобразователей.

На основе байесовского подхода дано решение задачи адаптивной нелинейной фильтрации случайных последовательностей для случая параметрической неопределенности.

Для решения нелинейной задачи слежения за координатами и параметрами движущихся объектов синтезируются нелинейные байесовские фильтры, нейросетевые фильтры и фильтры на основе нечеткой логики для трех моделей движения объектов: в среднем неподвижной цели со случайной скоростью, равномерного прямолинейного движения со случайным ускорением, маневрирующей цели на основе модели Зингера и на основе модели с представлением неопределенного ускорения для маневрирующей цели в виде полумарковского процесса.

Рассмотрены возможности понижения порядка кратных интегралов для синтезированных фильтров. Приводится сравнение точности фильтров: нелинейных байесовских, Калмана, нейросетевых и на основе систем нечеткой логики.

Рассмотрено применение алгоритмов оценивания на основе нелинейных байесовских фильтров, нейронных и на основе нечетких систем при построении электромеханических преобразователей.

Проводится обсуждение полученных результатов, и рассматриваются иллюстрирующие примеры.

На защиту выносятся.

1. Системный анализ отечественных и зарубежных работ, на основе которого создана и представлена с использованием предложенных признаков классификация применений нейронных и нечетких систем для оценивания, позволяющая наглядно и обозримо провести систематизацию алгоритмов оценивания данного класса;

2. Разработка теоретических положений для оценивания и идентификации на основе нейронных, нечетких и нейронечетких систем, устанавливающих взаимосвязи и отличия между традиционными алгоритмами и алгоритмами на основе нейронных сетей и нечетких систем, позволяющая выявить преимущества и дополнительные возможности синтезируемых систем оценивания.

3. Концепция построения систем оценивания и фильтрации на основе нейронных сетей, нечетких систем и нейронечетких сетей, обучение которых производится как в предварительном режиме по набору согласованных реализаций процесса и измерений, так и режиме реального времени по поступающим измерениям.

4. Решение задачи адаптивной нелинейной дискретной фильтрации параметров движущихся объектов в условиях априорной неопределенности на основе байесовского подхода с использованием нейронных, нечетких и нейронечетких систем.

5. Класс нелинейных байесовских, нейросетевых фильтров и фильтров на основе нечетких систем для слежения за координатами и параметрами движущихся объектов.

6. Комплекс программ для оценивания динамических процессов и последовательностей на основе традиционных методов, нейронных сетей, нечетких систем и нейронечетких систем, защищенных 4 свидетельствами об официальной регистрации программы для ЭВМ.

7. Алгоритмы и программы оценивания состояния электромеханических преобразователей с использованием нейросетевых, нечетких и нейронечетких систем, в том числе и в технических решениях, защищенных 2 свидетельствами и 3 патентами на полезные модели.

Основные результаты диссертационного исследования опубликованы автором в работах [105-177].

Завершая введение, хотелось бы выразить искреннюю благодарность за внимание к моей работе Степанова O.A., д.т.н., действительного члена Академии навигации и управления движением, начальника отдела Государственного научного центра России — Центрального научно-исследовательского института «Электроприбор», г. Санкт-Петербург.

Автор признателен за поддержку при работе над диссертацией научному консультанту Девятисильному A.C., д.т.н., начальнику лаборатории управления и навигации Института автоматики и процессов управления ДВО РАН, г. Владивосток.

Автор считает своим приятным долгом высказать благодарность д.т.н., профессору Санкт-Петербургского государственного электротехнического университета «ЛЭТИ» Терехову В.А. за ценные замечания и полезные советы, сделанные при обсуждении статьи [108].

Заключение диссертации по теме «Математическое моделирование, численные методы и комплексы программ», Амосов, Олег Семенович

Основные результаты диссертационного исследования опубликованы автором в работах [105-177].

ЗАКЛЮЧЕНИЕ

В диссертации разработаны теоретические положения и научно обоснованные технические решения, обеспечивающие эффективность и повышение качества оценивания состояния стохастических систем за счет применения методов нейросетевого и нечеткого анализа и синтеза.

Основными результатами работы являются следующие.

1. Проведен системный анализ отечественных и зарубежных работ, на основе которого создана и представлена с использованием предложенных в работе признаков классификация применений нейронных и нечетких систем для оценивания, позволяющая наглядно и обозримо провести систематизацию алгоритмов оценивания данного класса.

2. Разработаны следующие теоретические положения для оценивания на основе нейронных, нечетких и нейронечетких систем, устанавливающие взаимосвязи и отличия между традиционными алгоритмами и алгоритмами на основе нейронных сетей и нечетких систем, позволяющие выявить преимущества и дополнительные возможности синтезируемых систем оценивания:

- в развитие теории байесовского оценивания доказана теорема, позволяющая трактовать традиционный оптимальный байесовский алгоритм оценивания как нейронную сеть, обученную с учителем по набору согласованных реализаций процесса и измерений;

- в развитие теории рекуррентного оценивания доказаны теоремы, позволяющие трактовать линейный и расширенный фильтры Калмана как нейронные сети, обученные с учителем по набору согласованных реализаций процесса и измерений;

- доказана возможность идентификации моделей динамики и измерения в рамках байесовской постановки задачи оценивания с использованием методов нейросетевого и нечеткого анализа и синтеза; в развитие теории нелинейного оценивания получен результат, позволяющий трактовать традиционный алгоритм на основе метода Монте-Карло как нейронную сеть с радиальными базисными функциями, обученную с учителем по набору согласованных реализаций процесса и измерений; в дополнение к сложившимся теоретическим представлениям получен результат, позволяющий трактовать традиционный алгоритм оценивания на основе метода наименьших квадратов как нейронную сеть, обучаемую в режиме реального времени по поступающим измерениям; показано, что с использованием нечетких систем может быть получен алгоритм оценивания, вырабатывающий оценки, свойства которых близки к свойствам оптимальных оценок на основе традиционных алгоритмов;

3. В развитие теории оценивания и идентификации доказано, что в рамках байесовской постановки задачи оценивания с использованием методов нейросетевого и нечеткого анализа и синтеза может быть получен алгоритм, вырабатывающий оценки, свойства которых близки к свойствам оптимальных оценок без привлечения уравнений динамики и измерения путем идентификации входящих в них матриц.

4. Предложена концепция построения систем оценивания и фильтрации на основе нейронных сетей, нечетких систем и нейронечетких сетей, обучение которой производится как в предварительном режиме по набору согласованных реализаций процесса и измерений, так и режиме реального времени по поступающим измерениям.

5. Дано новое решение задачи адаптивной нелинейной дискретной фильтрации параметров движущихся объектов в условиях априорной неопределенности на основе байесовского подхода с использованием нейронных, нечетких и нейронечетких систем.

6. Предложен класс нелинейных байесовских, нейросетевых фильтров и фильтров на основе нечетких систем для слежения за координатами и параметрами движущихся объектов.

7. Разработан комплекс программ для оценивания динамических процессов и последовательностей на основе традиционных методов, нейронных сетей, нечетких систем и нейронечетких систем, защищенных 4 свидетельствами об официальной регистрации программы для ЭВМ.

8. Предложены алгоритмы и программы оценивания состояния электромеханических преобразователей с использованием нейросетевых, нечетких и нейронечетких систем. Получены технические решения применения нейросетевых, нечетких и нейронечетких систем для оценки состояния электромеханических преобразователей, защищенных 2 свидетельствами и 3 патентами на полезные модели.

Практическая и научная полезность результатов диссертационной работы.

1. Разработанные в диссертационной работе новые положения теории фильтрации на основе нейросетевого подхода и нечеткой логики позволяют повысить эффективность проведения НИР и ОКР при создании новых систем оценивания и фильтрации, повысить качественные результаты разработок.

2. Полученные автором теоретические положения, устанавливающие связь между традиционными методами фильтрации и оценивания и методами на основе нейросетевого подхода и нечеткой логики позволяют существенно сократить объем экспериментальных исследований или полностью их исключить, что дает возможность значительно снизить затраты материальных ресурсов, денежных средств и времени на отработку систем оценивания и фильтрации.

Кроме этого, указанные теоретические результаты являются определенным вкладом в общую теорию таких наук, как теория фильтрации и искусственный интеллект в части теории нейронных сетей и систем нечеткой логики.

3. Результаты компьютерного моделирования процессов оценки состояния движущихся объектов, приведенные в работе, представляют практический интерес при проектировании новых и модернизации известных систем управления движением, позволяют уточнить представление о протекающих в системах фильтрации процессах.

4. Разработанные технические решения, защищенные свидетельствами и патентами на полезные модели, позволяют повысить качественные показатели электромеханических преобразователей и могут быть использованы при проектировании новых технических систем в электромеханике.

5. Комплексы программ, защищенные свидетельствами, могут быть использованы при проектировании систем фильтрации при оценке состояния движущихся объектов.

Апробация работы. Научные положения и результаты диссертационной работы докладывались и получили одобрение на всесоюзной конференции «Математическое и имитационное моделирование в системах проектирования и управления» (г. Чернигов, 1990 г.); международной конференции ChanDe'92 «Методы распознавания изменений в случайных процессах и полях» (г. Киев, 1992 г.); VII и VIII международной открытой научной конференции «Современные проблемы информатизации в технике и технологиях» (г. Воронеж, 2002-2003 г.); IX международной открытой научной конференции «Современные проблемы информатизации в системах моделирования, программирования и телекоммуникациях» (г. Воронеж, 2004 г.); III Всероссийской конференции «Математика, информатика, управление» (г. Иркутск, 2004 г.); II и III международной конференции «Идентификация систем и задачи управления» («SICPRO'03», Москва, 2003 г.; «SICPRO'04», г. Москва, 2004 г.); IX и X международной конференции по интегрированным навигационным системам (г. Санкт-Петербург, 2002-2003 г.); международной конференции по мягким вычислениям и измерениям «SCM'2003» (г. Санкт-Петербург, 2003 г.); 5 международной конференции «Digital signal processing and its applications» (r. Москва, 2003 г.); Дальневосточной математической школе-семинаре им. Е.В. Золотова (г. Владивосток, 2002-2004 г.); международной конференции

Proceedings of IFAC Workshop on Adaptation and Learning in Control and Signal Processing (ALCOSP) and IFAC Workshop on Periodic Control Systems (PSYCO)» (Япония, г. Йокохама, 2004 г.), на научно-технических семинарах лаборатории управления и навигации ИАПУ ДВО РАН; на ежегодных научно-технических конференциях и семинарах КнАГТУ.

Внедрение результатов работы. Практическая значимость полученных в диссертации результатов подтверждается их внедрением (использованием):

1) в научный процесс Института автоматики и процессов управления ДВО РАН, г. Владивосток при выполнении НИР «Теоретическое и экспериментальное исследование многопозиционных систем управления движением на море»;

2) в разработках ГНЦ РФ ЦНИИ «Электроприбор», г. Санкт-Петербург в НИР «Анализ возможностей использования нейронных сетей при решении задач обработки навигационной информации», выполняемой в рамках «Федеральной целевой научно-технической программы «Исследование и разработки по приоритетным направлениям развития науки и техники» на 2002-2006 годы»;

3) в проектно-конструкторской деятельности Комсомольского-на-Амуре филиала ОАО ОКБ «Сухой»;

4) в учебный процесс ГОУВПО «КнАГТУ» для специальностей 071900 «Информационные системы» и 351400 «Прикладная информатика».

Список литературы диссертационного исследования доктор технических наук Амосов, Олег Семенович, 2004 год

1. Балакришнан А. Теория фильтрации Калмана: Пер. с англ. М.: Мир, 1988.- 168 с.

2. Бахшиян Б.Ц., Назиров P.P., Эльясберг П.Е. Определение и коррекция движения (гарантирующий подход). М.: Наука. Гл. ред. физ.-мат. лит., 1980.-360 с.

3. Безмен Г.В. Анализ возможностей использования нейронных сетей для решения задач фильтрации // Навигация и управление движением: Сб. докл. IY конф. молодых ученых. 2002. - С. 103-106.

4. Берзигияров П.К., Султанов В.Г. Технология разработки масштабируемых параллельных вычислений для SMP-систем на базе MPI, http://www2.sscc.ru/Litera/2002. С. 154-160.

5. Бесекерский В.А., Небылов A.B. Робастные системы автоматического управления. М.: Наука. Гл. ред. физ.-мат. лит., 1983. -240 с.

6. Боровков A.A. Теория вероятностей: Уч. пособие для вузов. М.: Наука. Гл. ред. физ.-мат. лит., 1986. - 432 с.

7. Брайсон А., Хо Ю-Ши. Прикладная теория оптимального управления. — М.: Мир, 1972.

8. Бутенко A.A., Святный Д.А., Шахтарин Б.И. Обучение нейронной сети при помощи алгоритма фильтра Калмана. М.: МГТУ, 2002. С. 220-225.

9. Ван Трис Г. Теория обнаружения оценок и модуляции. Т. 1. Теория обнаружения оценок и линейной модуляции. М.: Сов. радио, 1972. 744 с. Т. 2. Теория нелинейной модуляции. — Сов. радио, 1975. - 342 с.

10. Вапник В.Н. Восстановление зависимостей по эмпирическим данным. М.: Наука, 1979. 447 с.

11. И. Вапник В.Н., Червоненкис АЛ. Теория распознавания образов. -М.: Наука, 1974.-416 с.

12. Вентцель Е.С. Теория вероятностей: Учеб. для вузов. — М.: Высш. шк., 2001.-575 с.

13. Вентцель Е.С., Овчаров Л.А. Теория вероятностей и ее инженерные приложения: Учеб. для втузов. М.: Высш. шк., 2000. - 480 с.

14. Воеводин В.В., Воеводин Вл.В. Параллельные вычисления. Спб.: БХВ-Петербург, 2002. 609 с.

15. Галушкин А.И. Основы нейроуправления / Приложение к журналу «Информационные технологии», 2002. № 10. — С.

16. Галушкин А.И. Теория нейронных сетей. Кн. 1. Сер. «Нейрокомпьютеры и их применение / Под ред. Галушкина А.И. М.: ИПРЖР, 2000.-416 с.

17. Глобальная спутниковая радионавигационная система ГЛОНАСС / Под ред. В.Н. Харисова, А.И. Перова, В.А. Болдина. 2-е изд. исправ. - М.: ИПРЖР, 1999.-560 с.

18. Гнеденко Б.В. Курс теории вероятностей: Учебник. 6-е изд., перераб. и доп. - М.: Наука, 1988. - 448 с.

19. Горбань А.Н. Обучение нейронных сетей. М.: СП Рагавга^ 1990. -160 с.

20. Горбань А.Н., Россиев Д.А. Нейронные сети на персональном компьютере. — Новосибирск: Наука (Сиб. отделение), 1996. 276 с.

21. Граничин О.Н., Поляк Б.Т. Рандомизированные алгоритмы оценивания и оптимизации при почти произвольных помехах. М.: Наука, 2003.-293 с.

22. Девятисильный А.С., Дорожко В.М., Гриняк В.М. Нейроподобные алгоритмы высотной классификации движущихся объектов // Информационные технологии, 2001. — № 12. С.

23. Дмитриев С.П. Высокоточная морская навигация. Л.: Судостроение, 1991. —222 с.

24. Дмитриев С.П., Степанов O.A. Нелинейная фильтрация в задачах обработки навигационной информации // Нелинейная теория управления и ее приложения. М.: Физматлит, 2003. - С. 127-146.

25. Дьяконов В.П., Абраменкова И.В., Круглов B.B. MATLAB 5.3.1 с пакетами расширений / Под ред. проф. В.П. Дьяконова. М.: Нолидж. 2001. — 880 с.

26. Ефименко B.C., Харисов В.Н., Стребков Е.Г. Применение нейронных сетей в задачах оптимальной фильтрации // Радиотехника. 2000. -№7.-С. 56-61.

27. Задачи навигации и управления при стабилизации судна на траектории / С.П. Дмитриев, А.Е. Пелевин. СПб.: ГНЦ РФ-ЦНИИ «Электроприбор», 2002. - 160 с.

28. Заде JI.A. Понятие лингвистической переменной и его применение к принятию приближенных решений / Пер. с англ. М.: Мир, 1976. - 165 с.

29. Зарицкий B.C., Светник В.Б., Шимелевич Л.И. Метод Монте-Карло в задачах оптимальной обработки информации. Автоматика и телемеханика. 1975.-№ 12.-С. 95-103.

30. Зингер P.A. Оценка характеристик оптимального фильтра при слежении за пилотируемой целью // Зарубежная радиоэлектроника, 1971. -№8. -С. 40-57.

31. Ивановский Р.И., Эпштейн М.К. Оценка параметров движения маневрирующих объектов. Л.: ЦНИИ «Румб», 1982. - 96 с.

32. Ивахненко А.Г., Мюллер И.А. Самоорганизация прогнозирующих моделей. К.: Технпса, 1985; Берлин: ФЕБ Ферлаг Техник, 1984. - 223 с.

33. Интегрированные системы ориентации и навигации для морских подвижных объектов / О.Н. Анучин, Г.И. Емельянцев / Под общей ред. академика РАН В.Г. Пешехонова. СПб.: ГНЦ РФ-ЦНИИ «Электроприбор», 2003.-390 с.

34. Казаков И.Е., Гладков Д.И. Методы оптимизации стохастических систем. М.: Наука. Гл. ред. физ.-мат. лит., 1987. - 304 с.

35. Каллан Р. Основные концепции нейронных сетей: Пер. с англ. М.: Издательский дом «Вильяме», 2001. -288 с.

36. Калман Р., Фалб П., Арбиб М. Очерки по математической теории систем. -М.: Мир, 1971. 400 с.

37. Кобяков П.В. Анализ классических нейронных сетей и сетей, основанных на фильтре Калмана // Межд. конф. по мягким вычислениям и измерениям «БСМ^ООЗ». Сб. докл. Т. 1. СПб.: Изд-во СПбГЭТУ «ЛЭТИ», 2003.-С. 367-370.

38. Колмогоров А.Н. Интерполирование и экстраполирование стационарных случайных последовательностей // Известия АН СССР. Сер. Матем. 1941. - Т. 5. - № 1. - С. 3-14.

39. Корн Г., Корн Т. Справочник по математике (для научных работников и инженеров). -М.: Наука, 1978. 832 с.

40. Короткий С. Нейронные сети: основные положения // http://www.neuropower.de/rus/books/index.html. С. 1-4.

41. Короткий С. Нейронные сети: алгоритм обратного распространения // http://www.neuropower.de/rus^ooks/index.html. С. 1-9.

42. Коршунов Ю.М. Математические основы кибернетики. М.: Энергоатомиздат, 1987. - 496 с.

43. Круглов В.В., Борисов В.В. Искусственные нейронные сети. Теория и практика. М.: Горячая линия-Телеком, 2002. - 382 с.

44. Круглов В.В., Дли М.И., Годунов Р.Ю. Нечеткая логика и искусственные нейронные сети: Уч. пособие. М.: Физматлит, 2001. —224 с.

45. Кузнецов В.П. Интервальные статистические модели. М.: Радио и связь, 1991.-352 с.

46. Кузьмин С.З. Основы проектирования систем цифровой обработки радиолокационной информации. — М.: Радио и связь, 1986. — 352 с.

47. Кузьмин С.З. Основы теории цифровой обработки радиолокационной информации. М.: Сов. радио, 1974. - 432 с.

48. Левин Б.Р. Теоретические основы статистической радиотехники. — 3-е изд., перераб. и доп. М.: Радио и связь, 1989. - 656 с.

49. Леоненков A.B. Нечеткое моделирование в среде MATLAB и fuzzyTECH. СПб.: БХВ-Петербург, 2003. - 736 с.

50. Лепинин Е.Ф. Нейросетевая реализация алгоритма фильтрации // Нейрокомпьютеры и их применение: Тр. VIII всеросс. конф. НКП-2002 с междун. участием, 21-22 марта 2002, М.: 2002. С. 226 - 231.

51. Ли Р. Оптимальные оценки, определение характеристик и управление: Пер. с англ. М.: Наука, 1966. - 176 с.

52. Логинов В.П. Приближенные алгоритмы нелинейной фильтрации // Зарубежная радиоэлектроника. 1975 - № 2, Ч. 1. - С. 28-48; 1976. - № 3, Ч. 2.-С. 3-28.

53. Лукомский Ю.А., Пешехонов В.Г., Скороходов Д.А. Навигация и управление движением судов: Учебник. СПб.: «Элмор», 2002. - 360 с.

54. Медич Дж. Статистически оптимальные линейные оценки и управление: Пер. с англ. / Под ред. A.C. Шаталова. М.: Энергия, 1973. -440 с.

55. Методические рекомендации диспетчерам службы движения по работе с оборудованием районной автоматизированной системы управления воздушным движением. М.: Воздушный транспорт, 1988. - 406 с.

56. Методы нейроинформатики / Под ред. А.Н. Горбаня; отв. за выпуск М.Г. Доррер. Красноярск: КГТУ, 1998. - 205 с.

57. Методы фильтрации сигналов в корреляционно-экстремальных системах навигации / В.К. Баклицкий, A.M. Бочкарев, М.П. Мусьяков; Под ред. В.К. Баклицкого. М.: Радио и связь, 1986. - 216 с.

58. Небылов A.B. Измерение параметров полета вблизи морской поверхности. СПб.: СПбГААП, 1994. - 307 с.

59. Нейроматематика. Кн. 6. Сер. «Нейрокомпьютеры и их применение» / Под ред. Галушкина А.И. М.: ИПРЖР, 2002. - 448 с.

60. Нейронные сети. STATISTIC A Neural Networks: Пер. с англ. М.: Горячая линия-Телеком, 2000. - 182 с.

61. Нечеткие множества в моделях управления и искусственного интеллекта / Под ред. Д. А. Поспелова. М.: Наука. Гл. ред. физ.-мат. лит., 1986.-312 с.

62. Нечеткие множества и теория возможностей. Последние достижения: Пер. с англ. / Под ред. P.P. Ягера. М.: Радио и связь, 1986. -408 с.

63. Омату С., Халид М., Юсов Р. Нейроуправление и его приложения. Кн. 2. Сер. «Нейрокомпьютеры и их применение» / Под ред. Галушкина А.И. -М.: ИПРЖР, 2000.

64. Пащенко Ф.Ф. Нечеткие регуляторы. Состояние и возможности // Дальневосточная матем. школа-семинар им. академика Е.В. Золотова: Тез. докл., Владивосток, 6-11 сентября 2004 г. Владивосток: Изд-во Дальневосточного ун-та, 2004. - С. 130-131.

65. Первачев С.В. Радиоавтоматика: Учеб. для вузов. М.: Радио и связь, 1982.-296 с.

66. Перевезенцев JI.T., Огарков В.Н. Радиолокационные системы аэропортов. М.: Транспорт, 1991. - 360 с.

67. Перов А.И., Соколов Г.Г. Сравнительный анализ нейросетевых и статистических алгоритмов в задачах обнаружения сигналов // Цифровая обработка сигналов и ее применение: Тр. 3 междун. конф. «DSPA-2000». М., 2000.-С. 28-31.

68. Пивкин В.Я., Бакулин Е.П., Кореньков Д.И. Нечеткие множества в системах управления // http://www.idisys.iae.nsk.su/fuzzy-book/.

69. Пискунов Н.С. Дифференциальное и интегральное исчисления для втузов: Уч. пособие для втузов. 13-е изд. - М.: Наука, 1985. - Т. 1—2.

70. Покалов В.А. Применение нейронных сетей для решения задачи линейной фильтрации // Современные технологии в задачах управления,автоматики и обработки информации: Тр. XI междун. научн.-техн. семинара, Алушта, 2002.-С. 159.

71. Поляхов Н.Д., Приходько И.А. Нечеткие системы управления: Уч. пособие. СПб.: Изд-во СПбГЭТУ «ЛЭТИ», 2002. - 48 с.

72. Производственные системы с искусственным интеллектом / P.A. Алиев, Н.М. Абдикеев, М.М. Шахназаров. М.: Радио и связь, 1990. - 264 с.

73. Радиотехнические системы / Ю.П. Гришин, В.П. Ипатов, Ю.М. Казаринов и др.; Под ред. Ю.М. Казаринова. М.: Высш. шк., 1990. - 496 с.

74. Ройтенберг Я.Н. Автоматическое управление: Уч. пособие. М.: Наука. Гл. ред. физ.-мат. лит., 1978. 552 с.

75. Сейдж Э., Меле Дж. Теория оценивания и ее применение в связи и управлении: Пер. с англ. / Под ред. Б.Р. Левина. М.: Связь, 1976. - 496 с.

76. Сейдж Э.П., Уайт Ч.С., III. Оптимальное управление системами: Пер. с англ. / Под ред. Б.Р. Левина. М.: Радио и связь, 1982. - 392 с.

77. Сосулин Ю.Г. Теоретические основы радиолокации и радионавигации. -М.: Радио и связь, 1992. 304 с.

78. Справочник по теории автоматического управления / Под ред. A.A. Красовского. М. Наука, 1987. - 712 с.

79. Справочник по радиолокации / Под ред. М. Сколника. Нью-Йорк, 1970: Пер. с англ. (в четырех томах) / Под общей ред. К.Н. Трофимова; Т. 2. Радиолокационные антенные устройства / Под ред. П.И. Дудника. М.: Сов. радио, 1977.-408 с.

80. Степанов O.A. Основы теории оценивания и фильтрации с приложениями к обработке навигационной информации и примерами на Matlab: Уч. пособие. СПб.: ГНЦ РФ-ЦНИИ «Электроприбор», 2003. (http://education.ed).

81. Степанов O.A. Применение теории нелинейной фильтрации в задачах обработки навигационной информации.-СПб.: ГНЦ РФ-ЦНИИ «Электроприбор», 1998. 370 с.

82. Стратонович Р.Л. Принципы адаптивного приема. М.: Сов. радио, 1973.- 144 с.

83. Стратонович Р.Л. Условные марковские процессы и их применение к теории оптимального управления. М.: МГУ, 1966. - 320 с.

84. Терехов В.А., Ефимов Д.В., Тюкин И.Ю., Антонов В.Н. Нейросетевые системы управления. Кн. 8. Сер. «Нейрокомпьютеры и их применение» / Под ред. Галушкина А.И. М.: ИПРЖР, 2002. - 480 с.

85. Тихонов А.Н., Арсенин В.Я. Методы решения некорректных задач. -М.: Наука, 1979.

86. Тихонов А.Н., Уфимцев М.В. Статистическая обработка результатов экспериментов: Уч. пособие. М.: Изд-во Моск. ун-та, 1988. -174 с.

87. Тихонов В.И. Статистическая радиотехника. М.: Радио и связь, 1982.-624 с.

88. Тихонов В.И., Кульман Н.К. Нелинейная фильтрация и квазикогерентный прием сигналов. М.: Сов. радио, 1975. - 704 с.

89. Тихонов В.И., Миронов М.А. Марковские процессы. М.: Сов. радио, 1977.-488 с.

90. Тихонов В.И., Харисов В.Н. Статистический анализ и синтез радиотехнических устройств и систем. — М.: Радио и связь, 1991.-608 с.

91. Турчак Л.И. Основы численных методов. М.: Наука, 1987.—320 с.

92. Уоссермен Ф. Нейрокомпьютерная техника. М.: Мир, 1992.240 с.

93. Фильтрация и стохастическое управление в динамических системах / Под ред. К.Т. Леондеса: Пер. с англ. М.: Мир, 1980. - 408 с.

94. Фомин В.Н. Рекуррентное оценивание и адаптивная фильтрация. -М.: Наука, 1984.-288 с.

95. Фомин В.Н. Операторные методы теории линейной фильтрации случайных процессов. СПб.: Изд-во СПбГУ, 1996.

96. Цыпкин Я.З. Информационная теория идентификации. М.: Наука. Физматлит, 1995. - 336 с.

97. Ширман Я.Д., Манжос В.Н. Теория и техника обработки радиолокационной информации на фоне помех.-М.:Радио и связь, 1981.-416 с.

98. Ширяев А.Н. Вероятность: Уч. пособие для вузов. М.: Наука. Гл. ред. физ.-мат. лит., 1989. - 640 с.

99. Эйкхофф П. Основы идентификации систем управления. — М.: Мир, 1975.-686 с.

100. Элементы параллельного программирования / В.А. Вальковский,

101. B.Е. Котов, А.Г. Марчук, H.H. Миренков; Под ред. В.Е. Котова. М.: Радио и связь, 1983.-240 с.

102. Энциклопедия. Вероятность и математическая статистика. М.: Научное изд-во «Большая Российская энциклопедия», 1999.

103. Ярлыков М.С. Применение марковской теории нелинейной фильтрации в радиотехнике. М.: Сов. радио, 1980. - 360 с.

104. Ярлыков М.С. Статистическая теория радионавигации. М.: Радио и связь, 1985.-344 с.

105. Ярлыков М.С., Миронов М.А. Марковская теория оценивания случайных процессов. М.: Радио и связь, 1993. - 464 с.

106. Амосов О.С. Адаптивная нелинейная фильтрация случайных последовательностей на основе нейронных сетей и нечеткой логики // Приборы и системы. Управление, контроль, диагностика. 2004. - № 5.1. C. 48-53.

107. Амосов О.С. Фильтрация марковских последовательностей на основе байесовского, нейросетевого подходов и систем нечеткой логики при обработке навигационной информации // Известия РАН. Теория и системы управления. 2004. - Т. 43. - № 4. - С. 61-69.

108. Амосов О.С. Системы нечеткой логики для фильтрации марковских последовательностей // Информационные технологии. 2004. -№ 11.-С. 16-24.

109. Степанов O.A., Амосов О.С. Байесовское оценивание с использованием нейронной сети // Авиакосмическое приборостроение. — 2004.-№6.-С. 46-55.

110. Степанов O.A., Амосов О.С. Оптимальная линейная фильтрация с использованием нейронной сети // Гироскопия и навигация. 2004. -№3(46).-С. 14-29.

111. Амосов О.С., Девятисильный A.C. Сравнение точности нейросетевых фильтров и фильтров Калмана для оценки параметров движущихся объектов // Приборы и системы. Управление, контроль, диагностика. 2003. - № 9. - С. 32-36.

112. Степанов O.A., Амосов О.С. Сравнительный анализ байесовского и нейросетевого подходов при решении задач оценивания // Гироскопия и навигация. Тр. XXIV конф. памяти H.H. Острякова, 13-14 октября 2004, СПб.: ФГУП ЦНИИ «Электроприбор» (в печати).

113. Степанов O.A., Амосов О.С. Нерекуррентное линейное оценивание с использованием нейронной сети // Матер. III всеросс. конф. «Математика, информатика, управление», 29 июня 1 июля 2004, Иркутск, 2004.-С. 1-12.

114. Амосов О.С. Применение нейронных сетей и нечеткой логики для фильтрации марковских последовательностей // Межд. конф. по мягким вычислениям и измерениям «SCM'2003». Сб. докл. Т. 1. СПб.: Изд-во СПбГЭТУ «ЛЭТИ», 2003. - С. 348-351.

115. Амосов О.С. Адаптивное оценивание случайных последовательностей на основе нейронных сетей и нечеткой логики // Системы управления и информационные технологии: Междун. сб. научн. тр. Вып. 11. Воронеж: Научная книга, 2003. - С. 54-61.

116. Амосов О.С. Методы адаптивной нелинейной фильтрации, нейроинтеллекта, нечеткой логики и баз знаний в системах управления движением объектов // Системы управления и информационные технологии:

117. Межвуз. сб. научн. тр. Вып. 9. Воронеж: Центрально-Черноземное книжное изд-во, 2002. - С. 42-49.

118. Хабаровск: Изд-во Хабаровского Дальневосточного техн. ун-та, 2003. — Ч. 2. -С. 18-23.

119. Амосов О.С., Лапчинский E.H. Нейросетевые алгоритмы оценки параметров движения объектов // Нелинейная динамика и прикладная синергетика: Матер, междун. научн. конф. 21-27 сентября 2002 г. -Комсомольск-на-Амуре: ГОУВПО «КнАГТУ», 2003. Ч. 2. - С. 14-19.

120. Амосов О.С. Моделирование адаптивных алгоритмов оптимальной дискретной нелинейной фильтрации на основе байесовского подхода // Математика, компьютер, образование: Матер. 9 междун. конф.: Сб. тез. -Дубна, 2002. 1 с.

121. Амосов О.С. Интеллектуальные информационные системы. Нейронные сети и нечеткие системы: Уч. пособие. Комсомольск-на-Амуре: ГОУ ВПО «Комсом. н/А гос. техн. ун-т», 2004. - 104 с.

122. Амосов О.С. Математическое и алгоритмическое обеспечение вторичной обработки информации в системе УВД // Методы распознавания изменений в случайных процессах и полях: Тез. докл. междун. конф. ChanDe'92. Киев, 1992. - С. 38-39.

123. Безруков В.В., Амосов О.С., Вологжанин В.Е. Имитация траекторных перемещений группы объектов // Математическое и имитационное моделирование в системах проектирования и управления: Тез. докл. всесоюзн. конф. Чернигов, 1990. - С. 353.

124. Олейник В.Н., Амосов О.С., Трушляков С.А. Синтезаторы частот с повышенной стабильностью выходного колебания // Повышение эффективности авиационных радиоэлектронных систем. Сб. научн. матер. -Харьков: ХВВАУРЭ, 1986. Вып. VII. - 4.1. - С. 90-98.

125. Амосов О.С., Соколов Ю.Н., Олейник В.Н. Синтез статистически оптимальных синтезаторов частот при частично заданной структуре // Автоматизированные системы управления. Тематический сборник научных трудов. Харьков: ХАИ, 1984. - Вып. 5. - С. 87-95.

126. Амосов О.С. Моделирование синтезаторов частот на ЭВМ с учетом случайных возмущений // Стабилизация частоты и прецизионнаярадиотехника: Тез. докл. межотрасл. научн. конф., совещаний, семинаров. -М.: ВИМИ, 1983.-Ч. II.-С. 81-82.

127. Соколов Ю.Н., Амосов О.С. Моделирование в задачах автоматизации проектирования синтезаторов частот // Современные проблемы стабилизации частоты. Науч. тр. Межведомств, темат. сб. № 8. -М.: МЭИ, 1983. С. 160-164.

128. Олейник В.Н., Соколов Ю.Н., Амосов О.С. Особенности вычисления фундаментальной матрицы АЦСЧ // Самолетостроение. Техника воздушного флота: Респ. межведомств, научн.-техн. сб. Вып. 49. -Харьков: Вища школа, 1982. С. 95-102.

129. Соколов Ю.Н., Олейник В.Н., Амосов О.С. Функциональные модели и программные модули ФНЧ систем синтеза частот // Системы управления летательных аппаратов: Тематич. сб. научн. тр. Харьков: ХАИ, 1982.-Вып. 7.-С. 74-79.

130. Пат. РФ № 33478 на полезную модель, МПК 7 Н 05 В 3/02, F 24 Н 3/00. Тепловые жалюзи / Ю.Г. Кабалдин, A.M. Шпилев, О.С. Амосов, С.Н. Иванов (РФ). -№ 2003115261/20; Заявлено 23.05.03; Зарегистр. 20.10.03, Бюл. № 29. 1 с.

131. Пат. РФ № 33479 на полезную модель, МПК 7 Н 05 В 6/10, F 25 В 29/00. Управляемый электронагреватель / Ю.Г. Кабалдин, A.M. Шпилев, О.С. Амосов, С.Н. Иванов (РФ). № 2003115260/20; Заявлено 23.05.03; Зарегистр. 20.10.03, Бюл. №29.- 1 с.

132. Программы для ЭВМ, базы данных, топологии интегральных микросхем» № 4 (41), Ч. 2, 2002. С. 266-267.

133. Свид-во РФ № 27755 на полезную модель, МПК 7 Н 02 К 5/00, 19/36. Электромеханический преобразователь / A.M. Шпилев, О.С. Амосов, С.Н. Иванов, С.Б. Горбунов (РФ). № 2002120733/20; Заявлено 01.08.02; Опубл. 10.02.03, Бюл. № 4 (III ч.). - С. 648.

134. Amosov O.S. Dynamic model of the neural networks // Образование и наука в третьем тысячелетии: Сб. матер, к четвертой междун. научн.-теорет. конф. Ч. 1. Барнаул: Изд-во Алтайского ун-та, 2002. С. 164-166.

135. Agarwal М. Combining neural and conventional paradigms for modeling, prediction and control // Int. J. of Systems Science. 1997. - Vol. 28. -№ l.-P. 65-81.

136. Alessandri A., Parisini Т., Zoppoli R. Neural approximations for nonlinear finite-memory state estimation // Int. J. of Control, 1997. Vol. 67. -№6.-P. 275-302.

137. Alessandri A., Parisini Т., Zoppoli R. Sliding-window neural state estimation in a power plant heater line // Proceedings of the American Control Conference San Diego, California, June 1999. P. 880-884.

138. Atiya A.F., Parlos A.G. New results on recurrent networks training: unifying the algorithms and accelerating convergence // IEEE Trans. Neural Networks. 2000. - Vol. 11. - № 3. - P. 697-709.

139. Busy R.S., Senne K.D. Digital synthesis of nonlinear filters // Automatica. 1971. - Vol. 7. - № 3. - P. 287-298.

140. Berardi V.I., Zhang P.G. An empirical investigation of bias and variance in time series forecasting: modeling considerations and error evaluation // IEEE Trans. Neural Networks. 2003. - Vol. 14. - № 3. - P. 668-679.

141. Chan K.C.C., Lee V., Leung H., Radar tracking for air surveillance in a stressful environment using a fuzzy-gain filter // IEEE Trans. On Fuzzy Systems. -1997. Vol. 5. - № 1. - P. 80-89.

142. Chiu S. Fuzzy model identification based on cluster estimation. J. of Intelligent & Fuzzy Systems, 1994. Vol. 2. - № 3.

143. Grewal M.S. Andrews A.P. Kaiman filtering: theoiy and practice prentice, Upper Saddle River, New Jersey, 1993.

144. Haykin S. Neural networks: a comprehensive foundation. N.Y.: MacMillan college, 1999. - 842 p.

145. Haykin S., Li L. Nonlinear adaptive prediction of nonstationary signals // IEEE Trans. On Signal Processing. 1995. - Vol. 43. - № 2. - P. 526-535.

146. Haykin S., Yee P. Nonlinear state estimation using RBF networks // IEEE GLOBECOM, McLean, VA, 1996.

147. Haykin S., Yee P. Optimum nonlinear filtering // IEEE Trans. On Signal Processing. 1997. - Vol. 45. - № 11. - P. 2774-2786.

148. Jazwinski A.H. Stochastic processes and filtering theoiy. N.Y.: Acad. Press, 1970.-376 p.

149. Kaiman filtering and neural networks / Ed. by S. Haykin. — N.Y.: Jonh Wiley & Sons, Inc. 2001. - P. 284.

150. Kaiman R.E. A new approach to linear filtering and prediction problems // Trans. ASME, J. Basic Eng. 1960. - Vol. 82. - № 1. - P. 35^5.

151. Kaiman R.E., Bucy R.S. New results in linear filtering and prediction theoiy Trans. ASME, J. Basic Eng. 1961. - Vol. 83. - P. 95-108.

152. Lo J. T.-H. Synthetic approach to optimal filtering // IEEE Trans. Neural Networks. 1994. - Vol. 5. - № 5. - P. 803-811.

153. Lo J.T.-H. Neural networks approach to optimal filtering // Tech. Rep. RL-TR-94-197, Rome Lab., Air Force Material Command, Griffiss AFB, NY, Sept. 1995.

154. MacKay DJ.C. (1995) Probable networks and plausible predictions a review of practical Bayesian methods for supervised neural networks, available at ftp://wol.ra.phy.cam.ac.uk/pub/www/mackay/network.ps.gz.

155. Menon P.K., Sharma V. Adaptive target state estimation using neural networks // Proceedings of the American Control Conference San Diego, California, June 1999. P. 2610-2614.

156. Narendra K. S., Parthasarathy K. Identification and control of dynamical systems using neural networks // IEEE Trans. On Neural Networks. -1990.-Vol. 1. -№ 1.-P. 4-27.

157. Parisini T., Zoppoli R. Neural networks for nonlinear state estimation // Int. J. Robust Nonlinear Contr. 1994. -Vol. 4. - P. 231-248.

158. Parlos A. G., Menon S.K., and Atiya A.F. An algorithmic approach to adaptive state filtering using recurrent neural networks // IEEE Trans. Neural Networks.-2001.-Vol. 12.-№6.-P. 1411-1432.

159. Puskorius G.V., Feldkamp L.A., and Davis L.I. Dynamic neural network methods applied to on-vehicle idle speed control // Proc. IEEE. 1996. -Vol. 84.-P. 1407-1419.

160. Silva I.N., Arruda L.V.R., and Amaral W.C. Robust estimation of parametric membership regions using artificial neural networks // Int. J. of Systems Science. 1997. -Vol. 28. -№ 5. - P. 447-455.

161. Simandle M, P. Hering, L. Krai. Identification of Nonlinear Non-Gaussian Systems by Neural Network. Proceeding of NOLCOS-04. Sept. 1-4, Shtuttgart, Germany. 2004. - P. 919-924.

162. Sum J., Leung C., Young G.H., and Kan W. On the Kalman filtering method in neural network training and pruning // IEEE Trans. Neural Networks. -1999.-Vol. 10.-№ l.-P. 161-166.

163. Sunil Elanayar V.T., Yung C. Shin. Radial basis function neural network for approximation and estimation of nonlinear stochastic dynamic systems // IEEE Trans. Neural Networks. 1994. - Vol. 5. - № 4. - P. 594-603.

164. Webb A.R. Function approximation by feed-forward networks: a least-squares approach to generalization // IEEE Trans. Neural Networks. 1994. -Vol. 5.-№3.-P. 363-371.

165. Wiener N. Extrapolation, interpolation and smoothing of stationary time series. -N.Y.: John Wiley, 1949. 162 p.

166. Wu Z.Q., Harris C.J. A neurofuzzy network structure for modeling and state estimation of unknown nonlinear systems // International Journal of Systems Science, 1997. Vol. 28. -№ 4. - P. 335-345.