Структурно-параметрический синтез нейросетевых систем обработки информации тема диссертации и автореферата по ВАК РФ 05.13.01, доктор технических наук Милов, Владимир Ростиславович

• Милов, Владимир Ростиславович
• доктор технических наук
• 2003

Оглавление диссертации доктор технических наук Милов, Владимир Ростиславович

Введение

ГЛАВА 1. Задачи и методы обработки информации.

1.1. Принципы обработки информации.

1.2. Оптимальная обработка информации.

1.3. Задачи обработки информации.

1.4. Методы обработки информации при априорной неопределенности.

1.4.1. Параметрические методы.

1.4.2. Непараметрические методы.

1.4.3. Нейросетевые методы.

ГЛАВА 2. Метод синтеза систем обработки информации при априорной неопределенности на основе искусственных нейронных сетей.

2.1. Постановка задачи структурно-параметрического синтеза систем обработки информации.

2.2. Метод минимизации эмпирического риска.

2.2.1. Настройка параметров систем обработки информации по методу минимизации эмпирического риска.

2.2.2. Анализ возможности применения метода минимизации эмпирического риска для синтеза систем обработки информации.

2.3. Разработка метода структурно-параметрического синтеза систем обработки информации.

2.3.1. Концепция структурно-параметрического синтеза систем обработки информации.

2.3.2. Согласование вида характеристики вход-выход системы обработки информации и данных наблюдения.

2.3.3. Способы синтеза систем обработки информации

2.4. Способы определения качества обработки информации.

2.5. Разработка способа синтеза систем обработки информации на основе метода регуляризации.

2.5.1. Применение метода регуляризации для определения характеристики вход-выход системы обработки информации.

2.5.2. Выбор стабилизирующего функционала.

2.5.3. Синтез системы обработки информации.

2.5.4. Анализ влияния параметра регуляризации на качество обработки информации.

2.6. Разработка комбинированного метода синтеза систем обработки информации.

2.6.1. Синтез при параметрической априорной неопределенности.

2.6.2. Синтез при непараметрической априорной неопределенности.

ГЛАВА 3. Методы и алгоритмы структурной и параметрической оптимизации нейронных сетей.цд

3.1. Направления развития и области применения нейросетевых технологий.

3.2. Классификация нейронных сетей.

3.3. Структура нейронных сетей с последовательными связями.

3.3.1. Многослойные нейронные сети.

3.3.2. Нейронные ИВР-сети.

3.3.3. Полиномиальные нейронные сети.

3.4. Применение методов оптимизации для обучения нейронных сетей.

3.4.1. Разработка универсальных процедур локальной оптимизации для настройки параметров нейронных сетей.

3.4.2. Методы поиска глобального экстремума

3.5. Синтез процедур и алгоритмов параметрической оптимизации нейронных сетей.

3.5.1. Многослойные нейронные сети.

3.5.2. Нейронные ЯВР-сети.

3.5.3. Полиномиальные нейронные сети.

3.6. Методы определения структуры нейронных сетей с последовательными связями.

3.6.1. Процедуры структурной оптимизации.

3.6.2. Метод направленной модификации структуры сети.

3.7. Алгоритмы структурно-параметрического синтеза нейронных сетей.

ГЛАВА 4. Обработка информации на основе нейронных сетей

4.1. Применение нейронных сетей для обработки сигналов

4.2. Процедуры адаптивной нелинейной обработки сигналов на основе нейронных сетей.

4.3. Алгоритмы настройки параметров нейросетевых систем обработки сигналов.

4.3.1. Регуляризованная оценка параметров систем по методу взвешенных наименьших квадратов.

4.3.2. Синтез рекуррентного алгоритма с регуляризацией по методу взвешенных наименьших квадратов.

4.3.3. Процедура адаптивной настройки параметров регуляризации и дисконтирования.

4.3.4. Модифицированные алгоритмы с регуляризацией по методу взвешенных наименьших квадратов

4.3.5. Обработка сигналов на основе адаптивных алгоритмов с регуляризацией.

4.4. Структурно-параметрический синтез нейросетевого классификатора.

4.4.1. Синтез классификаторов при априорной неопределенности.

4.4.2. Решение задачи классификации на основе структурно-параметрического синтеза нейронных

ЯВР-сетей.

4.4.3. Моделирование процедур классификации.

ГЛАВА 5. Применение иейросетевых систем обработки информации.

5.1. Прием дискретных сообщений в многолучевых радиоканалах.

5.1.1. Оптимальный поэлементный прием дискретных сообщений в каналах с памятью.

5.1.2. Нейросетевой приемник дискретных сообщений.

5.2. Идентификация каналов связи.

5.2.1. Идентификация нелинейных каналов с памятью на основе нейронных сетей.

5.2.2. Алгоритмь1 настройки параметров модели стохастического канала связи.

5.3. Нейросетевая коррекция нелинейных искажений.

5.4. Нейросетевая процедура обработки навигационных данных.

5.5. Восстановление многомерных нелинейных зависимостей по экспериментальным данным.

Введение диссертации (часть автореферата) на тему «Структурно-параметрический синтез нейросетевых систем обработки информации»

Актуальность темы

В настоящее время сохраняется потребность в разработке новых и совершенствовании существующих методов и средств обработки информации для решения ряда практических задач. Это обусловлено необходимостью повышения надежности и эффективности функционирования разнообразных технических и других систем.

Объектом исследования в диссертационной работе являются системы обработки информации. Теория обработки информации имеет богатую историю, но именно в последние два-три десятилетия она заняла почетное место в рамках кибернетики - науки, которая «занимается изучением систем любой природы, способных воспринимать, хранить и перерабатывать информацию и использовать ее для управления и регулирования» (А.Н. Колмогоров).

Все возрастающее значение методов обработки информации обусловлено, в первую очередь, запросами современного производства, требующего быстрого развития и широкого внедрения разнообразных технических систем, в том числе управления и связи. Сложность этих систем обусловлена необходимостью работать в широко изменяющихся диапазонах, при заранее непредсказуемых условиях, в режимах, затрудняющих или делающих невозможным контроль со стороны человека.

Теоретическую основу исследований в области обработки информации составляет совокупность теорий, первоосновой которых является математическая статистика. Можно считать, что теория оценивания как математическая наука начала развиваться с работ Лежандра и Гаусса о методе наименьших квадратов. Основополагающий вклад в развитие статистической теории оценивания и проверки гипотез сделан P.A. Фишером

R.A. Fisher) и А. Вальдом (A. Wald). Теория оптимальной фильтрации случайных процессов создана А.Н. Колмогоровым и Н. Винером (N. Wiener). Процедуры рекуррентной фильтрации получены Р. Калма-ном (R.E. Kaiman). Центральные идеи в области нелинейной фильтрации выдвинуты P.JL Стратоновичем.

В большинстве практических задач неизвестны статистические характеристики сигналов и помех, необходимые для синтеза оптимальных систем обработки информации. При наличии априорной неопределенности применяются различные подходы к обработке информации.

Основные идеи и методы построения разнообразных систем обработки информации в условиях параметрической априорной неопределенности и их приложения получили освещение в многочисленных работах отечественных ученых P.JI. Стратоновича, Я.З. Цыпкина, Н.С. Райбмана, В.Г. Репина, Б.Р. Левина, A.A. Красовского, В.В. Кондратьева, Б.Н. Петрова, Д.Д. Кловского, В.И. Тихонова, В.Н. Харисова, А.П. Трифонова, В.Н. Фомина, Я.Д. Ширмана, М.С. Ярлыкова, А.П. Реутова, Ю.С. Ши-накова, A.JI. Фрадкова. Ряд способов и процедур преодоления априорной неопределенности нашли отражение в работах зарубежных авторов Б. Уидроу (В. Widrow), С.Д. Стирнза (S.D. Stearns), П. Эйкхоффа (P. Eykhoff), Э.П. Сейджа (А.Р. Sage), Л. Льюнга (L. Ljung), К.С. На-рендры (K.S. Narendra), К.Ф.Н. Коуэна (C.F.N. Cowan), П.М. Гранта (P.M. Grant).

Во второй половине двадцатого столетия сформировалась концепция адаптации как текущей численной оптимизации с целью достижения экстремального значения заданного целевого функционала. Адаптивная (самонастраивающаяся) система рассматривается как «автоматическая система, осуществляющая поиск оптимального состояния и изменяющая режим работы системы или перестраивающая ее параметры (а иногда и структуру) в соответствии с найденным оптимальным состоянием» (Ч.С. Дрейпер, И.Т. Ли). В широком смысле адаптивность представляет собой целенаправленную приспособляемость, самоорганизацию или го-меостаз в изменяющихся неконтролируемым образом условиях функционирования разнообразных, в том числе, информационных систем. Результаты многочисленных исследований адаптивных систем в основном связаны с методами, процедурами и алгоритмами настройки параметров. Задача структурной оптимизации исследовалась значительно меньше.

Проблемы обработки информации при априорной неопределенности крайне разнообразны. Во многих случаях априорная информация о распределениях сигналов и помех недостаточна для того, чтобы воспользоваться каким-либо параметрическим семейством распределений. В этих условиях могут применяться непараметрические методы обработки информации. Многие из этих методов основаны на использовании ядерных оценок плотности вероятности, которые исследовались М. Розенблаттом (М. Rosenblatt), Е. Парзеном (Е. Parzen), В.А. Епанечниковым. Значительный вклад в развитие непараметрических статистических методов, в том числе в области регрессионного и дискриминантного анализа, внесли Э.А. Надарая, Г.Т. Ватсон (G.T. Watson), Б. Эфрон (В. Efron), С.А. Айвазян, B.C. Мхитарян, В.Я. Катовник, A.B. Добровидов, Г.М. Кошкин. В условиях малых выборок точность непараметрических оценок плотности вероятности оказывается невысокой, что в свою очередь сказывается на свойствах многих непараметрических процедур обработки информации.

Наряду с классическими статистическими методами во второй половине двадцатого столетия появляется метод обработки информации, опирающийся на достижения нейробиологии. Мощным стимулом для исследования в области искусственных нейронных сетей, которые являются нелинейными системами, послужило то, что во многих практических задачах использование линейных систем не позволяет обеспечить требуемое качество обработки информации. Кроме того, применение параметрических методов не всегда возможно, поскольку приводит к значительному ухудшению качества обработки информации, если использованные при синтезе систем модели, в том числе предположения о виде распределений, не адекватны действительности. В условиях малых обучающих выборок классические непараметрические методы также становятся недостаточно эффективными.

Возможность использования нейронных сетей для обработки информации связана с их универсальной аппроксимирующей способностью. Основополагающие результаты по представлению непрерывных функций нескольких переменных в виде суперпозиции функций одного переменного получены А.Н. Колмогоровым и В.И. Арнольдом. Позже Г. Дыбенко (G. Cybenko), Дж. Парком (J. Park) и К. Хорником (К. Hornik) доказаны теоремы об универсальной аппроксимирующей способности отдельных видов нейронных сетей.

Первые результаты, полученные зарубежными учеными в области искусственных нейронных сетей, связаны с именами У. Маккалоха (W. McCulloch), У. Питтса (W. Pitts), Ф. Розенблатта (F. Rosenblatt), Д. Xe66a(D. Hebb), М. Минского (М. Minsky), С. Пайперта (S. Papert).

Дальнейшие исследования в области нейронных сетей проводили Дж. Хопфилд (J. Hopfield), Т. Кохонен (Т. Kohonen), С. Гроссберг (S. Grossberg), Д.Е. Румельхарт (D.E. Rumelhart), П.Дж. Вербос (P.J. Wer-bos), Д. Лове (D. Lowe), С. Чэн (S. Chen), К. Бишоп (С. Bishop), С. Хай-кин (S. Haykin).

Поиск способов преодоления априорной неопределенности привел к созданию отечественными учеными основ теории обучения систем. Многочисленные результаты в области теории обучения и ее применения для решения ряда задач, в том числе распознавания образов и восстановления зависимостей, принадлежат Я.З. Цыпкину, А.И. Галушкину, Ю.И. Журавлеву, А.Г. Ивахненко, В.Н. Вапнику, М.А. Айзерману. Основываясь на теории обучения, А.И. Галушкин разработал теорию нейронных сетей, которая обладает большей общностью по сравнению с методами зарубежных авторов. Исследования в области нейронных сетей проводятся В.В. Кругловым, В.В. Борисовым, А.Н. Горбань, Э.Д. Аведьяном, В.А. Терехововым, В.А. Головко. Большинство полученных результатов относятся к процедурам и алгоритмам параметрической оптимизации многослойных нейронных сетей.

Предметом исследования в диссертационной работе являются системы обработки информации на основе искусственных нейронных сетей.

В последнее время нейронные сети находят применение в различных областях, в том числе, для распознавания образов, идентификации нелинейных систем, прогнозирования, обнаружения сигналов, а также в системах связи и управления. Известно, что на качество обработки информации существенное влияние оказывает структура нейронной сети. При этом, как недостаточное, так и излишне большое количество нейронов скрытого слоя препятствует эффективной обработке информации. Проблема определения структуры нейронных сетей в настоящее время не имеет однозначного решения.

Применение нейросетевых технологий для обработки информации представляет собой современный подход, который позволяет повысить эффективность функционирования разнообразных технических систем. Перспективность этого направления и наличие нерешенных проблем определяют актуальность исследований в области синтеза систем обработки информации на основе искусственных нейронных сетей.

Цель и задачи диссертационной работы

Цель работы заключается в разработке новых методов, процедур и алгоритмов синтеза систем обработки информации на основе искусственных нейронных сетей, позволяющих при непараметрической априорной неопределенности повысить эффективность и качество обработки информации.

Для достижения поставленной цели необходимо решение следующих основных задач.

1. Формирование принципов синтеза систем обработки информации при непараметрической априорной неопределенности.

2. Разработка метода синтеза систем обработки информации на основе искусственных нейронных сетей.

3. Разработка метода определения структуры и параметров искусственных нейронных сетей с последовательными связями.

4. Синтез алгоритмов и процедур параметрической и структурной оптимизации для искусственных нейронных сетей с последовательными связями.

5. Разработка способов классификации и восстановления зависимостей с помощью нейронных сетей.

6. Разработка алгоритмов и процедур адаптивной нелинейной обработки сигналов на основе нейронных сетей.

Методы исследования

В диссертационной работе основу исследования составляют теории статистических решений, искусственных нейронных сетей, идентификации, адаптивной фильтрации, распознавания образов, а также методы регуляризации, оптимизации и математического моделирования.

Научная новизна

1. Предложен метод синтеза систем обработки информации при непараметрической априорной неопределенности на основе комбинированного подхода с применением методов структурной оптимизации и регуляризации.

2. Разработан метод для определения структуры и параметров многослойных нейронных сетей.

3. Получены алгоритмы и процедуры структурно-параметрической оптимизации многослойных нейронных сетей с последовательными связями.

4. Разработаны способ и алгоритм построения классификаторов на основе отдельных видов нейронных сетей при использовании байесовского решающего правила.

5. Предложены способ и алгоритм решения задачи восстановления зависимостей на основе структурно-параметрической оптимизации нейронных сетей с последовательными связями. Алгоритм работоспособен в условиях малых обучающих выборок.

6. Сформированы процедуры адаптивной нелинейной обработки сигналов на основе нейронных сетей с последовательными связями. С учетом специфических особенностей отдельных видов таких сетей предложены модифицированные процедуры для обработки сигналов в реальном времени.

7. С применением регуляризации синтезированы рекуррентные алгоритмы настройки параметров нейронных сетей. Получены процедуры определения параметров регуляризации и дисконтирования.

Практическая значимость работы

Предложенные в диссертационной работе методы, процедуры и алгоритмы позволяют решать задачи классификации, восстановления зависимостей и адаптивной обработки сигналов, в том числе идентификации систем, краткосрочного прогнозирования и др. Полученные результаты могут быть использованы при построении разнообразных систем обработки информации: анализа и интерпретации данных, в том числе результатов измерений; технической диагностики, включая прогнозирование состояния технических систем; интеллектуальных систем управления, в том числе ней-роконтроллеров; распознавания образов; обработки изображений; радионавигационных систем; систем связи, в том числе радиомодемов.

Некоторые результаты работы использованы при разработке систем радиосвязи в научно-производственном предприятии «Полет». Для многолучевых радиоканалов разработан нейросетевой приемник дискретных сообщений. С применением процедуры регуляризации сформирована процедура идентификации стохастических каналов связи, использованная для идентификации декаметрового радиоканала. На основе структурной оптимизации синтезирован нелинейный корректор характеристик канала связи. Разработаны программные комплексы адаптивной фильтрации и «Радиомодем», зарегистрированные в Российском агентстве по патентам и товарным знакам.

Отдельные результаты работы использованы в проектно-конструк-торской деятельности ННИИРТ. Разработана процедура определения траектории движения объектов на основе обработки сигналов радионавигационной системы. Траектория движения представляется в виде непрерывной функции времени. Процедура обеспечивает возможность эффективной обработки пропусков.

Алгоритмы обработки радиосигналов использованы в «Нижегород-электротранс» при разработке программного обеспечения радиомодемов центрального диспетчерского пункта и терминалов транспортных единиц в составе автоматизированной системы управления движением городского электротранспорта.

Часть материалов диссертационной работы использована в учебном процессе при чтении лекций и проведении лабораторных работ на факультете информационных систем и технологий Нижегородского государственного технического университета.

Апробация работы

Основные положения и результаты диссертационной работы доложены и обсуждены на следующих научно-технических конференциях.

1. VI Всероссийская научно-техническая конференция «Радиоприем и обработка сигналов» (Н.Новгород, 1993 г.).

2. Международная конференция «100-летие начала использования электромагнитных волн для передачи сообщений и зарождения радиотехники» (г. Москва, 1995 г.).

3. Научно-технические конференции факультета информационных систем и технологий Нижегородского государственного технического университета (Н.Новгород, 1995 - 2000 г.г.).

4. Научно-технические семинары кафедры «Электроника и сети ЭВМ» Нижегородского государственного технического университета (Н.Новгород, 1997 - 2002 г.г.).

5. X научно-техническая конференция «Проблемы радиосвязи» (Н.Новгород, 1999 г.).

6. XII международная конференция «Проблемы теоретической кибернетики» (Н.Новгород, 1999 г.).

7. Всероссийские научно-технические конференции «Информационные системы и технологии» (Н.Новгород, 2001 - 2003 г.г.).

8. IV Международная научно-техническая конференция «Математическое моделирование физических, экономических, технических, социальных систем и процессов» (Ульяновск, 2001 г.).

9. Международная специализированная выставка-конференция «Новые технологии в радиоэлектронике и системах управления»

Н.Новгород, 2002 г.).

10. VIII Международная конференция «Радиолокация, навигация, связь» (Воронеж, 2002 г.).

11.LVII научная сессии РНТОРЭС им. A.C. Попова (Москва, 2002 г.).

12. Международная научно-техническая конференция «Методы, средства и технологии получения и обработки измерительной информации» (Пенза, 2002).

13.5-я Международная конференция «Цифровая обработка сигналов и ее применение - 2003» (Москва, 2003 г.).

14. IV Международная научно-техническая конференция «Компьютерное моделирование - 2003» (Санкт-Петербург, 2003 г.).

Публикации

Основное содержание диссертации опубликовано в 47 работах. Из них одна монография, 19 статей в научно-технических журналах и сборниках, 26 тезисов докладов в трудах Международных и Всероссийских научно-технических конференций, а также одно учебное пособие. Получено два свидетельства об официальной регистрации разработанных программ в Российском агентстве по патентам и товарным знакам.

Основные положения диссертационной работы, выносимые на защиту

1. Метод синтеза систем обработки информации при априорной неопределенности на основе искусственных нейронных сетей, принципиально отличающийся от известных параметрических и непараметрических методов.

2. Метод обучения искусственных нейронных сетей, основанный на структурно-параметрической оптимизации в сочетании с регуляризацией, отличающийся от метода минимизации эмпирического риска.

3. Алгоритмы структурно-параметрической оптимизации нейронных сетей с последовательными связями, основанные на процедуре структурной модификации, отличающиеся от алгоритмов, основанных на добавлении и удалении нейронов.

4. Метод и алгоритмы решения задач классификации и восстановления зависимостей, основанные на предложенном методе структурно-параметрической оптимизации искусственных нейронных сетей, отличающиеся от методов и алгоритмов дискриминантного и регрессионного анализа.

5. Способ и алгоритмы адаптивной нелинейной обработки сигналов, основанные на процедурах рекуррентной настройки параметров, синтезированных с учетом специфических особенностей отдельных видов нейронных сетей, отличающиеся применением адаптации и регуляризации.

Заключение диссертации по теме «Системный анализ, управление и обработка информации (по отраслям)», Милов, Владимир Ростиславович

Основные результаты диссертационной работы состоят в следующем.

1. Сформированы принципы структурно-параметрического синтеза систем обработки информации при непараметрической априорной неопределенности.

2. Разработан метод синтеза систем обработки информации на основе искусственных нейронных сетей с последовательными связями.

3. Разработан метод обучения искусственных нейронных сетей, основанный на комбинированном методе структурной оптимизации и регуляризации, позволяющий достичь более высокого качества обработки информации, чем при использовании каждого из них по отдельности.

4. Разработаны способ и алгоритмы структурно-параметрической оптимизации нейронных сетей, основанные на процедуре структурной модификации, отличающиеся от алгоритмов, основанных на добавлении и удалении нейронов.

5. Получены процедуры структурной модификации для многослойных нейронных сетей с последовательными связями. Структурная модификация проводится на уровне выделенных нейронных блоков.

6. Синтезированы алгоритмы параметрической оптимизации для различных типов многослойных нейронных сетей с последовательными связями, обеспечивающие высокую скорость обучения.

7. Получены способ и алгоритм решения задачи восстановления зависимостей на основе структурно-параметрической оптимизации нейронных сетей с последовательными связями. Алгоритм работоспособен в условиях малых обучающих выборок.

8. Разработаны способ и алгоритм построения классификаторов на основе структурно-параметрической оптимизации отдельных видов нейронных сетей с использованием байесовского решающего правила.

9. Построены системы адаптивной нелинейной обработки сигналов на основе нейронных сетей с последовательными связями. Синтезированы новые рекуррентные алгоритмы настройки параметров систем обработки сигналов, отличающиеся применением адаптации и регуляризации. Получены процедуры настройки параметров регуляризации и дисконтирования. С учетом специфических особенностей отдельных видов нейронных сетей предложены способы снижения вычислительной сложности рекуррентных алгоритмов настройки параметров.

Результаты диссертационной работы рекомендуется использовать при решении задач классификации, восстановления зависимостей и адаптивной обработки сигналов, в частности, идентификации систем, краткосрочного прогнозирования, коррекции искажений. Результаты работы предлагается применять при разработке разнообразных технических систем, в том числе управления и связи.

ЗАКЛЮЧЕНИЕ

В условиях непараметрической априорной неопределенности и малых выборок применение предложенного комбинированного метода структурно-параметрической оптимизации и регуляризации, позволяет обеспечить более высокое качество обработки информации по сравнению с классическими непараметрическими методами. Структура нейронных сетей должна быть согласована с обучающей выборкой. Использование доступной априорной информации позволяет найти единственное решение задачи структурного синтеза нейронной сети. Высокое качество адаптивной нелинейной обработки сигналов может быть достигнуто при использовании рекуррентных алгоритмов настройки параметров с применением регуляризации. Учет структурных особенностей нейронных сетей позволяет обеспечить приемлемую для практической реализации вычислительную сложность алгоритмов обработки сигналов.

Список литературы диссертационного исследования доктор технических наук Милов, Владимир Ростиславович, 2003 год

1. Аведьян Э.Д. Алгоритмы настройки многослойных нейронных сетей // Автоматика и телемеханика — 1995. — № 4. — С. 106 — 118.

2. Автоматическая оптимизация управляемых систем: Пер. с англ./ Под. ред. Б.Н. Петрова. М.: Изд-во иностр. лит. - 1960. - 240 с.

3. Адаптивные фильтры: Пер. с англ. / Под ред. К.Ф.Н. Коуэна и П.М. Гранта. М.: Мир, 1988. - 392 с.

4. Айвазян С.А., Енюков И.С., Мешалкин Л.Д. Прикладная статистика: Исследование зависимостей / Под ред. С.А. Айвазяна. М.: Финансы и статистика, 1985. - 487 с.

5. Айвазян С.А., Бухштабер В.М., Енюков И.С., Мешалкин Л.Д. Прикладная статистика: Классификация и снижение размерности / Под ред. С.А. Айвазяна. М.: Финансы и статистика, 1989. - 607 с.

6. Айзерман М.А., Браверман М.А., Розоноер Л.И. Метод потенциальных функций в теории обучения машин. М.: Наука, 1970. - 240 с.

7. Алгоритмы и программы восстановления зависимостей / Под ред. В.Н. Вапника. М.: Наука. Гл. ред. физ.-мат. лит., 1984. - 816 с.

8. Алексеев О.Г. Комплексное применение методов дискретной оптимизации. М.: Наука, 1987. - 248 с.

9. Ананньев С.Н., Вараксин А.Н., Куренков Н.И. О построении показателей эффективности алгоритмов автоматического распознавания // Информационные технологии. 2001. - № 1. - С.35 - 38.

10. Аносов О.Л., Бутковский О.Я., Кравцов Ю.А. Степень предсказуемости нелинейных авторегрессионных моделей // Радиотехника и электроника. 2000. - Т. 45, № 6. - С. 690 - 697.

11. Арнольд В.И. О представлении непрерывных функций нескольких переменных в виде суперпозиции функций меньшего числа переменных // Мат. просвещение. 1957. - № 4. - С. 41 -61.

12. Арутюнов П.А. Физическая природа неопределенности измерения в метрологии // Измерительная техника. 2002. - № 11. — С. 15 - 19.

13. Афанасьев В.Н., Юзбашев М.М. Анализ временных рядов и прогнозирование. М.: Финансы и статистика, 2001. - 228 с.

14. Ахмед Н., Pao К.Р. Ортогональные преобразования при обработке цифровых сигналов: Пер. с англ. / Под ред. И.Б. Фоменко. М.: Связь, 1980. - 248 с.

15. Бабий А.Н. Алгоритм нахождения глобального экстремума функций нескольких переменных с заданной точностью // Кибернетика. — 1978.-№ 5.-С. 52-55.

16. Баранов В.Г., Безруков Е.С., Милов В.Р. Алгоритм идентификации линейного стохастического канала связи // Системы обработки информации и управления: Межвуз. сб. науч. тр. / НГТУ. -Н.Новгород. 1999. - Вып. 5. - С. 47 - 50.

17. Баранов В.Г., Белоусов E.JI., Милов В.Р. Адаптация в системах цифровой радиосвязи. Н. Новгород: Изд-во НГТУ, 2001. - 170 с.

18. Баранов В.Г., Милов В.Р., Махмудов Я.Я. Способ структурной идентификации многомерных статических систем // Системы обработки информации и управления: Межвуз. сб. науч. тр. / НГТУ. -Н.Новгород. 2001. - Вып. 7. - С. 109 - 114.

19. Батищев Д.И. Поисковые методы оптимального проектирования. М.: Сов. Радио, 1975. 216 с.

20. Беллман Р. Процессы регулирования с адаптацией. М.: ИЛ, 1964. -359 с.

21. Бендат Дж., Пирсол А. Измерение и анализ случайных процессов: Пер. с англ. М.: Мир, 1974. - 464 с.

22. Вернадский Ф.И., Добродеев Д.Л., Пащенко Ф.Ф. Адаптивные и ро-бастные системы // Автоматика и телемеханика. — 2000. № 6. - С. 124- 132.

23. Бир С. Кибернетика и управление производством. М.: Наука, 1965.-391 с.

24. Блюмин С.Л., Погодаев А.К. Суперпозиционная регрессия // Журнал вычислительной математики и математической физики. — 1995. -Т. 35, № 10.-С. 1576- 1581.

25. Богомолов A.B. Методика формирования индекса состояния объекта по результатам многомерной статистической классификации // Информационные технологии. № 12. - 2000. - С. 45 - 52.

26. Бодянский Е.В., Воробьев С.А., Штефан А. Алгоритм адаптивной идентификации динамических параметрически нестационарных объектов //Известия АН. Теория и системы управления. 1999. -№ 1. - С.19 - 23.

27. Бокс Дж., Дженкинс Г.Д. Анализ временных рядов. Прогноз и управление: Пер. с англ. Вып. 1,2 / Под ред. В.Ф. Писаренко. М.: Мир, 1974. - 603 с.

28. Браунли К.А. Статистическая теория и методология в науке и технике: Пер. с англ. / Под ред. JI.H. Большева. М.: Наука, 1977. — 408 с.

29. Бродский Б.Е., Дарховский Б.С. Проблемы и методы вероятностной диагностики // Автоматика и телемеханика. — 1999. № 8. - С. 3 - 48.

30. Бурнашев М.В., Амари Ш. Об оценивании плотности распределения с относительной энтропией в качестве критерия потерь // Проблемы передачи информации. 2002. - Т. 38, Вып. 4. - С. 85 - 112.

31. Вальд А. Последовательный анализ: Пер. с англ. М.: ИЛ., 1962. -328 с.

32. Вапник В.Н. Восстановление зависимостей по эмпирическим данным. М.: Наука, 1979. - 448 с.

33. Вапник В.Н., Червоненкис А.Я. Теория распознавания образов. -М.: Наука, 1974. 415 с.

34. Васильев A.C., Корниенко В.В., Худяков Г.И. Техника и теория транспортных информационно-управляющих РЭС в России и за рубежом //Радиотехника. 1999. - № 11. - С. 78-89.

35. Винер Н. Кибернетика или управление и связь в животном и машине: Пер. с англ. / Под ред. Г.Н. Поварова. М.: Наука, 1983. - 343 с.

36. Воинов Б.С. Информационные технологии и системы. В 2-х кн. Книга 1. Методология синтеза новых решений. Н. Новгород: Изд-во ННГУ, 2001.-404 с.

37. Вопросы перспективной радиолокации / Под ред. A.B. Соколова. -М.: Радиотехника, 2003. 512 с.

38. Вунш Г. Теория систем: Пер. с нем. — М.: Сов. радио, 1978. 288 с.

39. Вучков И.Н., Бояджиева J1.H., Солаков Е.Б. Прикладной линейный регрессионный анализ: Пер. с болг. М.: Финансы и статистика, 1987.-238 с.

40. Галушкин А.И. Многослойные системы распознавания образов. -М.: МИЭМ, 1970. 167 с.

41. Галушкин А.И. Синтез многослойных систем распознавания образов. М.: Энергия, 1974. - 368 с.

42. Галушкин А.И. Теория нейронных сетей. Кн. 1 / Общая ред. А.И. Галушкина. М.: ИПРЖР, 2000. - 416 с.

43. Галушкин А. И., Шмид A.B. Оптимизация структуры многослойных нейронных сетей с перекрестными связями // Нейрокомпьютер. — 1992.- № 2-С. 7- 11.

44. Галушкин А.И. Основы нейроуправления // Нейрокомпьютеры: разработка, применение. 2002. - № 9 - 10. - С. 87 - 106.

45. Гиг Дж. Ван. Прикладная общая теория систем: Пер. с англ. В 2-х кн.-М.: Мир, 1981.- 733 с.

46. Гилл Ф., Мюррей У., Райт М. Практическая оптимизация. М.: Мир, 1985.- 509 с.

47. Гинзберг К.С. Системные закономерности и теория идентификации // Автоматика и телемеханика. 2002. - № 5. - С. 156 - 170.

48. Глущенко В.В. Прогнозирование. М.: Вузовская книга, 2000. -208 с.

49. Головко В.А. Нейронные сети: обучение, организация, применение. Кн.4 / Общ. ред. А.И. Галушкина. М.: ИПРЖР, 2001. - 256 с.

50. Голуб Дж., Ван Лоун Ч. Матричные вычисления: Пер. с англ. М.: Мир, 1999.-548 с.

51. Голубев Г.К. Восстановление разреженных векторов в белом гаус-совском шуме // Проблемы передачи информации. 2002. - Т. 38, Вып. 1.-С. 75-91.

52. Горбань А.Н. Обучение нейронных сетей. — М.: СП параграф, 1990. 159 с.

53. Горелик А.Л., Гуревич И.Б., Скрипкин В.А. Современное состояние проблемы распознавания. Некоторые аспекты. М.: Радио и связь, 1985. - 162 с.

54. Грешилов A.A. Анализ и синтез стохастических систем. Параметрические модели и конфлюэнтный анализ. М.: Радио и связь, 1990. — 320 с.

55. Грешилов A.A., Стакун В.А., Стакун A.A. Математические методы построения прогнозов. М.: Радио и связь, 1997. - 112 с.

56. Гхосал А. Прикладная кибернетика и ее связь с исследованием операций: Пер. с англ. / Под ред. H.A. Ушакова. М.: Радио и связь, 1982.- 128 с.

57. Деврой Л., Дьерфи Л. Непараметрическое оценивание плотности. ¿i-подход: Пер. с англ. М.: Мир, 1988. - 408с.

58. Добровидов A.B., Кошкин Г.М. Непараметрическое оценивание сигналов. М.: Наука. Физматлит, 1997. - 336 с.

59. Дубров A.M., Мхитарян B.C., Трошин Jl.И. Многомерные статистические методы. М.: Финансы и статистика, 1998. — 352 с.

60. Евтушенко Ю.Г. Методы решения экстремальных задач и их применения в системах оптимизации. — М.: Наука, 1982. 432 с.

61. Ефименко B.C., Харисов В.Н., Стребков Е.Г. Применение нейронных сетей в задачах оптимальной фильтрации // Радиотехника. — 2000.-№7.-С. 56-61.

62. Жиглявский A.A., Жилинскас А.Г. Методы поиска глобального экстремума. М.: Наука, 1991. - 248 с.

63. Жуковский Е.Л. Оптимизационные задачи в обработке и интерпретации данных // Известия АН. Теория и системы управления. -2002.-№ 1.-С. 20- 35.

64. Журавлев Ю.И. Об алгебраических методах в задачах распознавания и классификации // Распознавание, классификация, прогноз. Математические методы и их применение. М.: Наука, 1989. -Вып. 1.-С. 9- 16.

65. Журавлев Ю.И., Никифоров Б.Б. Алгоритмы распознавания, основанные на вычислении оценок // Кибернетика. 1971. - № 3. - С. 1 - И.

66. Зверев Г.Н. Модели неопределенностей и фундаментальные критерии информатики // Информационные технологии. 2000. - № 6. -С. 2- 10.

67. Зяблов В.В. Коробков Д.Л., Портной С.Л. Высокоскоростная передача сообщений в реальных каналах. М.: Радио и связь, 1991. -288 с.

68. Иванов А.К. Аппроксимация зависимостей функциями многих переменных в задачах разработки АСУ // Известия АН. Теория и системы управления. 1999. - № 3. - С. 60 - 67.

69. Иванов Г.А., Кривошеев И.А. Критерий сравнения моделей аппроксимирующих экспериментальные данные и его свойства //Измерительная техника. 2001. - № 8. - С. 6 - 11.

70. Иванов Г.А., Пономарчук Ю.В., Чашкин Ю.Р. Поведение остатков линейной по параметрам регрессионной МНК-модели с увеличением числа параметров. 4.2. Интервал для серии остатков. Проблема промахов //Измерительная техника. 2002. - № 11. - С. 6 - 9.

71. Ивахненко А.Г., Мюллер Й.А. Самоорганизация прогнозирующих моделей. К.: Техшка, 1985. - 223 с.

72. Ивахненко А.П., Юрачковский Ю.П. Моделирование сложных систем по экспериментальным данным. М.: Радио и связь, 1987. - 120 с.

73. Искусственный интеллект. В 3-х кн. Кн. 2. Модели и методы: Справочник / Под ред. Д.А. Поспелова. - М. Радио и связь, 1990. -304 с.

74. Каллан Р. Основные концепции нейронных сетей. М.: Вильяме, 2001.-287 с.

75. Канащенков А.И., Меркулов В.И., Самарин О.Ф. Облик перспективных бортовых радиолокационных систем. Возможности и ограничения. М.: ИПРЖР, 2002. - 176 с.

76. Катовник В.Я. Линейные оценки и стохастические задачи оптимизации. М.: Наука, 1976. - 487 с.

77. Катовник В.Я. Непараметрическая идентификация и сглаживание данных: метод локальной аппроксимации. М.: Гл. ред. физ.-мат. лит., 1985.-336 с.

78. Клейман Е.Г. Идентификация нестационарных объектов // Автоматика и телемеханика. 1999. - № 10. - С. 3 - 45.

79. Кловский Д.Д. Передача дискретных сообщений по радиоканалам. -М.: Радио и связь, 1982. 304 с.

80. Козлов Ю.М. Адаптация и обучение в робототехнике. М.: Наука, 1990.-248 с.

81. Колесник В.Д., Полтырев Г.Ш. Курс теории информации. — М.: Наука, 1982.-416 с.

82. Колмогоров А.Н. О представлении непрерывной функции нескольких переменных в виде суперпозиции непрерывных функций одного переменного и сложения // Доклады АН СССР. — 1957. Т. 114, № 5. - С. 953 - 956.

83. Колмогоров А.Н. Три подхода к понятию количества информации // Проблемы передачи информации. 1965. - Т. 1, Вып. 1. - С. 3 - 11.

84. Комашинский В.И., Смирнов Д.А. Нейронные сети и их применение в связи и управлении. М.: Горячая линия - Телеком, 2002. - 94 с.

85. Кондратьев В.В., Утробин В.А. Основы теории активного восприятия изображений. Н.Новгород: Изд-во НГТУ, 1997.- 249 с.

86. Кондратьев В.В., Милов В.Р. Идентификация нелинейных систем на основе структурно-параметрического синтеза нейронных RBF-сетей //Доклады АН. 2002. - Т. 386, № 3. - С. 318 - 321.

87. Кондратьев В.В., Милов В.Р. Структурно-параметрический синтез нейросетевого классификатора // Наукоемкие технологии. — 2003. — Т. 4, №2.-С. 101 106.

88. Корнильев Э.А., Прокопенко И.Г., Чуприн В.М. Устойчивые алгоритмы в автоматизированных системах обработки информации. -К.: Тэхника, 1989.-224 с.

89. Косачев И.М., Ераченков М.Г. Аналитическое моделирование стохастических систем.- Минск.: Навука i тэхшка, 1993. 264 с.

90. Крот А.М. Дискретные модели динамических систем на основе полиномиальной алгебры. Минск: Навука i тэхшка, 1990. - 312 с.

91. Крылов В.В., Херманис Э.Х. Модели систем обработки сигналов. -Рига: Зинанте, 1984. 212 с.

92. Круглов В.В., Борисов В.В. Искусственные нейронные сети. Теория и практика. М.: Горячая линия - Телеком, 2001. - 328 с.

93. Лабутин С.А., Пугин М.В. Статистические модели и методы в измерительных задачах. Н.Новгород: Изд-во НГТУ, 2000.- 115 с.

94. Лапко A.B. Имитационные модели неопределенных систем. Новосибирск.: ВО «Наука», 1993. - 112 с.

95. Лбов Г.С., Ступина Т.А. О статистической устойчивости решающих функций в задачах распознавания и регрессионного анализа // Доклады АН. 1999. -Т. 368. -№ 1.-С. 31 -34.

96. Левин Б.Р. Теоретические основы статистической радиотехники. -3-е изд. М.: Радио и связь. - 1989. - 656 с.

97. Левин С.Ф. Теория измерительных задач идентификации // Измерительная техника. 2001. - № 7. - С. 8 - 17.

98. Лемешко Б.Ю., Постовалов С.Н. Применение непараметрических критериев согласия при проверке сложных гипотез // Автометрия. -2001.-№2.-С. 88- 101.

99. Лемешко Б.Ю., Чимитова Е.В. Об ошибках и неверных действиях2при использовании критериев согласия типа % // Измерительная техника. 2002. - № 6. - С. 5 - 11.

100. Льюнг Л. Идентификация систем. Теория для пользователя: Пер. с англ. / Под ред. Я.З. Цыпкина. М.: Наука. Гл. ред. физ.-мат. лит., 1991.-432 с.

101. Лукашин Ю.П. Адаптивные методы краткосрочного прогнозирования. М.: Статистика, 1979. - 254 с.

102. Маркович Н.М. Трансформированные оценки плотностей распределения с тяжелыми хвостами и классификация // Автоматика и телемеханика. 2002. - № 4. - С. 118 - 132.

103. Марпл.-мл. С.Л. Цифровой спектральный анализ и его приложения: Пер. с англ. М.: Мир, 1990. - 584 с.

104. Матвейкин В.Г., Фролов C.B. Использование байесовского подхода в обучении нейронных сетей // Информационные технологии. -1998. -№ 10.-С. 27-35.

105. Математическая теория планирования эксперимента / Под ред. С.М. Ермакова. М.: Наука, 1983. - 392 с.

106. Мелик-Гайказян И.В. Информационные процессы и реальность. -М.: Наука, 1998. 192 с.

107. Милов В.Р. Структурный синтез нелинейного фильтра с заданной сложностью реализации // Радиоэлектронные и телекоммуникационные системы и устройства: Межвуз. сб. науч. тр. Вып. 7. — Н. Новгород: НГТУ, 2001. С. 32 - 37.

108. Милов В.Р. Адаптивная нелинейная обработка сигналов в условиях непараметрической априорной неопределенности // Наукоемкие технологии.-2003.-Т. 4, №2.-С. 107-111.

109. Милов В.Р. Синтез непараметрического классификатора на основе искусственных нейронных RBF-сетей // Известия ВУЗов. Радиофизика. -2003. Т. XLVI, № 2. - С. 144 - 149.

110. Милов В.Р. Обучение нейронных RBF-сетей на основе процедур структурно-параметрической оптимизации // Нейрокомпьютеры: разработка, применение. 2003. - № 5. - С. 29 - 33.

111. Милов В.Р. Адаптивная обработка сигналов на основе рекуррентного алгоритма с регуляризацией по методу наименьших квадратов // Известия ВУЗов. Приборостроение. — 2003. — Т. 46, № 10. С. 11 - 17.

112. Милов В.Р. Восстановление многомерных нелинейных зависимостей по экспериментальным данным // Вестник ВГАВТ: Надежность и ресурс в машиностроении / ВГАВТ. Н.Новгород. — 2003. - Вып. 4. — С. 163 - 168.

113. Милов В.Р. Структурно-параметрическая оптимизация многослойных нейронных сетей // Нейрокомпьютеры: разработка, применение. 2003. - № 10 - 11. - С. 3 - 9.

114. Минский М., Пайперт С. Перцептроны: Пер. с англ. М.: Мир, 1971.-261 с.

115. Моцкус И.Б. Многоэкстремальные задачи в проектировании. — М.: Наука, 1976.-215 с.

116. Назаров A.B., Козырев Г.И., Шкляр C.B. Анализ прогнозирующих свойств нейронных сетей прямого распространения по результатам экспериментальных исследований // Нейрокомпьютеры: разработка, применение.-2002. №3-С. 15- 19.

117. Надарая Э.А. Об оценке регрессии // Теория вероятности и ее применения. 1964. - Т. 9, № 1. - С. 157 - 159.

118. Налимов В.В. Теория эксперимента. М.: Наука, 1971. - 208 с.

119. Нейрокомпьютеры в системах обработки изображений / Под ред. А.И. Галушкина. М.: Радиотехника, 2003. - 192 с.

120. Нейрокомпьютеры в системах обработки сигналов / Под ред. Ю.В. Гуляева и А.И. Галушкина. М.: Радиотехника, 2003. - 224 с.

121. Нейронные сети. STATISTICA Neural Networks: Пер. с англ. М.: Горячая линия - Телеком, 2000. - 182 с.

122. Николаев Б.И. Последовательная передача дискретных сообщений по непрерывным каналам с памятью. М.: Радио и связь, 1988. — 264 с.

123. Нильсон Н. Обучающиеся машины. — М.: Мир, 1974. 180 с.

124. Обнаружение радиосигналов / П.С. Акимов, Ф.Ф. Евстратов, С.И. Захаров и др.; Под ред. A.A. Колосова М.: Радио и связь, 1989.-288 с.

125. Обобщенный спектрально-аналитический метод обработки информационных массивов. Задачи анализа изображений и распознавания образов / Ф.Ф. Дедус, С.А. Махортых, М.Н. Устинин, А.Ф. Дедус; Под общ. ред. Ф.Ф. Дедуса. М.: Машиностроение, 1999. - 357 с.

126. Огарков М.А. Методы статистического оценивания параметров случайных процессов. М.: Энергоатомиздат, 1990. - 208 с.

127. Омельченко В.А. Основы спектральной теории распознавания сигналов. Харьков: Вища школа, 1983. - 156 с.

128. Патрик Э. Основы теории распознавания образов. М.: Сов. Радио, 1980.-408 с.

129. Пащенко Ф.Ф., Чернышев K.P. Методы и системы управления и идентификации на основе знаний // Автоматика и телемеханика. — 2000. № 2 - С. 3 - 28.

130. Перов А.И., Соколов А.Г. Особенности синтеза устройств обнаружения и оценки параметров сигнала нейросетевыми методами // Радиотехника. 2001. - № 7. - С. 22 - 28.

131. Поляк Б.Т. Введение в оптимизацию. М.: Наука, 1983. - 384 с.

132. Программный комплекс «Радиомодем» (№ 2001611210) / В.Г. Баранов, В.Р. Милов, Г.А. Перова // Программы для ЭВМ. Базы данных. Топологии интегральных микросхем. Официальный бюллетень РОСПАТЕНТ. М.: ФИПС, 2001, № 4 (37). - С. 262 - 263.

133. Программный комплекс адаптивной фильтрации (№ 2001610685) / В.Г. Баранов, В.Р. Милов, Г.А. Перова // Программы для ЭВМ. Базы данных. Топологии интегральных микросхем. Официальный бюллетень РОСПАТЕНТ. М.: ФИПС, 2001, № 3 (36). - С. 236.

134. Прокис Дж. Цифровая связь: Пер. с англ. / Под ред. Д.Д. Кловского. М.: Радио и связь, 2000. - 800 с.

135. Пугачев B.C., Синицын И.Н. Теория стохастических систем. М.: Логос, 2000. - 1000 с.

136. Радиолокационное распознавание и методы математического моделирования: Сб. статей «Научно-технические серии». Вып. 3. — Радиолокация и радиометрия. № 2. - М.: ИПРЖР, 2000. - 97 с.

137. Растригин Л.А. Системы экстремального управления. — М.: Наука, 1974.-630 с.

138. Р 50.2.004 2000. ГСИ. Определение характеристик математических моделей зависимостей между физическими величинами. Основные положения.

139. Райбман Н.С., Чадеев В.М. Адаптивные модели в системах управления. М.: Сов. радио, 1966. - 157 с.

140. Pao С.Р. Линейные статистические методы и их применения: Пер. с англ. / Под ред. Ю.В. Линника. М.: Наука, 1968. - 547 с.

141. Репин В.Г., Тартаковский Г.П. Статистический синтез при априорной неопределенности и адаптация информационных систем. М.: Сов. радио, 1977. - 432 с.

142. Розенблатт Ф. Принципы нейродинамики. Перцептроны и теория механизмов мозга: Пер. с англ. М.: Мир, 1965. - 480 с.

143. Самарский A.A., Михайлов А.П. Математическое моделирование. Идеи. Методы. Примеры. М.: Наука. Физматлит, 1997. - 320 с.

144. Сафиуллин Н.З., Чабдаров Ш.М. О преобразовании негауссовских случайных процессов радиотехническими системами. 1978. -Т. 33. - № 4 - С. 91-95.

145. Селекция и распознавание на основе локационной информации / A.JI. Горелик, Ю.Л. Барабаш, О.В. Кривошеее, С.С. Эпштейн; Под ред. А.Л. Горелика. М.: Радио и связь, 1990. - 240 с.

146. Сейдж Э.П., Меле Дж. Л. Идентификация систем управления: Пер. с англ. / Под ред. Н.С. Райбмана. М.: Наука, 1974. - 248 с.

147. Сейдж Э.П., Меле Дж. Л. Теория оценивания и ее применение в связи и управлении: Пер с англ./ Под ред. Б.Р. Левина. М.: Связь, 1976.-496 с.

148. Сергин М.Ю. Выбор оптимальной структуры модели динамического объекта с учетом факторов неопределенности // Приборы и системы. Управление, контроль, диагностика. 2001. - № 1. - С. 8 - 16.

149. Скляр Б. Цифровая связь. Теоретические основы и практическое применение: Пер. с англ. М.: Изд. дом «Вильяме», 2003. - 1104 с.

150. Современные методы идентификации систем: Пер. с англ. / Под ред. Эйкхофа. М.: Мир, 1983. - 400 с.

151. Стратонович P.JI. Принципы адаптивного приема. М.: Сов. радио, 1973 - 144 с.

152. Стронгин Р.Г. Численные методы многоэкстремальной минимизации. М.: Наука, 1978. - 239 с.

153. Стронгин Р.Г. Класс информационных алгоритмов для поиска глобального экстремума // Вопросы кибернетики. — 1985. Т. 122. -С. 121 - 134.

154. Сухарев А.Г., Тимохов A.B., Федоров В.В. Курс методов оптимизации. М.: Наука, 1986. - 328 с.

155. Тартаковский А.Г. Последовательные методы в теории информационных систем. М.: Радио и связь, 1991. - 280 с.

156. Теория моделей в процессах управления / Б.Н. Петров, Г.М. Уланов, И.И. Гольденблат, C.B. Ульянов. М.: Наука, 1978. - 224 с.

157. Терехов В.А. Нейросетевые системы управления / В.А. Терехов, Д.В. Ефимов, И.Ю. Тюкин. В.Н. Антонов. СПб: Изд-во С.-Петербургского ун-та, 1999. - 265 с.

158. Тихонов А.Н., Арсенин В.Я. Методы решения некорректных задач. -М.: Наука, 1979.-288 с.

159. Тихонов В.И., Харисов В.Н. Статистический анализ и синтез радиотехнических устройств и систем. М.: Радио и связь, 1991. - 608 с.

160. Туркин А.И. Рекуррентный прием сложных сигналов. М.: Радио и связь, 1988.-248 с.

161. Туркин А.И., Новиков Н.С., Милов В.Р. Алгоритм адаптивного приема ансамблей сложных сигналов для гауссовского стохастического канала связи с переменными параметрами // Межвуз. сб. науч. тр. / НГТУ. Н.Новгород. - 1995. - С. 84 - 89.

162. Туркин А.И., Семашко A.B., Милов В.Р. Итеративный алгоритм совмещенных систем цифрового кодирования источника и канала // Системы обработки информации и управления: Межвуз. сб. науч. тр. / НГТУ. Н.Новгород. - 1998. - Вып. 4. - С. 101 - 110.

163. Тюрин Ю.Н. Непараметрические методы статистики. М.: Знание, 1978.-64 с.

164. Уидроу Б., Стирнз С. Адаптивная обработка сигналов: Пер. с англ./ Под ред. В.В. Шахгильдяна. М.: Радио и связь, 1989. - 440 с.

165. Фалькович С.Е., Хомяков Э.Н. Статистическая теория измерительных радиосистем. М. Радио и связь, 1981. - 288 с.

166. Федосенко Ю.С. и др. Алгоритмы синтеза оптимальных режимов обслуживания бинарного потока объектов в рабочей зоне Mobile-процессора // Вестник ВГАВТ: Моделирование и оптмизация сложных систем / ВГАВТ. Н.Новгород. - 2002. - Вып. 1. - С. 17 - 25.

167. Фомин В.Н. Рекуррентное оценивание и адаптивная фильтрация. -М.: Наука. Гл. ред. физ.-мат. лит., 1984. 288 с.

168. Фомин Я.А., Савин A.B. Оптимизация распознающих систем. М.: Машиностроение, 1993. - 288 с.

169. Фрадков A.JI. Адаптивное управление в сложных системах: беспоисковые методы. — М.: Наука. Гл. ред. физ.-мат. лит., 1990. 296 с.

170. Харисов В.Н., Павлович Е.В. Синтез адаптивных алгоритмов и их сравнительные характеристики // Радиосистемы. — Вып. 33. — Статистический синтез радиосистем. 1998. — № 3. - С. 38-45.

171. Холлендер М., Вулф Д. Непараметрические методы статистики: Пер. с англ. М.: Финансы и статистика, 1983. - 518 с.

172. Хьюбер П. Робастность в статистике. М.: Мир, 1984. - 303 с.

173. Цыпкин Я.З. Основы теории обучающихся систем. М.: Наука, 1970.-252 с.

174. Цыпкин Я.З. Адаптация и обучение в автоматических системах. — М.: Наука, 1968. -400 с.

175. Цыпкин Я.З. Информационная теория идентификации. М.: Наука, 1995. -336 с.

176. Черноруцкий И.Г. Оптимальный параметрический синтез: Электротехнические устройства и системы. — JL: Энергноатомиздат, 1987. — 128 с.

177. Шаталов A.A. Адаптивные алгоритмы нелинейной обработки сигналов и характеристики эффективности их работы // Радиотехника и электроника. 2000. - Т. 45. - № 3. - С. 320 - 326.

178. Шелухин О.И. Негауссовские процессы в радиотехнике. М.: Радио и связь, 1998. - 310 с.

179. Шенк X. Теория инженерного эксперимента. М.: Мир, 1972. - 383 с.

180. Шилейко A.B., Кочнев В.Ф., Химушин Ф.Ф. Введение в информационную теорию систем / Под ред. A.B. Шилейко. М.: Радио и связь, 1985.-280 с.

181. Шильман C.B. Адаптивная фильтрация временных рядов. -Н.Новгород: Изд-во ННГУ, 1995. 180 с.

182. Шлихтинг Г. Теория пограничного слоя. М.: Наука, 1969. - 742 с.

183. Шрейдер Ю.А., Шаров A.A. Системы и модели. М.: Радио и связь, 1982. - 151 с.

184. Шульце К.П., Реберг К.Ю. Инженерный анализ адаптивных систем: Пер. с нем. М.: Мир, 1992. - 280 с.

185. Шурыгин A.M. Прикладная стохастика: робастность, оценивание, прогноз. М.: Финансы и статистика, 2000. - 224 с.

186. Щеглов И.Н., Богомолов A.B., Печатное Ю.А. Исследование влияния репрезентативности обучающей выборки на качество работы методов распознавания образов // Нейрокомпьютеры: разработка, применение. 2002. - № 9-10 - С. 3 - 9.

187. Эйкхофф П. Основы идентификации систем управления. Оценивание параметров и состояния: Пер. с англ. В.А. Лотоцкого и A.C. Манделя / Под ред. Н.С. Райбмана- М.: Мир, 1975 683 с.

188. Эфрон Б. Нетрадиционные методы многомерного статистического анализа: Сб. статей: Пер. с англ. / Предисловие Ю.П. Адлера, Ю.А. Кошевника. М. Финансы и статистика, 1988. - 263 с.

189. Эшби У.Р. Введение в кибернетику: Пер. с англ. М.: ИЛ, 1959. - 432 с.

190. Эшби У. Р. Конструкция мозга. Происхождение адаптивного поведения: Пер. с англ. М.: Мир, 1964. - 407 с.

191. Якимов А.В. и др. Влияние негауссовости на погрешность измерения интенсивности фильтрованного фликкерного шума // Известия вузов. Радиофизика. 1999. - Т. 42, № 3. - С. 278 - 286.

192. Akaike H. Fitting autoregressive models for prediction // Ann. Inst. Stat. Math. 1969. - V. 21. - P. 243 - 347.

193. Albrecht S., Busch J., Kloppenburg M., Metze F., Tavan P. Generalized radial basis function networks for classification and novelty detection: self-organization of optimal Bayesian decision // Neural Networks. — 2000. -N 13.-P. 1075 1093.

194. Anders U., Korn O. Model selection in neural networks // Neural Networks. 2000. - N 12. - P. 543 - 555.

195. Barron A.R. Universal approximation bounds for superposition of sig-moidal functions // IEEE Transactions on Information Theory. 1993. — V. 39.-P. 930-945.

196. Billings S.A., Zheng G.L. Radial basis function network configuration using genetic algorithms // Neural Networks. 1995. - V. 8, N. 6. -P. 877-890.

197. Bishop C.M. Neural Networks for pattern recognition. Oxford: Oxford University Press, 1995. - 504 p.

198. Brent R.P. Algorithms for minimization without derivatives. — Ney Jersey : Prentice-Hall, 1973.- 195 c.

199. Broomhead D.S., Lowe D. Multivariable functional interpolation and adaptive networks // Complex systems. 1988. - V. 2. - P. 321 - 355.

200. Chen S., Cowan C. F. N., Grant P.M. Orthogonal least square learning algorithm for radial basis function networks // IEEE Transactions on Neural Networks. 1991. - V. 2. - P. 302 - 309.

201. Chen S., Chng E. S., Alkadchimi K. Regularised orthogonal least square learning algorithm for construction radial basis function networks // Int. J. Contr. 1996. -V. 64, N 5. - P. 829 - 837.

202. Cybenko G. Approximation by superpositions of sigmoidal function // Mathematics of control, signal and systems. 1989. - V. 2. - P. 304 — 314.

203. Eun C., Powers E.J. A new Volterra predistorter based on the indirect learning architecture // IEEE Transactions on Signal Processing. — 1997. -V. 45, N. l.-P. 223 -227.

204. Fisher R.A. Theory of statistical estimation // Proc. Cambridge Phil. Soc. 1925.-P. 700-725.

205. Funahashi K. On the approximate realization of continuous mapping by neural networks //Neural Networks. 1989. - V. 2, N. 3. - P. 183 -192.

206. Girosi F., Jones M., Poggio T. Regularization theory and neural networks architectures //Neural Computation. 1996. -V. 7. - P. 219-269.

207. Graven P., Wahba G. Smoothing noisy data with spline functions // Numerische mathematics. 1979. -V. 31. - P. 377-403.

208. Grienwank A.O. Generalized descent for global optimization // Journal optimization theory and application. 1981. - V. 34, N l.-P. 11- 39.

209. Haykin S. Adaptive filter theory. Prentice Hall, 1996. - 989 p.

210. Hecht-Nielsen R. Neurocomputing. Mass.: Addison Wesley, 1992. -433 p.

211. Holmes C.C., Mallick B.K. Bayesian wavelet networks for nonparametric regression // IEEE Transactions on Neural Networks. — 2000. V. 11, N l.-P. 27-35.

212. Hong X., Harris C.J. Nonlinear model structure detection using optimum experimental design and orthogonal least squares // IEEE Transactions on Neural Networks. 2001. - V. 12, N. 2. - P. 435 - 439.

213. Hornik K., Stinchcomb M., White H. Multilayer feedforward networks are universal approximators // Neural Networks. 1989. - V. 2, N. 5. -P. 359 -366.

214. Ko K.B., Choi S., Kang C., Hong D. RBF multiuser detector with channel estimation capability in a synchronous MC-CDMA system // IEEE Transactions on Neural Networks. 2001. - V. 12, N 6. - P. 302 - 309.

215. Liu G.P., Kadirkamanathan V., Billings S.A. On-line identification of nonlinear systems using Volterra polynomial basis function neural networks //Neural Networks. 1998. - N 11. - P. 1645 - 1657.

216. MacKay D.J.C. Bayesian interpolation // Neural Computation. 1992. -V. 4, N. 3.- P. 415-447.

217. Moody J., Darken C.J. Fast learning in networks of locally tuned processing units // Neural Computation. 1989. - V. 1, N. 2. - P. 281 - 294.

218. Murata N., Yoshizawa S., Amari S. Network information criterion — determining the number of hidden units for artificial neural networks models // IEEE Transactions on Neural Networks. 1994. - V. 5. - P. 865 - 872.

219. Park J., Sandberg I.W. Universal approximation using radial basis function networks // Neural Computation. 1991. - V. 3, N. 2. - P. 246 - 257.

220. Principe J.C., Euliano N.R., Lefebvre W.C. Neural and adaptive systems: fundamentals though simulations. John Wiley and Sons. - 2000. -656 p.

221. Psaltis D., Sideris A., Yamamura A. A multilayered neural network controller // IEEE Control Systems Magazine. 1988. - V. 8. - P. 17-21.

222. Rissanen J. Modeling by shortest data description // Automatica. 1978. -N 14. - P. 465 -471.

223. Rumelhart D., Hinton G., Williams R. Learning representations by back-propagation errors // Nature. 1986. - N. 323. - P. 533 - 536.

224. Sherstinsky A., Picard R.W. On the efficiency of the orthogonal least squares training method for radial basis function networks // IEEE Transactions on Neural Networks. 1996. - V. 7, N 1. - P. 195 - 200.

225. Schwartz G. Estimating the dimension of model // Annals statistics. — 1978.-V. 6.-P. 461 -464.

226. Schwenker F., Kestler H. A., Palm G. Three learning phases for radialbasis function networks// Neural Networks. 2001. - № 14. -P. 439-458.

227. Shibata R. An optimal selection of regression variables // Biometrika. — 1981.-V. 68.-P. 45 -54.

228. Vapnik V. The nature of statistical learning theory. New York: Springier Verlag, 1995.

229. Wald A. Note of consistency of M.L. estimate // Ann. Math. Stat. -1945. -N20.-P. 595 -601.

230. Wang Z, Zhu T. An efficient learning algorithm for improving generalization performance of radial basis function neural networks // Neural Networks. 2000. - N 13. - P. 543 - 555.

231. Yin H., Allison N.M. Self-organizing mixture networks for probability density estimation // IEEE Transactions on Neural Networks. — 2001. — V. 12, N2.-P. 405 -411.

232. Zhu Q., Cai Y., Liu L. A global learning algorithm for a RBF network // Neural Networks. 1999. - N 12. - P. 527 - 540.