Высокоточное нейросетевое распознавание в системах технического зрения тема диссертации и автореферата по ВАК РФ 05.13.01, кандидат технических наук Руденко, Ольга Валентиновна

• Руденко, Ольга Валентиновна
• кандидат технических наук
• 2011

Оглавление диссертации кандидат технических наук Руденко, Ольга Валентиновна

ВВЕДЕНИЕ 5 1. Анализ современных подходов к разработке систем технического зрения

1.1. Структурная организация систем технического зрения

1.2. Модели информативных признаков для распознавания

1.2.1. Общая модель классификации

1.2.2. Выбор информативных признаков

1.3. Нейросетевой метод распознавания и способы его реализации

1.3.1. Математическая модель нейрона и нейронной сети

1.3.2. Применение нейросетевого метода

1.3.3. Применение нейронных сетей в экспертных системах

1.3.4. Программное обеспечение для имитационного моделирования нейронной сети

1.4. Основные проблемы разработки и адаптации систем технического зрения в промышленности

1.5. Цели и задачи исследований

1.6. Выводы

2. Методы решения задачи распознавания в системах технического зрения

2.1. Структура методов распознавания

2.2 Методы и алгоритмы предварительной обработки изображений

2.2.1. Отделение объекта от фона методом связных компонент 42 2.2.2 Преобразование реальных контуров изображений

2.3. Вейвлет- спектр цветовой окраски и формы исследуемых объектов

2.4. Исследование и понижение размерности признакового пространства

2.4.1 .Генетический алгоритм

2.4.2. Анализ главных компонент

2.4.3. Факторный анализ

2.5.Выводы

3. Алгоритм нейросетевого распознавания

3.1. Выбор объектов исследования для нейросетевого алгоритма

3.2. Математическое описание нейронной сети

3.3. Структура нейронной сети

3.4. Оценка сложности задачи классификации

3.5. Минимизация функции ошибки обучения с помощью градиентных методов

3.6. Оценка точности работы распознающего устройства по экспериментальным данным

3.7. Сравнение точности распознавания нейросетевого алгоритма с другими методами классификации

3.8. Выводы

4. Нейросетевой блок распознавания экспертной системы мониторинга качества при производстве консервов из растительного сырья

4.1. Автоматизация инспекции сырья как этап технологического процесса и часть вычислительного ядра ЭС

4.2. Нейросетевой блок контроля сырья экспертной системы (ЭС) мониторинга показателей безопасности и качества

4.3. Работа нейросетвого алгоритма по выделению примесей из сырья

4.4. Оценка точности работы нейросетевого блока контроля сырья экспертной системы

4.5. Выводы 122 Заключение 123 Список литературы 126 Приложение А. Свидетельство о государственной регистрации программы для ЭВМ «Нейросетевая модель для классификации сортов риса»

Введение диссертации (часть автореферата) на тему «Высокоточное нейросетевое распознавание в системах технического зрения»

Актуальность темы. В настоящее время заметно повышение спроса в отечественной промышленности на новые разработки в области высоких технологий на средства автоматизации производства и их важную часть -системы технического зрения (СТЗ). Одно из применений систем технического зрения - это автоматическая классификация по параметрам формы, цвета, размеров плодов, семян и других объектов с высокой производительностью. Перспективные СТЗ экспертного уровня точности для объектов природного происхождения в задачах пищевой и зерноперерабатывающей промышленности рассмотрены в работах [54, 55, 56, 57] на основе различных методов распознавания: статистических, нейросетей (НС), байесовских сетей и т.д. В условиях ужесточающейся конкуренции производители вынуждены беспокоиться о качестве используемого сырья и выпускаемой продукции, чтобы производимый продукт пользовался спросом. А на производствах малой и средней мощности, где качество сырья и тестовых заготовок на этапах технологического процесса оценивается «на глаз» и зависит от личного опыта технолога, без объективных методов контроля добиться стабильного качества продукции невозможно.

Нейросетевые алгоритмы и технологии построения нейросетевых экспертных систем расмотрены в работах [12, 27, 28, 47] Для создания эффективных технологий разрабатываемые методы и алгоритмы должны обладать быстродействием и точностью. Обычно каждый разрабатываемый алгоритм специализируется на своем типе изображений. Поэтому в системах технического зрения (СТЗ) необходимо сочетание нескольких методов, которые обеспечивают необходимые показатели по быстродействию и достоверности идентификации. Для эффективного функционирования СТЗ необходимо постоянно пополнять арсенал методов и средств предварительной обработки изображения и построения классификаторов.

Нейронные сети и нейрокомпьютеры быстро становятся новой конкурентоспособной технологией будущего. Нейросетевые алгоритмы решения типовых прикладных задач обработки цифровых изображений: фильтрации и сегментации; сжатия и кодирования видеоряда; распознавания, классификации и обнаружения различных объектов трехмерной визуализации сцен в системах машинной графики; а также вопросы аппаратной реализации нейрокомпьютеров для обработки изображений становятся все чаще объектами исследований [1,12,35,46,67].

Высокоточное распознавание изображений зерновых культур требуется для ряда актуальных задач в зерноперерабатывающей промышленности, селекции и семеноводстве. Зерновка даже определённого сорта любой культуры обладает широко вариабельными свойствами, в том числе цветовой гаммы и геометрической формы. Широкая вариабельность признаков зерновок - одна из основных проблем при идентификации. Существующая методика идентификации зерновок по геометрической форме их контуров, основанная на Фурье-анализе и статистической теории распознавании образов, имеет погрешность при разделении сортов в доли процентов. Но если для риса очертания контура - генетически наследуемый признак, то для прочих культур очертания позволяют распознать не сорта, а только виды (пшеница или рис, или соя и т.д.) между собой. Дальнейшее развитие метода возможно, если при анализе каждого объекта учитывать не только его контур, но и цветовые характеристики - общий цветовой фон, локальные всплески отдельных оттенков и т.д.

Основными задачами исследования являются:

1) совершенствование методик и технологий для распознавания объектов природного происхождения с большой визуальной внутриклассовой вариабельностью в промышленных СТЗ с заданной точностью;

2) отбор информативных признаков, участвующих в классификации;

3) выбор топологии и обучение нейронной сети;

4) создание «обучающей» базы данных программного комплекса нейросетевого распознавания;

5) разработка программного обеспечения, позволяющего проводить высокоточное распознавание, на основе нейронных сетей;

6) оценка точности распознающего алгоритма;

7) обоснование эффективности нейросетевого метода распознавания по сравнению с другими методами.

Предмет исследования: совокупность математических моделей и основных архитектур нейронных сетей, позволяющих проводить классификацию объектов с большой визуальной внутриклассовой вариабельностью, реализуемых программно на нейроимитаторах.

Объект исследования: процесс распознавания экспертного уровня точности объектов природного происхождения.

В первой главе проведен аналитический обзор существующих подходов к разработке СТЗ, позволивший сделать выводы, определяющие направление диссертационного исследования. Определены математические методы, составляющие алгоритм формализованного подхода к построению СТЗ. Исследованы модели информативных признаков, позволяющих повысить точность распознавания по сравнению с существующими методами. Выбрано программное обеспечение для имитационного моделирования работы сети.

Во второй главе рассмотрен системный подход к созданию классификатора на основе нейронной сети; методы решения задачи распознавания в системах технического зрения; рассмотрены варианты принятия решения.

В третьей главе определены принципы построения и предложена методика создания НС для высокоточного распознавания в СТЗ. Предложен подход к построению нейронной сети на основе многослойного персептрона, позволяющей провести распознавание максимально уровня точности, выбран подходящий алгоритм обучения

В четвертой главе рассмотрены вопросы практического применения приложений, созданных на основе разработанных методов и алгоритмов. Рассмотрена нейросетевая реализация блока распознавания вычислительного ядра ЭС. В нейросетевом блоке видеоизображение семян и плодов, подвергнутое спектральному вейвлет-преобразованию, является входом многослойной нейронной сети, выходной нейрон которой принимает решение об отбраковке и др.

1. Анализ современных подходов к разработке систем технического зрения.

Заключение диссертации по теме «Системный анализ, управление и обработка информации (по отраслям)», Руденко, Ольга Валентиновна

Результаты работы внедрены на кафедре Пищевой инженерии и высоких технологий (КубГТУ, г.Краснодар) и в Краснодарском научно-исследовательском институте хранения и переработки сельскохозяйственной продукции ГУ КНИИХП (г.Краснодар).

Заключение.

Выполненные исследования позволили сделать следующие выводы: основными моделями информативных признаков, наиболее полно характеризующие исследуемые объекты, является спектральный анализ вейвлетами Хаара с последующим понижением размерности; обучающая база данных для программного комплекса нейросетевого распознавания сортов злаковых дает репрезентативную обучающую выборку для последующей классификации; топология многослойный персептрон в программе 81ай5йса позволяет провести наиболее точное распознавание; алгоритмом обучения нейронной сети для решения задачи классификации являются градиентные методы первого и второго порядка; эксперимент по проверке работоспособности и эффективности разработанной нейронной сети показал ее эффективность, программно реализован блок ЭС системы контроля качества пищевой продукции для проведения входного контроля качества продукции с высокой точностью.

Научная новизна работы:

• повышение точности распознавания с использованием нейронной сети на основе объединения геометрических параметров и цветовых составляющих объектов пищевой и зерноперерабатывающей промышленности;

• предложена методика выбора топологии и методов обучения нейронной сети для задачи высокоточного распознавания;

• проведены экспериментальные исследования по проверке эффективности разработанной системы.

Основные теоретические и практические результаты работы:

В результате системного исследования показано, что для решения ряда актуальных задач селекции и семеноводства, управления технологическими процессами и др., необходимое повышение эффективности функционирования СТЗ до экспертного уровня точности, для распознавания массовых объектов природного происхождения с сильной внутриклассовой вариабельностью, достигается методом нейронных сетей.

2. Обоснован выбор признакового пространства на основе вейвлет-преобразований Хаара для распознавания объектов с большой визуальной внутриклассовой вариабельностью.

3. Составлена обучающая база данных из вейвлет-спектров функций цвета для программного комплекса нейросетевого распознавания объектов природного происхождения, имеющих сильную визуальную вариабельность внутриклассовых свойств.

4. Предложен подход к построению нейронной сети на основе многослойного персептрона, позволяющей провести распознавание максимально уровня точности, выбран подходящий алгоритм обучения.

5. Проведены эксперименты по проверке работоспособности и эффективности разработанной нейронной сети на различных объектах природного происхождения. Применение нейросетевого механизма классификации позволяет провести 98,5% правильного разделения по сортам злаковых, масличных и бобовых культур, а также производить 100% выделение примесей из сортосмеси .

6. Разработано программное обеспечение для базы данных для лабораторного стенда экспертного уровня распознавания сортов злаковых, масличных и бобовых культур.

7. Программно реализована система распознавания сортов и выделения примесей нейросетевого блока экспертной системы контроля качества при производстве консервов из растительного сырья.

Основные положения диссертации достаточно полно изложены в 7 печатных работах, из них 5 статей (3 статьи в изданиях из перечня ВАК для публикации научных результатов диссертаций на соискание ученой степени доктора и кандидата наук) и 2 тезиса докладов.

По результатам работы получено 2 свидетельства о государственной регистрации программы для ЭВМ № 2011613332 «Нейросетевая модель для классификации сортов риса» и №2011615407 «Программная оболочка для базы данных обучающей выборки для высокоточного распознавания плоских изображений сортов зерновых культур».

Список литературы диссертационного исследования кандидат технических наук Руденко, Ольга Валентиновна, 2011 год

1. Анисимов,Б. В. Распознавание и цифровая обработка изображений. Б.В.Анисимов, В. Д.Курганов, В. К. Злобин—М.: Высшая школа, 1983.

2. Астафьева,Н.М. Вейвлет-анализ: основы теории и примеры применения/ Н.М.Астафьева //Успехи физических наук. 1996, т. 166,№11.- С.1145-1170.

3. Вапник В. Н., Червоненкис А. Я. Теория распознавания образов. — М.: Наука, 1974. С. 416

4. Васильев, В.Г. Гистограммные методы обработки изображений./ В.Г.Васильев.— Изд-во ТГТУ, 2002.

5. Васильева,Н.С. Методы поиска изображений по содержанию/ Васильева Н. С. // Программирование. — 2009. — Т. 35, № 3. — С. 130.

6. Воробьев В.И., Грибунин В.Г. Теория и практика вейвлет-преобразования. СПб. :ВУС, 1999.203 с.

7. Вороновский, Г.К.Генетические алгоритмы, искусственные нейронные сети и проблемы виртуальной реальности. / Г.К. Вороновский, К.В. Махотило, С.Н.Петрашев, С.А.Сергеев -Харьков: Основа 1997.- 112с.

8. Галушкин А.И. Синтез многослойных систем распознавания образов. /

9. A.И. Галушкин. — М.: «Энергия», 1974. — 368 с.

10. Галушкин, А.И. Теория нейронных сетей / А.И. Галушкин. М.: ИПРЖР, 2000. -415 с.

11. Ю.Гладков Л.А. Генетические алгоритмы , / Л.А. Гладков, В.В. Курейчик,

12. B.М. Курейчик — М: ФИЗМАТЛИТ, 2006. — 320 с. П.Гильберт Д. Избранные труды. Т. 1,2. М.: Факториал, 1998.

13. Головко, В.А. Нейроинтеллект: теория и применение / В.А. Головко. Брест: Изд-во БПИ, 1999.-260 с.

14. Горбань, А.Н. Нейроинформатика. / А.Н.Горбань и др.- Новосибирск, Наука, Сибирское предприятие РАН, 1998 г.

15. Н.Горелик А.Л., Скрипкин В.А. Методы распознавания. Изд.2. — М.: Высшая школа, 1984. — 219 с.

16. Девятериков И. П., Пропой А. И., Цыпкин Я. 3., О рекуррентных алгоритмах обучения распознаванию образов. Автоматика и телемеханика, № 1, 1967.

17. Добеши И. Десять лекций по вейвлетам. М.: Регулярная и хаотическая динамика, 2001.

18. Дьяконов В.П. Вейвлеты. От теории к практике. Изд. 2-ое, перераб. и доп. М.: СОЛОН-Пресс, 2004.

19. Дьяконов В., Круглов В. Математические пакеты расширения МаЛаЬ. изд.дом Питер,2001 г.

20. Дюк В.А. От данных к знаниям новые возможности обработки баз данных// Тр. Межд. научн. конф. «Интеллектуальные системы и информационные технологии управления (Псков, 19-23 июня 2000 г.). - СПб.: Изд-во СПбГТУ, 2000. - С. 438-440.

21. Иванов Ю.К. Инструментарий для построения мультиплатформенных экспертных систем // Науч. сессия МИФИ-2006: Сб. науч. тр.: в 13 т., М.: МИФИ, 2006. Т.З.

22. Ким Н.В., Семенченко С.А. Алгоритмы обработки информации в системах технического зрения: Учебное пособие. -М.: Изд-во МАИ, 1995. -52с.: ил.

23. Каллан Р. Основные концепции нейронных сетей. Москва, изд.дом Вильяме, 2001 г.

24. Ларичев О.И. Наука и искусство принятия решений. — М: Наука, 1979. —200 с

25. Ларичев О.И., Мечитов А.И., Мошкович Е.М., Фуремс Е. М. Выявление экспертных знаний. — М.:Наука, 1989. — 128 с.

26. Минский, М., Пейперт, С. Персептроны = Perceptions. — М.: Мир, 1971. —261 с.

27. Миркес Е.М., Нейрокомпьютер. Проект стандарта Новосибирск: Наука, Сибирская издательская фирма РАН, 1998.

28. Новиков Л.В.Основы вейвлет-анализа сигналов, учебное пособие, Санкт-Петербург, 1999 г., 152 с.

29. Павлидис Т. Алгоритмы машинной графики и обработки изображений. — М.: Радио и Связь, 1986.

30. Писаревский А. Н. Системы технического зрения: (Принципиальные основы, аппаратное и математическое обеспечение). — «П.: Машиностроение,. 1988.

31. Потапов А. С. Распознавание образов и машинное восприятие. — СПб.: Политехника, 2007.

32. Русанов И.А. Применений нейронных сетей для классификации сортов озимой пшеницы, «Mathtmatics Computing Education», XV conference, 2008 г.(Электронный журнал).

33. Садыхов Р.Х., Дудкин A.A. Обработка изображений и идентификация объектов в системах технического зрения, «Искусственный интеллект» вып.З, 2006 г., стр.634-643.

34. Симанков B.C., Луценко Е.В. Адаптивное управление сложными системами на основе теории распознавания образов , Краснодар: Техн. ун-т Кубан. гос. технол. ун-та, 1999. — 318 с.

35. Системы технического зрения (принципиальные основы, аппаратное и математическое обеспечение)/А.Н.Писаревкий, А.Ф.Чернявский, Г.К.Афанасьев и др.; Под общ. Ред. А.Н.Писаревского, А.Ф.Чернявского. Л. Машиностроение. Ленингр. отд-ние, 1988. - 424 е.: ил.

36. Терехов, В.А. Динамические алгоритмы обучения многослойных нейронных сетей в системах управления / В.А. Терехов // Изв. РАН. Серия «Теория и системы управления». 1996. № 3. - С. 70-79

37. Терехов, В.А. Нейросетевые системы управления / В.А. Терехов, Д.В. Ефимов, И.Ю. Тюкин. М.: ИПРЖР, 2002. 480 с.

38. Терехов, В.А. Исследование устойчивости процессов обучения многослойных нейронных сетей / В.А. Терехов, И.Ю. Тюкин // Автоматика и телемеханика. -1999.-№ 10. С.145-161; № 11.-С. 136-144.

39. Терехов, С.А. Вейвлеты и нейронные сети / С.А. Терехов Научная сессия МИФИ-2001. IIV Всероссийская научно-практическая конференция «Нейроинформатика 2001»: лекции по нейроинформатике. Часть 2. - М.: МИФИ, 2001. — С.142-181.

40. Ту Дж., Гонсалес Р. Принципы распознавания образов. — М.: Москва, 1978. —С. 411.

41. Усатиков C.B., Руденко О.В., Горонков К.А. О точности распознавания по контуру изображений злаковых культур с помощью нейронных сетей // Обозр.прикл.и пром.математики.- 2009- т. 16 , вып.З с.567-569.

42. Уоссермен, Ф. Нейрокомпьютерная техника: Теория и практика / Ф. Уоссермен. М.: Мир, 1992. 184 с.

43. Фу К.С. Структурные методы в распознавании образов. М.: Мир, 1977

44. Фу К.С. Последовательные методы в распознавании образов и обучении машин. -М.: Наука, 1971

45. Хайкин, С. Нейронные сети: полный курс, 2-е изд., испр. / С. Хайкин. М.: ООО "И.Д.Вильяме", 2006. -1104 с.

46. Халафян A.A. Statistica 6. Статистический анализ данных. Москва, изд.Бином, 2007.

47. Чуй К. Введение в вейвлеты. Перевод с английского Я.М.Жилейкина. М.:Мир.2001 г.412 с.

48. Царегородцев В.Г. Предобработка обучающей выборки, выборочная константа Липшица и свойства обученных нейронных сетей // Материалы X Всеросс. семинара "Нейроинформатика и ее приложения", Красноярск, 2002. 185с. с.146-150.

49. Царегородцев В.Г. Оптимизация предобработки данных: константа Липшица обучающей выборки и свойства обученных нейронных сетей // Нейрокомпьютеры: разработка, применение. 2003, №7. С.3-8.

50. Царегородцев В.Г. Взгляд на архитектуру и требования к нейроимитатору для решения современных индустриальных задач.// Материалы XI Всероссийского семинара «Нейроинформатика и ее приложения», Красноярск,2003.-215с. С. 171-175.

51. Шапиро Л, Стокман Дж. Компьютерное зрение. Москва, изд.дом Бином, 2006 г.

52. Шаззо А.Ю., Усатиков C.B., Мацакова Н.В., Чуб А.Н. Теоретические и прикладные аспекты спектрального анализа контура изображения злаковых и масличных культур // Известия вузов. Пищевая технология, №1, 2003. с.53-58

53. Шаззо А. Ю., Усатиков С. В., Мацакова Н.В., Афанасьев A.C., Хуснутдинов И.Р., Гриценко О.Г. Классификация риса на основе спектрального анализа контура изображения зёрен // Известия вузов. Пищевая технология №5-6 - 2005. - с. 19-23

54. Шаззо А.Ю. Распознавание компонентов и прогнозирование качества при хранении зерновой массы // Сб.тезисов Конф. получателей грантов регион, конкурса РФФИ и адм. Краснод. края «ЮГ РОССИИ». -Краснодар: НП ИТЦ «Кубань-Юг» 2009 - с. 128-129

55. Элементарный курс теории принятий решений, вычислительный центр РАН. Москва, 2000 г.

56. Электронный учебник StatSoft. Электронный ресурс. — Режим доступа: www.statistica.ru, free access.

57. Battiti, R., "First and second order methods for learning: Between steepest descent and Newton's method," Neural Computation, vol. 4, no. 2, pp. 141166, 1992.

58. Brosnan, Т., Da-Wen Sun. "Improving quality inspection of food products by computer vision a review", Journal of food engineering, pp.3-16, 2002.

59. Caudill, M., Neural Networks Primer, San Francisco, CA: Miller Freeman Publications, 1989.

60. Chang S.G., Yu В., Vetterli M. "Adaptive wavelet thresholding for image denoising and compression ", IEEE Trans, on Image Processing, Vol. 9, No. 9, pp.1532-1546, 2000.

61. Cortes C., Jackel L., D., Solla S. A., Vapnik V., Denker J. S. Learning curves: asymptotic values and rate of convergence / Advances in Neural Information Processing Systems 7 (1994). MIT Press, 1995. pp. 327-334.

62. Elman, J. L.,"Finding structure in time," Cognitive Science, vol. 14, pp. 179211, 1990.

63. Hagan, M. Т., and M. Menhaj, "Training feedforward networks with the Marquardt algorithm," IEEE Transactions on Neural Networks, vol. 5, no. 6, pp. 989-993, 1994

64. Hagan, M. Т., H. B. Demuth, and M. H. Beale, Neural Network Design, Boston, MA: PWS Publishing, 1996.

65. Hunt, K.J., D. Sbarbaro, R. Zbikowski, and PJ. Gawthrop, Neural Networks for Control System A Survey," Automatica, Vol. 28, 1992, pp. 1083-1112. Kohonen, Т., Self-Organization and Associative Memory, 2nd Edition, Berlin: Springer-Verlag, 1987

66. Mallat S.G. Multiresolution Approximations and Wavelet of orthonormal Bases of L2(R)// Transactions of the American Mathematical Society. 1989.Vo/315,N. 1 .P.69-87.

67. McCulloch W.S. and Pitts W. A logical calculus of the ideas immanent in nervous activity, Bull. Math. Biophys., 5, 1943,p.l 15-133

68. Moller, M. F., "A scaled conjugate gradient algorithm for fast supervised learning," Neural Networks, vol. 6, pp. 525-533, 1993.

69. Murray, R., D. Neumerkel, and D. Sbarbaro, "Neural Networks for Modeling and Control of a Non-linear Dynamic System," Proceedings of the 1992 IEEE International Symposium on Intelligent Control, 1992, pp. 404409.

70. Pearson, K. "On lines and planes of closest fit to systems of points in space." Philosophical Magazine 2,1901, p.559-572

71. Rodrigues J. S., Almeida L. B. In Proc. INN'90, Int. Neural Networks Conference // Kluwer, Dordrecht, Netherlands, 1990. — p. 813.

72. Rodrigues J. S., Almeida L. B. In Neural Networks: Advances and Applications, / ed. by Gelenbe E. — North-Holland, Amsterdam, Netherlands, 1991. -p.63

73. Rosenblatt F. Analytic techniques for the study of neural nets / IEEE Trans, on Appl. and Industry. 1964. Vol.83, №74. pp.285-292.

74. Rumelhart, D. E., G. E. Hinton, and R. J. Williams, "Learning internal representations by error propagation,", in D. E. Rumelhart and J. L. McClelland, eds. Parallel Data Processing, vol.1, Cambridge, MA: The M.I.T. Press, pp. 318-362, 1986

75. Rumelhart, D. E., G. E. Hinton, and R. J. Williams, "Learning representations by back-propagating errors," Nature, vol. 323, pp. 533-536, 1986.

76. Rumelhart, D.E. Learning representations by back-propagating errors / D.E. Rumelhart, G.E. Hinton, R.J. Williams // Nature. 1986. V. 323 - P. 533536.

77. Specht, D. Probabilistic Neural Networks. Neural Networks, 1990, 3, 109118.

78. Specht, D. A General Regression Neural Network. IEEE Trans, on Neural Networks, Nov. 1991, 2, 6, 568-576.

79. Tanimoto,S.L.1990. The Elements of Artificial Intelligence Using Common LIPS. W.H. Freeman and Company, New York.

80. Watanabe E., Shimizu H. Relationships between internal representation and generalization ability in multi layered neural network for binary pattern classification problem /Proc. IJCNN 1993, Nagoya, Japan, 1993. Vol.2.-pp.1736-1739.

81. Warwick, K. Neural networks of control and systems / K. Warwick, G.W. Irwin, K.J. Hunt. London: Peter Peregrinus, 1988.

82. Werbos P. Consistency of HDP applied to a simple reinforcement learning problem. Neural Networks, Mar. 1990.

83. Werbos P. Generalization of backpropagation with application to a recurrent gas market model, Neural Networks, Oct. 1988.

84. Werbos P.J. Backpropagation through time: what it does and how to do it // Proceedings of the IEEE, vol. 78, No. 10, October, 1990, p. 1550-1560.

85. Werbos P. Maximizing long-term gas industry profits in two minutes in Lotus using neural networks methods. IEEE Trans. Syst., Man, Cybern., Mar./Apr. 1989.

86. Widrow B., Lehr M.A. 30 years of adaptive neural networks: perceptron, madaline, and backpropagation // Proceedings of the IEEE, vol. 78, No. 9, September, 1990, p. 1415-1442.

87. Williams R. Adaptive state representation and estimation using recurrent connectionist networks. In W.T. Miller, R. Sutton, and P. Werbos, Eds. Neural Networks for Robotics and Control. Cambridge, MA: M.I.T. Press, 1990.

88. Widrow, B., and S. D. Sterns, Adaptive Signal Processing, New York: Prentice-Hall, 1985.