Программные средства с использованием методов и алгоритмов кратномасштабного вейвлет анализа для обработки и поиска изображений тема диссертации и автореферата по ВАК РФ 05.13.11, кандидат наук Ван Лянпэн

• Ван Лянпэн
• кандидат наук
• 2020

Оглавление диссертации кандидат наук Ван Лянпэн

ВВЕДЕНИЕ

ГЛАВА 1. КРАТНОМАСШТАБНЫЙ ВЕЙВЛЕТ АНАЛИЗ

12

1.1. Общее понятие о вейвлете

12

1.2. Различные типы вейвлет-преобразований

12

1.2.1. Одномерные вейвлет-преобразования

1.2.2. Быстрое вейвлет-преобразование

18

1.2.3. Двухмерные вейвлет-преобразования

1.3. Дерево коэффициентов для кратномасштабного вейвлет- 23 преобразования

1.4. Выводы по Главе

ГЛАВА 2. ОБНАРУЖЕНИЕ ГРАНИЦ ОБЪЕКТОВ НА ЗАШУМЛЁНН- 27 ОМ ИЗОБРАЖЕНИИ

27

2.1. Метод первой и второй производной

27

2.1.1. Математический аппарат метода

2.1.2. Использование метода производных для обнаружения границ

31

2.2. Кратномасштабный вейвлет анализ

31

2.2.1. Обнаружение границ при отсутствии шума

32

2.2.2. Обнаружение границ при наличии шума

2.3. Фрактальный метод

2.3.1. Математическое моделирование фрактального метода

Стр.

2.3.2. Обнаружение границ с помощью фрактальных коэффициентов

о /г

2.4. Сингулярное разложение и вейвлет анализ

о /г

2.4.1. Математические принципы сингулярного разложения

2.4.2. Предварительная обработка зашумлённого изображения с 41 помощью SVD

42

2.4.3. Шумоподавление с помощью вейвлет анализа

2.4.4. Анализ преимущества предлагаемого метода

2.5. Выводы по Главе

ГЛАВА 3. ПОИСК ПОХОЖИХ ИЗОБРАЖЕНИЙ С ПОМОЩЬЮ КРАТНОМАСШТАБНОГО ВЕЙВЛЕТ АНАЛИЗА И МАРКОВСКОГО 40 ПРОЦЕССА

3.1. Предварительные замечания

3.2. Алгоритм SIFT

3.2.1. FAST алгоритм для определения особых ключевых точек

52

3.2.2. Определение экстремумов

53

3.2.3. Ориентация ключевых точек

53

3.2.4. Построение дескрипторов

3.2.5. Сравнивание дескрипторов SIFT разных изображений

3.3. Алгоритм ORB

3.3.1. FAST алгоритм для определения особых ключевых точек

3.3.2. Дескриптор направленный BRIEF

Стр

3.4. Поиск похожих изображений

3.4.1. Выделение высокочастотной информации изображения с 58 помощью ДВП

3.4.2. Генерирование двоичных хеш-последовательностей

3.4.3. Рейтинг подобия изображений

3.5. Выводы по Главе

ГЛАВА 4. РАСПОЗНАВАНИЕ ЛИЦ НА ОСНОВЕ ДЕРЕВА КОЭФФИЦИЕНТОВ ДЛЯ ТРЁХМАСШТАБНОГО ВЕЙВЛЕТ- 68 ПРЕОБРАЗОВАНИЯ

4.1. Процессы реализации распознавания лиц в машинном обучении и 69 в глубоком обучении

70

4.2. Алгоритмы для выделения признаков изображений лиц

77

4.3. Несколько алгоритмов для классификации признаков

4.4. Использование дерева коэффициентов трёхмасштабного 83 вейвлет-преобразования для выделения признаков изображений

4.5. Скрытая Марковская Модель (СММ)

85

4.5.1. Математическая теория скрытой Марковской модели

4.5.2. Обучение скрытой Марковской модели и реализация распоз- 87 навания лиц

4.6. Весовая функция двумерного нормального распределения

93

4.7. Сравнения с другими алгоритмами

4.8. Преимущества предложенного метода

4.9. Вейвлет-нейронные сети

Стр.

4.9.1. Искусственные нейронные сети

107

4.9.2. Обучение сети

4.9.3. Архитектура вейвлет-нейронных сетей

112

4.9.4. Обучение вейвлет-нейронных сетей

123

4.10. Выводы по Главе

ОБЩИЕ ВЫВОДЫ И ЗАКЛЮЧЕНИЕ

СПИСОК ЛИТЕРАТУРЫ

ВВЕДЕНИЕ

Введение диссертации (часть автореферата) на тему «Программные средства с использованием методов и алгоритмов кратномасштабного вейвлет анализа для обработки и поиска изображений»

Актуальность темы

В современном обществе применение развивающихся технологий обработки и поиска изображения делает жизнь людей более удобной и эффективной [1, 2]. Необходимость обработки и поиска изображения на основе результатов наблюдений за объектами и явлениями окружающего мира возникла значительно ранее появления современных компьютерных систем и технологий. Первые методы обработки и поиска изображения разрабатывались для электронных аналоговых систем и рассматривались в рамках теории обработки сигналов. В процессе развития вычислительной техники и информационных технологий наука обработки и поиска изображения, как и само понятие образа, претерпела значительные изменения и продолжает интенсивно развиваться.

В связи с этим актуальными являются следующие задачи.

1. Существующие алгоритмы для извлечения локальных или глобальных признаков изображений сложны, а размерность векторов признаков слишком высока. Поэтому возникает необходимость в разработке алгоритма для извлечения признаков изображений, позволяющего:

а) сократить время машинной работы;

б) минимизировать размерности векторов признаков и сокращать время обучения модели;

в) повысить точность классификации изображений.

2. Обнаружение границ объектов является составной частью алгоритмов обработки изображений, где чаще всего используется алгоритм первой производной, основным недостатком которого является чувствительность к шуму. Поэтому разработка метода и алгоритма, уменьшающего эту чувствительность, продолжает оставаться актуальной.

3. Поиск изображений в базе данных в основном реализуется с помощью перцептивного хеш-алгоритма, скорость работы которого высока, но не имеет достаточной точности. В связи с этим актуальным является увеличение точности упомянутого поиска похожих изображений.

4. Существующие методы LBP, SIFT, ORB не позволяют явным образом выделить один из признаков, с наилучшими результатами. Поэтому актуальной является задача выявления более информативных признаков лиц и разработка более эффективных и точных методов определения, с более гибкой структурой, с сокращением временем обучения и с высокой устойчивостью к переобучению (overfitting). Здесь необходимо выделить работы ряда ученых (Paul V., Rainer L., Navneet D., Ojala T., Pietikäinen M., Harwood D., Guo Z., Zhang L., Lienhart R., David L., Bay H., Ess A., Tuytelaars T., Ethan R., Vincent R., Kurt K., Janusz B., Gaviphat L., Mohamed O., Yassine K., LeCun Y., Travis W., Robert L.), в которых систематизируются знания о применении различных признаков в задачах классификации.

Цель диссертационной работы является разработка и исследование методов обработки и поиска изображений на основе кратномасштабного вейвлет анализа, позволяющего увеличить точность распознавания практически до 100% и улучшить обобщающую способность метода.

Для достижения поставленной цели сформулированы и решены следующие основные задачи:

1. Разработка алгоритма для извлечения признаков изображений на основе дерева коэффициентов для кратномасштабного вейвлет-преобразования;

2. Разработка метода для повышения чёткости обнаруженных границ объектов на зашумленном изображении и улучшения помехоустойчивости метода;

3. Разработка метода для поиска в базе данных максимального количества правильных изображений, похожих на исходное изображение;

4. Разработка более гибких методов для распознавания лиц, при котором сокращается время обучения модели и повышается точность распознавания.

Основные положения, выносимые на защиту:

1. Алгоритм для извлечения признаков изображений с помощью кратномасштабного вейвлет-преобразования;

2. Метод обнаружения границ объектов на зашумлённом изображении;

3. Метод поиска похожих изображений на основе вейвлет анализа и Марковской цепи;

4. Методы решения задач распознавания лиц с применением СММ (Скрытая Марковская Модель, СММ), вейвлет-нейронных сетей, и алгоритма Левенберга-Марквардта.

Научная новизна

Научная новизна работы состоит в следующем.

1. Разработан алгоритм построения признаков изображений с помощью дерева коэффициентов приближений в различных масштабах вейвлет-преобразования, позволяющий сократить размерность векторов признаков и увеличить точность классификации изображений.

2. Использован метод сингулярного разложения (Singular Value Decomposition, SVD) матрицы изображения, который совместно с вейвлет анализом, позволяет эффективно устранить негативное влияние шумов, и получить более чёткие границы объектов на зашумлённом изображении.

3. Разработан метод поиска похожих изображений, основанный на вейвлет-преобразовании и Марковской цепи, позволяющий выделить большее количество похожих изображений, по сравнению с классическими алгоритмами, и одновременно обеспечить полноту и более высокую схожесть выделенных изображений по сравнению с перцептивным хеш-алгоритмом.

4. Разработан метод распознавания лиц на основе вейвлет-признаков и скрытой Марковской модели, позволяющий сократить время обучения, а при добавлении новых образцов не требуется повторного обучения существующих.

5. Разработан метод распознавания лиц на основе вейвлет-признаков и вейвлет-нейронных сетей, позволяющий сократить время сходимости сети, увеличить точность распознавания лиц и обобщающую способность к переобучению при использовании алгоритма Левенберга-Марквардта для обучения вейвлет-нейронных сетей.

Тематика работы соответствует:

п. 7. «Человеко-машинные интерфейсы; модели, методы, алгоритмы и программные средства машинной графики, визуализации, обработки изображений, систем виртуальной реальности, мультимедийного общения»;

п. 9. «Модели, методы, алгоритмы и программная инфраструктура для организации глобально распределенной обработки данных» паспорта специальности 05.13.11 - Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей (технические науки).

Методы исследования. При решении задач, рассматриваемых в диссертации, были использованы: математический аппарат линейной алгебры, кратномасштабный вейвлет анализ, перцептивный хэш-алгоритм, Марковская цепь, скрытая Марковская модель, вейвлет-нейронные сети и алгоритм Левенберга-Марквардта для обучения сети. В процессе математического моделирования применялись: среда моделирования MATLAB, язык программирования Python 3.5, виртуальные серверы Amazon Elastic Compute Cloud (Amazon EC2).

Достоверность полученных результатов базируется на корректной математической постановке задач, сопоставлении предлагаемых теоретических решений с результатами экспериментов, с применениями современных методик моделирования и программных вычислительных средств. Правильность полученных результатов определяется корректностью выкладок и сопоставлением с известными результатами других авторов.

Практическая значимость работы. На основе предложенных методов разработано программное обеспечение, предназначенное для решения задач обнаружения границ зашумленного изображения, поиска похожих изображений в базах данных. Экспериментально показано, что совместное применение кратномасштабного вейвлет анализа и вейвлет-нейронных сетей позволяет избегать переобучения на небольших объемах обучающих изображений лиц, ускорить конвергенцию сети и улучшить обобщающую способность сетей.

Апробация работы. Основные положения диссертационной работы были доложены и обсуждены на следующих конференциях и научных семинарах:

1. Научный семинар кафедры информационных систем и телекоммуникаций МГТУ им. Н.Э. Баумана (г. Москва, 2017 г., 2018 г.);

2. Международная научная конференция «Наука и инженерное образование. SEE-2016» (г. Москва, 2016 г.).

Публикации. По теме диссертации опубликовано 6 научных работ, из них 4 статьи в рецензируемых журналах и изданиях, рекомендуемых ВАК РФ и 1 статья из Перечня международных научных изданий включенных в базу данных Scopus и EI Compendex. Общий объем публикаций составляет 1,89 п.л.

Структура и объем диссертации. Диссертация включает в себя введение, четыре главы, общие выводы и заключение, список литературы, изложена на 138 страницах машинописного текста, в том числе 72 рисунка и 2 таблицы. Список литературы насчитывает 124 наименования.

В первой главе приведено понятие вейвлет-преобразования и его преимущества по сравнению с преобразованием Фурье. Представлен метод для извлечения признаков изображений на основе дерева коэффициентов вейвлет-образования.

Во второй главе проведён обзор существующих методов для обнаружения границ объектов на изображении и предложен метод для решения проблемы чувствительности к шуму.

В третьей главе построена новая модель на основе высокочастотной информационной составляющей исходного изображения и Марковской цепи для поиска похожих изображений.

В четвертой главе представлены два метода для повышения точности распознавания лиц и сокращения времени обучения модели.

ГЛАВА 1. КРАТНОМАСШТАБНЫЙ ВЕЙВЛЕТ АНАЛИЗ

1.1. Общее понятие о вейвлете

Преобразование Фурье является основой трансформационных методов обработки изображений ещё с конца 1950-х годов, применение более современного преобразования, называемого вейвлет-преобразованием упрощает сжатие, передачу и анализ многих изображений. В отличие от преобразования Фурье, базисными функциями которого являются гармонические функции, вейвлет-преобразование основано на разложении по малым волнам, называемым вейвлетами, изменяющейся частоты и ограниченным во времени (в пространстве). Вейвлет-преобразование (wavelet transform) является инструментом, разделяющим данные, или функции, или операторы на составляющие с разными частотами, каждая из которых затем изучается с разрешением подходящим масштабом.

В 1987г. впервые было продемонстрировано [Mallat, 1987], что вейвлеты могут быть положены в основу нового мощного метода обработки и анализа сигналов, получившего название кратномасштабный анализ. Преимущество такого подхода очевидно - характерные детали, которые могут оставаться незаметными при одном разрешении, легко могут быть обнаружены при более высоком разрешении. Математическая интерпретация кратномасштабного вейвлет анализа сводится к вычислению вейвлет-коэффициентов [3, 4].

1.2. Различные типы вейвлет-преобразований

1.2.1. Одномерные вейвлет-преобразования

Непрерывное вейвлет-преобразование

Если функция 'ф(х) 6 L2 (М) [5], удовлетворяет условию допустимости (1.1):

Сф = 2*rJ*fdf < (1.1)

то она является анализирующей вейвлет-функцией.

Если ^(х) 6 L1 (M) , то преобразование Фурье этой функции непрерывно, и условия допустимости выполняется, только если 1^(0) = 0 или = 0.

Образуем из функции ^(х) двухпараметрическое вейвлет-семейство с помощью сдвигов (translations) и сжатий (dilations),

^ (х) = (1.2)

где а,Ь 6 M, а ф 0 (отрицательные или положительные).

Выберем постоянный коэффициент |а|-1/2 , чтобы обеспечить нормы (х)|| = ||^(х)|| для всех а, Ь. Энергия вейвлет-семейства находится из выражения,

J-L M|2d* = ij-L № |2d*. (1.3)

х—b

Если провести замену переменной = t, то интеграл в уравнении (1.4) примет вид:

J-L |^а,Ь(Х)|2^Х = Ij |^(t)|2dt. (1.4)

Таким образом, мы гарантируем, что энергия вейвлет-функций из одного вейвлет-семейства будут равны между собой [6].

Коэффициенты непрерывного преобразования вейвлет-семейства определим как:

Hfy(а, Ь) =< /(х),^(х) >= J_^Ях^аГ^С^-(1.5)

х—х—Ь

где - комплексное сопряжение функции

Исходная функция /(х) может быть восстановлена с помощью формулы обращения следующим образом [7],

/ М = С—СГЛ (а, М ^ (1.6)

Построение ортогональных базисов вейвлетов

Чтобы построить вейвлет-функцию, введём масштабирующую функцию ^(х) для дискретного кратномасштабного анализа [8]:

ф(х) = 72ХпНф(п)ф(2х - п). (1.7)

Уравнение (1.7) является масштабирующим уравнением. Коэффициенты Нф (п) в этом рекурсивном равенстве называются масштабными коэффициентами. При этом Н^ называется масштабной последовательностью. Можно предположить, что функции ф(х) для любого подпространства могут быть построены из функций разложения соседнего подпространства более крупного масштаба.

Преобразование Фурье масштабирующей функции может быть представлено как:

Ф ({) = ши^ ФИ (0), (18)

где ф (0) = = 1.

Любая вейвлет-функция может быть выражена в виде суммы с весами масштабирующих функций с помощью уравнения (1.9).

^(х) = 72 Е пН^ (п)ф(2х-п), (19)

где коэффициенты Н^ (п) называются последовательностью для вейвлет-функции с длинной Ы,

Ну (п) = (-1)пН(р (Ы- 1 -п). (1.10)

Для получения вейвлет-функции с различными характеристиками, Н^ согласно может принимать следующие значения (вейвлет Буш4, симметричное вейвлет-семейство в четвёртом порядке).

Нф = [0.0322, -0.0126, -0.0092,0.2979,0.8037,0.4976, -0.0296, -0.0758]. На Рис.1.1 показаны известные вейвлет-функции Буш4, ёЬ4, ео1Г4 и их соответственные масштабные функции.

Рис.1.1.

Некоторые известные вейвлет-функции и соответственные масштабные функции

Дискретное вейвлет-преобразование

Подобно разложение в ряд Фурье, разложение непрерывной функции /(х) определим как (1.11), и получаемая последовательность коэффициентов называется дискретным вейвлет-преобразованием функции f(x ) [9].

f(x) = Ос, k)<pJoik (х) + ^M^Wy (J, kWJik (x), (1.11)

где

Щр(je, k) = i /(x)yjoik(x)dx, (1.12)

^ О', Ю = / (*) (1.13)

(х) = 2'/2р(2'х —&), (1.14)

(х) = 2'/2^(2'х —&). (1.15)

Обычно полагают у0 = 0 и выбирают число М так, чтобы оно было степенью двойки (т.е. М = 2^), при этом суммирование производится по значениям х = 0,1,2,..., М — 1,у = 0,1,2,...,У — 1 и к = 0,1,2,..., 2; — 1 . Само преобразование состоит из М коэффициентов, минимальный масштаб равен нулю, а максимальный равен У — 1. Определяемые формулами (1.12) и (1.13) коэффициенты обычно называются коэффициентами приближения и коэффициентами деталей.

1.2.2. Быстрое вейвлет-преобразование

Быстрое вейвлет-преобразование представляет собой эффективный метод реализации вычислений дискретного вейвлет-преобразования, который использует взаимосвязь между коэффициентами ДВП соседних масштабов. Метод БВП, называемый также иерархическим алгоритмом Малла [Ма11а11, 1989].

Рассмотрим выражения (1.12) и (1.13), которые определяют дискретное вейвлет-преобразование. Подставляя определение вейвлетов (1.15) в (1.13), получаем выражение (1.16),

^(У, Ю = ^£*№)2;/2К2;х- &). (1.16)

С помощью выражения (1.16), получаем замечательную взаимосвязь между коэффициентами ДВП соседних масштабов.

^ (У, Ю = — и + 1, Ш), (1.17)

^ (У, Л) = — (У + 1, ш). (1.18)

Сопоставляя эти равенства с определением свёртки, видим, что и коэффициенты приближения И^ (у, и коэффициенты деталей (у, масштаба у могут быть вычислены исходя из коэффициентов приближения (] + 1, масштаба у + 1 с помощью операций свёртки и прореживающей

выборки. А именно, достаточно вычислить свёртки коэффициентов (/ + 1, к) с обращёнными во времени уточняющими масштабными последовательностями Н^ (-п) и последовательностями для вейвлет-функции Ну (-п), и оставить лишь члены с чётными номерами. На Рис.1.2 эта процедура вычисления коэффициентов представлена в виде блок схемы. Можно записать,

(/, к) = Ну(-п) * и + 1,т)\п=2кЛ>о, (1.19)

О', к) = Ну (-п) * и + 1,т)\п=2кЛ>о, (1.20)

где свёртки вычисляются в моменты времени п = 2к при к > 0. Вычисление свёрток для неотрицательных чётных значений индексов эквивалентно фильтрации и прореживающей выборке с фактором 2.

Рис.1.2.

Двухмасштабный БВП блок анализа

Предполагается, что коэффициенты самого крупного масштаба суть отсчёты исходной функции. Таким образом, (/, п) = f(x), где ] - самый крупный масштаб. Первый блок фильтров на Рис.1.2 раскладывает исходную функцию на низкочастотную составляющую, приближение, которая соответствует коэффициентам (] - 1, п) , и высокочастотную детальную составляющую, которая соответствует коэффициентам Шу ( - 1, п).

Рис.1.3.

Коэффициенты фильтрации разложения (вейвлет-функция Буш4)

На Рис.1.3 представлены коэффициенты разложения, соответствующие вейвлет-функции Буш4.

1.2.3. Двухмерные вейвлет-преобразования

В двухмерном случае необходимо иметь двухмерную масштабирующую функцию ^(х, у) и три двухмерных вейвлет-функции (х, у) , (х, у) и (х, у) . Каждая двухмерная функция представляет собой произведение масштабной функции ^ и соответствующей вейвлет-функции ф . Если исключить те произведения функций ^ и ф , которые приводят к типу одномерного результата ^(х)^(х) , то оставшиеся образуют разделимую масштабирующую функцию,

^(х, у) = ^(х>(у), (1.21)

и разделимые «направленные» вейвлет-функции,

(х, у) = ^(х>(у), (1.22)

^ (х, у) = КхЖу), (1.23)

^ (х, у) = ^(хЖу), (1.24)

измеряет вариации вдоль столбцов, связанные с горизонтальными краями объектов, - вариации вдоль строк вертикальные края и - вариации вдоль диагоналей. На Рис.1.4 показаны эти двухмерные функции.

Рис.1.4.

Двухмерная масштабная функция и три двухмерных вейвлет-функций

Семейство базисных функций определяется изменением масштаба и операцией сдвигов,

У) = 2j/2^(2jX - m, 2^'у - m), (1.25)

(*, У) = 2j/2^(2jx - m, 2Jy -m) i = (Я, 7, D}, (1.26) верхний индекс i служит для идентификации направленных вейвлетов, заданных формулами (1.22)-(1.24), и принимает значения H, V или D. После этого определим дискретное вейвлет-преобразование функции /(х, у) размерами M х N следующим образом [10]:

% Оо,п) = ^ЕУ^Е^оЛ*, У)^;о,ш,п (*, У), (1.27) Wj (у, m, n) = 7===S?=-o1S?-o1/(x, y)Vj,m,n(х, у) i = (Я, 7, D}, (1.28)

где Шу (/0, т., п) характеризует коэффициенты приближения функции f(x, у) в масштабе ]0 , где ]0 произвольный начальный масштаб; Шу (], т, п) -коэффициенты деталей вейвлет-преобразования, где / = {Н, V, 0} ( Н -коэффициенты горизонтальных, V- вертикальных и О - диагональных деталей для масштабов } > /0).

Исходная функция f(x, у) может быть восстановлена по заданным коэффициентам и Шу при помощи обратного дискретного вейвлет-преобразования [11].

f(x, у) = ^ о, х, у) + ^ (], х, у), (1.29)

и (I'о, х, у) = -==! т1п Щр Но, т, п)Ф]0

(X, y), (1.30)

и (/, *, У) = -=11=нур111-]01т1пЩ 0', Ш, П)^),т,п (X, у), (1.31) где ]0 - начальный масштаб вейвлет-преобразования, ] - самый крупный масштаб, ^ (¡0, х, у) - компонент исходной функции, соответствующий коэффициентам приближений , ^ (/, х, у) - компонент исходной функции, соответствующий коэффициентам деталей Шу, I = {Н, V, 0} , ^(х, у) -двухмерная масштабирующая функция, ~ф1 (х, у), / = {Н, V, 0} - двухмерные вейвлет-функции, М, N - общее число пикселей изображения в вертикальном и горизонтальном направлении.

Двухмерное дискретное вейвлет-преобразование реализуется операцией свёрткой с масштабными последовательностями Н^ (-п) или последовательностями для вейвлет-функции Ну (-п) и прореживающей выборки. Поскольку используемые масштабирующая функция и вейвлет-функция являются разделимыми, то сначала вычисляться одномерное БВП по строкам от функции f(x, у), а затем вычисляется одномерное БВП по столбцам от полученного результата. На Рис.1.5 представлена блок-схема такой процедуры.

(по т)

Рис.1.5.

Двухмерное быстрое вейвлет-преобразование

Как и в одномерном случае, изображение f(x, у) используется в качестве коэффициентов (], т., п) на входе. Свёрткой строк изображения с последовательностями Н^ (-п) и Ну (-п) и прореживанием столбцов полученного результата мы получаем две части изображения с уменьшенным вдвое разрешением по горизонтали. Высокочастотная или детальная часть характеризует высокочастотную составляющую в вертикальном направлении изображения. Низкочастотная часть или приближение содержит информацию о низких частотах.

К обеим частям изображения затем применяется процедура фильтрации по столбцам и прореживание. Это даёт на выходе четыре изображения (четыре части исходного изображения), - , , , , каждое из которых вдвое меньших линейных размеров, чем исходное. Эти изображения, показанные на Рис.1.6, представляют собой результат применения к массиву, элементами которого являются скалярные произведения изображения f(x, у) и двухмерных масштабирующих функций и вейвлет-функций, соответствующего масштаба [12].

Рис.1.6.

Коэффициенты одномасштабного вейвлет-преобразования

На Рис.1.7 представлен блок фильтров восстановления, который служит для обращения рассмотренной выше процедуры. Каждая итерация заключается в применении к четырём частям изображения (приближению и трём детальным частям) масштаба / — 1 операций сгущающей выборки и свёртки с двумя одномерными фильтрами, один из которых действует на столбцы, а другой на строки. Сложение результатов, полученных таким образом, даёт приближение масштаба /, после чего процедура повторяется до тех пор, пока исходное изображение ни будет восстановлено.

Поскольку используемые уточняющие масштабные последовательности и последовательности для вейвлет-функции представляют собой низкочастотные и высокочастотные фильтры, то большинству методов обработки данных, основанных на Фурье анализе, соответствуют аналогичные методы обработки данных, основанные на вейвлет анализе.

- 1, т, п)

2 Т

игХ(1 -1,т,п)

Строки

(по т)

2 Т

Строки

(по т)

(по т)

¡1ф(т)

К(т)

т,п) 2 Т Нф(т)

строки Г по т)

т, п) 2 Т К,, О)

(по и)

- 2 Т кф{п)

Столбцы (по и)

- 2 Т Кр Гп)

Столбцы

){т, п) = Щр (], т, п)

Рис.1.7.

Обратное двухмерное быстрое вейвлет-преобразование

1.3. Дерево коэффициентов для кратномасштабного вейвлет-преобразования

Рассмотрим двухмасштабный блок фильтров на Рис.1.2, но разложение изобразим в виде двоичного дерева. На Рис. 1.8 показана структура дерева и привязка соответствующих масштабных коэффициентов и вейвлет-коэффициентов БВП. Корневой узел дерева отвечает коэффициентам приближения наиболее крупного масштаба, которые представляют собой отсчёты исходной функции, а листья дерева отвечают коэффициентам приближения и деталей на выходе преобразования. Единственный промежуточный узел (] — 1, п), который представляет собой приближение после фильтрации второго уровня, и превращается в два листа на выходе.

ЩрО.п) = /(п) ж^-г.п) ,п)

% (/ — 2, п) И^ (/ — 2, п)

Рис.1.8.

Дерево двухмасштабных коэффициентов одномерного БВП

На Рис. 1.9 показана структура дерева двухмасштабных коэффициентов двухмерного БВП.

Ж, (/, ш, п) = /(ш, п)

Ж,(/-1,гп,п) И/?(/ — 1,гп,п) — 1,т,п) Ш$0-1,т,п)

Ж,(/-2,ш,п) И#(/-2,т,п) шт-2,т,п) }А/°(]-2,т,п)

Рис.1.9.

Дерево двухмасштабных коэффициентов двухмерного БВП

Деревья анализа являются компактным и информативным способом представления кратномасштабных вейвлет-преобразований. В отличии от блок-схемы, в таком представлении структура дерева позволяют относительно легко заметить эффективные разложения.

Связь между коэффициентами приближений в соседнем трёх масштабе Ш(р (/ — 2, ш, п) , (/ — 1, ш, п) , и Ш(р (/, ш, п) может быть установлена, как показано на следующем Рис. 1.10.

Первь

Второй уровень

Структура дерева коэффициентов для трёхмасштабного вейвлет-прео бр азования

В двухмерном БВП, для каждого коэффициента приближения в первом уровне, можем создать 21-мерный вектор для представления этой точки, и в обычном случае размерность каждого коэффициента приближения в первом уровне определяет формулой,

где Э - размерность вектора для представления коэффициента приближения в первом уровне, п - общее количество уровня коэффициентов вейвлет-преобразования.

1.4. Выводы по Главе 1

В этом разделе были выполняли следующие работы:

1. Введено понятие вейвлет-преобразования и его преимущества по сравнению с преобразованием Фурье;

2. Используется итеративный математический метод для построения функции вейвлетов и соответственные масштабные функции для кратномасштабного анализа;

3. Показан процесс разложения и восстановления исходного сигнала или изображения с помощью одномерного БВП и двумерного БВП, проанализированы вклады различных коэффициентов приближений и

Я = 1 (4П — 1),

(1.32)

коэффициентов деталей при восстановлении исходного сигнала или изображения;

4. Введено понятие дерева коэффициентов для кратномасштабного вейвлет-преобразования, и анализируется метод его преобразования в соответствующие признаки сигнала или изображения;

5. Представлен метод построения дерева признаков через коэффициенты приближений в различных масштабах вейвлет-преобразования. Экспериментально показано, что эти признаки работают намного лучше, чем некоторые классические локальные признаки и глобальные признаки, в частности, в задаче классификации изображений, описанной в четвёртой главе диссертации.

ГЛАВА 2. ОБНАРУЖЕНИЕ ГРАНИЦ ОБЪЕКТОВ НА ЗАШУМЛЁННОМ ИЗОБРАЖЕНИИ

Обнаружение границ объектов является составной частью алгоритмов обработки изображений, искусственного интеллекта, включающего в себя машинное зрение, спутниковое дистанционное зондирование и т.д. Распознавание считается достигнутым только в том случае, если граница изображения точно определена на фоне шумов. В цифровой системе распознавания определение границ изображения занимает основное место.

Любому объекту на изображении соответствуют различные характеристики, с помощью которых можно определить свойство и границы объектов. При поиске границ объектов на изображениях и при наличии шумов используются последовательные методы обхода контура [13, 14].

В диссертации анализируются три наиболее распространённых метода обнаружения границ объектов на изображении: метод первой производной [15], кратномасштабный вейвлет анализ [16] и фрактальный метод [17]. Первый метод чувствителен к шумам и поэтому не позволяет получить удовлетворительные результаты для определения границ при наличии шумов. Последние два метода устойчивы к сравнительно малым уровням шумов, но содержат большой объём вычислений. В работе предлагается метод сингулярного разложения матрицы изображения совместно с вейвлет анализом. Это метод достаточно устойчив к шумам и ограничивается малым объём вычисления.

Экспериментальное моделирование выделения границ объектов на зашумлённом изображении с разрешением 640 X 1024 (тестовое изображение с разрешением 640 X 640) выполняется в среде ЫАТЬАБ 2014.

Список литературы диссертационного исследования кандидат наук Ван Лянпэн, 2020 год

СПИСОК ЛИТЕРАТУРЫ

1. Андреев Г. Г., Кравцова В. И., Михайлов В. И. Определение возможностей космического мониторинга необследованных территорий на основе сканерной информации высокого и среднего разрешения // Исследования Земли из космоса. 1996. №3. С. 57-67.

2. Ту Дж, Гонсалес Р. Принципы распознавания образов. М.: Мир. 1978. 416 с.

3. Сакрутина Е. А., Бахтадзе Н. Н. Идентификация систем на основе вейвлет анализа // XII всероссийское совещание по проблемам управления ВСПУ-2014. 2014. С. 2868-2889.

4. Ghanem R., Romeo F. A wavelet-based approach for the identification of linear time-varying dynamical systems // Journal of Sound and Vibration. 2000. Vol. 234, No. 4. P. 555-576.

5. Ghanem R., Romeo F. A wavelet-based approach for model and parameter identification of non-linear systems // International Journal of Non-Linear Mechanics. 2001. Vol. 36, No. 5. P. 835-859.

6. Чжу Сиань, Цао Линь. Вейвлет анализ и его применение в цифровой обработке изображений. Пекин: Издательство электронной промышленности. 2012. 233 с.

7. Grossmann A, Morlet J. Decomposition of Hardy functions into square integrable wavelets of constant shape // SIAM journal on mathematical analysis, 1984. Vol. 15, No.4. P. 723-736.

8. Сидни Б., Рамеш A. Введение в вейылет и вейвлет-преобразование. Нью Джерси: Прентис Холл. 1998. 159 с.

9. Mallat S. A wavelet tour of signal processing. Academic press, Boston. 1999. 851 p.

10. Daubechies I. The wavelet transform, time-frequency localization and signal analysis // IEEE transactions on information theory. 1990. Vol. 36, No. 5. P. 9611005.

11. Mallat S. A compact multiresolution representation: the wavelet model. IEEE Computer Society Press, Washington D.C. 1987. 623 p.

12. Rao R. M., Boros T., Bopardikar A. S. Wavelet transforms: introduction to theory and applications // Journal of Electronic Imaging. 1999. Vol. 8, No. 4. P. 478.

13. Перов А. И., Соколов Г. Г. Алгоритм последовательного выделения контура объекта на двумерных цифровых изображениях // Радиотехника. 1998. №7. С. 116-121.

14. Сирота А. А., Соломатин А. И. Статистические алгоритмы обнаружения границ объектов на изображениях // Вестник воронежского государственного университета. 2008. №1. С. 58-64.

15. Гонсалес Р., Вудс Р. Цифровая обработка изображений. М.: Техносфера, 2006. 1073 с.

16. Чэнь донг, Ван янь. Обнаружение границ объектов на изображении с помощью метода кратномасштабного анализа вейылета // Вычислительная техника и дизайн. 2013. №2. C. 35-38.

17. Сюн Сиантань, Цян Чэн. Вейвлет метод для зашумлённых данных // Научный мир. 2015. №5. С. 15.

18. Син шанинь. Методы обнаружения границ объектов на изображении // Китай Сеть знаний. 2013. №2. С.23-37.

19. Чжан Куньхуа, Ван Цзин. Метод обнаружения границ изображения, основанный на фрактальной функции // Оптоэлектронная техника. 2001. №6. С. 53-55.

20. Пелегом С., Наор Д., Хартли Р. Анализ множественного разрешения текстура и классификация // Сделки IEEE по анализу картины и машинного интеллекта. 1984. №4. С. 518-522.

21. Сазонов В. В., Щербаков М. А. Повышение контрастности цифровых изображений // Проблемы автоматизации и управления в технических системах. 2013. №4. С.168-170.

22. Грейс С., Бен У., Мартин В. Адаптивное вейвлет-пороговое значение для шумоподавления и сжатия изображений // Сделки IEEE по обработке изображения. 2000. №9. С. 1532-1544.

23. Тосикадзу Като. Архитектура баз данных для поиска изображений на основе содержания // Системы хранения и извлечения изображений. 1992. №4. С. 166-177.

24. Rui Y, Huang T S, Chang S F. Image retrieval: Past, present, and future [C] // Journal of Visual Communication and Image Representation. 1997. Vol. 4, No. 1. P. 1-23.

25. Джон А., Канав К., Прем К. Характеризация высокого уровня содержания естественных изображений с использованием лексических базисных функций // Труды SPIE. 2003. №5. С.378-391.

26. Мэн Фань Цзе, Го Баолун. Исследование ключевых технологий CBIR // Исследование компьютерных технологий. 2004. №7. С. 21-24.

27. Васильева Н. С. Методы поиска изображений по содержанию // Компьютерная графика. 2009. №3. С. 51-80.

28. Лоу Д. Г. Признаки изображения от масштабно-инвариантных ключевых точек // Международный журнал компьютерного зрения. 2004. №2. С. 91-110.

29. Bay H. SURF: Speeded up robust features // Computer Vision and Image Understanding. 2008. Vol. 110, No. 3. P. 346-359.

30. Этан Р., Винсент Б. ORB: Эффективная альтернатива SIFT или SURF // ICCV 2011. С. 2564-2571.

31. Ortiz R. FREAK: Fast Retina Keypoint // Proc. of the 2012 IEEE Conference on Computer Vision and Pattern Recognition. CVPR'12. 2012. P. 510517.

32. Тан Шиаомэн, Ван Юньфэй, Чожу Кэ. Метод быстрого извлечения для крупномасштабных изображений на основе множественного хеш-алгоритма // компьютерная инженерия и наука. 2016. №7. С. 1317-1321.

33. Локтев Д. А. Разработка и исследование методов определения параметров статичных и движущихся объектов в системе мониторинга : дис. ... канд. техн. наук. М., 2015. С. 104-133.

34. Пименов В. Ю. Метод поиска нечетких дубликатов изображений на основе выявления точечных особенностей // Труды семинара РОМИП 20072008. СПб.: НУ ЦСИ, 2008. С. 145-159.

35. Никитин А. Н. Идентификация и локализация клеток на микроскопических изображениях с использованием SIFT-алгоритма // Методы микроскопического анализа. Сборник статей. М.: Издание ЗАО "Медицинские Компьютерные Системы (МЕКОС)". 2009. Выпуск 1. С. 114 - 125.

36. Ke Y., Suthanakar R. PCA-SIFT: A More Distinctive Representation for Local Image Descriptors // Comput. Vis. And Pattern Recogn. 2004. Vol. 2, No.3. P. 506-513.

37. Zalesky B. A., Lukashevich P. V. Scale Invariant Algorithm to Match Regions on Aero or Satellite Images // Proc. Pattern Recognition and Information Processing. 2011. P. 25-30.

38. Мирамонте-Харамилло Д., Диас-Рамирес В. Х., Кобер В. И. Алгоритм сопоставления изображений на основе скользящих гистограмм направленных градиентов // Информационные процессы. 2014. №1. С. 56-63.

39. Rosten, Edward, Tom Drummond. Machine learning for high-speed corner detection // Proc. 9th European Conference on Computer Vision. ECCV'06. 2006. P. 430- 443.

40. Calonder M., Lepetit V., Strecha C. BRIEF: binary robust independent elementary features // Proc. 11th European Conference on Computer Vision. ECCV'10. 2010. P. 778-792.

41. Ли Зинь, Чжу Минлин, Чэн Чжу. Алгоритм отслеживания объектов, основанный на перцептивной хеш-технологии // Журнал изображений и графики. 2015. №6. С. 795-804.

42. Джоди Р. Первый курс по прикладной математике. Миссури: MILEY издательство. 2012. 456 c.

43. Оливер И. Стохастическое моделирование с помощью Марковского процесса. Лоуэлл: ELSEVIER издательство. 2013. 514 с.

44. Tu T. M. A Fast Two-Stage Classification Method for High-Dimensional Remote Sensing Data // IEEE Transaction of Geoscience & Remote Sensing. 1998. Vol. 36, No. 1. P.182-191.

45. Tuan T., William D., Philpot. A. Derivative-Aided Hiperspecrtal Image Analysis System for Land-Cover Classification // IEEE Transaction of Geoscience & Remote Sensing. 2002. Vol. 40, No. 2. P. 416-425.

46. Chain C. Least Squares Subspace Projection Approach to Mixed Pixel Classification for Hiperspectral Images // IEEE Transaction of Geoscience & Remote Sensing. 1998. Vol. 36, No. 3. P. 899-912.

47. Лангвил А. Н., Мейер С. Д. Алгоритм рейтинга Google и за его пределами: Наука рейтинга поисковых систем. Принстон: Принстонский университетский пресс. 2011. 240 c.

48. Маслий Р. В. Использование локальных бинарных шаблонов для распознавания лиц на полутоновых изображениях // Информационные технологии и компьютерная техника. 2008. №4. С. 104-110.

49. Виол П., Джонс М. Надёжное распознавание лиц в реальном времени // Международный журнал компьютерного зрения. 2004. №2. С. 137-154.

50. Sushma J., Rakesh S. J. Comparison between face recognition algorithm Eigenfaces, Fisherfaces and elastic bunch graph matching // Journal of global research in computer science. 2012. Vol. 2, No. 7. P. 187-193.

51. Спицын В. Г., Болотова Ю. А., Шабалдна Н. В. Распознавание лиц на основе метода главных компонент с применением вейвлет-дескрипторов хаара и добеши // Научная визуализация. 2016. №5. С. 103-112.

52. Рогозин О. В., Кладов С. А. Сравнительный анализ алгоритмов распознавания лиц в задаче визуальной идентификации // Инженерный журнал: наука и инновации. 2013. №6. С. 74-98.

53. Ящина М. В., Толмачев А. А. Методы распознавания образов для оценки характеристик пешеходных потоков // Телекоммуникации и транспорт. 2017. №8. С. 45-51.

54. Dalal N., Triggs B. Histograms of Oriented Gradients for Human Detection // Proc. of the IEEE Conference Computer Vision and Pattern Recognition. 2005. P. 886-893.

55. Dalal N., Triggs B., Schimid C. Human detection using oriented histograms of flow and appearance // European Conference on Computer Vision (ECCV). 2006. P. 428-441.

56. Zhu Q., Avidan S., Yeh M.C. Fast human detection using a cascade of histograms of oriented gradients // Conference on Computer Vision and Pattern Recognition (CVPR). 2006. P. 1491-1498.

57. Mikolajczyk K., Schmid C., and Zisserman A. Human detection based on a probabilistic assembly of robust part detectors // European Conference on Computer Vision (ECCV). 2004. P. 69-82.

58. Dalal N., Triggs B. Histograms of Oriented Gradients for Human Detection // Computer Vision and Pattern Recognition. 2005. Vol. 1, No. 2. P. 886-893.

59. Ahonen T., Hadid A., Pietikainen M. Face Recognition with Local Binary Patterns // Proc. 8th European Conference on Computer Vision (ECCV). 2004. P. 469-481.

60. Донг Чен Хэ, Ли Ван. Блок текстуры, спектр текстуры, и анализ текстуры // Геофизика и дистанционное зондирование. 1990. №4. С. 509-512.

61. Shashua A., Gdalyahu Y., and Hayon G. Pedestrian detection for driving assistance systems: Single-frame classification and system level performance // IEEE Intelligent Vehicles Symposium. 2004. P. 1-6.

62. Dalal N., Triggs B., Schimid C. Human detection using oriented histograms of flow and appearance // European Conference on Computer Vision (ECCV). 2006. P. 428-441.

63. Lowe D. G. Object recognition from local scale-invariant features // Proc. International Conference on Computer Vision. 1999. Vol. 2, No. 5. P. 1150-1157.

64. Zalesky B. A., Lukashevich P. V. Scale Invariant Algorithm to Match Regions on Aero or Satellite Images // Proc. Pattern Recognition and Information Processing. 2011. Vol. 11, No.6. P. 25-30.

65. Ho T. K. The Random Subspace Method for Constructing Decision Forests // IEEE Transactions on Pattern Analysis and Machine Intelligence. 1998. Vol. 20, No 8. P. 832-844.

66. Gehrke J., Ramakrishnan R., Ganti V. Rainforest a framework for fast decision tree construction of large datasets // Data Mining and Knowledge Discovery. 2000. Vol. 4, No 2. P. 127-162.

67. Kwok S. W., Carter C. Multiple decision trees // Uncertainty in Artifcial Intelligence. 1990. Vol. 4. P. 327-335.

68. Shlien S. Multiple Binary Decision Tree Classifiers // Pattern Recognition. 1990. Vol. 23, No 7. P. 757-763.

69. Drucker H., Cortes C. Boosting decision trees / Eds. D. Touretsky, M. Mozer et al. // Advances in Neural Information Processing Systems. Cambridge: MA. MIT Press, 1996. Vol. 8. P. 479-485.

70. Ho T. K. Random Decision Forests // Proceedings of the 3rd International Conference on Document Analisis and Recognition, (Montreal, Canada, 1995). 1995. P. 278-282.

71. Ho T. K. C4.5 Decision Forests // Proceedings of the 14rd International Conference on Pattern Recognition. (Brisbane, Australia, 1998). 1998. P. 17-20.

72. Чистяков С. П. Случайные леса: обзор // Труды карельского научного центра российской академии наук. 2013. №1. С. 117-136.

73. Breiman L., Friedman R., Olshen R. Classification and Regression Trees. Belmont, California: Wadsworth International. 1984. 342 p.

74. Ishwaran H., Kogalur U., Blackstone E. Random survival forests // Ann. Appl. Statist. 2008. Vol. 2, No 3. P. 841-860.

75. Quinlan J. R. Simplifying decision trees // International Journal of ManMachine Studies. 1987. Vol. 27, No. 3. P. 221-234.

76. Kuncheva L. I. Combining Pattern Classifiers: Methods and Algorithms. Hoboken, New Jersey: John Wiley Sons. 2004. 349 p.

77. Матвеев Д. В. Разработка алгоритмов анализа аудитории для систем прикладного телевидения : дис. ... канд. техн. наук. Ярославль, 2015. С. 26-29.

78. Vapnik V., Chapelle O. Bounds on error expectation for support vector machines // Neural Computation. 2000. Vol. 12, No. 9. P. 2013-2036.

79. Sung K., Poggio T. Example-Based Learning for View-Based Human Face Detection // Technical Report AI Memo 1521, Massachusetts Inst. of Technology AI Lab. 1994. P. 1-20.

80. Oren M., Papageorgiou C., Sinha P. Pedestrian Detection Using Wavelet Templates // Proc. IEEE Conf. Computer Vision and Pattern Recognition. 1997. P. 193-199.

81. Osuna E., Freund R., Girosi F. Training Support Vector Machines: An Application to Face Detection // Proc. IEEE Conf. Computer Vision and Pattern Recognition. 1997. P. 130-136.

82. Papageorgiou C., Oren M., Poggio T. A General Framework for Object Detection // Proc. 6th IEEE International Conference on Computer Vision. 1998. P. 555-562.

83. Дамьяновски В. CCTV. Библия видеонаблюдения. Цифровые и сетевые технологии. М.: Ай-Эс-Эс Пресс. 2006. 480 с.

84. Бен Г., Дэвид Х., Хава Т. Классификация с помощью опорных векторов // Журнал исследований машинного обучения. 2001. №2. С.125-137.

85. Гао Вэй, Чжоу Чжихуа. О сомнении в маржинальном объяснении бустинга // Искусственный интеллект. 2013. №2. С. 1-18.

86. T. Zhang. Statistical behavior and consistency of classification methods based on convex risk minimization // Annals of Statistics. 2004. Vol. 32, No. 1. P. 56-85.

87. Добеши И. Десять лекций по вейвлетам. Ижевск: НИЦ Регулярная и хаотическая динамика. 2001. 461с.

88. Чжу Сиань, Цао Линь. Вейвлет анализ и его применение в цифровой обработке изображений. Пекин: Издательство электронной промышленности, 2012. 233 с.

89. Гультяева Т. А., Попов А. А., Уваров В. Е. Использование гибридных вычислений для оптимизации процесса распознавания последовательностей, описываемых скрытыми Марковскими моделями // Сборник научных трудов новосибирского государственного технического университета: Сб. науч. тр. Новосибирск, 2015. С. 42-55.

90. Lawrence R. Rabiner. A Tutorial on Hidden Markov Models and Selected Applications in Speech Recognition // Proceedings of the IEEE. 1989. Vol. 77, No. 2. P. 257-286.

91. Андрев Ж. В. Границы ошибок для свёрточных кодов и алгоритм асимптотически оптимального декодирования // Основы цифрового беспроводного мира. 1966. №2. С.41-50.

92. Гультяева Т. А., Попов А. А. Классификация последовательностей, смоделированных скрытыми марковскими моделями при наличии аддитивного шума // Научный вестник НГТУ. 2012. №3. С. 17-24.

93. Meng J.E., Shiquian W., Juwei L. Face Recognition with Radial Basis Function (RBF) Neural Networks // IEEE Transactions on Neural Networks. 2002. Vol. 13, No. 3. P. 697-710.

94. Баум Л. Е., Петри Т., Суулз Д. Техника максимизации, возникающая при статистическом анализе вероятностных функций марковских цепей // Летопись математической статистики. 1970. №1. С. 164-171.

95. Shafee F. Neural Networks with Quantum Gated Nodes // Engin. Appl. Artificial Intelligence. 2007. Vol. 20, No. 4. P. 429-437.

96. Галушкин А. И. Основы нейроуправления // Информационные технологии. 2002. №10. С. 2-16.

97. Мак-Каллок У., Питтс У. Логические исчисления идей, относящихся к нервной активности. М.: ИЛ, 1956. 133 c.

98. Hopfield J. J. Neural networks and phisical systems with emergent collective computational abilities // Proc. Nat. Acad. Sci. U.S.A. 1982. Vol. 79, No. 3. P. 25542558.

99. Rumelhart D. E., Hinton G. E., Williams R. J. Learning internal representations by error propagation // Parallel distributed processing. 1986. Vol. 1, No. 5. P. 318-362.

100. Aarts E. H. L., Laarhoven P. Simulated annealing: Theory and applications. London: Kluwer. 1987.

101. Goldberg D. E. Genetic algorithms in search, optimization and machine learning. New York: Addison-Wesley, Reading, MA. 1989. 99 p.

102. Kennedy. J., Eberhart R. Particle swarm optimization // Proc. 1995 IEEE International Conference on Neural Networks IEEE Press. 1995. P. 1942-1948.

103. Чернодуб А. Н., Дзюба Д. А. Обзор методов нейроуправления // Проблемы программирования. 2011. №2. С. 79-94.

104. Dorigo M. The ant system: Optimization by a colony of cooperating agents // IEEE Trans. Systems Man Cybernetics. Pt B. Cybernetics. 1996. Vol. 26, No. 1. P. 29-41.

105. Wolpert D. H. Stacked Generalization // Neural Networks. 1992. Vol. 5, No. 2. P. 241-259.

106. Hornik K., Stinchcombe M., White H. Multilayer Feedforward Networks are Universal Approximators // Neural Networks. 1989. Vol. 2, No. 5. P. 359-366

107. Горожанина Е. И. Нейронные сети: Учебное пособие. Самара: ФГБОУ ВО ПГУТИ. 2017. 84 с.

108. Qian N. On the Momentum Term in Gradient Descent Learning Algorithms // Neural Networks: The Official Journal of the International Neural Network Society. 1999. Vol. 12, No. 1. P. 145-151.

109. Уоссермен Ф. Нейрокомпьютерная техника. М.: Мир. 1992. 184 с.

110. Gaviphat L. Adaptive Self-Tuning Neuro Wavelet Network Controllers // PhD thesis. Blacksburg, Virginia. 1997. 122p.

111. Хайкин С. Нейронные сети: полный курс, (2-e издание: Пер. с англ.). М.: Издательский дом «Вильямс». 2006. 1104 с.

112. Уоссермен Ф. Нейрокомпьютерная техника: Теория и практика. М.: Мир. 1992. 240 с.

113. Mohamed Othmani, Yassine Khlifi. 3D Object Model Reconstruction Based on Polywogs Wavelet Network Parametrization // International Journal of Computer and Information Engineering. 2016. Vol. 10, No. 7. P. 1289-1294.

114. Gaviphat L. Adaptive Self-Tuning Neuro Wavelet Network Controllers. PhD thesis. Virginia. 1997. P. 35-45.

115. Werbos P. J. Back-Propagation: Past and Future // Proceeding of International Conference on Neural networks. San Diego, CA. 1988. Vol. 1, No. 7. P. 343-354.

116. Samad T. Back-Propagation Improvements Based on Heuristic Arguments // Proceedings of International Joint Conference on Neural networks, Washington. 1990. Vol. 1, No. 3. P. 565-568.

117. Solla S. A., Levin E., Fleisher M. Accelerated Learning in Layered Neural Networks // Complex Systems, 1988. Vol. 2, No. 6. P. 625-639.

118. Marquardt D. An Algorithm for Least-Squares Estimation of Nonlinear Parameters // SIAM Journal on Applied Mathematics. 1963. Vol. 11, No. 2. P. 431441.

119. Махотило К. А., Вороненко Д.И. Модификация алгоритма Левенберга-Марквардта для повышения точности прогностических моделей связного потребления энергоресурсов в быту // Вестник Национального технического университета Харьковский политехнический институт. Серия: Информатика и моделирование. 2005. №5. С. 83-90.

120. Рудой Г. И. Индуктивное порождение суперпозиций в задачах нелинейной регрессии // Машинное обучение и анализ данных. 2011. №2. С. 183-197.

121. Yoshua Bengio. Practical recommendations for gradient-based training of deep architectures // Neural Networks: Tricks of the Trade. 2012. Vol. 7700, No. 2. P. 437-478.

122. Лю Фэн, Лю Хэйшэн. Прогнозирование трендов тяги на ЭВС на основе улучшенных вейвлет-нейронных сетей // Автоматизация производства. 2017. №7. С. 15-20.

123. Bakhtadze N. N., Lototsky V. A., Vlasov S. A. Associative Search and Wavelet Analysis Techniques in System Identification // IFAC-PapersOnLine. ISSN: 1474-6670. 16th IFAC Symposium on System Identification. 2012. Vol. 16, No 1. P. 1227-1232.

124. Williams T., Li R. Advanced image classification using wavelets and convolutional neural networks [C] // 15th IEEE International Conference on Machine Learning and Applications (ICMLA). 2016. P. 233-239.