Методы распознавания изображений лиц на основе инвариантов к аффинным и яркостным преобразованиям

Нгуен Зуй Тхань

Методы распознавания изображений лиц на основе инвариантов к аффинным и яркостным преобразованиям тема диссертации и автореферата по ВАК РФ 05.13.17, кандидат наук Нгуен Зуй Тхань

Нгуен Зуй Тхань
кандидат наук
2018

Специальность ВАК РФ05.13.17

Количество страниц 117

Нгуен Зуй Тхань. Методы распознавания изображений лиц на основе инвариантов к аффинным и яркостным преобразованиям: дис. кандидат наук: 05.13.17 - Теоретические основы информатики. ФГАОУ ВО «Российский университет дружбы народов». 2018. 117 с.

Оглавление диссертации кандидат наук Нгуен Зуй Тхань

ВВЕДЕНИЕ

ГЛАВА 1. АНАЛИТИЧЕСКИЙ ОБЗОР РАБОТ ПО РАСПОЗНАВАНИЮ 2D-и 3D- ИЗОБРАЖЕНИЙ ЛИЦ

1.1. Основные понятия и определения

1.2. Методы распознавания лиц по 2Э-изображениям

1.3. Методы распознавания лиц по 3Э-изображениям

1.4. Инвариантные моменты как признаки для распознавания лиц

1.5. Постановка задач кластеризации и распознавания лиц

1.6. Выбор метрики для распознавания лиц

1.7. Выводы к Главе

ГЛАВА 2. ЗАДАЧА ТРЕХМЕРНОЙ РЕКОНСТРУКЦИИ,

ИССЛЕДОВАНИЕ УСТОЙЧИВОСТИ И ТОЧНОСТИ 3D- МОДЕЛЕЙ ЛИЦ

2.1. Реконструкция 3Э-модели по стереоизображениям и проблема обусловленности фундаментальной матрицы

2.2. Параметрический подход к трехмерной реконструкции изображений

2.3. Оценка чувствительности восстановления трехмерных координат на основе стереопары при наличии возмущений

2.4. Оценка точности восстановления трехмерных координат. Выбор оптимального приближения

2.5. Выводы к Главе

ГЛАВА 3. РАЗРАБОТКА И ИССЛЕДОВАНИЕ МЕТОДОВ

СОПОСТАВЛЕНИЯ И РАСПОЗНАВАНИЯ ЛИЦ НА ОСНОВЕ ИНВАРИАНТОВ43

3.1.Выбор и исследование свойств инвариантов в задачах распознавания

3.1.1. Простейшие геометрические инварианты

3.1.2. Коэффициенты тейлоровского разложения

3.1.3. Исследование инвариантности моментов

3.2. Проверка устойчивости и чувствительности моментов к искажениям данных

3.3. Методы корректного сопоставления изображений лиц

3.3.1. Задачи корректного сопоставления и сравнения 2Э-изображений

3.3.2. Задачи корректного сопоставления и сравнения 3Э-изображений

3.3.3. Сравнение изображений на основе 3Э-инвариантов

2

3.4. Метод наведения 3Э-модели изображения на 2Э-изображения лиц

3.5. Выводы к Главе

ГЛАВА 4. РАЗРАБОТКА ПРОГРАМНОГО ОБЕСПЕЧЕНИЯ И

ПРОВЕДЕНИЕ ЭКСПЕРИМЕНТОВ

4.1.Архитектура и среда программирования системы распознавания

4.1.1. Модуль визуализации и управления 3D моделью лица

4.1.2. Модуль расчета 2Э и 3Э- инвариантов и их чувствительности

4.1.3. Модуль наведения 3Э-модели на фотографию лица

4.1.4. Модуль распознавания лиц на основе метрики Евклида-Махаланобиса

4.2. Применение программного обеспечения для распознавания лиц

4.3. Выводы к Главе

ЗАКЛЮЧЕНИЕ

ЛИТЕРАТУРА

ПРИЛОЖЕНИЕ

Приложение

ВВЕДЕНИЕ

Введение диссертации (часть автореферата) на тему «Методы распознавания изображений лиц на основе инвариантов к аффинным и яркостным преобразованиям»

Актуальность исследования

В настоящее время успешно развивается направление, связанное с

интеллектуализацией методов обработки и анализа данных, в котором важную

роль играют задачи распознавания. В последнее время наблюдается повышение

интереса к задаче распознавания лиц, сопровождаемое проведением российских и

международных конкурсов. Так в 2015 году был проведен Открытый конкурс

Фонда перспективных исследований на лучший демонстрационный образец

технологии распознавания лиц людей. В 2016 году прошло мировое соревнование

по распознаванию лиц на данных «Mega face Challenge», организованное

Вашингтонским Университетом (University of Wаshingtona в 2017 году

Американское агентство передовых исследований в сфере разведки (IARPA)

совместно с Национальным институтом стандартов и технологий США (NIST)

провело конкурс «Face Recognita Prize Chаllenge». На сегодняшний день

имеется много различных методов и алгоритмов распознавания лиц,

опирающихся на метод главных компонент, нейронные сети, Марковские цепи,

эластичные графы, вейвлет-анализ, метод опорных векторов и другие

инструментальные средства, однако они не обеспечивают получение

гарантированного решения. Эксперименты показывают, что 2D-модели имеют

ограниченное применение, поскольку их затруднительно применять для

распознавания лиц при различных ракурсах головы, естественной мимики,

наличии гримас и других помех. В связи с этим все большее внимание уделяется

3D-моделям, полученным с использованием камер высокого разрешения,

применение которых в ряде случаев позволяет увеличить точность и полноту

распознавания. Здесь отметим работы зарубежных исследователей (Naser Zaeri,

Faris Baker, Akihiro Hayаsaka, Takuma Shibahara, KoichiIto, Takafumi Aoki, Hiroshi

Nakajima, Koji Kobayashi, Ron Kimmel Burel, Hugues Henocq и др.) и

отечественных ученых (Манолов А.И., Соколов А.Ю., Степаненко О.В., Тумачек

А.С, Тяхт А.В., Цискаридзе А.К., Заварикин Д.Н., Кадейшвили А.А. и др.),

внесших вклад в это направление. Отметим также исследования авторов

4

(Бессмельцев В.П., Булушев Е.Д., Волегов Д.Б., Юрин Д.В., Роженцов А.А., Морозовский К.В., БаевА.А. и др.), посвященные методам сопоставления лиц и других объектов.

В задачах распознавания графических образов желательно иметь такие характеристики изображения, которые не зависели бы от масштаба, ориентации и качества анализируемого снимка. Можно отметить рост числа работ по распознаванию лиц на основе различных инвариантов к яркостным и аффинным преобразованиям. Широкое распространение получили инварианты, отмеченные в работах ряда ученых (Путятин Е.П., Аверин С.И., Шмидт А.А., Hu, WongR.Y., HallE.L. и др.). В задачах распознавания лиц в качестве информативных интегральных признаков часто используют инвариантные моменты. Здесь необходимо отметить работы (Zaeri N, Baker F., Dib R., Jan Flusser, Tomás Suk, Barbara Zitová), в которых систематизируются знания о применении инвариантных моментов, в том числе содержится библиография по распознаванию лиц. Инварианты полезны тем, что способны при определенных условиях выступать в роли существенных признаков, сохраняющих и передающих характерные особенности изображений, что увеличивает вероятность правильного распознавания. Инвариантный подход к распознаванию является одним из немногих подходов, допускающих точную математическую постановку задачи классификации объектов. Однако, при ближайшем изучении оказывается, что описания многих из них в различных источниках приведены без необходимых доказательств и содержат неточности, что требует фундаментальной проверки. Имеющиеся подходы для распознавания лиц обладают недостаточной точностью в сложной реальной обстановке, характеризующейся присутствием шумов на изображениях и на видеопоследовательностях. Таким образом, несмотря на создание новых алгоритмов, методов и подходов, проблема распознавания лиц до сих пор не решена в полном объеме.

В настоящей работе основное внимание уделено задаче корректного

сопоставления и сравнения изображений лиц с применением таких

5

инструментальных средств как свертки, линии положения и моменты (imаge mоments). Отметим, что процедура наилучшего сопоставления является важнейшей составной частью задачи определения близости изображений с целью их кластеризации или распознавания. Задачам проводимых исследований являются 3Э-моделирование, формирование наборов 2Э- и 3Э-инвариантов, а также разработка на этой основе методов распознавания изображений лиц, подвергнутых аффинным и яркостным преобразованиям.

Цель диссертационной работы

Целью диссертационной работы является исследование и разработка методов и алгоритмов распознавания лиц на основе инвариантов к аффинным и яркостным преобразованиям. Цель достигается решением следующих основных задач:

1. Анализ существующих методов распознавания 2Э-и 3Э-изображений лиц, выявление их преимуществ и недостатков.

2. Оценки точности восстановления (реконструкции) 3Э-изображений по стереопаре в зависимости от выбранного критерия качества.

3. Исследование на инвариантность и отбор 2Э-и 3Э-моментов в качестве дескрипторов изображений, анализ их чувствительности к геометрическим и к яркостным искажениям.

4. Разработка и исследование наборов 2Э- и 3Э-инвариантных моментов совместно с различными классификаторами (метриками, нейронными сетями) для практического решения задач распознавания лиц.

5. Разработка и исследование методов сравнения графических объектов на основе построения геометрических моментов как инвариантов к аффинным преобразованиям и линий положения как яркостных инвариантов.

6. Разработка и исследование метода оптимального наведения 3Э-моделей на 2Э-изображения лиц с целью последующего распознавания.

7. Создание специализированного программного обеспечения для распознавания лиц человека на основе разработанных методов и алгоритмов.

Основные положения, выносимые на защиту:

1. Методы оценки качества трехмерной реконструкции изображений по стереоизображениям, формирование различных постановок оптимизационных задач.

2. Обоснование инвариантности 2Э-и 3Э-моментов в качестве дескрипторов изображений для решения задачи распознавания лиц.

3. Методы «грубого» (на основе линий положения) и «точного» (на основе наведения 3Э-модели) совмещения изображений для решения задач распознавания.

4. Методы и алгоритмы решения задач распознавания лиц с применением 2Э- и 3Э-инвариантных моментов, линий положения, обобщенной метрики и нейросетевых классификаторов.

Научная новизна результатов диссертационной работы заключается в следующем:

1. Получены оценки устойчивости трехмерной реконструкции изображений лиц к флуктуациям при условии хорошей начальной обусловленности фундаментальной матрицы. Даны постановки оптимизационных задач трехмерной реконструкции для различных критериев качества.

2. Доказаны утверждения об инвариантности наборов 2Э- и 3Э-моментов идеальных изображений к группе аффинных преобразований и утверждения об инвариантности линий положения к яркостным преобразованиям 2Э- и 3Э-изображений, что позволяет научно обоснованно использовать их для анализа и классификации лиц.

3. Получены оценки устойчивости 2Э- и 3Э-моментов к флуктуациям изображений, которые следует учитывать в задачах распознавания лиц.

4. Разработан и исследован алгоритм оптимизации наведения проекции 3Э-модели изображения на 2Э-изображение на основе среднеквадратичного критерия рассогласования моментов и пикселей.

Теоретическая значимость. Теоретическая значимость результатов диссертации состоит в разработке и исследовании интегрированных методов распознавания 2Э- и 3Э-изображений лиц с применением яркостных и геометрических инвариантов в сочетании с набором классификаторов на основе метрик и нейронных сетей.

Методы исследования. При выполнении диссертационной работы использовались методы вычислительной геометрии и компьютерной графики, алгебра матриц, методы теории кластеризации и распознавания образов, алгоритмы цифровой обработки изображений, технологии разработки программного обеспечения.

Обоснованность и достоверность результатов. Полученные в диссертации результаты обоснованы корректным использованием математических методов, постановкой и решением оптимизационных задач. Достоверность подтверждается проведенными математическими выкладками, доказательствами утверждений, результатами вычислительных экспериментов с использованием реальных баз изображений лиц.

Практическая значимость. На основе выполненного исследования

разработано программное обеспечение, предназначенное для решения задач

идентификации 2Э- и 3Э-изображений лиц. Экспериментально показано, что

совместное применение инвариантных моментов и классификаторов в виде

метрик Махаланобиса, Евклида-Махаланобиса и нейронных сетей позволяет

решать практические задачи идентификации реальных изображений лиц,

содержащих гримасы и помехи, с достаточно высокой точностью. Проведенные

эксперименты показали, что доля ошибки распознавания составила от 6.67% до

11% в зависимости от условий эксперимента. Разработанные алгоритмы являются

универсальными, их целесообразно использовать в составе поисковых систем на

заключительных этапах после предварительного выделения лиц, что позволит

повысить точность и полноту поиска. Работа выполнялась в рамках проекта

«Разработка методов распознавания объектов на основе 3Э-моделей и

инвариантов к аффинным и яркостным преобразованиям с применением

8

высокопроизводительных вычислений» по Программе ОНИТ-1 РАН «Интеллектуальные информационные технологии, системный анализ и автоматизация». Получено свидетельство о регистрации программы для ЭВМ.

Апробация работы. Результаты диссертационной работы обсуждались и докладывались на следующих конференциях и семинарах:

1. Всероссийская конференция (с международным участием) «Информационно-телекоммуникационные технологии и математическое моделирование высокотехнологичных систем» (ИТТММ-2015,20-24 апреля 2015 г., г.Москва, РУДН); (ИТТММ-2016, 18-22 апреля 2016г., г.Москва, РУДН,);

2. IV Всероссийская научная конференция молодых ученых с международным участием «Информатика, управление и системный анализ» (ИУСА-2016, 8-11 июня 2016 г., г Тверь, ТвГТУ);

3. 19-й Международная конференция «Распределенные компьютерные и телекоммуникационные сети: управление, вычисление, связь» ^^N-2016,21 -25 ноября, 2016 г., г.Москва, РУДН);

4. Международная научно-практическая конференция «Концепции фундаментальных и прикладных научных исследований» (20 февраля 2017 г., г. Казань).

5. V Международной научно-практической конференции «Актуальные проблемы технических наук в России и за рубежом», (г. Новосибирск, февраль 2018).

6. XIX Международный научно-практический форум студентов, аспирантов и молодых ученых «Актуальные проблемы информатики и информационных технологий в образовании», Краснояск 22 Мая 2018 г.

7. Шестнадцатая Национальная конференция по искусственному интеллекту с международным участием КИИ-2018 (24-27 сентября 2018 г., г. Москва, Россия).

8. Семинары лаборатории 0-4 «Методы интеллектуального управления» ИСА ФИЦ ИУ РАН и кафедры «Информационные технологии» факультета ФМиЕН РУДН в (2015-2018 г.г.).

Публикации. Основные результаты диссертационной работы изложены в 14 печатных работах, в том числе 4 статьи опубликованы в рецензируемых изданиях, рекомендованных ВАК РФ; 1 статья в журнале "Scientific and Technical Information Processing"; 5 статей в трудах международных и всероссийских научных конференций и 4 работы в виде тезисов докладов конференций. Получено 1 свидетельство о регистрации программы для ЭВМ.

Структура и объем работы. Диссертация содержит введение, четыре главы, заключение и список использованной литературы, содержащий 61 наименований. Общий объем диссертации составляет 95 страниц машинописного текста, иллюстрированного 16 рисунками и 20 таблицами. В Приложение вынесены доказательства инвариантности, коды программ и скан-копия свидетельства о регистрации программы для ЭВМ.

ГЛАВА 1. АНАЛИТИЧЕСКИЙ ОБЗОР РАБОТ ПО РАСПОЗНАВАНИЮ 2D-

и 3D- ИЗОБРАЖЕНИЙ ЛИЦ

Представлен аналитический обзор методов распознавания 2D- и 3D-изображений лиц, выполнено их сравнение и обозначены преимущества и недостатки. Показано, что имеющиеся подходы не обеспечивают приемлемого результата по точности и полноте распознавания в условиях переменного освещения, поворотов головы, вариации выражения, смены ракурса съемки, что определяет актуальность постановок задач настоящей диссертационной работы.

1.1. Основные понятия и определения

Задача распознавания лиц [1-6] состоит, как правило, из следующих основных этапов: предварительное преобразование исходного изображения, выделение информативных параметров и классификация. Выбор системы признаков играет ключевую роль в качестве распознавания и является в большинстве случаев эвристической процедурой. Хорошо изучены методы распознавания лиц по 2D-изображениям: метод опорных векторов (Support Vector Machines, SVM), классификатор (алгоритм) AdaBoost (Adaptive Boosting), метод гибкого сравнения на графах (Elasticgraph matching), сверточная нейронная сеть (СНС), скрытые Марковские модели (СММ), метод линейного дискриминантного анализа (Linear Discriminant Amlysis, LDA), метод главных компонент (Principal Component Analysis, PCA), метод Виолы-Джонса. Известны методы распознавания лиц по 3D- изображениям: метод UR3D, метод LBP (Local Binary Patterns), метод Automatica symmetric 3D-2D Face Recognition.

Настоящее исследование опирается на наиболее общий подход, который можно назвать универсальным, а именно: подход, основанный на применении 2D^ 3D-инвариантных моментов в сочетании с эффективными классификаторами.

Инвариант - это величина, остающаяся неизменной при тех или иных преобразованиях, например аффинных или яркостных. Приведем некоторые

определения применительно к ЭЭ-объектам, необходимые для дальнейших исследований.

Определение 1. Под ЭЭ-изображением понимается кусочно-непрерывная функция f(х, y, z) трех переменных, определенная на компактном носителе D с R х R х R и имеющая конечный ненулевой интеграл.

Примером подобной функции служит функция яркости, известная также как полутоновое изображение. В случае цифрового изображения f (х, y, z) имеет только целочисленные значения при целых (х, y, z) . Цифровое изображение обычно является результатом дискретизации непрерывной функции f ( х, y, z) яркости и хранится в компьютере в виде трехмерного массива I(i, j, к) , где i = 0,1,...,Nx -1, j = 0,1,...,Ny -1 и j = 0,1,...,Nz-1. Каждый элемент этого массива

представляет собой пиксель с интенсивностью, находящейся в диапазоне от 0 до L -1 . Величина L обычно является степенью двойки (например, 64, 256) и называется глубиной изображения.

Определение 2. Моменты 3Э-изображения (image moments) - отображения («проекции») кусочно-непрерывной функции изображения^Р) в полиномиальный

базис, где P - множество многочленов, определенных на компактном носителе D с R х R х R.

Примером служат моменты М^П изображения f (х, y, z) , где1,т,п-неотрицательные целые и величина r = I + т + п называется порядком момента,

определяемые, как Mf = Ш Ртп (Х ^ ^f^ y, z)dxdydz ,

D

где Р000( х, У, z), P100( х, У, zX — -полиномиальный базис функций определенных на D.

Определение 3. Инвариант - функционал I(F) , определенный на

изображении F таким образом, что I(F) = I(D(F)) для пространства всех допустимых преобразований D, в том числе операторов деградации, (ухудшения)

изображения F , причем I(Fj),I(F2) должны быть «достаточно различны» для разных изображений F , F •

В задачах распознавания образов информационно значимыми дескрипторами служат инварианты к яркостным и аффинным преобразованиям. Пусть исходные изображения представлены в формате JPEG и цветовой модели RGB. Для дальнейшей работы достаточно воспользоваться полутоновым изображением (изображением в градациях серого).

Определение 4. Яркостным инвариантом называется дискриптор изображения, который является устойчивым к аддитивным и/или мультипликативным изменениям яркости.

По отношению к мультипликативным изменениям яркости инвариантами

выступают следующие соотношения [7]: Bmin / Bmax, Bmax / —, ц(—)/ Вср, где Bmin, Bmax , Вср - соответственно минимальное, максимальное и среднее значения

яркостей изображения, мВ)=Я Bij ВсрВ случае аддитивного преобразования

и

инвариантами являются Bmax - Bmin, Bmax — Вср . Инварианты по отношению к

аддитивному и мультипликативному преобразованию можно получить следующим образом: Bmax — Bmin , Bmax + Bmin - 2Вср . Коэффициент корреляции, часто используемый для сравнения изображений, имеет вид:

Yr(BpВ2) = —„jm — il , где: В = Ву — матрица яркостей пикселей, (i, j = 1,...,n),

Bj\\\\B2 II

— B1, B2 >=ZZB1(i, j)B2(i, j) - скалярное произведение двух матриц (i, j E R),

i j

||B|| — норма матрицы В , ||b|| = I ^ B2(i, j) . Для того чтобы корреляционный

VjeR

коэффициент был инвариантом к аддитивным и мультипликативным

(В В ^

преобразованиям, используют формулу y (—i, В2 ) = —1, 2 и , где

Bk (i, j) = Bk (i, j) - Bk , где Bk - среднее арифметическое яркостей изображения. Коэффициент корреляции вычисляют при наложении одного изображения на другое, причем сравнение происходит по соответствующим пикселям. Его недостаток - чувствительность к геометрическим искажениям, повороту и масштабированию изображения.

Определение 5. Инварианты моментов (moment invariants) или инвариантные моменты - это дескрипторы (^(0),...,Iln(0)) , построенные на основе степенных моментов и описывающие математическую (идеальную) модель непрерывного (аналогового) изображения F некоторого объекта 0 и являющиеся инвариантными к его аффинным преобразованиям.

Примером служат инвариантные моменты Hu [8], исследование и применение которых для решения задач распознавания лиц, является составной частью настоящей диссертационной работы.

Нечувствительность инвариантов к аффинным преобразованиям делает их применение эффективными в качестве признаков в задаче обнаружения и распознавания на изображении объектов неизвестной ориентации. Преобразования описываются с помощью матричных операций в однородных координатах:

[XR, , Уя, ,0,1] = [X ^ Z,1]R1R2, где R - обобщенная матрица поворотов на углы (и, f3, /) ,смещения на величины (xt, yt, zt) и масштабирования (Sx, Sy , Sz), Я2 - матрица проецирования на плоскость z=0,

Ri =

ASx BSy CSZ 0 ■ DSx ESy FSZ 0 GS HS IS 0

xt yt

1

R

10 0 0 0 10 0 0 0 0 0 0 0 0 1

z

t

A = cos(a)cos(^); B = sin(a)cos(a); C = -sin(^);

E = cos(a)cos(/) + sin(a)sin(^)sin(^);

D = - sin(a) cos(k) + cos(a) sin(^)sin(/);

F = cos(0)sin(^); G = sin(a)sin(^) + cos(a)sin(^)cos(/);

H = -cos(a)sin(^) + sin(a)sm(^)cos(/); I = cos(fi)cos(y).

Полагая Sx = Sy = Sz = S, получим после преобразований [xR yRi zRi 1J, где:

Хд = (cos(«)(x cos(y^) + sin(^)(y sin(^) + z cos(/)) - sin(«)(y cos(/) - z sin(^))S + x,

Уя = (sin(a)(xcos(#) + sin(^)(y sin(/) + z cos(/)) - cos(a)(y cos(/) - z sin(/))S + y,

z^ = (- sin(^) x + cos(0) y sin(/) + z cos(ft)cos(y))S + zt.

Следует иметь в виду, что, вследствие дискретности цифровых изображений, применение аффинных преобразований приводит к флуктуации моментов, т.е. частичной или полной потере свойств инвариантности.

Определение 6. Субинвариантными моментами или (полуинвариантами моментов) цифрового изображения F назовем моменты I (F), величины которых могут меняться при выполнении аффинных преобразований, не превышая при этом установленные допустимые величины отклонений А , приемлемые для решения задачи классификации.

Величины отклонений различных моментов изображения в значительной степени зависят от вида степенной функции, которая определяет чувствительность моментов к искажениям и помехам. В дальнейшем, для удобства, там, где это не оговореноособо, будем называть инвариантные и субинвариантные моменты просто моментами.

1.2. Методы распознавания лиц по 2Б-изображениям

Известен ряд подходов, ставших классическими, которые, так или иначе, применялись для решения задач распознавания лиц. К ним можно отнести: 1) метод опорных векторов (Support Vector Machines, SVM) [9,10], способный выполнить бинарную классификацию образов, но являющийся затратным по времени и памяти;

2) алгоритм AdaBoost [11], использующий в качестве признаков вейвлеты Хаара [12] и показавший хорошую точность и скорость. Поскольку алгоритм требует большой обучающей выборки, то представляется целесообразным применение специальных алгоритмов для уменьшения размерности данных и выбора основных признаков;

3) метод эластичных графов (Etesticgraph matching) [13], описывающий лица в виде взвешенных графов. На этапе распознавания эталонный граф остается неизменным, в то время как другой деформируется с целью наилучшей подгонки к первому. В вершинах графа вычисляются значения признаков, чаще всего используют комплексные значения фильтров Габора [14] или их упорядоченные наборы, которые вычисляются в некоторой локальной области путем свертки значений яркости пикселей с фильтрами Габора. Деформация графа происходит путем смещения каждой из его вершин на некоторое расстояние в определенных направлениях относительно ее исходного местоположения и выбора такой позиции, при которой разница между значениями признаков в вершине деформируемого графа и соответствующей ей вершине эталонного графа будет минимальной. Недостатки: высокая вычислительная сложность процедуры распознавания, низкая технологичность при запоминании новых эталонов.

В настоящее время существует спектрискусственных нейронных сетей (ИНС), применяемых в задачах распознавания. Одним из самых широко используемых вариантов является ИНС, построеная на многослойном персептроне (а тиШ1ауег регсерйюп - MLP). Сеть позволяет классифицировать поданное на вход изображение в соответствии с предварительной настройкой [15]. Входной сигнал в таких сетях распространяется в прямом направлении, от слоя к слою. Архитектура MLP представлена на рисунке 1.

Рисунок 1 - Примерструктуры многослойного перцептрона

Как показано на рисунке 1 многослойный персептрон включает в себя следующие элементы:

1. множество входных узлов, которые образуют входной слой;

2. один или несколько скрытых слоев вычислительных нейронов;

3. один выходной слой нейронов.

Такие нейронные сети имеют ряд отличительных признаков:

1. Каждый нейрон сети имеет нелинейную функцию активации, то есть монотонно возрастающую дифференцируемую S-образную функцию с насыщением. Это обязательное условие, так как в противном случае отображение «вход-выход» сети можно свести к обычному однослойному персептрону.

2. Некоторое количество скрытых слоев. MLP содержит один или несколько слоев скрытых нейронов, которые не являются частью входа или выхода сети. Эти нейроны позволяют сети обучаться решению сложных задач, последовательно извлекая наиболее важные признаки из входногообраза.

3. Высокая степень связности. MLP обладает высокой связностью, которая реализуется с помощью синаптических соединений.

Главными недостатками MLP является низкая скорость обучения, необходимость выбора структуры сети под конкретную задачу, невозможность переобучения (до обучения).

Обучаются нейронные сети на наборе примеров (обучающей выборке). В процессе обучения ИНС происходит автоматическое извлечение ключевых признаков, определение их важности и построение взаимосвязей между ними. Наилучшие результаты в области распознавания лиц показала сверточная нейронная сеть (Сопуо1и1:юпа1 Neural Net^^rk) далее - СНС[16]. Отличительными особенностями СНС являются локальные рецепторные поля, которые обеспечивают локальную двумерную связность нейронов, общие веса, обеспечивающие детектирование некоторых признаков в любом месте изображения и иерархическая организация с пространственными сэмплингом ^райа1 sub БатрН^). Благодаря этим нововведениям СНС обеспечивает частичную устойчивость к изменениям масштаба, смещениям, поворотам, смене ракурса и прочим искажениям. Архитектура СНС представлена на рисунке 2.

Input Feature maps Feature maps Feature maps Feature maps Output

23x28 20@21x26 20@llxl3 25@9xll 25@5x6 40@lxl

Convolutional Subsampling ('(involutional Subsampling Fully

connected

Рисунок 2 - Схематичное изображение архитектуры сверточной нейронной сети

К недостаткам сверточной нейронной сети можноотнести:

1. Добавление нового эталонного лица в базу данных, требующее полного переобучения сети на всем имеющемся наборе - это достаточно долгая процедура (от 1 часа до нескольких дней);

2. Проблемы математического характера, связанные с обучением: попадание в локальный оптимум;

3. Выбор оптимального шагаоптимизации, переобучение и т. д.;

4. Трудно формализуемый этап выбораархитектуры сети (количество нейронов, слоев, характер связей).

Можно сделать вывод, что ИНС - «черный ящик» с трудно интерпретируемыми результатами работы.

Скрытые Марковские модели (СММ) [17] с дискретным временем используют статистические свойства сигналов и учитывают их пространственные характеристики. Элементами модели являются: множество скрытых состояний, множество наблюдаемых состояний, матрица переходных вероятностей, начальная вероятность состояний. При распознавании объекта ищется максимальная вероятность того, что последовательность наблюдений для данного объекта сгенерирована соответствующей моделью. Недостатки метода: необходимость подбора параметров модели для каждой базы данных; алгоритм обучения максимизирует отклик каждого изображения на свою модель, но не минимизирует отклик на другие модели.

Дополнительно отметим методы, которые тоже нашли применение в распознавании лиц:

1) метод линейного дискриминантного анализа ^шаг Discrimmаnt Analysis) [18,19,20], обеспечивающий минимизацию признакового пространства на множестве изображений. Метод, к сожалению, недостаточно исследован для сложных случаев, когда происходит изменение ракурса лица и освещенности;

2) метод главных компонент (Pгincipаl Component Аnаlysis, PCA) [21], обеспечивающий корректное сравнениие лиц. Метод эффективен в задачах хранения, поиска и реконструкции изображений в больших базах данных, но неустойчив в условиях изменяющейся окружающей среды;

Список литературы диссертационного исследования кандидат наук Нгуен Зуй Тхань, 2018 год

ЛИТЕРАТУРА

1. Анализ существующих подходов к распознаванию лиц.-http://habrahabr.ru/company/synesis/blog/238129

2. Goswami G., Bharadwaj S., Vatsa M., Singh R. On RGB-D Face Recognition using Kinect. -https://research. iiitd. edu. in/groups/iab/PID2857163. pdf

3. ДьяченкоА.В. Задача 3D распознавания лиц: современные методы решения - «Искусственный интеллект», 2011, с 166-171. http://dspace.nbuv.gov.ua/bitstream/handle/123456789/60284/21-Diachenko.pdf

4. Чанг Б.Т.Т., Хоанг Ф.Н., Спицын В.Г. Распознавание лиц наоснове применения метода Виолы-Джонса, вейвлет-преобразования и метода главных компонент. - Известия Томского политехнического университета, №5, т.320, 2012, с.54-59.

5. Местецкий Л.М. Математические методы распознавания образов / Л.М. Местецкий. - М.: МГУ, ВМиК, 2002-2004. - 85 с.

6. Muhammad Sharif, Farah Naz, Mussarat Yasmin, Muhammad Alyas Shahidand Amjad Rehman. Face Recognition: А Survey. - JOURNAL OF Engineering Science and Technology Review, Review 10 (2) (2017) 166-177.http://www.jestr.org/downloads/Volume 10Issue2/fulltext201022017.pdf

7. Путятин Е.П., Аверин С.И. Обработка изображений в робототехнике. - М.: Машиностроение, 1990. - 320 с.,

8. Hu M. K. Visual pattern recognition by moment invariants.- IRE Transactions on Information Theory 8, 1962, pp. 179-187.

9. Alex J. Smola, Bernhard Scholkopf, A tutorial on support vector regression, August 2004, Volume 14, Issue 3, pp 199-222.

10. Bin Gu, Victor S. Sheng. A Robust Regularization Path Algorithm for v -Support Vector Classification - IEEE Transactions on Neural Networks and Learning Systems , Volume: 28, Issue: 5, May 2017, Page(s): 1241 - 1248.

11. http://www. machinelearning.ru/wiki/index.php?title=AdaBoost

12. Смоленцев Н.К, Основы теории вейвлетов. Вейвлеты в MATLAB, - М.: ДМК Пресс,2014. - 628с.

13. Himanshu Sharma, Anand Pawar, Chandhrvardan Chourasia, Sushma Khatri. Imlementation of face recognition system base on Elastic graph matching -International journal of engineering Sciences & research technology, March 25, 2016, https ://zenodo. org/ record/48386#.W18ZW_ZuJMs

14. Konstantinos G. Derpanis York University kosta@cs.yorku.ca Version 1.3 April 23, 2007. http://www.cs.yorku.ca/~kosta/CompVis Notes/gabor filters.pdf

15. О.И. Минaевa, В.Г. Спицын. Применение нейрoнных сетей для oпределеня рaспoлoжения ключевых тoчек лшд нa изoбрaжениях - XV Междунaрoднaя нaучнo-прaктическaя кoнференция студентoв aспирaнтoв и мoлoдых учёных «Мoлoдëжь и ^временные инфoрмaциoнные технoлoгии». http://earchive.tpu.ru/bitstream/11683/46535/1/conference_tpu-2017-C04 p79-80.pdf

16. Плoтникoв Д.В, Сoпoв Е.А. Решение зaдaч рaспoзнaвaния лиц и мимики с noMorn,^ свертoчных нейрoнных сетей- КиберЛенин^ 2017, с 234-236. https://cyberleninka.ru/article/v/reshenie-zadach-raspoznavaniya-lits-i-mimiki-s-pomoschyu-svertochnyh-neyronnyh-setey

17. Д.П.Ветрoв, Курс «Грaфические мoдели», МГУ, 2012г. http://www. machinelearning.ru/wiki/images/8/83/GM12_3 .pdf

18. Lin Wu, Chunhua Shen, Antonvanden Hengel, Deep linear discriminant analysis on fisher networks: A hybrid architecture for personre-identification -Pattern Recognition, Volume 65, May 2017, Pages 238-250. https://doi.org/10.1016Zj.patcog.2016.12.022

19. Mohammad Haghighat, Mohamed Abdel-MottalebLow Resolution Face Recognition in Surveillance Systems Using Discriminant Correlation Analysis, 2017 12th IEEE International Conference on Automatic Face & Gesture Recognition (FG 2017), Washington, DC, USA, 29 June 2017. DOI: 10.1109/FG.2017.130

20. Huan Wan,Hui Wang, Gongde Guo, Xin Wei, Separability-Oriented Subclass Discriminant Analysis, IEEE Transactions on Pattern Analysis and Machine Intelligence ( Volume: 40, Issue: 2, Feb. 1 2018 ).Page(s): 409 - 422.

21. M.R.Mohammadia, E.Fatemizadeha, M.H.Mahoorb, PCA-based dictionary building for accurate facial expression recognition via sparse representation, Journal of Visual Communication and Image Representation, Volume 25, Issue 5, July 2014, Pages 1082-1092, https://doi.org/10.1016/jjvcir.2014.03.006.

22. Yi-Qing Wang. An Analysis of the Viola-Jones Face Detection Algorithm. Published in Image Processing On Line on 2014-06-26. Submitted on 2013-0831, accepted on 2014-05-09. ISSN 2105-1232 c 2014 IPOL&theauthorsCC-BY-NC-SA.

23. UR3D-C: Linear Dimensionality Reduction for Efficient 3D Face Recognition. Biometrics (IJCB), 2011 International Joint Conference on, Washington, DC, USA 11-13 Oct. 2011.

24. Md. Abdur Rahim, Md. Najmul Hossain, Tanzillah Wahid & Md. Shafiul Azam. Face Recognition using Local Binary Patterns (LBP). GlobalJournalsInc. (USA) Volume 13 Issue 4 Version 1.0 Year 2013.

25. Di Huang, Mohsen Ardabilian, Yunhong Wang, Liming Chen. Automatic Asymmetric 3D-2D Face Recognition. 2010 International Conference on Pattern Recognition. Istanbul, Turkey07 October 2010.

26. Xiao-jun Chen, Jia Ke, Yong-zhao Zhan, Xiao-bo Chen, Qian-qian Zhang, Xiao-ming Jiang, Xin-ping Song, Bao-ding Chen, Hui Xu, Jian-guo Zhang. Improved combined invariant moment for moving targets classification -Multimedia Tools and Applications, October 2017, Volume 76, Issue 19, pp 19959-19982.

27. Suk T., Flusser J. Blur and affine moment invariants // Object recognition supported by user interaction for service robots. 11-15 Aug. 2002. Quebec, Canada, 2002. DOI: 10.1109/ICPR.2002.1047465. https://pdfs.semanticscholar.org/9e55/9c1e685d8760833547280ad8646dfea8f9ff. pdf

28. Шмидт А. А. Инвариантные методы в теории распознавания изображений. - Дисс. на соиск. учен.степени к.ф.-м.н., 1984. 164 с. -http://www.dissercаt.cоm/cоntent/invаriаntnye-metоdy-v-teоrii-rаspоznаvаniyа-17оЬга7Ьепй

29. Хачумов М. В. Расстояния, метрики и кластерный анализ // Искусственный интеллект и принятие решений. — 2012. — Т. 9, № 1. — С. 81-89.

30. Глумов Н.И., Мясников В.В., Сергеев В.В., Сойфер В.А., Чернов А.В. Методы повышения качества, фильтрации и восстановления изображений // Учебное пособие [Электронное издание]. Самара: Изд-во Самар. гос. аэрокосм. ун-та, 2010. - 170 с.

31. Самарина О.В., Славский В.В. Инварианты изображения относительно поворотов и растяжений. - Вестник СамГУ. - Естественнонаучная серия. 2007. №9/1(59), c.128-137.

32. Нгуен Зуй Тхань. Инварианты в задачах распознавания графических образов. - Вестник Российского университета дружбы народов. Серия: «Математика, физика и информатика», № 1, 2016, с 76-85.

33. Амелькин С. А., Захаров А. В., Хачумов В. М. Обобщенное расстояние Евклида-Махаланобиса и его свойства // Информационные технологии и вычислительные системы. 2006, № 4. C. 40-44.

34. StаnleyL. Tuznik, PeterJ. Olver, А^п Tаnnenbаum. Аffme Differentiаl ^апаЛз for 1^апаЛ Feаture РоМ Detectwn - ^mputer Viswn аМ Pаttern Re^gn^^n (cs.CV); Graup Theоry (mаth.GR), 12 Мж 2018. https: /Mrxiv. 1803.01669. pdf

35. Петухов М. Н., Фаворская М. Н. Распознавание природных объектов нааэрофотоснимках с применением нейронных сетей // Автометрия. 2011. 47, № 3. С. 34-40.

36. Хачумов М. В. Задача кластеризации текстовых документов // Информационные технологии и вычислительные системы. 2010, № 2. C.42-49.

37. Амелькин С. А., Захаров А. В., Хачумов В. М. Обобщенное расстояние Евклида-Махаланобиса и его свойства // Информационные технологии и вычислительные системы. 2006, № 4. C. 40-44.

38.Хачумов М. В. Расстояния, метрики и кластерный анализ // Искусственный интеллект и принятие решений. 2012, № 1. С. 81-89.

39. РоджерсД., АдамсД. Математическиеосновымашиннойграфики. — М.: Мир, 2001. — ISBN: 5-03-002143-4.

40. Нгуен Зуй Тхань, Морозова Е.Ф. Построение и управление 3D- моделями лиц человека. Шестнадцатая Национальная конференция по искусственному ин-теллекту с международным участием КИИ-2018 (24-27 сентября 2018 г., г. Москва, Россия). Труды конференции. В 2 -х томах. Т 2.

- М.: Изд. дом Высшей школы экономики, 2018,С. 35-43

41. Шмидт А. А. Инвариантные методы в теории распознавания изображений.

- Дисс. на соиск. учен.степени к.ф.-м.н., 1984. 164 с. -http://www.dissercаt.cоm/cоntent/invаriаntnye-metоdy-v-teоrii-rаspоznаvаniyа-17оЬга7Ьепй

42. Хачумов М. В. Расстояния, метрики и кластерный анализ // Искусственный интеллект и принятие решений. — 2012. — Т. 9, № 1. — С. 81-89.

43. СамаринаО.В., Славский В.В. Инварианты изображения относительно поворотов и растяжений. - Вестник СамГУ. - Естественнонаучная серия. 2007. №9/1(59), c.128-137.

44. Нгуен Зуй Тхань. Инварианты в задачах распознавания графических образов. - Вестник Российского университета дружбы народов. Серия: «Математика, физика и информатика», № 1, 2016, с 76-85.

45. Stаnley L. Tuznik, Peter J. Olver, Allen Tаnnenbаum. Affine Differentiаl ^апаШБ for ^апай Feаture РоМ Detectfon - imputer Visfon а^ Pаttern Re^gn^^n (cs.CV); Group Theоry (mаth.GR), 12 Мж 2018. https : //атхгу. 1803.01669.pdf

46. Changxing Dinga, Dacheng Тао - Pose-invariant face recognition with homography-based normalization. - Pattern Recognition,Volume 66, June 2017, Pages 144-152. https://doi.org/10.1016/j.patcog.2016.11.024.

47. Bin Xiao, Yanhong Zhang, Linping Li, Weisheng Li, Guoyin Wang, "Explicit Krawtchouk moment invariants for invariant image recognition," Journal of Electronic Imaging 25(2), 023002 (7 March 2016)..

48. A6paMoB Н.С., Фрaленкo В.П. Определение рaсстoяний HaocHoBe системы техничес^го зрения и метoдa инвaриaнтных мoментoв. - Инфoрмaциoнные технoлoгии и вычислительные системы, №4, 2012, с.32-39.

49. Бессмельцев В.П., Булушев Е.Д.Быстрый aлгoритм сoвмещения изoбрaжений для кoнтрoля кaчествa лaзернoй MmpooGpaGora^ -Кoмпьютернaя oптикa, 2014, том 38, №2, c.343-350/ -http://www.computeroptics.smr.ru/K0/PDF/K038-2/380225.pdf

50. Винoгрaдoв А.Н., Кaлугин Ф.В., Недев М.Д., Шгодин С.В., Тaлaлaев А.А., Тищенкo И.П., Фрaленкo В.П., Хaчумoв В.М. Выделение и рaспoзнaвaние лoкaльных oбъектoв нaaэрoкoсмических снимкaх. - Авиaкoсмическoе прибoрoстрoение, № 9, 2007, с.39-45.

51. Лaгиевa М.М., Хaчумoв В.М., Шaбaлoв Д.В. Метoд пoстрoения линий пoлoжения для идентификaции пoлутoнoвых изoбрaжений. - Автoметрия, 1991, №6, с.7-12.

52. https://lenta.ru/news/2016/09/06/ntechlab1/

53. Хaчумoв М.В., Нгуен З.Т. Зaдaчa рaспoзнaвaния лиц no фoтoгрaфиям нa oснoве инвaриaнтных мoментoв. - ^временные прoблемы нaуки и oбрaзoвaния, № 2, 2015.

54. Нгуен Зуй Txarn. Инвaриaнты в зaдaчaх рaспoзнaвaния грaфических oбрaзoв. Вестник Рoссийскoгo университетa дружбы нaрoдoв. Серия: Математика, Информатика, Физика. № 1, 2016, с.76-85.

55. Д.Б. Вoлегoв, Д.В.Юрин. Предвaрительнoе грубoе сoвмещение

изoбрaжений no тайденным нa них прямым линиям для пoстрoения мoзaик,

сверхрaзрешения и вoсстaнoвления трехмерных сцен. - Прoгрaммирoвaние,

94

Том: 34, № 5, 2008, с. 47-66. -

http://imaging.cs.msu.ru/pub/2007.JProg.Yurin Volegov.Draft.ru.pdf

56. Алибеков А.Г., Лагиева М.М., Хачумов В.М. Определение ориентации трехмерных графических объектов. - Изв. вузов. Приборостроение, 1995, Т.38, №3-4, с.35-37.

57. Трушков В.В., Хачумов В.М. Определение ориентации объектов в трехмерном пространстве. -Автометрия, 2008, № 3, с.75-79.

58. NitaM. Закате, V.M. Thakare. А Supervised Hybrid Methodology for Pose end Illumination Invariant 3D Face Recognition. -Inteгnational Jouгnal of Computer Аpplications (0975 - 8887) Volume 47 - No.25, June 2012 24-http://research.ijcaonline.org/volume47/number25/pxc3880474%20.pdf.

59. Ingolf Sommer, Oliver Mu"ller, Francisco S. Domingues, Oliver Sander, Joachim Weickert and Thomas Lengauer. Moment invariants as shape recognition technique for comparing proteinbinding sites. - Bioinformatics, Vol. 23 no. 23 2007, pages 3139-3146. http://bioinformatics.oxfordjournals.org/content/23/23/3139.full.pdf

60. T.Suk, J. Flusser, 3D rotation invariants. http: //zoi.utia.cas .cz/3DRotationInvariants Department of Image, 2012.

61. https://cswww.essex.ac.uk/mv/allfaces/index.html

ПРИЛОЖЕНИЕ Приложение 1

Доказательство инвариантности 2Б-моментов к аффинным преобразования

Инвариантные моменты Ни имеют следующий вид:

N

трЧ = 1 * ^ - х)Р * (у' - у)

1=1

= т2о + т02

т2 = (т20 ~т02> + 4т11

т3 = (т30 - 3т12)2 + (3т21 - т03)2

т4 = (тзо + т12)2 + (т21 + тоз)2

т5 = (т30 -3т12)(т30 + т12)[(т30 + т12)2 - 3(т21 + т03)2] + + (3т21 -т03)(т21 + т03)[3(т30 + т12)2 -(т21 + т03)2]

тб = (т20 -т02)[(т30 + т12)2 -(т21 + т03)2] + 4т11(т30 + т12)(т21 + т03 ) т7 = (3т21 -т03)(т30 + т12)[(т30 + т12)2 - 3(т21 + т03)2]-(т30 -3т12)(т21 + т03)[3(т30 + т12)2 -(т21 + т03)2]

Полученные моменты являются инвариантами к операциям зеркальногоотображения и вращения в плоскости. Если сделать небольшую доработку этих моментов, тоони становятся инвариантными и к операциям масштабирования (доопределённого предела).

«« т-. . «« т2 ш3 т4 ш5 „ „ т6 „ „ ш7

М1 = Г * В = сопз1:;М2 = Щ2; М3 =Щ3; М4 М5 М6 = Щ6; М7 = ^

где Г = ^Ш02 + Ш20

Пусть:Шра = 1 * ЕГ=1(Х1 - Х)Р * (У; - у)Ч, тогда Шо2 = 1 * ЕГ=1(Х1 - X)0 * (у. - у)2 =1 *

£N=1(7. - У)2; Ш20 = 1 * Я=1(Х1 - X)2 * (У; - у)0 =1 * 2[=1(Х| - X)2; Ш11 = 1 * ЕГ=1(Х1 - X)1 у1-у1;ш2=(ш20-ш02)2+4ш112

1111

Х|=ГХ|; У|=7у.; Х = 7х; V = 7у

М2=(М20 - М02)2 + 4М21=[1 * 2«=1(Х| - X)2 + 1 * 2*1(У| - V)2]2 + 4[1 * £Г=1(Х| - X)1 *

У1-У1]2=[1Ыг2*1=1Ы(Х1-Х)2+1Ыг2*1=1Ы(у1-у)2]2+4[1Ыг2*1=1Ы(Х1-Х)1*у1-у1]2 = 1г4*ш2 =>М2=ш2г4

я

*

\2

Мз = (Мзо - 3М12)2 + (3М21 - М03)

N N

з

= ^ * - X)3 - 31 * - X)1 *№ - у)2]2

1=1 1=1

N N

+ [31 * ^ - X)2 * СУ1 - У)1 -1 * ^ - У)3]2

1=1 1=1 N N

= [N73 * БХ1- х)3 - 3 N73 * ^- х)1 * (У1- у)2]2 1=1 1=1

N N

+ [3 !р * 2(Х1 - х)2 * СУ1 - у)1 - ^^(у1 - у)3]2

1=1 N

1 *2СХ1 - х)3 - 3^ *2СХ1 - х)1 * СУ1 - У)

1=1

+

1 N 1 N

3 N * ХСх1 - х)2 * СУ1 - У)1 - N * ХСУ1 - У)

1=1 1=1

2

1

Ш3

7 7 Ш3 —3

= -6 [СШ30 - 3Ш12)2 + С3Ш21 - Ш03)2] = => М3 =

г6

Аналогично для других формул получаем:М4 = Щ^Мб = ; М6 = Щт; М7 = Доказательство для операции сдвига наД

Дано: XI = х + Д У, = у, + Д X = х + Д У = у+ Д

=> М1 = М20 + М02 = 1 * ^=1С*1 - X)2 +1 * ЕГ=1(У - У)2 = 1 * ЕГ=1(Сх1 +А) - (х +А))2 +1 * 1=Щу1+А-Су+А))2=1Ы*1=Щх1-х)2 + 1Ы*1=Щу1-у)2=ш1

=> М2 =СМ20 - М02)2 + 4М21 = [1 * ZN=lСXi - X)2 +1 * ^СУ - У)2]2 +4 [1 * - X)1

\2 ,

2 - 1

СУ1 - У)1 ] = [1 *^=1Сх1+ А-х-Д)2+1 * ХГ=1СУ1 + А-У -А)2] +4 [1 * SN=lСxi + А-х-

Д)1 * СУ1 + А - У - А)1 ]2 = [1 * ^=1Сх1 - х)2 +1 * ^=1СУ1 - У)2]2 +4 [1 * ^^ - х)1 *

2

СУ1 - У)11 = ш2 . Делаем также для других формул и получаем: М3 = т3; М4 = т4;М5 = т5;М6 т6;М7 = т7

2

1

2

6

г

3

*

Доказательство для операции поворота

Поворот изображения в плоскости XOY осуществляется с помощью матрицы

cosa sina 0 —sina cosa 0 0 0 1

При этом получаем следующие координаты: Xi= x^sa - y¡sina Yi= xisina + yicоsa Zi = z

X= x cоsa - y sina X= x ^sa - y sina Z= z

Необходимо доказать:М1 = mi

Доказательство:М1 = M20 + M02 =± * SN=i(Xi — X)2 +1 * ^(Y — Y)2 = ± * i=1Nxicosa—yisina—xcosa—ysina2+1N*i=1Nxisina+yicosa—xsina+ycosa2=1N*i=1N(xicosa —xcosa—(yisina—ysina))2+1N*i=1N(xisina—xsina—(yicosa—ycosa))2=1N*i=1N((xi—x)cosa —(yi—y)sina)2+1N*i=1N(xi—xsina—(yi—y)cosa)2=1N*i=1Nxi—x2cos2a—2xi—xyi—ycosasina +yi—y2sin2a+1N*i=1Nxi—x2sin2a+2xi—xyi—ycosasina+yi—y2cos2a=1Ni=1Nxi—x2cos2a+si n2a+yi—y2sin2a+cos2a=1Ni=1Nxi—x2+yi—y2=m1

Доказать:М2 = m2

1 2 \ Доказательство: M20 * ^NL1((xicosa — yjSÍna) — (xcosa — ysina)) = ^ *

i=lNxicosa—yisina—xcosa—ysina2=lN*i=lN(xi—xcosa— (yi—y)sina)2=lN*i=lNxi—x2cos2a —2(xi — x)(yi — y)cosasina + (yi — y)2sin2a = cos2a * m20 + sin2a * m02 — sin2a * mll;

M02=l * ^N=l((xisina + yicosa) — (xsina + ycosa)) = ^ * EN=l((xi — x)sina — (yi — y)cosa)2 =

l * ZN=l(xi — x)2sin2a + 2(xi — x)(yi — y)cosasina + (yi — y)2cos2a = sin2a * m20 + cos2a * m02 + sin2a * mll =>M20 - M02 = (cos2a — sin2a) * m20 — (cos2a — sin2a) * m02 — 2sin2a * mll = cos2a * (m20 — m02) — 2sin2a * mll.

В итоге получим :

9 9 9 9

(M20 - M02) = [cos2a*(m2o-mo2) - 2sin2a*mn] = cos 2a*(m2o-mo2) - 2sin4a* (m2o-mo2)*mn + 481й22а*т2п(а)

Mii=1 * £j=i(Xi — X)1 * (Yj — Y)1 => 1 * ^^((XjCosa — yjSÍna) — (xcosa — ysina))((xjsina +

yicosa—xsina+ycosa=1N*i=1Nxi—xcosa—yi—ysina*xi—xsina+yi—ycosa=12sin2a*m20—m02 +cos2a*m11

9 1 9 9 9

4Mi = 4[ — sin2a*(m2o -mo2) + cos2a*mii] = sin 2a (m20 -mo2) + 2sin4a* (m20 -mo2) mii

+4cos22a.mii2(b) Из (а) и (b) получаем

M2 = (M20 - Mo2)2+ 4Mi2 = cos22a*(m2o-mo2)2 - 2.sin4a* (m2o-mo2)*mn+ 4sin22a*m2n + sin22a (m2o -m02)2 + 2sin4a*(m20 -m02) mii+4cos22a*mii2= (cos22a + sin22a) (m20 -m02)2 + 4(sin22a + cos22a)*mii2= (m2o -mo2)2 + 4mii2 =m2

Доказать : М3 = m3

_ /АЛ ОАЛ \2 i /-ЗАЛ А,.

Доказательство: M3 = (M30 — 3M12)2 + (3M21 — M03)2

N

3

130 *Z(Xi — X)3

i=1

_ 1

= Ñ

N

*

i=1 1 "Ñ

NN

^[(xicosa — yisina) — (xcosa — ysina)]

£[(* — x)cosa — (yi — y)sina]3 = 1 * ^(fa — x)3cos3a — (yi — y)3sin3a) —1 i=1 i=1

N

* ^ 3(xi — x)2cos2a(yi — y)sina) + 3(xi — x)cosa(yi — y)2 sin2a

i=1

= m30cos3 a — m03sin3 a — 3m21cos2 asina + 3m12cosasin2 a(*)

M121 - X)(Y - Y)2

i=1

1 N

= N * ^[(xi - x)cosa - (yi - y)sina] [(Xi - x)sina + (yi - y)cosa]2 i=1 1 N

= — * / (xi - x)3cosasin2a + (xi - x)(yi - y)2cos3a - (yi - y)(xi - x)2sin3a N ¿—i

*

N

i=1

1

- (yi - y)3sinacos2a + —

N

* ^ 2(xi - x)2(yi - y)cos2asina - 2(xi - x)(yi - y)2sin2acosa

i=1

= m30cosasin2 a + m12cos3a - m21sin3a - m03sinacos2 a + 2m21cos2 asina

- 2m12sin2 acosa(**)

Из (*) и (**) :

M30 - 3Mi2 =m30cos3a - m03sin3a - 3m21cos2asina + 3m12cosasin2a - 3m30cosasin2a -3m12cos3a + 3m21sin3a + 3m03sinacos2a - 6m21cos2asina - 6m12sin2acosa = (cos3a -3cosasin2am30+9cosasin2a-3cos3am12+3sin3a-9cos2asinam21+3sinacos2a-sin3am03 = (cos3a - 3cosasin2a)(m30 - 3m12) + (sin3a - 3cos2asina)(3m21 - m03)(***) Аналогично для M03 и M21 получим:

3M21- M03=(3cos2asina - sin3a)(m30 - 3m12) + (cos3a - 3cosasin2a)(3m21 - m03) (****)

Из (***) и (****) :

M3 = (M30 - 3Mi2)2 + (3M2i- M03)2 = [(cos3a - 3cosasin2a)(m30 - 3m12) + (sin3a - 3cos2asina)(3m21 - m03)]2

+ [(3cos2asina - sin3a)(m30 - 3m12) + (cos3a - 3cosasin2a)(3m21 - m03)]2 = [(cos3a - 3cosasin2a)2 + (3cos2asina - sin3a)2](m30 - 3m12)2 + 2(3cos2asina - sin3a)(m30 - 3m12)(cos3a - 3cosasin2a)(3m21 - m03) + [(sin3a - 3cos2asina)2 + (cos3a - 3cosasin2a)2](3m21 - m03)2 = [(cos3a - 3cosasin2a)2 + (3cos2asina - sin3a)2](m30 - 3m12)2 + [(sin3a - 3cos2asina)2 + (cos3a - 3cosasin2a)2](3m21 - m03)2(1) [(cos3a - 3cosasin2a)2 + (3cos2asina - sin3a)2] = cos2a(1 - 4sin2a)2 + sin2a(4cos2a -1)2=cos2a-8cos2asin2a+16cos2asin4a+16cos4asin2a-8sin2acos2a+sin2a=1-16cos2asin 2a+16cos2asin4a+16cos4asin2a=1-16cos2asin2a+16cos2asin2asin2a+cos2a=1(2)

[(sin3 a — 3cos2 asina)2 + (cos3 a — 3cosasin2 a)2] = sin2 a(1 — 4cos2 a)2 + cos2 a(1 — 4sin2a)2=1 (3)

(1)(2)(3) =>Мз = (M30 - ЗМ12)2 + (ЗМ21- Моз)2= (тзо- 3 mi2)2+ (3 m2i- тоз)2 = тз Доказать : М4 = m4 Доказательство:

М4 = (М30 + М12)2 + (М21+М03)2 Из (*) и (**) получим

M30 + Mi2=m30cos3 a — m03sin3 a — 3m21cos2 asina + 3m12cosasin2a + m30cosasin2 a — m12cos3 a + m21sin3 a + m03sinacos2 a — 2m21cos2 asina — 2m12sin2acosa = (cos3 a + cos2asinam30+m12—sin3a+cos2asinam21+m03=cosam30+m12—sina(m21+m03)(I)

Также для М21и M03

М21 + M03=(cos2 asina + sin3 a)(m30 + m12) + (cos3 a + cosasin2 a)(m21 + m03) = sina(m30 +

m12+cosa(m21+m03)(II)

Из (I) и (II) получится:

М4 = (M30 + M12)2 + (M21+M03)2

2 2 = [^sa (m30 +m12) - sina (m21+ m03)] + [sina(m30+ m12) + cоsa (m21+ m03)] =

22 222 2 2 2 = (^s a + sin a) (m30 +m12) + (cоs a + sin a) (m21+m03) = (m30 +m12) + (m21+m03) =m4

Доказать : М5 = m5

Доказательство: Из (***) и (****) :

M30 -3M12=(cos3 a — 3cosasin2 a)(m30 — 3m12) + (sin3 a — 3cos2asina)(3m21 — m03) =

cosa(cos2 a — 3sin2 a)(m30 — 3m12) + sina(sin2 a — 3cos2 a)(3m21 — m03) = cos3a(m30 —

3m12—sin3a3m21—m03 (III)

3M21- M03= (3cos2 asina — sin3 a)(m30 — 3m12) + (cos3 a — 3cosasin2 a)(3m21 — m03) =

sin3a(m30 — 3m12) + cos3a(3m21 — m03) (IV)

Пусть : А= ( m30- 3 m12)

B= (3 m21- m03)

C = (m30 +m12)

D= (m21+m03)

ms = (m30 — 3m12 )(m30 + m^ )[(m30 + m12)2 — 3(m21 + m03)2 ] + (3m21 — m03 )(m21 +

m033m30+m122—m21+m032=A*C*C2—3D2+B*D*(3C2—D2)(V) Из (I) (II)(III)(IV) :

M5=(cos3a * А — sin3a * B) * (cosa * C — sina * D) * [(cos3a * C — sin3a * D)2 — 3 * (sin3a * C + cos3a * D)2] + (sin3a * А + cos3a * B) * (sina * C + cosa * D) * [3 * (cosa * C —

sina * D)2 — (sina * C + cosa * D)2] = (cos3a * А — sin3a * B) * (cos3a * С3 — 3sin3a * C2 * D — 3cos3a * C * D2 + sin3a * D3) + (sin3a * А + cos3a * B) * (sin3a * С3 — 3sin3a * C * D2 + 3cos3a * C2 * D — cos3a * D3) = (eos2 3a + sin2 3a) * A * С3 — 3(cos2 3a + sin2 3a) * A * С * D2 + 3(cos23a + sin23a) * В * D * C2 — (eos 23a + sm23a) *5*D3= Л* C3 — 3 *Л*С* D2 + 3 *5*D* C2 —5*D3= Л * С * (C2 — 3D2) + В * D * (3C2 — D2)(VI) Из (V)(VI) =>M5=m5 Доказать : М6 = m6

Доказательство: m6 = (m20 — m02 )[(m30 + m12)2 — (m21 + m03)2] + 4mn(m30 + m12)(m21 +m03);

A=(m20 — m02) B=m11

C = (m30 + m12)

D= (m21 + m03)=>m6= A*(C2 -D2) + 4*B*C*D Из (а)(Ь) (I) (II) у нас есть :

M6=(cos2a * А — 2 * sin2a * B) * [(cosa * C — sina * D)2 — (sina * C + cosa * D)2] +4 * Q- sin2a * А + cos2a * B^ * (cosa * C — sina * D) * (sina * C + cosa * D) = (cos2a * A -2* sin2«

•B)-[ c°s2a .(c2-d2) - 2* su,2« -С-Щ +(2* sm2« *A +4* c°s2„ .щфт2« *(C2-d2) +cos2„

*C*D) =cos22a * A * (C2 — D2) — stn4a * A * С * D — stn4a * В * (C2 — D2) +4 * stn22a * В * С * D + stn22a * A * (C2 — D2) + stn4a * A * С * D + stn4a * В * (C2 — D2) +4 * eos22a * В * С * D = 4(C2 — D2) + 4 *5*C*D = ш6

cos2 2« *A*(C2-D2) - sin4a *A*C*D - sin4a *B*(C2-D2) + 4* sin2 2« *B*C*D + sin2 2« *A*(C2-D2) + sin4« *A*C*D + sin4« *B*(C2-D2) + 4* cos2 2« *B*C*D = A*(C2 -D2) + 4*B*C*D =m6 Доказать : М7 = m7

Доказательство: m7 = (3m21 — m03 )(m30 + m12 )[(m30 + m12 )2 — 3(m21 + m03 )2 ] — (m30 — 3m12)(m21 + m03)[3(m30 + m12)2 — (m21 + m03)2] A=(m30 — 3m12) B= (3m21 — m03) C = (m30 + m12)

D=(m21 + m03)=>m7 = B*C*(C2-3*D2) - A*D*(3*C2 -D2) (VII) Из (I) (II)(III)(IV) :

M7=(sin3a * А + cos3a * B) * (cosa * C — sina * D) * [(cosa * C — sina * D)2 — 3 * (sina * C + cosa * D)2] = —(cos3a * А — sin3a * B)(sina * C + cosa * D) * [3 * (cosa * C — sina * D)2 — (sina * C + cosa * D)2] = (sin3a * А + cos3a * B) * (cos3a * C3 — 3sin3a * C2 * D — 3cos3a * C *

102

D2 + sin3a * D3) — (cos3a * А — sin3a * B)(sin3a * C3 — 3sin3a * C * D2 + 3cos3a * C2 * D — cos3a * D3) = (cos23a + sin23a) * B * C3 — 3(cos23a + sin23a) * В * С * D2 — 3(cos23a + sin23a) * A *D * C2 + (cos23a + sin23a)4 * D3= 5* C3 — 35 * С * D2 — 3Л * D * C2+ A * D3 = В * С * (C2 — 3 * D2) — A * D * (3 * C2 — D2)(VIII) Из (VII) (VIII) =>M7 = Ш7

Доказательство и проверка инвариантности 3D моментов МаШЬ

Пусть р(x, y, z) есть непрерывная функция, описывающая значение яркости точек с координатами (x, y, z) в трехмерном пространстве. Для корректного сопоставления изображений требуется построить моменты, инвариантные к группе аффинных преобразований. Центральные моменты для цифрового изображения можно вычислить:

Мып (x - x) (y - y )m (z - z )n р( X, y, z),

X Y Z

где X, Y, Z - область определения координат пикселей изображения; (I + m + n) - порядок ЭБ-момента, (X, y, z) - координаты центра тяжести (центроид) ЗБ-объекта.

Требуется построить моменты, инвариантные к операциям поворота, сдвига и масштабирования.

1. Для получения ЗБ-моментов, инвариантных к поворотам и сдвигам, необходимо суммировать определенным образом центральные моменты.

Первый набор инвариантов

/1 — М200 + М020 + М002 ;

12 — ^200 ^020 ^ ^200^002 ^ ^020^002 — М101 — Ml10 — М011 .

К сожалению, другие инварианты этой работы содержат различные неточности.

Второй набор инвариантов

/3 — ^200^020^002 — М002М10 — М020М01 — М200М011 ^ 2М110М101М011 '

F1 — М003 ^ 6Аз12 ^ ^ 6А}30 ^ 6М102 ^ 15Мп — 3 М102М120 ^ 6М120 — 3 М021М201 ^ 6М201 —

— 3М003(М021 + ^201) — 3^030^210 + 6М210 — 3^012 (м 030 ^м210) 3м102м300 3м120м300 + М300.

Третий набор инвариантов

F2 — М00 +М)20 + Мю2 ^ 2М10 ^ 2М01 ^ 2Мш>

F3 — М200 ^ 3м200м110 ^ 3м200м101 ^ 3М110 ^ 3 М101М020 ^ 3 М101М002 ^

+ М020 ^ 3М020М011 ^ 3АшМ002 ^ М002 ^ 6М10МшАш;

А00 + А)30 + М)03 + + 3А201 + 3А120 + 3Мю2 + 3М)21 + 3А)12 + 6А111;

= А300 + 2А300А120 + 2А300А102 + 2А210А030 + 2А210А030 + 2А201А003 + А030 + 2А030А012 + + 2А021А003 + А003 + А210 + 2А210А012 + 2А201А021 + А120 + 2А120А102 + А102 + А021 + А

012 •

2. Инвариантность к масштабированию обеспечивается нормированием центральных

арЧг р + q + г моментов: ——, где г =--+ 1.

А

000

2

Доказательство инвариантов к масштабированию наг, тогда

V! V1

X; = -X 1 II = -.у Й = —21 X = -х У = — у Ъ = —2 г г г г г г

X;, У;, Ъ;, X, У, Ъ - новые координаты.

1 N 1 Ы л N 1

1_1= М002+М020+М200= £(Х. £+ —*£(2,-2)2 = —I

1_2= М002*М020+М020*М200+М002*М200-М0102-М1002-М0012= -1 /2

г

Аналогично получаем для других 3Б-инвариантов:

I 3 = \ 13, Б 1 = -1 ^

~ г 6 _ г6

Б 2 = — ^ , Б 3 = — ^ ~ г 6 _ г 6

Б 4 = -1 F4F 5 = -1^ _ г 6 ~ г 6

3. Для проверки инвариантности к повороту выбираем 4 точки, считаем инвариантные моментыи сравниваем их: Х1=1; Х2=3; Х3=4; Х4=6; У1=21; у2=5; у3=12; у4=8; 21=-2; 22=-4; 23=14; 24=20; Б(Х1, У1, 21) = 2; Б(Х2, У2, 22) = 5 ; Б(Х3, У3, 23) = 190; Б(Х4, у4, 24) = 212;

_Таблица 1-результат сравнения инвариантных моментов_

We Ьауе Ше 1пуаг1ап! шошеп 1п А: 11А = 9.9101е+03

We Ьауе Ше Бееопё 1пуаг1ап! шошеп 1п А:

12 А = 9.1889е+06

We Ьауе Ше 1;Ыгё 1пуаг1ап! шошеп 1п А:

13 А = 1.4873е+08

We Ьауе Ше йэигШ 1пуаг1ап! шошеп 1п А: 14А = -2.6153е+04

We Ьауе Ше ййЬ 1пуаг1ап! шошеп 1п А:

We Ьауе Ше йге! 1пуаг1ап! шошеп 1п В: 11В = 9.9101е+03

We Ьауе Ше Бееопё 1пуаг1ап! шошеп 1п В: 12В = 9.1889е+06 We Ьауе Ше 1;Ыгё 1пуаг1ап! шошеп 1п В: 13В = 1.4873е+08

We Ьауе Ше РэигШ 1пуаг1ап! шошеп 1п В: 14В = 1.8877е+04 We Ьауе Ше ййЬ 1пуаг1ап! шошеп 1п В:

1=1

I5A = 3.35l8e+06 I5B = l.8856e+06

We hаve the sixth invаriаnt mоment in A: We hаve the sixth ^апа^ mоment in B:

I6A = -8.9758e+07 I6B = -4.0226e+07