Алгоритмы обработки и представления изображений лиц в пространстве канонических переменных тема диссертации и автореферата по ВАК РФ 05.13.18, кандидат наук Каменская, Екатерина Ивановна

• Каменская, Екатерина Ивановна
• кандидат наук
• 2010

Оглавление диссертации кандидат наук Каменская, Екатерина Ивановна

СОДЕРЖАНИЕ

ВВЕДЕНИЕ

Глава 1. АНАЛИЗ ПРЕДМЕТНОЙ ОБЛАСТИ, ПОСТАНОВКА ЦЕЛИ И ЗАДАЧ ИССЛЕДОВАНИЙ

1.1. Проблемы биометрии и метод ССА

1.2. Тенденции развития технологий распознавания лиц на основе ССА

1.3. Структура вычислений в ССА

1.4. Обзор применения и реализации ССА в задачах биометрии

Выводы по главе 1

Глава 2. РАЗРАБОТКА АЛГОРИТМОВ 2D ССА

2.1. Исходная идея метода 2D ССА

2.2. Параллельный алгоритм 2D ССА

2.3. Каскадный алгоритм 2D ССА

2.4. Методы верификации выполненного анализа

2.5. Характеристики алгоритмов 2D ССА

2.6. Распознавание изображений лиц в рамках 2D ССА

2.7. Регуляризация вычислений в ССА

2.7. Модели изображений лиц в ПКП

Выводы по главе 2

Глава 3. ЭКСПЕРИМЕНТАЛЬНОЕ ИССЛЕДОВАНИЕ АЛГОРИТМОВ 2D ССА

3.1. Методология описания экспериментов

3.2. Базы изображений лиц, используемые в экспериментах

3.3. Оценка подобия образов в рамках 2D ССА

3.4. Исследование ПКП для семантически разных классов изображений

3.5. Распознавание изображений лиц в ПКП

3.5.1. Эксперименты на изображениях базы FERET

3.5.2. Эксперименты на изображениях базы Equinox

3.5.3. Эксперименты на изображениях базы ZUT

Выводы по главе 3

Глава 4. ОПИСАНИЕ ИССЛЕДОВАТЕЛЬСКОГО КОМПЛЕКСА ПРОГРАММ

4.1. Состав комплекса программ

4.2. Описание демо-программ

4.3. Описание базовых модулей

Выводы по главе 4

ЗАКЛЮЧЕНИЕ

БИБЛИОГРАФИЧЕСКИЙ СПИСОК

ПРИЛОЖЕНИЕ. Листинги основных программ

Введение диссертации (часть автореферата) на тему «Алгоритмы обработки и представления изображений лиц в пространстве канонических переменных»

ВВЕДЕНИЕ

В настоящее время активно развивается область информатики, связанная с биометрическими технологиями распознавания людей. Особенно привлекательны технологии, основанные на геометрии лица, на практике связанные с обработкой изображений лиц. Эти технологии развиваются в трех основных направлениях: аутентификация и идентификация людей; распознавание эмоционального состояния людей; распознавание текущего психофизического состояния людей.

Анализ этих направлений показал, что их развитие тормозит отсутствие методов, алгоритмов и программ, а также необходимых методик выявления и использования связей между характеристиками исходных данных (изображений лиц) и соответствующими характеристикам человека. Указанные связи можно раскрыть в рамках канонического корреляционного анализа (Canonical Correlation Analysis — CCA). В рамках CCA информация переводится из исходного пространства признаков в пространство канонических переменных (ПКП), в котором осуществляются все дальнейшие операции. Признаки в ПКП связываются между собой устойчивой корреляцией, что обеспечивает возможность выявления, изучения и использования связей между ними.

Метод ССА был впервые представлен Хотеллингом в 1930-х годах (журналы Journal of Educational Psychology и Biometryka) и описывал соотношение между двумя наборами векторных данных. В цифровой обработке изображений (ЦОИ) методология применения ССА также основана на векторном представлении исходных изображений. На практике это приводило к необходимости введения операций предобработки изображений - уменьшения их размеров и/или их трансформации в вектор с последующим использованием базовых процедур ССА. Сложность и объем вычислений в ССА привели к тому, что первые публикации по методам двумерного ССА в приложении к ЦОИ появились лишь в конце 2007 года. Описанные в этих публикациях методы также содержат вышеуказанные операции предобработки, что усложняет сам процесс обработки изображений, снижает точность и быстродействие предложенных алгоритмов. При этом в доступных

публикациях отсутствует детальное представление реализованных алгоритмов, не рассмотрены методические разработки по структуре и способам функционирования элементов соответствующих систем распознавания, а также не представлено точное описание выполненных экспериментов, что препятствует их повторению и, как следствие, использованию результатов из этих публикаций.

Мощный скачок в развитии компьютерных технологий (увеличение памяти и быстродействия компьютеров, широкое применение пакетов программ по ЦОИ, применение математического моделирования) создали новые возможности для исследования и развития методов ССА, а также предпосылки для их применения в задачах обработки многомерных данных — совокупностей изображений.

В этих условиях разработка новых подходов к реализации ССА, создание соответствующих алгоритмов, отдельных программ и программных комплексов, а также необходимых моделей и методик, развивающих применение ССА в задачах обработки многомерных данных, являются актуальными задачами.

Целью данной работы является исследование и разработка алгоритмов двумерного канонического корреляционного анализа в приложении к обработке изображений лиц и их представлению в ПКП.

Для достижения поставленной цели решались следующие задачи:

1) разработка и исследование алгоритмов двумерного ССА (2D ССА) применительно к задачам обработки изображений лиц;

2) исследование алгоритмов представления и сравнения изображений лиц в ПКП;

3) разработка структур систем распознавания в условиях известной и неизвестной принадлежности тестовых изображений к исходным категориям данных;

4) разработка компактной формы записи компьютерного эксперимента (модели), отражающей характеристики моделируемых систем распознавания;

5) разработка комплекса программ для организации вычислительных

экспериментов и исследования задач обработки изображений с использованием алгоритмов 2D ССА;

6) проведение экспериментальной апробации разработанных алгоритмов на примерах задач распознавания изображений лиц.

Объектом исследований является метод 2D ССА в приложении к обработке цифровых изображений.

Предметом исследований являются алгоритмы обработки изображений лиц в пространстве канонических переменных и их программная реализация.

Методы исследования. Исследования базируются на методах цифровой обработки изображений и методах распознавания образов, аппарате матричной алгебры и численных методах линейной алгебры. Методология исследований включает:

1) аналитический обзор и анализ литературы, посвященной ССА в приложении к задачам распознавания изображений лиц, и ее систематизацию;

2) математический аппарат ССА в матричной форме и в приложении к задачам обработки изображений как двумерных объектов;

3) формальную запись моделей выполненных компьютерных экспериментов, анализ результатов экспериментов и выводы из них;

4) выводы, рекомендации и предложения по применению аппарата ССА к задачам обработки изображений.

Новые научные результаты

1. Разработаны параллельный и каскадный алгоритмы 2D ССА, не требующие предварительной процедуры уменьшения размеров исходных изображений, прямо реализуемые по двум направлениям координат (строкам и столбцам) исходных изображений и применимые в условиях «малой выборки». Алгоритмы 2D ССА обеспечивают вычисление матриц проекций для реализации двумерных преобразований и трансформации исходных изображений в ПКП.

2. Определены два типа базовых систем, предназначенных для распознавания тестовых изображений при известной и неизвестной их принадлежности к заданным категориям исходных данных.

3. Разработан способ представления компьютерного эксперимента в виде мнемонической модели, отражающей основные параметры моделируемой системы распознавания: базу изображений, структуру исходных и промежуточных данных, метод экстракции признаков, тип системы, классификатор и ранг оценки результата.

4. Программно реализованы алгоритмы 2D ССА и разработана структура комплекса программ, предназначенного для моделирования и исследования систем распознавания изображений лиц в пространстве канонических переменных.

Практическая ценность

1. Комплекс программ, разработанный на основе алгоритмов 2D ССА и двух типов структур систем распознавания, позволяет проводить вычислительные эксперименты по обработке изображений в различных прикладных задачах. Примеры решения некоторых задач приведены в диссертации и могут служить прототипами для решения других аналогичных задач.

2. Предложенная в диссертации методология описания компьютерных экспериментов в форме модели позволяет наглядно, компактно и в то же время точно представить поставленный эксперимент. Такую модель рекомендуется применять также для сравнения различных решений моделируемых систем между собой. Все выполненные в рамках диссертации компьютерные эксперименты представлены соответствующими моделями, что дает возможность точно повторить выполненный эксперимент.

Научные положения, выносимые на защиту

1. Параллельный и каскадный алгоритмы 2D ССА, обладающие простотой реализации и применимые в условиях «малой выборки».

2. Два типа структур систем распознавания изображений в ПКП, используемые при известной и неизвестной принадлежности тестовых изображений к категориям исходных данных.

3. Способ описания компьютерных экспериментов в форме мнемонической модели.

4. Комплекс программ для проведения компьютерных экспериментов по обработке изображений в ПКП, основными компонентами которого являются блоки, реализующие алгоритмы 20 ССА.

Теоретические положения, алгоритмы двумерного канонического корреляционного анализа, исследовательский комплекс программ использованы в НИР и ОКР, выполняемых открытым акционерным обществом «Научно-инженерный центр Санкт-Петербургского электротехнического университета». Результаты диссертационной работы использованы в учебных дисциплинах «Компьютерные методы идентификации личности» и «Цифровая обработка сигналов» кафедры математического обеспечения ЭВМ Санкт-Петербургского государственного электротехнического университета.

Результаты диссертации обсуждались на XIII - XV международных конференциях «Современное образование - содержание, технологии, качество» (г. Санкт-Петербург, 2007 - 2009 гг.), XIII Всероссийской конференции «Новые информационные технологии в научных исследованиях и образовании» (г. Рязань, 2008 г.) и на семинарах факультета информатики в Западно-Приморском технологическом университете (г. Щецин, Польша, 2007 и 2009 гг.).

По теме диссертации опубликованы 14 научных работ, из них — 10 статей (4 статьи опубликованы в ведущих рецензируемых научных журналах и изданиях, одобренных ВАК), 4 работы - в трудах конференций.

Диссертация состоит из введения, четырех глав с выводами, заключения, библиографического списка и приложения. Работа изложена на 161 страницах машинописного текста и включает 102 рисунка и 7 таблиц. Библиографический список включает 98 наименований. Ссылки на источники указываются в виде имени первого автора публикации (в некоторых случаях с заглавием) и года издания в квадратных скобках.

Глава 1. АНАЛИЗ ПРЕДМЕТНОЙ ОБЛАСТИ, ПОСТАНОВКА ЦЕЛИ И ЗАДАЧ ИССЛЕДОВАНИЙ

1.1. Проблемы биометрии и метод ССА

В настоящее время активно развивается область информатики, связанная с биометрическими технологиями распознавания людей [Jain А.К., 2004; Phillips P.J., 2007]. Эти технологии могут обеспечить быстрое и точное решение задач аутентификации и идентификации людей, например, при трансграничном контроле, контроле доступа к стратегическим или информационным ресурсам и денежным средствам (например, к персональным или корпоративным банковским счетам). Среди различных биометрических технологий распознавания людей особенно привлекательны технологии, основанные на геометрии лица. Объясняется это тем, что идентификацию людей и наблюдение за ними можно производить «на расстоянии» и незаметно для самого человека, не требуя от него каких-либо действий.

В рамках этих технологий лица наблюдаемых людей сравниваются с изображениями лиц, хранящимися в памяти систем распознавания лиц (Face Recognition System - FaReS [Stan Z. Li., 2005; Delac K., 2007; Каменская Е.И., 2007; Delac K., 2008; Кухарев Г. A., 2001]).

Типовая структура FaReS представлена на рисунке 1.1:

Результат

Этапы: 1 2 3 4 5

Рисунок 1.1. Типовая структура FaReS

В FaReS реализуются следующие этапы: предварительная обработка исходного изображения (ПО) и детекция лица на изображении (Д); экстракция признаков из выделенного изображения (ЭП); селекция признаков и/или редукция размерности пространства признаков (СП/РРПП);

9 i

регистрация пользователей и формирование базы пользователей системы; классификация заданного изображения лица (К) в рамках решаемой проблемы.

Технологии, основанные на геометрии лица, развиваются в трех направлениях:

1. Аутентификация и идентификация лиц;

2. Распознавание эмоционального состояния людей;

3. Распознавание психофизического состояния людей.

Первое направление - аутентификация и идентификация лиц — используется, например, в системах управления контролем доступа [Фисенко В.Т., 2008]. Это направление на сегодняшний день достаточно хорошо изучено, представлено исследовательскими и коммерческими системами и компьютерными программами распознавания людей по лицам [Нюнькин K.M., 2006; Жданов Ф.М., 2006; Кудряшов П.П., 2007; Лепский А.Е., 2007; Пономаренко H.H., 2007; Кухарев Г.А. Метод определения линии симметрии лица в приложении к задачам биометрии, 2009].

Для тестирования методов распознавания в рамках этого направления созданы представленные в источниках [Stan Z.Li., 2005; The BioID Face Database, 2010] базы изображений лиц, а также определены стандарты на изображения лиц [Biometrie Data Interchange Formats, 2004]. Базы изображений лиц создают необходимые условия для проверки различных методов обработки и их сравнения между собой по различным параметрам: точность, быстродействие, робастность и т.д. Стандарты на изображения лиц позволяют унифицировать обмен данными, методы обработки и защиту данных в биометрических системах [Cui L., 2008].

Пример структурированной базы изображений лиц [The ORL Database of Faces, 2002; Samaria F., 1994] приведен на рисунке 1.2. База включает изображения лиц 40 людей (классов) различной национальности и пола. Каждый класс состоит из 10 изображений лиц в разном ракурсе. Размер изображений 112x92 пикселей. Для базы ORL характерно изменение контраста изображений и яркости фона вокруг области лица; размера области лица, в том числе не пропорционального по осям X и Y; поворота головы в пространстве 3D в пределах не менее ±20° по оси X, ±30° - по оси Г и не

менее ±5° - по оси Z; изменение мимики лиц и прорисовки деталей лиц.

В то же время следует отметить, что большинство существующих баз изображений лиц не удовлетворяют требованиям международного биометрического стандарта [Biometric Data Interchange Formats, 2004]. Например, параметры фотопортрета, отвечающего стандарту, представлены на рисунке 1.3.

Рисунок 1.2. Изображения лиц базы ORL

В соответствии с этим стандартом фотопортреты должны иметь следующие характеристики:

1) цветное изображение класса «indoor» с естественным цветом, равномерным освещением и насыщением (ни темное, не слишком светлое);

2) левая и правая половины лица должны быть освещены одинаково;

3) размер изображения не ниже 320x240 пикселей; область лица должна находиться в вертикальной оси изображения и должна занимать не менее 80% его площади; расстояние между центрами глаз должно составлять не менее 60 пикселей;

4) лицо должно быть представлено строго в «фас»; выражение лица нейтральное, рот закрыт; глаза должны быть открыты, и, никакие

предметы не должны их заслонять; очки должны быть немассивными, с прозрачными светлыми стеклами и не создавать бликов; очки не могут быть приколоты к волосам сверху. 5) ничто не должно закрывать лицо или его часть (например, волосы, шапки, платки).

Рисунок 1.3. Базовые параметры фотопортрета по стандарту [Biometrie Data

Interchange Formats, 2004]

Таким образом, стандарт [Biometrie Data Interchange Formats, 2004] определяет размер и формат, качество и содержательную информацию в исходных изображениях лиц. Это единственный стандарт на фотопортреты, применяемые при оформлении документов, удостоверяющих личность при трансграничных перемещениях и заграничных путешествиях людей.

Второе направление развития технологий, основанных на геометрии лица, - распознавание эмоционального состояния людей. Основа используемых здесь методов - сравнение текущего выражения лица с эталонами из баз, представляющих изображения с выражениями лиц. Это направление, как и первое, относительно хорошо изучено и уже переходит в плоскость практических разработок.

Пример базы изображений Cohn-Kanade AU-Coded Facial Expression database [Stan Z. Li., 2005] для распознавания эмоций представлен на рисунке 1.4.

Третье направление связано с распознаванием психофизического состояния людей. Проблемы этого направления проанализированы, обобщены и наиболее полно представлены в двух работах автора настоящей диссертации [Kamenskaya Е. Some aspects of automated recognition of person's psychological characteristics from the facial image, 2008; Kamenskaya E. Recognition of Psychological Characteristics from Face, 2008]. Ниже представлены некоторые выдержки выполненного анализа и обобщения.

Рисунок 1.4. Изображения лиц для распознавания эмоций

Прежде всего, следует отметить, что оценка (распознавание) психофизического состояния людей в рамках биометрии связана с решением следующих задач [Tian Y.-L., 2001; Stan Z. Li., 2005]: оценкой характера и/или наклонностей человека непосредственно по его лицу; прогнозом намерений человека в процессе анализа видео наблюдения за ним; оценкой текущего физического состояния человека и, в том числе, оценкой его пассивности (утомленности) и активности (бодрствования) и обнаружение моментов перехода из одного состояния в другое.

Психофизическое состояние человека оценивается, например, при подборе групп людей, выполняющих ответственную работу (дежурство на военных объектах или пунктах авиадиспетчерских служб). Кроме того, задачей систем является обнаружение момента изменения психического (перевозбуждение, беспокойство...) или физического состояния человека (переутомление, сонливость) у дежурных и диспетчеров таких служб. Подобные задачи возникают, например, при оценке физического состояния водителей большегрузных машин («дальнобойщиков»), пилотов самолетов, машинистов поездов [D'Orazio Т., 2007].

Распознавание психофизического состояния людей автоматическими системами - одно из важных и актуальных сегодня направлений биометрии. Но в связи с тем, что между психологами и специалистами по распознаванию образов не установлено формальной и устойчивой передачи информации, это направление находится практически в «зачаточном состоянии». Во-первых, пока все еще не известно, какими методами и в рамках каких компьютерных технологий можно описывать или "читать" информацию на лицах. Поэтому, например, физиогномика, более-менее понимаемая физиогномистами и психологами, на данный момент не может быть непосредственно переложена на язык компьютерных (биометрических) технологий. Скрытые связи между активными областями мозга и психофизическим состоянием человека (выраженным «на лице») только сейчас начинают определяться и изучаться вместе психологами, математиками и специалистами по компьютерным технологиям и распознаванию образов. Во-вторых, отсутствие каких-либо прецедентов формального описания, базы знаний по физиогномике и отсутствие стандартных баз данных, на которых можно было бы проверять различные методики распознавания психофизического состояния, еще больше усугубляют эту ситуацию.

Анализ текущего состояния трех рассмотренных выше направлений биометрических технологий, основанных на геометрии лица, представлен на рисунке 1.5. Анализ выполнен на основе работ [Phillips P.J., 2007; Delac К., 2008; Zhang Т., 2008; Fierrez J., 2007; Каменская Е.И., 2008; Kamenskaya Е. Some aspects of automated recognition of person's psychological characteristics from the facial image, 2008; Kamenskaya E. Recognition of Psychological Characteristics from Face, 2008; Дудкин K.H., 1998].

Знаками «+» и «-» в двух правых колонках отмечено наличие соответствующих разработок или их отсутствие. Как видно, третье направление в биометрии (распознавание психофизического состояния людей) практически не обеспечено соответствующими технологиями. Методы, инструменты и практика первых двух направлений не могут быть непосредственно использованы в третьем направлении, поскольку здесь сравниваются не лица между собой или их части, а скрытые связи между активными областями мозга и психофизическим состоянием человека, выраженным на лице. При этом собственно лицо - это одно цифровое изображение или последовательность изображений его представляющих.

РАСПОЗНАВАНИЕ ИЗОБРАЖЕНИИ ЛИЦ

т

о

3

Идентифик ация аут ентифик ация поиск лиц

Распознав ание ■ Еыр ажений лица « и» эмоций

Распознавание психо физич е ск ог о состояния

1 Г 1 1 Г

Методы Разработаны + +/-

Программы Существуют +/- +/-

Технические средства Созданы + +

Базы лиц (стандарты) Созданы +/-

Применение Обсуждается +

Методы тестования Утверждены +/-

Публикации Имеются +

Рисунок 1.5. Технологии, основанные на геометрии лица, и их текущее

состояние

Очевидно, что для развития третьего направления биометрии, необходимо развивать новые методы обработки изображений лиц и связанные с ними компьютерные технологии. Эти методы должны согласовывать наблюдения за человеком с разных, внешне не связанных между собой, сторон (например, мозг-лицо, физиогномика-психика или динамика изменения лица человека - внешние раздражители ...).

В последнее время интересы специалистов по компьютерным технологиям и распознаванию образов обратились к методу анализа канонической корреляции (Canonical Correlation Analysis — CCA), как к методу, который позволяет согласовывать наблюдения за объектом с разных, внешне не связанных между собой, сторон.

Метод ССА был представлен Хоттелингом в 30-х годах прошлого столетия и изначально описывал соотношение между двумя одномерными рядами данных [Hotelling Н., 1933; Hotelling Н., 1936] с прогнозом его применения к многомерным данным. Однако, сложность и объем вычислений в ССА привели к тому, что семьдесят лет ожиданий потребовалось на первое практическое применение ССА к наборам цифровых изображений.

Мощный скачок в развитии компьютерных технологий - увеличение памяти и быстродействия компьютеров, широкое применение прикладных пакетов программ по цифровой обработке изображений (например, "MATLAB", "LabView", "Statistics"), использование математического моделирования - создали предпосылки для использования ССА в задачах обработки многомерных данных, в том числе - изображений лиц и последовательности изображений лиц (и других изображений, представляющих, например, динамические биометрические характеристики человека). Поэтому первые публикации, связанные с применением метода ССА в задачах биометрии, появились только в последние 4-5 лет.

1.2. Тенденции развития технологий распознавания лиц на основе ССА

В рамках биометрических технологий распознавания людей можно отметить новые тенденции, ориентированные на обеспечение высокой результативности распознавания людей в реальных условиях и расширение сферы применения биометрических систем [Дорогов А. Ю.; 2005, Phillips P.J., 2007; Delac К., 2008; Zhang Т., 2008; Ременева Е.А., 2009]. Проанализируем эти тенденции и ответим на вопрос: могут ли новые решения успешно реализованы на основе метода ССА?

Во-первых, наметилась тенденция перехода от одномодальной к мультимодальной биометрии, которая определилась как «мультибиометрия» [Кухарев Г. А., 2001; Ross А., 2006].

Эти задачи решаются с использованием специальных мультибиометрических баз [Fierrez J., 2007; Jain А.К., 2004; Jain A., 2005], объединяющих в себе различные биометрические характеристики людей, а решение их основано на совместном использовании разнородной биометрической информации о человеке.

Примеры мультибиометрических баз представлены на рисунке 1.6. В одной FaReS можно объединить физические биометрические характеристики человека: геометрию лица и геометрию руки, геометрию лица и радужную оболочку глаза. Можно также объединить физические и поведенческие биометрические характеристики человека: геометрию лица и походку, геометрию лица и жесты (или манеру работы на клавиатуре компьютера). Идеи построения таких систем были также представлены в статье

)

I

{

[Кухарев Г.А., 2001], а их современное представление и описание можно найти в работах [Bebis G., 2006; Poh N., 2006; Han J., 2007; Gong S., 2007; Kong S.G., 2007; Shan С., 2008; Sun L.A., 2008].

« ». № 4 ►

7-3-7-7-0^.0.4

7-3.7.7.0-0-0-9

•tif-tM» »нм>

7 3-7 7 00 03

7-3-7-7-0-0^-9

Рисунок 1.6. Пример мультибиометрической базы [Jain А.К., 2004]

На рисунке 1.7 показаны другие варианты исходных данных -изображений, используемых в мультибиометрических системах [Zhou X., 2008; Shan С., 2008].

Рисунок 1.7. Примеры некоторых исходных данных, используемых в FaR.eS

С левой стороны представлены изображения, объединяющие выражения лица и соответствующие движения рук одного и того же человека. Здесь лицо и движения рук связаны с выражением эмоций.

С правой стороны рисунка показаны изображения, представляющие лица и запись походки одного и того же человека. Эти данные используются для распознавания человека по его походке.

Во-вторых, наметилась тенденция представления и использования в одной биометрической FaReS различной информации об одном и том же лице человека.

Эта тенденции определилась как "MultisamplingYMultiimaging" [Price J.R., 2005] и "Multirepresentation" [Rajagopalan A.N., 2007]. Пример идеи "MultisamplingVMultiimaging" - представление изображения лица одного и того же человека через отдельные его фрагменты — показан на рисунке 1.8 [Kamenskaya Е., 2008].

Рисунок 1.8. Примеры данных, используемых в "MultisamplingVMultiimaging"

Примеры идей „Multirepresentation" - представление изображения лица одного и того же человека в форме различных признаков (например, яркостных, гистограммных, спектральных) или в форме изображений разных категорий. В последнем случае это может быть изображение в видимом свете (Visible - VIS) и соответствующее ему изображение в инфракрасном освещении (Near Infrared - NIR) [Kamenskaya E., 2009] или, например, VIS и соответствующее ему термоизображение (Thermal - ТН).

Примеры такого представления лиц приведены на рисунке 1.9 [EquDB, Socolinsky D. 2003; Kong S.G., 2005]. Здесь верхний ряд - фотопортреты людей в видимом свете, а нижний ряд - портреты тех же людей, представленных как ТН (левый блок) или как изображения NIR (правый блок). Использование изображений NIR и ТН позволяет элиминировать влияние освещения на результат распознавания или, например, приступить к решению задачи распознавания людей в ночное время суток.

Рисунок 1.9. Примеры пар изображений лиц разных категорий

Следует отметить, что каждая соответствующая пара изображений (VIS/NIR или VIS/TH) отличаются друг от друга текстурой, яркостью, контрастом, фоном и цветом. Кроме того, при фотографировании людей с одного и того же расстояния, на фотопортретах VIS/NIR и VIS/TH получаются разные по размеру области лиц, разные контрасты и яркости одинаковых областей лиц.

Перечисленные различия настолько принципиальны, что не позволяют сравнивать эти изображения друг с другом ни методом «сравнения с эталоном» (Template Matching), ни с помощью корреляции [Ту Дж., 1978; Фукунага К., 1979]. При этом, например, изображения VIS/N1R удалось согласовать между собой в пространстве канонических переменных - то есть в рамках метода ССА [Yi D., 2007].

Заключение диссертации по теме «Математическое моделирование, численные методы и комплексы программ», Каменская, Екатерина Ивановна

Основные результаты обсуждались также на 3-х международных и одной всероссийской конференциях и представлены в тезисах этих конференций (позиции [50-53] библиографического списка). Материалы диссертации использованы в учебном процессе на кафедре МОЭВМ Санкт-Петербургского государственного электротехнического университета и внедрены в НИР и ОКР, выполняемых ОАО "НИЦ СПбГЭТУ".

ЗАКЛЮЧЕНИЕ

Главный результат диссертации заключается в разработке и исследовании алгоритмов 2D ССА в приложении к обработке изображений лиц и их представлению в пространстве канонических переменных — ПКП. Это соответствует теме диссертации и поставленной цели.

В рамках настоящей работы решались следующие задачи:

1. Анализ существующих методов 2D ССА и разработка новых алгоритмов 2D ССА применительно к задачам обработки наборов изображений лиц;

2. Исследование методов представления и сравнения изображений лиц в ПКП;

3. Разработка структур систем распознавания в условиях известной и неизвестной принадлежности тестовых изображений к исходным категориям данных;

4. Нахождение компактной формы записи компьютерного эксперимента, отражающего характеристики моделируемых, систем распознавания;

5. Разработка комплекса программ для организации вычислительных экспериментов и исследования задач обработки изображений с использованием алгоритмов 2D ССА;

6. Проведение экспериментальной апробации разработанных алгоритмов на примерах задач распознавания изображений лиц.

Решения этих задач представлены в 4-х главах диссертации, а полученные при этом основные результаты сводятся к следующим:

1. Разработаны параллельный и каскадный алгоритмы 2D ССА, не требующие предварительной процедуры уменьшения размеров исходных изображений, прямо реализуемые по двум направлениям координат (строкам и столбцам) исходных изображений. Алгоритмы 2D ССА обеспечивают вычисление матриц проекций для реализации двумерных преобразований и трансформации исходных изобралсений в ПКП, характеризуются меньшей сложностью вычислений и применимы в условиях «малой выборки».

2. Определены два типа базовых систем, предназначенных для распознавания тестовых изображений при известной и неизвестной их принадлежности к заданным категориям исходных данных. Эти типы систем могут служить основой для любых других практических решений для систем распознавания изображений методом 2О ССА.

3. Разработан способ представления компьютерного эксперимента в виде мнемонической модели, отражающей основные параметры моделируемой системы распознавания: базу изображений, структуру исходных и промежуточных данных, метод экстракции признаков, тип системы, классификатор и ранг оценки результата. Такую модель можно применять для сравнения различных решений моделируемых систем между собой. Выполненные в рамках диссертации компьютерные эксперименты представлены соответствующими моделями, что дает возможность точного их повторения.

4. Программно реализованы алгоритмы 20 ССА и разработана структура комплекса программ, предназначенного для моделирования и исследования систем распознавания изображений лиц в пространстве канонических переменных. Примеры решения типовых задач приведены в диссертации и могут служить прототипами для решения других аналогичных задач.

В целом диссертация характеризуется методологическим единством представленного материала, а совокупность полученных результатов отвечает поставленной цели. Основные научные результаты теоретически обоснованы и подтверждены выполненными компьютерными экспериментами.

Результаты диссертационной работы опубликованы в 10 российских и международных журналах (из них 4 статьи в журналах, рекомендуемых ВАК), отмеченных позициями [40-49] библиографического списка.

Список литературы диссертационного исследования кандидат наук Каменская, Екатерина Ивановна, 2010 год

БИБЛИОГРАФИЧЕСКИЙ СПИСОК

Основные публикации по распознаванию изображений лиц

1. Turk, М. Eigenfaces for Face Detection/Recognition [Текст] / M. Turk, A.Pentland // Journal of Cognitive Neuroscience. - 1991. — Vol. 3, № 1.— P. 71-86.

2. Tian, Y.-L. Recognizing action units for facial expression analysis [Текст] / Y.-L. Tian, T. Kanade, J. Cohn // IEEE Transaction on Pattern Analysis and Machine Intelligence. - 2001. - 23(2). - P. 1 -19.

3. Кухарев, Г.А. Биометрические системы: Методы и средства идентификации личности человека [Текст]: научное издание / СПб.: Политехника, 2001. -240 с.

4. Jain, А.К. An Introduction to Biometric Recognition [Текст] / A.K. Jain, A. Ross, S. Prabhakar // IEEE Transactions on Circuits and Systems for Video Technology. - January 2004. - Vol. 14, No. 1. - P. 4-20.

5. Stan, Z. Li. Handbook of Face Recognition [Текст] / Z. Li. Stan, K. Jain Anil. -Springer, 2005.-395 p.

6. Дорогов, А. Ю. Быстрая классификация JPEG-изображений [Текст] / А. Ю. Дорогов, Р. Г. Курбанов, В. В. Разин // Интернет-математика 2005. Автоматическая обработка веб-данных. - М., 2005. - С. 147-172.

7. Нюнькин, К.М. Распознавание изображения лица человека с произвольным

ракурсом (Начало) [Текст] / К.М. Нюнькин // Вестник компьютерных и информационных технологий. - 2006. - № 6. — С. 22-28.

8. Нюнькин, К.М. Распознавание изображения лица человека с произвольным

ракурсом (Продолжение) [Текст] / К.М. Нюнькин // Вестник компьютерных и информационных технологий. - 2006. - № 7. - С. 11-17.

9. Кухарев, Г.А. Системы распознавания человека по изображению лица

[Текст] / Г.А. Кухарев, Н.Л. Щеголева. - СПб.: Из-во СПбГЭТУ «ЛЭТИ», 2006.-176 с.

10. [Жда 06] Жданов, Ф.М. Обнаружение лиц на изображении с помощью

адаптивных методов [Текст] / Ф.М. Жданов, М.Ю. Карасева // International Conference Graphicon. - Novosibirsk Akademgorodok, Russia. - 2006. -(http://www.graphicon.ru/).

11. Delac, K. Face Recognition [Текст] / Delac Kresimir, M. Grgic // Vienna, Austria: I-Tech, June 2007. - 559 p.

12. [Куд 07] Кудряшов, П.П. Быстрый поиск человеческих лиц на изображениях [Текст] / П.П. Кудряшов, С.А. Фоменков // Вестник компьютерных и информационных технологий. - 2007. - №7. - С. 14-17.

13. Phillips, P.J. FRVT 2006 and ICE 2006 Large-Scale Results [Текст] / PJ. Phillips [et al.] // FRVT 2006 Report: NISTTR 7408. - March 2007. -(http://face.nist.gov/frvt/frvt2006/FRVT2006andICE2006LargeScaleReport.pdf).

14. Лепский, A.E. Поиск портретных изображений по содержанию [Текст] / А.Е. Лепский [и др.] // Сборник работ участников конкурса "Интернет-математика 2007". - Екатеринбург: изд-во Урал, ун-та, 2007. - С. 56-64.

15. [Пон 07] Пономаренко, Н.Н. Устойчивый поиск изображений по полному и тематическому подобию с использованием многопараметровой классификации [Текст] / Н.Н. Пономаренко, В.В. Лукин, С.К. Абрамов // Интернет-математика (Яндекс, Россия). - Екатеринбург: Изд-во Уральского университета, 2007. - С. 171-180.

16. Delac, К. Recent Advances in Face Recognition [Текст] / К. Delac, M. Grgic, M. Bartlett. - Croatia: I-Tech, December 2008. - 236 p.

17. Кухарев, Г.А. Поиск изображений лиц в больших базах данных [Текст] / Г.А. Кухарев // Мир Измерений. - 2009. - 4(98). - С. 22-30.

18. Ременева, Е.А. Исторические аспекты биометрии [Текст] / Ременева, Е.А. // Мир Измерений. - 2009. - №3. - С. 8-11.

Мультибиометрия

19. Kuncheva, L.I. Combining classifiers: Soft computing solutions [Текст] / L.I. Kuncheva // Pattern recognition: from classical to modern approaches. -World Scientific Publishing Co., Singapore, 2001. - P. 427-451. -

(www.bangor.ac.uky~masOOa/recent_publications.htm).

20. Yang, Z. Interactive Retrieval in Facial Image Database Using Self-Organizing Maps [Текст] / Z. Yang, J. Laaksonen // Journal Machine Vision and Application. - 2005. - № 5. - P. 112-115.

21. Jain, A. Score normalization in multimodal biometric systems [Текст] / A. Jain [et al.] // Pattern Recognition 38, 2005 - P. 2270-2285.

22. Price, J.R. Face recognition using direct, weighted linear discriminant analysis and modular subspaces [Текст] / J.R. Price, T.F. Gee // Pattern Recognition. -2005.-№38. -P. 209-219.

23. Ross, A. Handbook of Multibiometrics (International Series on Biometrics) [Текст] / A. Ross, K. Nandakumar, A. K. Jain // Springer Publishers, 2006. -202 p.

24. Rajagopalan, A.N. Face recognition using multiple facial features [Текст] / A.N. Rajagopalan [et al.] // Pattern Recognition Letters. - 2007. - №28. -P. 335-341.

25. Forczmanski, P. Comparative analysis of simple facial features extractors [Текст] / P. Forczmanski, G. Kukharev // Journal Real-Time Image Processing. -2007. - № 1. - P. 239-255.

26. Kukharev, G. Strategy of constructions a class Face Retrieval system [Текст] / G. Kukharev, M. Miklasz, B. Nguen // Metody Informatyki Stosowanej. — 2007.-Vol. 12, №2.-P. 61-72.

27. Kukharev, G. Facial dimensionality reduction and recognition by means of 2DKLT [Текст] / G. Kukharev, P. Forczmanski // International Journal Machine Graphics and Vision. - 2007. - Vol. 16, № 3/4. - P. 401-425.

28. Zhang, T. Multimodal biometrics using geometry preserving projections [Текст] / Т. Zhang [et al.] // Pattern Recognition. - 2008. - № 41. - P. 805-813.

Стандарты на изображения лиц

29. Biometric Data Interchange Formats - Part 5: Face Image Data [Текст]: ISO/TEC JTC1/SC37 N506, ISO/IEC IS 19794-5. - 2004. - Due date: July 22, 2004. -

54 p. - (http://www.icaojnt/mrtd/download/technical.cfin).

30. Gao, X. Standardization of Face Image Sample Quality [Текст] / X. Gao [et al.]//Lecture Notes in Computer Science Vol. 4642/2007. -P. 242-251.

31.Cui, L. An Image Quality Metric based on Corner, Edge and Symmetry Maps [Текст] / L. Cui, A. Allen. - 2008. -(http://www.comp.leeds.ac.uk/bmvc2008/proceedings/papers/187.pdf).

Базы изображений

32. Kanade, Т. Comprehensive database for facial expression analysis. [Текст] / Т. Kanade, J. F. Cohn, Y. Tian // Proceedings of the Fourth IEEE International Conference on Automatic Face and Gesture Recognition (FG'00). - Grenoble, France.-2000.-P. 46-53.

33. Fierrez, J. Biosec baseline corpus: A multimodal biometric database [Текст] / J. Fierrez [et al.] // Pattern Recognition. - 2007. - Vol. 40. - P. 1389 - 1392.

34. The ORL database of faces [Текст] / AT&T Laboratories Cambridge. -(http://www.cl.cam.ac.uk/research/dtg/attarchive/facedatabase.html).

35. Samaria, F. Parameterisation of a Stochastic Model for Human Face Identification [Текст] / F. Samaria, A. Harter // Proceedings of 2nd IEEE Workshop on Applications of Computer Vision. - Sarasota, FL, USA. -December 1994. - P. 138-142.

36. Human Identification at a Distance (HID) [Текст]. - Face Recognition Using Thermal Imagery. - (http:www.equinoxsensors.com/products/HID.html).

37. The BioID Face Database. [Текст] - 2010. (http://www.bioid.com/support/downloads/softwarc/bioid-face-database.html).

38. The Facial Recognition Technology (FERET) Database [Текст]. - 2004. -(http://www.itl.nist.gov/iad/humanid/feret/feret_master.html).

39.Phillips, P.J. The FERET evaluation methodology for face recognition algorithms [Текст] / P.J. Phillips [et al.] // IEEE Transactions on Pattern Analysis and Machine Intelligence. - October 2000. - Vol. 22, № 10. - P. 1090-1104.

Собственные статьи в журналах по теме диссертации

40. Kamenskaya, Е. Visible and Infrared Recognition using Canonical Variables [Текст] (Распознавание изображений в видимом и инфракрасном диапазонах с использованием канонических переменных) / Е. Kamenskaya, М. Borawski, М. Szaber // Polish Journal of Environmental Studies. - 2009. -Vol. 18, №3B.-P. 39-43.

41. Каменская, Е.И. Обзор алгоритмов канонического корреляционного анализа в области обработки изображений лиц [Текст] / Е.И. Каменская // Известия Санкт-Петербургского государственного электротехнического университета «ЛЭТИ». Сер. «Информатика, управление и компьютерные технологии». - 2010. - № 3. - С. 16-22.

42. Kukharev, G. Application of two-dimensional canonical correlation analysis for face image processing and recognition [Текст] (Применение двумерного канонического корреляционного анализа в обработке и распознавании изображений лиц) / G. Kukharev, Е. Kamenskaya // Pattern Recognition and Image Analysis. - 2010. - Vol. 20, № 2. - P. 210-219.

43. Кухарев, Г.А. Новый метод двумерного канонического корреляционного анализа для задач распознавания изображений лиц [Текст] / Г.А. Кухарев, Е.И. Каменская // Известия Санкт-Петербургского государственного электротехнического университета «ЛЭТИ». Сер. «Информатика, управление и компьютерные технологии». - 2010. - № 5. - С. 56-61.

44. Kamenskaya, Е. Recognition of Psychological Characteristics from Face [Текст] (Распознавание психологических характеристик человека по изображению лица) / Е. Kamenskaya, G. Kukharev // Metody Informatyki Stosowanej. -2008.-Vol. 15, № l.-P. 59-72.

45. Kamenskaya, E. Some aspects of automated recognition of person's psychological characteristics from the facial image [Текст] (Некоторые аспекты автоматизированного распознавания психологических характеристик человека по изображению лица) / Е. Kamenskaya, G. Kukharev // Metody Informatyki Stosowanej. - 2008. - Vol. 15, № 2. - P. 29-37.

46. Szaber, M. Systemy rozpoznawania twarzy día obrazów widzialnych i podczerwieni z wykorzystaniem CCA [Текст] (Системы распознавания лиц на изображениях в видимом и инфракрасном свете с использованием CCA) / М. Szaber, Е. Kamenskaya // Metody Informatyki Stosowanej. - 2008. -Vol. 16, №3.-P. 223-236.

47. Кухарев, Г.А. Метод определения линии симметрии лица в приложении к задачам биометрии [Текст] / Г.А. Кухарев, Е.И. Каменская, Зуи Линь By // Известия Санкт-Петербургского государственного электротехнического университета «ЛЭТИ». Сер. «Информатика, управление и компьютерные технологии». - 2009. - № 7. - С. 39-44.

48. Kukharev, G. Two-dimensional canonical correlation analysis for face image processing and recognition [Текст] (Двумерный канонический корреляционный анализ в обработке и распознавании изображений лиц) / G. Kukharev, Е. Kamenskaya // Metody Informatyki Stosowanej. - 2009. -Vol. 20, №3.-P. 103-112.

49. Кухарев, Г.А. Двумерный канонический корреляционный анализ в приложении к обработке изображений лиц [Текст] / Г.А. Кухарев, Е.И. Каменская // Известия Санкт-Петербургского государственного электротехнического университета «ЛЭТИ». Сер. «Информатика, управление и компьютерные технологии».— 2010. - № 1. - С. 23-28.

50. Каменская, Е.И. Применение Fares Mod в обучении студентов дисциплинам по распознаванию образов [Текст] / Е.И. Каменская // Материалы XIII Международной конференции "Современное образование: содержание, технологии, качество". - Изд-во СПбГЭТУ "ЛЭТИ", СПб. -Том 1. - 19 апреля 2007. - С. 206-207.

51. Каменская, Е.И. Распознавание психологических характеристик человека по изображению лица в приложении к задачам профориентации и дистанционного обучения [Текст] / Е.И. Каменская // Материалы XIV Международной конференции "Современное образование: содержание, технологии, качество", Изд-во СПбГЭТУ "ЛЭТИ", СПб. - Том 1. -

23 апреля 2008. - С. 233-234.

52. Каменская, Е.И. Распознавание психологических характеристик человека по изображению лица в системах дистанционного обучения [Текст] / Е.И. Каменская // Материалы Х1П Всероссийской научно-технической конференции "Новые информационные технологии в научных исследованиях и образовании". - Рязанский Государственный радиотехнический университет, Рязань. - Часть 2.-14 мая 2008. - С. 85-86.

53. Каменская, Е.И. Метод анализа канонической корреляции в приложении к распознаванию изображений лиц [Текст] / Е.И. Каменская // Материалы XV Международной конференции "Современное образование: содержание, технологии, качество". - Изд-во СПбГЭТУ "ЛЭТИ", СПб. -Том. 1.-22 апреля 2009. - С. 305-306.

Современные методы обработки изображений

54. Socolinsky, D. Face recognition with visible and thermal infrared imagery [Текст] / D. Socolinsky, A. Selinger, J. Neuheisel // Computer Vision and Image Understanding. - 2003. - № 91. - P. 72-114.

55. Kong, S. G. Recent advances in visual and infrared face recognition - a review [Текст] / S. G. Kong [et. al] // Computer Vision and Image Understanding. -2005.-№97(1)-P. 103-135.

56. Bebis, G. Face Recognition by fusing thermal infrared and visible imagery [Текст] / G. Bebis [et. al] // Image and Vision Computing. — 2006. - № 24. -P. 727-742.

57. Poh, N. Database, protocols and tools for evaluating score-level fusion algorithms in biometric authentication [Текст] / N. Poh, S. Bengio // Pattern Recognition. - 2006. - № 39(2). - P. 223- 233.

58. D'Orazio, T. A visual approach for driver inattention detection [Текст] / Т. D'Orazio [et. al] // Pattern Recognition. - 2007. - № 40. - P. 2341 - 2355.

59. Gong, S. Beyond facial expressions: learning human emotion from body gestures [Текст] / Gong S., et al. // British Machine and Vision Conference. -

Warwick. - 2007. - (http://www.dcs.warwick.ac.uk/bmvc2007/proceedings/CD-ROM/papers/paper-276.pdf).

60. Han, J. Fusion of color and infrared video for moving human detection [Текст] / J. Han, B. Bhanu // Pattern Recognition. - 2007. - № 40. - P. 1771-1784.

61. Kong, S.G. Multiscale Fusion of Visible and Thermal IR images for illumination-invariant Face Recognition [Текст] / S.G. Kong [et al.] // International Journal of Computer Vision. - 2007. - № 71(2). -P. 215-233.

62. Zhou, X. Feature fusion of side face and gait for video-based human identification [Текст] / X. Zhou, B. Bhanu // Pattern Recognition archive. -2008. - Vol. 41, № 3. - P. 778-795.

Применение CCA

63. Reiter, M. Estimation of Face Depth Maps from Color Textures using Canonical Correlation Analysis [Текст] / M. Reiter [et al.] // Computer Winter Workshop. -

2006.-P. 17-21.

64. Reiter, M. 3D and Infrared Face Recognition from RGB data using Canonical Correlation Analysis [Текст] / M. Reiter [et al.] // 18th International Conference on Pattern Recognition. - Hong Kong. - Vol. 1. - 2006. - P. 425-428.

65. Yi, D. Face Matching Between Near Infrared and Visible Light Images [Текст] / D. Yi [et al.] // Lecture Notes in Computer Science. - 2007. - Vol. 4642. -P. 523-530.

66. Kim, T-K. Learning discriminative canonical correlations for object recognition with image sets [Текст] / T.-K. Kim, J. Kittler, R. Cipolla // In Proc. of European Conference on Computer Vision (ECCV). - Graz, Austria. - 2006. - P. 251-262.

67. Kale, A. C. Face Recognition using Canonical Correlation Analysis [Текст] / A.C. Kale, R. Aravind // The National Conference on Communications. -

2007. - P. 48-52.

68. Shan, C. Fusing gait and face cues for human gender recognition [Текст] / С. Shan, S. Gong, P.W. McOwan // Nuerocomputing. - 2008. - № 71. - P. 1931-1038.

69. Sun, L.A. Least Squares Formulation for Canonical Correlation Analysis

[Текст] / L. Sun, S. Ji, J. Ye // Proceedings of the 25th International Conference on Machine Learning. - Helsinki, Finland. - Vol. 307. - 2008. - P. 1024-1031.

70. Sun, L. On the Equivalence Between Canonical Correlation Analysis and Orthonorraalized Partial Least Squares [Текст] / L. Sun [et al.] // Proceedings of the Twenty First International Joint Conference on Artificial Intelligence. -2009. - (http://ijcai.org/papers09/Papers/IJCAI09-207.pdf).

Математические методы распознавания образов

71. Hotelling, Н. Analysis of complex variables into principal components [Текст] / H. Hotelling // Journal of Educational Psychology. - 1933. - № 24. - P. 417-441.

72. Hotelling, H. Relations between two sets of variates [Текст] / H. Hotelling // Biometiyka. - 1936. - № 28. - P. 321-377.

73. Крылов, В.И. Вычислительные методы высшей математики. [Текст] / В.И.Крылов, В.В. Бобков, П.И. Монастырный. - Т.1. Под ред. И.П. Мысовских. Мн.: Высшая школа, 1972. - 584 с.

74. Корн, Г. Справочник по математике для научных работников и инженеров [Текст] / Г. Корн, Т. Корн - М.: Наука, 1974. - 832 с.

75. Ту, Дж. Принципы распознавания образов [Текст] / Дж. Ту, Р. Гонсалес -М.: Мир, 1978.-416 с.

76. Фукунага, К. Введение в статистическую теорию распознавания образов [Текст] / К. Фукунага - Пер. с английского. М.: Наука, 1979. - 368 с.

77. Прэтт, У. Цифровая обработка изображений [Текст] / У. Прэтт - М.: Мир, 1982.-792 с.

78. Дудкин, К.Н. Цифровая обработка изображений в физиологических исследованиях [Text] / К.Н. Дудкин, Ф. Н. Макаров, В. Б. Макулов [и др.] // Рос. физиол. журн. им. И. М. Сеченова. - 1998. - 84, №3. - С. 267-273.

79. Воеводин, В.В. Матрицы и вычисления [Текст] / В.В. Воеводин, Ю.А. Кузнецов - М.: Наука. Главная редакция физико-математической литературы, 1984. - 320 с.

80. Голуб, Дж. Матричные вычисления [Текст] / Дж. Голуб, У. Лоун - М.:

Мир, 1999. - 548 с.

81. Borga, М. Canonical Correlation a Tutorial [Текст]: a Tutorial / М. Borga. -2001. - (http://www.imt.liu.se/~magnus/cca/tutorial/tutorial.pdf).

82. Weenink, D. Canonical correlation analysis [Текст] / D. Weenink // Proceedings of Institute of Phonetic Sciences, University of Amsterdam. - №25. - 2003. -P. 81-99.

83. Фисенко, В.Т. Компьютерная обработка и распознавание изображений [Текст] / В.Т. Фисенко, T.IO. Фисенко - СПб: СПбГУ ИТМО, 2008. - 192 с.

84. Тихонов, А.Н. Регуляризирующие алгоритмы и априорная информация [Текст] / А.Н. Тихонов [и др.] - М.: Наука, 1983. - 200 с.

85. Воронцов, К.В. Лекции по статистическим (байесовским) алгоритмам классификации [Текст] / К.В. Воронцов. - 16 января 2009. -(http://www.machinelearning.rU/wiki/images/e/ed/Voron-ML-Bayes.pdf).

86. Tijl, D.B. On the Regularization of Canonical Correlation Analysis [Текст] / D.B. Tijl, D.M. Bart // In Proceedings of the International Conference on Independent Component Analysis and Blind Source Separation (ICA2003), Nara, Japan, April 2003. - (http://www.tijldebie.net/papers/TDB-BDM_03.pdf).

87. Bickel, P.J. Regularization in statistics [Текст] / P.J. Bickel [at al]•// Journal TEST. - September, 2006. - Vol. 15, № 2. - P. 271-344.

88. Tikhonov, A.N. Solutions of Ill-posed Problems [Текст] / A.N. Tikhonov, V.A. Arsenin // Bulletin of the American Mathematical Society. - 1979. - Vol. 1, № 3. - P. 521-524.

2D CCA

89. Lee, S.H. Two-Dimensional Canonical Correlation Analysis [Текст] / S.H. Lee, S. Choi // IEEE Signal Processing Letters. - October 2007. - Vol. 14, № 10. -P. 735-738.

90. Zou, C. 2DCCA: A Novel Method for Small Sample Size Face Recognition [Текст] / С. Zou [et al.] // IEEE Workshop on Application of Computer Vision, WACV'07. - 2007. - P. 43-47.

91. Shan, С. Capturing correlations among facial parts for facial expression analysis [Текст] / С. Shan, S. Gong, P.W. McOwan // Proceedings of BMVC'2007. -(http://www.dcs.warwick^c.uk/bmvc2007/proceedings/CD-ROM/papers/paper-169.pdf).

92. Sun, N. Two-dimensional canonical correlation analysis and its application in small size face recognition [Текст] / N. Sun [et al.] // Neural Computing and Applications archive. - April 2010. - Vol. 19, № 3. - P. 377-382.

CCA и модели изображений лиц

93. Ahlberg, J. An Active Model for Facial Feature Tracking [Текст] / J. Ahlberg // EURASIP Journal on Applied Signal Processing. - 2002. - № 6. - P. 566-571.

94. Kasinski, A. Application of Active Shapes to the Structural Face Model [Текст] / A. Kasinski, M. Krol // Advances in Soft Computing. - 2005. - Vol. 30. -P. 783-790.

95. Donner, R. Fast Active Appearance Model Search Using Canonical Correlation Analysis [Текст] / R. Donner [et al.] // IEEE Transaction on PAMI. - October 2006. - Vol. 28, № 10. - P. 1960-1964.

96. Kasinski, A. The Architecture of the Face and Eyes Detection System Based on Cascade Classifiers [Текст] / A. Kasinski, A. Schmidt // Advances in Soft Computing. - 2007. - Vol. 45. - P. 124-131.

97. Zepeda, J.A.Y. Linear tracking of pose and facial features [Текст] / J.A.Y. Zepeda [et al.] // Conference on Machine Vision Application (MVA2007 IAPR), May 16-18, 2007, Tokyo, Japan. - P. 182-185.

98. Mihalik, J. Human face and facial feature tracking by using geometric and texture models [Текст] / J. Mihalik, M. Kasar // Journal of Electrical Engineering. - 2008. - Vol. 59, № 5. - P. 266-271.

ПРИЛОЖЕНИЕ. Листинги основных программ

Листинг демо-программы распознавания изображений лиц на основе алгоритмов 2D ССА (на примере базы изображений лиц FERET)

% Программа предназначена для поэтапного представления процедур 2D ССА % и 2D KLT с визуализацией необходимых промежуточных результатов, % а также демонстрации решения задачи распознавания изображений в ПКП.

о. о

% Здесь основными входными данными являются базовые и тестовые % изображения лиц базы «Семейный альбом», составленной из стандартной базы % изображений FERET.

о. 'о

% Программа преобразует два набора исходных изображений в ПКП на основе

% разработанных параллельного и каскадного алгоритмов 2D ССА и затем

% выполняет распознавание тестовых изображений в новом пространстве

% признаков. Основными промежуточными данными программы являются матрицы

% проекции для реализации 2D KLT и наборы канонических переменных.

% Выходными данными являются результаты распознавания тестовых изображений

% в ПКП.

% Программа построена по описанию алгоритмов 2D ССА в работах [Kukharev G.,

% Kamenskaya Е. Two-dimensional canonical correlation analysis for face image

% processing and recognition, 2009; Кухарев Г.А., Каменская Е.И. Новый метод

% двумерного канонического корреляционного анализа для задач распознавания

% изображений лиц, 2010] и других.

clear all;

% --- Размещение исходных данных ------------------

LLM='С:\FERET_MALE\'; LLF='С:\FERET_FEMALE\'; No_Face=imread('No_Face.jpg');

% ---- Установка параметров и подготовка рабочих массивов -----

NumberClass=2; RESULT=[];

ь Выбор структуры системы распознавания for M0DEL=1:2

Х0=П; Y0= [ ] ; Х1=П; Yl=[]; Х2=[]; Y2=[]; figure(1); elf;

Ъ ------------ Подготовка данных для ССА ---------------------

for уу=1:NumberClass kk=l ;

%--- Чтение данных из файлов их размещения

if уу<=9 rM=[LLM '0' num2str(уу) ]; end;

if yy>9 rM=[LLM num2str(yy) ]; end;

rrM= [rM 'V num2str (kk) '.jpg']; X=imread(rrM); [Mx,Nx]=size (X) ;

if yy<=9 rF=[LLF '0' num2str(yy) ]; end; if yy>9 rF=[LLF num2str(yy) ]; end;

rrF=[rF '\' num2str(kk) '.jpg']; Y=imread(rrF); [My,Ny]=size(Y);

%--- Отображение пар исходных изображений ---------

subplot(2,2,1); imshow(X); title(['Class=', num2str(yy)]);

xlabel(['M*N = ', num2str(Mx),'*',num2str(Nx)]); subplot(2,2,2); imshow(Y); title(['Class=', num2str(yy)]);

xlabel(['M*N = num2str(My), '* 1,num2str(Ny)]);

Х0=[Х0 X];Y0=[Y0 Y];

%--- Улучшение качества исходных данных -------

OBX=norma(double(X))/25 6; OBY=norma(double(Y))/256;

%--- Центрирование и нормирование исходных данных ----

раг=1; if раг==1

OBX=OBX-mean2(ОВХ); OBY=OBY-mean2(OBY); OBX=OBX/norm(ОВХ); OBY=OBY/norm(OBY); end;

%--- Запись исходных данных в массивы XI и Y1 ---

Х1=[Х1 ОВХ]; Yl=[Y1 OBY];

%--- Запись реорганизованных данных в массивы Х2 и Y2 —

Х2=[Х2 ОВХ']; Y2=[Y2 OBY']; pause(.1);

end;

[DIM,WYM1]=size (XI) ; [DIM,WYM2]=size(X2);

------------------- Исходные данные -------------------------------

RR=[X1;Y1] ;

if NumberClass>=10 figure(1); elf; subplot(2,1,1);

irashow(norma(RR(:,1:10*Nx))/256);

title(['Input Data (XI & Yl): ', num2str(DIM),'*',num2str(WYM1)]);

xlabel(['Each Face Image: num2str(Mx),'*',num2str(Nx)]); pause(.1) ; end;

-------------------------- Параллельный алгоритм 2D CCA ------------

------------ Первый этап параллельного алгоритма 2D CCA ----------

[Wlx,Wly,Rl]=CCA_Version_FINISH(XI,Yl); Ul=Wlx*Xl; Vl=Wly*Yl;

subplot(2,3,4); stem(Rl(1:50)1); grid; title ('Canonical correlation'); xlabel('Method 1: Row');

%-------------- Второй этап параллельного алгоритма 2D CCA --

[W2x,W2y, R2]=CCA_Version FINISH(X2,Y2); W2x=W2x'; W2y=W2y';

subplot(2, 3, 5); stem(R2(1:50),'.'); grid; title('Canonical correlation'); xlabel('Method 1: Column'); pause(.01);

---------- Каскадный алгоритм 2D CCA --------------------

%------ Реорганизация канонических переменных Ul & VI -----

U1_NEW= [ ] ; V1_NEW= [ ] ; for tt=l:NumberClass

0BU1=U1(:,(tt-1)*Nx+l:tt*Nx); 0BV1=V1(:,(tt-1)*Nx+l:tt*Nx); U1_NEW=[U1_NEW OBU1']; V1_NEW=[V1_NEW OBV1'];

end;

clear Ul VI;

[W22x,W22y,R22]=CCA_Version_FINISH(U1_NEW,Vl_NEW); U22=W22x^Ul_NEW; V22=W22y*Vl_NEW; W22x=W22x'; W22y=W22y';

subplot(2,3,6); stem(R22(1:50),'.'); grid; title('Canonical correlation'); xlabel('Method 2'); pause(.01);

figure(2); elf;

mil=min(Wlx(:)); [ml,nl]=size(Wlx);

subplot(2,3,1); axis([1,ml,1,nl,mil,1]); grid; hold on; mesh(Wlx*Wlx'); hold off;title('Wlx');

mi2=min(W2y(:)); [m2,n2]=size(W2y);

subplot(2,3,2); axis([l,m2,1,n2,mi2,1]); grid; hold on; mesh(W2y*W2y');hold off; title('W2y');

mi22=min(W22y(:)); [m22, n22]=size(W22y);

subplot(2,3,3); axis([l,m22,1,n22,mi22,1]); grid; hold on; mesh(W22y*W22y'); title('W22y');

% 1.2 ------ Двумерная проекция ---------------------

for dl=10:10 о параметр редукции РПП

D_X1=[]; D_Y1=[]; D_X2=[]; D_Y2=[]; K0R1=[]; K0R2=[];

figure(3); elf;

subplot(2,3,1);

plot(10*U22(1, :),10*V22(1, :),'.') ; grid; title(['Canonical Variates ',num2str(1)]); mi_l=min (10*U22 (1, : ) ) ; ma_l=max (10*U22 (1, : ) ) ; mi_2=min(10*V22(1, :) ); ma_2=max{10*V22(1, :));

hold on; plot([mi_1,ma_1], [mi_2,ma_2],'r', 'LineWidth1,4); hold off;

ylabel(['Method 2: DIM = ',num2str(dl)]);

for yy=l:NumberClass X=X0(:, (yy-1)*Nx+l:yy*Nx); Y=Y0(:, (yy-1)*Ny+l:yy*Ny);

subplot(2,3,2); imshow(X);

title(['Base data: Class=', num2str(yy)]); xlabel(['M*N = ', num2str(Mx),'*',num2str(Nx)]); ylabel(['DIM = ',num2str(dl)] ) ; subplot(2,3,3); imshow(Y);

title(['Base data: Class=', num2str(yy)]); xlabel(['M*N = ', num2str(My),'*',num2str(Ny)]);

0BX1=X1(:, (yy-1)*Nx+l:yy*Nx); 0BY1=Y1 ( : , (yy-1) "NyH : yy*Ny) ;

о------2D KLT после параллельного алгоритма 2D CCA -------------

DX1 = Wlx(1:dl,:)*0BXl*W2x(:,1:dl); DY1 = Wly(1:dl,:)*0BYl*W2y(:,1:dl); D_X1=[D_X1 DX1(:)] ; D_Y1=[D_Y1 DY1 ( : ) ] ;

%------2D KLT после каскадного алгоритма 2D CCA -------------

DX2 = Wlx(l:dl,:)*OBXl*W22x(:,l:dl); DY2 = Wly(1:dl, :)*OBYl*W22y(:,1:dl); D_X2=[D X2 DX2(:)]; D_Y2=[D_Y2 DY2(:)];

о----Вычисление и визуализация фазовой корреляции между данными в

°оПКП----

[kyl, kxl, maxZl,Zl]=korfaz2(DX1,DY1,1);

subplot(2,3,4); meshz(Zl);

title(['Corr.for all DX1&DY1 = num2str(maxZl)]); K0R1=[K0R1 maxZl];

[ky2,kx2,maxZ2,Z2]=korfaz2 (DX2, DY2, 1) ; subplot(2,3,5); meshz(Z2);

title(['Corr.for all DX2&DY2 = num2str(maxZ2)]); K0R2=[K0R2 maxZ2];

о о

end;

subplot(2,3,6); plot(l:NumberClass,K0R1,'b'); grid; hold on; plot(l:NumberClass,K0R2,'r'); hold off; title('Peak height');

------ Распознавание изображений---------------------

countll=0; countl2=0; rezultat_ll=0; rezultat_12=0; count21=0; count22=0; rezultat_21=0; rezultat_22=0;

for yy=l:NumberClass kk=2;

if yy<=9 rM=[LLM '0' num2str(yy) ]; if yy>9 rM=[LLM num2str(yy) ];

rrM=[rM ■\■ num2str(kk) '.jpg']; X=imread(rrM); [Mx,Nx]=size(X);

if yy<=9 rF=[LLF '0' num2str(yy) ]; if yy>9 rF=[LLF num2str(yy) ];

rrF=[rF •\' num2str(kk) '.jpg']; Y=iraread(rrF); [My,Ny]=size(Y);

figure(4); elf;

subplot(2,5,1); imshow([X Y]); title(['Test data: Class=', num2str(yy)]); xlabel(['M*N = ', num2str(Mx),'*',num2str(Nx)]); ylabel(['DIM = ',num2str(dl)]);

X=norma(double(X))/2 56; Y=norma(double(Y))/256; X=X-mean2(X); Y=Y-mean2(Y); X=X/norm(X); Y=Y/norm(Y);

%------2D KLT после параллельного алгоритма 2D CCA --------

DX1 = Wlx(1:dl,:)*X*W2x(:,1:dl); DY1 = Wly(l:dl,:)*Y*W2y(:,l:dl);

%------2D KLT после каскадного алгоритма 2D ССА ----------

DX2 = Wlx(1:dl,:)*X*W22x(:,l:dl); DY2 = Wly(1:dl, :)*Y*W22y(:,1:dl);

end; end;

end; end;

— Среднее между двумя наборами данных в ПКП DDD1=(D_X1 + D_Y1) /2; DDD2=(D X2 + D Y2)/2;

else end;

if M0DEL==1

■б

- Распознавание после параллельного 20 ССА

- для первого набора данных ---------------

с1азз=те1:г1с_Ы_1 (0_Х1, 0X1 (: ) ) ; class=metric Ы 1(0001,0X1(:));

subplot(2,5,2);

if class==yy

count1l=count11+1;

if class<=9 r_found=[LLM '0' num2str(class) ]; end; if class>9 r found=[LLM num2str(class) ]; end;

r_rfound=[r_found ■\* num2str(l) '.jpg']; obraz found=imread(r_rfound); imshow(obraz_found); title('Success ' ) ; else imshow(No_Face);

title(['Failure. Recognized as Class=', num2str(class)]);

end;

rezultatll(yy)=100*countll/yy;

xlabel([*Recognition rate: ', num2str(rezultat_ll(yy)), '%']);

subplot(2,2,3);

plot(rezultat_ll) ; title('Recogniton rate (after parallel 2D CCA)'); grid;

------------ для второго набора данных ----------------

if MODEL==l class=metric_Ll_l(D Yl,DY1(:));

end;

subplot(2,5,3) ; if class==yy

count12=count12+1;

if class<=9 r_found=[LLF '0' num2str(class) ]; end; if class>9 r_found=[LLF num2str(class) ]; end;

r_rfound^[r_found '\' num2str(l) '.jpg']; obraz_found=imread(r_rfound); imshow(obraz_found); title('Success ' ); else imshow(NoFace);

title(['Failure. Recognized as Class=', num2str(class)]);

end;

rezultat_12(yy)=100*countl2/yy;

xlabel(['Recognition rate: ', num2str(rezultat_12(yy)), '&']); subplot(2,2,3); hold on; plot(rezultat_12,'r');

else class=metric_Ll__l ( DDD1, DY1 ( : ) ) ;

%------------- Распознавание после каскадного 2D ССА ----------

%-------------для первого набора данных----------------

if M0DEL==1 class=metnc_Ll_l (D_X2, DX2 ( : ) ) ; else class=metric_Ll_l(DDD2,DX2(:));

end;

subplot(2,5,4); if class==yy

count2l=count21+1;

if class<=9 r_found=[LLM '0' num2str(class) ]; end; if class>9 r_found=[LLM num2str(class) ]; end;

r rfound-[r_found num2str(l) '-DP9'];

obraz found=imread(r_rfound); lmshow(obraz_found); title('Success ' ) ; else lmshow(No_Face);

title(['Failure. Recognized as Class=', num2str(class)]) ;

end;

rezultat_21(yy)=100*count21/yy;

xlabel(['Recognition rate: ', num2str(rezultat 21(yy)), '»']) subplot(2,2,4); plot(rezultat_21);

title('Recogniton rate (after cascade 2D CCA)'); grid;

о------------- для второго набора данных ----------------

if MODEL—=1 class=metric_Ll__l (D_Y2, DY2 ( : ) ) ; else class=metric_Ll_l(DDD2,DY2(:));

end;

subplot(2,5,5); if class==yy

count2 2=count22+l;

if class<=9 r_found=[LLF '0' num2str(class) ]; end; if class>9 r_found=[LLF num2str(class) ]; end;

r_rfound=[r_found '\' num2str(l) '-DPg']; obraz_found=imread(r_rfound); lmshow(obraz_found); title('Success'); else imshow(No_Face);

title(['Failure. Recognized as Class=', num2str(class)]);

end;

rezultat_22(yy)=100*count22/yy;

xlabel(['Recognition rate: ', num2str(rezultat_22(yy)), '%']) subplot(2,2,4); hold on; plot(rezultat_22,'r'); pause ( .1);

о _____

"6

end; end;

RESULT=[RESULT [NumberClass; MODEL;

dl;rezultat 11(end);rezultat 12(end);rezultat 21(end);rezultat 22(end)]],

% Базовый модуль метода одномерного ССА - это модуль реализации базовой операции % канонической корреляции. На входе модуля - два набора векторных данных, а на % выходе - коэффициенты канонической корреляции и две матрицы проекции. % Базовый модуль метода одномерного ССА является модификацией процедуры «сса» % [Borga М., 2001] Statistics Toolbox пакета MATLAB, адаптированной к обработке % изображений, с улучшением решения задач на собственные значения на основе % регуляризации матриц ковариации.

function [Wx,Wy,RO]=CCA_Version_FINISH(XI,Y1);

%--- Параметры регуляризации для матриц автоковариации и матрицы рассеяния---

FacRegl=0.0001; FacReg2=0.0005;

[DIM,KX]=size(Xl); [DIM, KY]=size(Yl);

%--- Вычисление матриц автоковариации Cxx и Cyy --------

Схх=Х1*Х1'/(KX-1); Cyy=Yl*Yl'/(KY-1); Cxx=Cxx+FacRegl*eye(size(Cxx)); Cyy=Cyy+FacRegl*eye(size(Cyy));

invCyy = inv(Cyy); invCxx = inv(Cxx);

%--- Вычисление матриц ковариации Сху и Сух -------------

Сху = X1*Y11/(КХ-1); [size(Сху), rank(Cxy)]; Сух = Сху';

%--- Вычисление матрицы рассеяния, матрицы проекции Wx и собственных значений

COV_TOTAL=invCxx*Cxy*invCyy*Cyx; [Ml,N1]=size(C0V_T0TAL); COV_TOTAL=COV__TOTAL + FacReg2*eye ( [Ml, N1 ] ) ;

[Wx,LAM] = eig(COV_TOTAL); Lambda=real(diag(LAM));

% ------ Сортировка собственных значений от наиЬольших к наименьшим ------

[Мх,Nx]=size(Wx); [Lambda,index]= sort(Lambda,'descend');

R0=sqrt(Lambda); Wx=Wx(:,index);

— Вычисление матрицы проекции Wy -----------

Wy = invCyy*Cyx*Wx; [my,my]=size(Wy);

Wy = Wy./repmat(sqrt(sum(abs(Wy).л2)),my,1);

— Поворот (транспонирование) матриц проекции Wx=Wx'; Wy=Wy';

% Демо-программа для вычисления амплитудной и фазовой корреляции

% между двумя матрицами исходных данных и отображения результатов.

% Описание переменных:

% X, Y - матрицы исходных данных одинакового размера М на N;

% parameter - "1" - результат центрирован; "О" - результат не центрирован; % Z - результат: матрица корреляции (размер матрицы М на N) ; % maxZ - значение максимума корреляции; % уу, хх - координаты максимума корреляции.

% Используемые подпрограммы: korfun2.m и korfaz2.m.

figure(5); elf; [уу,xx,maxZl,Zl]=korfun2(X,X,1);

[Mu,Nu]=size(Zl); Mu2=fix(Mu/2); Nu2=fix(Nu/2); Z_NEW1=Z1(Mu2-19:Mu2+19,Nu2-19:Nu2+19); minZl=min(Z_NEW1(:)); subplot(2,4,1);axis([1, Nu, l,Mu, 0,1]); grid; hold on; mesh(Zl); hold off; title(1Corfun2(X,X)');

subplot(2,4,2); axis([1,40, 1,40, minZl, 1]); grid; hold on; meshz(Z_NEW1); hold off;

[yy,xx,maxZl,Z2]=korfun2(X,Y,1);

[Mu,Nu]=size(Z2); Mu2=fix(Mu/2); Nu2=fix(Nu/2); Z_NEW2=Z2(Mu2-19:Mu2+19,Nu2-19:Nu2+19); minZ2=min(Z_NEW2(:)); subplot(2,4,3);axis([1,Nu, l,Mu, 0,1]); grid; hold on; mesh(Z2); hold off; title('Corfun2(X,Y)');

subplot(2,4,4); axis([1,40, 1,40, minZ2, 1]); grid; hold on; meshz(Z_NEW2); hold off;

[yy,xx,maxZ3,Z3]=korfaz2(X,X,1);

[Mu,Nu]=size(Z3); Mu2=fix(Mu/2); Nu2=fix(Nu/2); Z__NEW3=Z3 (Mu2-19:Mu2 + 19,Nu2-19:Nu2 + 19) ; minZ3=min(Z_NEW3(:)); subplot(2,4,5);axis([1, Nu, l,Mu, 0,1]); grid; hold on; mesh(Z3); hold off; title('Corphas2(X,X)');

subplot(2,4,6); axis([1,40, 1,40, minZ3, 1]); grid; hold on; meshz(Z_NEW3); hold off;

[yy,xx,maxZ4,Z4]=korfaz2(X,Y,l);

[Mu,Nu]=size(Z4); Mu2=fix(Mu/2); Nu2=fix(Nu/2); Z_NEW4=Z4(Mu2-19:Mu2+19,Nu2-19:Nu2+19); minZ4=min(Z_NEW4(:)); subplot(2,4,7);axis([1,Nu, l,Mu, 0,1]); grid; hold on; mesh(Z4); hold off; title('Corphas22(X,Y)');

subplot(2,4,8); axis([1,40, 1,40, minZ4, 1]); grid; hold on; meshz(Z NEW4); hold off;

% Программа для вычисления амплитудной корреляции между двумя матрицами % исходных данных. Модуль написан на основе процедуры амплитудной корреляции, % изложенной в книге [Кухарев Г.А., 2001]. % Для вычисления автокорреляции: % [уу,хх,maxZ,Z]=korfun2(X,X);

% Для вычисления взаимной корреляции: % [yy,xx,maxZ,Z]=korfun2(X, Y);

% Описании переменных:

% X, Y - матрицы исходных данных одинакового размера М на N;

% Z - результат: матрица корреляции (размер матрицы М на N);

% maxZ - значение максимума корреляции;

% уу, хх - координаты максимума корреляции.

function [уу,xx,maxZ,z]=korfun2(cl,с2);

[m,n]=size(X); % Проверка соответствия размеров if size(X)==size(Y) else disp('X~=Y'); return; end;

% Выполнение прямого быстрого преобразования Фурье ъ для вычисления спектров cl=fft2(X)/(ш*п); c2=fft2(Y)/(m*n);

% Вычисление энергии

stl=std2(cl); st2=std2(с2); mm=stl*st2;

% Выполнение обратного быстрого преобразования Фурье % для вычисления матрицы корреляции

z=abs(ifft2(cl.* conj (c2)))/mm;

% Вычисление максимума и его позиции [m,n]=size(z); maxZ=max(max(z)); [yy,xx]=find(z==maxZ);

% Сдвиг результата в центр z=fftshift(z);

% Программа для вычисления фазовой корреляции между двумя матрицами исходных % данных. Модуль написан на основе процедуры фазовой корреляции, изложенной в % книге [Кухарев Г.А., 2001]. % Для вычисления автокорреляции:

% [УУ/хх,maxZ,Z]=korfaz2(X,X,parameter);

% Для вычисления взаимной корреляции: % [УУ/хх,maxZ,Z]=korfaz2(X,Y,parameter);

% Описании переменных:

% X, Y - матрицы исходных данных одинакового размера М на N;

% parameter - "1" - результат центрирован; "0" - результат не центрирован; % Z - результат: матрица корреляции (размер матрицы М на N) ;

% maxZ - значение максимума корреляции;

% уу, хх - координаты максимума корреляции.

function [yy,xx,maxZ,z]=korfaz2(X,Y);

[m, n]=size(X) ;

% Проверка соответствия размеров if size(X)==size(Y) else disp('X~=Y'); return; end;

% Выполнение прямого быстрого преобразования Фурье % для вычисления спектров

cl=fft2(X)/(m*n); c2=fft2(Y)/(m*n);

% Вычисление фазовых углов al=angle(cl); a2=angle(c2);

% Выполнение обратного быстрого преобразования Фурье % для вычисления матрицы корреляции jot=sqrt(-1);

z=real(ifft2(exp(jot*(al-a2))));

% Вычисление максимума и его позиции [m,n]=size(z); maxZ=max(max(z)); [yy,xx]=find(z==maxZ);

% Сдвиг результата в центр z=fftshift(z);

Листинг базового модуля классификации изображений по критерию минимального расстояния с использованием метрики L1

% Определение классов (class), адреса (adres) и расстояния (distance)

% до к-ближайших соседей (KNN);

% X - новый образ (вектор-столбец размера DIM*1);

% KNN - количество ближайших соседей;

% Result_Reduction - результат редукции (матрица размером DIM*[L*К]);

% К - количество классов;

function class=metric_Ll_l(Result_Reduction,X);

[DIM,n]=size(Result_Reduction); RED=kron(X,ones(1,n));

ssl=sum(abs(Result_Reduction-RED)); [distance, class]=min(ssl);