Методы и алгоритмы автоматического распознавания атрибутов человека тема диссертации и автореферата по ВАК РФ 05.13.17, кандидат наук Спижевой Алексей Сергеевич

• Спижевой Алексей Сергеевич
• кандидат наук
• 2021

Оглавление диссертации кандидат наук Спижевой Алексей Сергеевич

Введение

Глава 1. Постановки задач, обзор существующих методов

автоматического определения возраста, пола и выражений

лица, а также наборов данных

1.1 Определение возраста

1.2 Определение эмоций

1.3 Определение пола

1.4 Постановка задач

1.4.1 Определение возраста

1.4.2 Определение эмоций

1.4.3 Определение пола

1.5 Стандартные наборы данных

1.5.1 База FG-NET Aging

1.5.2 База Labeled Faces in the Wild

1.5.3 База Extended Cohn-Kanade

1.6 Заключение

Глава 2. Предложенные алгоритмы автоматического определения

пола, возраста и выражений лица

2.1 Методы и алгоритмы автоматического определения пола,

возраста и выражений лица

2.1.1 Перевод цветного изображения в полутоновое

2.1.2 Детектирование лица и глаз

2.1.3 Геометрическая нормализация изображения

2.1.4 Нормализация яркости изображения

2.1.5 Биологически обусловленные признаки

2.1.6 Локальные бинарные шаблоны

2.1.7 Метод главных компонент для понижения размерности пространства признаков

2.1.8 Применение случайных деревьев решений для понижения

размерности пространства признаков

2.1.9 Метод опорных векторов

2.1.10 Метод ранжирования для определения возраста

2.1.11 Bag-of-Words модель

2.2 Описание разработанных алгоритмов

2.2.1 Определение возраста

2.2.2 Определение статических выражений лица

2.2.3 Определение динамических выражений лица

2.2.4 Определение пола

2.3 Заключение

Глава 3. Практическая реализация и результаты

3.1 Описание программного комплекса

3.2 Методы оценки качества работы алгоритмов

3.2.1 Метод перекрестной проверки

3.2.2 Средняя абсолютная ошибка определения возраста

3.2.3 Матрица ошибок классификации

3.3 Определение возраста

3.4 Определения статических эмоций

3.5 Определения динамических эмоций

3.6 Определение пола

3.7 Заключение

Заключение

Список литературы

Список рисунков

Список таблиц

Приложение А. Приложение

А.1 Акт о внедрении

Введение диссертации (часть автореферата) на тему «Методы и алгоритмы автоматического распознавания атрибутов человека»

Введение Актуальность темы исследования

В последние годы наблюдается рост интереса к использованию систем, построенных с использованием моделей и методов компьютерного зрения, для решения прикладных задач. Инструментарий такой дисциплины, как компьютерное зрение позволяет разрабатывать системы, которые при помощи ЭВМ, автоматически и с высоким качеством, решают задачи, ранее требовавшие вовлечения людей-экспертов. Использование ЭВМ для автоматизации процессов позволяет решать задачи с высокой скоростью, что также открывает возможности новым практическим применениям разрабатываемых систем, невозможным ранее.

Под зрением человека понимают процесс восприятия и обработки визуальной информации зрительной системой головного мозга, в результате которого создается более полное представление об окружающем мире, используемое для принятия решений. В компьютерном зрении роль зрительной системы играют камеры различных типов, а также вычислительные устройства. В зависимости от задачи может использоваться одна или несколько камер, а также некоторые другие типы сенсоров.

C дисциплиной компьютерного зрения связано много направлений, что позволяет отнести ее к смежной области знаний. Она отличается от компьютерной графики, где, в отличие от компьютерного зрения, рассматривается прямая задача, то есть синтез изображений.

Под машинным обучением, как самостоятельной дисциплиной, обычно понимают подраздел направления искусственного интеллекта, использующий широкий спектр моделей и методов из различных областей математики (теория вероятности, математическая статистика, и др.) для выделения знаний из данных, в том числе построения моделей по имеющимся данным.

В данной работе рассматривается набор задач из такой области компьютерного зрения, как распознавание лиц. В узком смысле под распознаванием лиц понимается такая область компьютерного зрения, которая занимается задачами идентификации или верификации людей по изображениям лица. В данной работе распознавание лиц будет пониматься в широком смысле, то есть как набор моделей и методов, направленных на разработку систем, связанных с извлечением,

обработкой и анализом информации из фотографий/видео, на которых запечатлены лица людей. Примером информации, представляющей для нас интерес, могут служить такие параметры (или атрибуты) человека, как его возраст, пол и эмоции, проявляющиеся через специфические выражения лиц.

Примером области в которой автоматическое определение пола, возраста и эмоций находит непосредственное применение, являются маркетинговые исследования. Целью маркетинговых исследований является сбор информации о составе аудитории, просмотревшей показанную рекламу (например на дисплее в магазине), а также анализ отклика людей на продемонстрированные стимулы.

Несмотря на то, что уже существует достаточно много практических применений систем, решающих задачи автоматического определения возраста, пола и эмоций людей по изображениям лица, говорить о том, что эти задачи полностью решены не приходится. Примером может служить онлайн сервис How-Old.net (http://how-old.net/) разработанный компанией Microsoft на основе их продукта Microsoft Azure Face APIs. Сервис решает задачу детектирования лиц, определения возраста и пола по обнаруженным лицам. Сразу после его выхода пользователями были отмечены неточности в работе системы, а именно в части определения возраста человека.

Сложность определения таких атрибутов человека как возраст, пол и эмоции заключается также в том, что на практике не всегда легко получить данные подходящего качества, например фронтальные фотографии при равномерном освещении. Поэтому перед исследователями встает задача разработки таких методов и алгоритмов, которые бы позволяли системам работать в неидеальных реальных условиях (нефронтальные изображения лица, сложные условия освещения и т.п.) с высоким качеством.

Во многих практических применениях подобных систем требуется также возможность их использования в интерактивных приложениях. Поэтому помимо высокой точности работы в разных условиях стоит также научная задача разработки таких методов и алгоритмов, использование и реализация которых на практике не были бы сопряжены с чрезмерными затратами вычислительных ресурсов, обеспечивая при этом высокое быстродействие при автоматическом определении атрибутов человека.

Помимо использования отдельных изображений также часто возникает необходимость использования временной информации при определении атрибу-

тов человека. Например в случае видеопоследовательности в которой показан один и тот же человек во многих случаях можно сделать разумное предположение, что значения атрибутов данного человека не меняется от кадра к кадру.

Из всего вышесказанного можно сделать вывод, что разработка методов и алгоритмов автоматического определения атрибутов человека по фотографиями и видео является актуальной.

Цель диссертационной работы

Целью диссертационной работы является исследование и разработка методов и алгоритмов распознавания таких атрибутов человека как возраст, пол и выражение лица, работающих автоматически, с высокой точность. Для достижения поставленной цели необходимо было решить следующие задачи:

1. обзор современного состояния проблем определения возраста, пола и выражений лица;

2. разработка алгоритмов (1) определения возраста по изображению, (2) определения пола по изображению, (3) определения выражения лица по изображению, (4) определения выражения лица по видеопоследовательности;

3. реализация разработанных алгоритмов в виде комплексов программ;

4. экспериментальная оценка качества работы разработанных алгоритмов на стандартных наборах данных.

Объект исследования - системы и средства определения атрибутов человека по изображениям и видеопоследовательностям, содержащим лицо человека.

Предмет исследования - методы и алгоритмы автоматического распознавания атрибутов (таких как возраст, пол, выражения лица) человека.

Обоснование специальности

Область исследования соответствует следующим пунктам паспорта специальности 05.13.17 - «Теоретические основы информатики» (технические науки): 5. Разработка и исследование моделей и алгоритмов анализа данных, обнаружения закономерностей в данных и их извлечение, разработка и исследование методов и алгоритмов анализа текста, устной речи и изображений; 7. Разработка

методов распознавания образов, фильтрации, распознавания и синтеза изображений, решающих правил. Моделирование формирования эмпирического знания.

Научная новизна

В процессе работы над диссертацией были разработаны подходы решения задач автоматического определения таких атрибутов человека, как возраст, пол и выражения лиц. Новизна работы заключается в следующем:

1. Разработан алгоритм определения возраста человека, отличающийся комбинированием биологически обусловленных признаков с методом ранжирования, а также высокой точностью работы (средняя абсолютная ошибка 4.1 года на базе FG-NET Aging).

2. Разработан алгоритм распознавания выражений лица человека по изображению, отличающийся использованием двух моделей (построенной на основе биологически обусловленных признаков и построенной на ключевых точках лица), методом объединения оценок вероятностей от каждой модели, а также высокой точностью работы (средняя точность классификации 96.8% на базе CK+).

3. Разработан алгоритм распознавания выражений лица по видеопоследовательности, отличающийся применением метода построения признаков на основе модели набора слов совместно с LBP-TOP описателями, а также высокой точностью работы (средняя точность классификации 97.7% на базе CK+), и позволяющий автоматически определять выражения лица по набору изображений произвольной длины.

4. Разработан алгоритм распознавания пола человека по изображению, отличающийся комбинированием алгоритма автоматического выравнивания яркости с биологически обусловленными признаками и методом опорных векторов, позволяющий снизить размерность пространства признаков при минимальных потерях качества, а также отличающийся высокой точностью работы: 96.18% на базе LFW.

Практическая ценность работы

Практическая ценность работы заключается в улучшении возможностей систем автоматического распознавания атрибутов лица по фотографиям и видеопоследовательностям. Предложенные алгоритмы могут быть использованы при разработке решений в области цифровых рекламных щитов. В частности для сбора информация о потенциальных покупателях. Также разработанные алгоритмы могут использоваться в разработке интерфейсов взаимодействия человека и компьютера (HMI) для адаптации показываемого содержимого под конкретного пользователя. Предложенные алгоритмы определения выражений лица могут использоваться для оценивания испытываемых человеком эмоций при показе фильмов и рекламы.

Обоснованность и достоверность результатов

Обоснованность и достоверность результатов диссертационной работы обеспечены корректным использованием современного математического аппарата и подтверждены результатами экспериментальных исследований на стандартных наборах данных: базы FG-NET Aging, Labeled Faces in the Wild (LFW), Extended Cohn-Kanade (CK+).

Основные положения, выносимые на защиту

1. Алгоритм определения пола человека по изображению лица, комбинирующий использование биологически обусловленных признаков и метода опорных векторов, с двумя вариантами понижения размерности пространства признаков (с помощью метода главных компонент и ранжирования признаков по значимости с помощью деревьев решений).

2. Алгоритм определения возраста человека по изображению лица, комбинирующий использование методов адаптивной нормализации яркости, биологически обусловленных признаков и метода ранжирования.

3. Алгоритм определения выражения лица по изображению, включающий использование метода опорных векторов и метода, объединяющего оценки вероятностей от двух моделей: построенной на основе биологически

обусловленных признаков и построенной на основе ключевых точек лица.

4. Алгоритм определения выражения лица по видеопоследовательности произвольной длины, включающий использование локальных бинарных шаблонов и модели классификации со словарем по ключевым точкам лица, а также метода опорных векторов.

5. Программная реализация шага вычисления биологически обусловленных признаков, вошедшая в состав открытой библиотеки компьютерного зрения OpenCV.

Реализация результатов работы

В рамках проведенных исследований был разработан программный комплекс, реализующий предложенные алгоритмы. Комплекс использован в компании Аргус в качестве составной части продукта по распознаванию лиц. Компонента вычисления биологически обусловленных признаков вошла в открытую библиотеку компьютерного зрения OpenCV после одобрения кода другими разработчиками библиотеки. Данный факт подтверждается актом о внедрении результатов диссертационной работы.

Апробация

Основные результаты работы были представлены на следующих конференциях:

1. РОАИ-11-2013, 11-ая Международная Конференция "Распознавание Образов и Анализ Изображений". 23 - 28 сентября, Самара, Россия, 2013

2. ГрафиКон'2014, 24-ая Международная Конференция по Компьютерной Графике и Зрению. 30 сентября- 3 октября, Ростов-на-Дону, Россия, 2014

3. ИТИС-2014, Информационные технологии и системы - 2014, 38-я конференция-школа ИППИ РАН. 1-5 сентября, Нижний Новгород, Россия, 2014

4. 0GRW-2014, 9-th Open German-Russian Workshop on PATTERN RECOGNITION and IMAGE UNDERSTANDING. 1 - 5 декабря, Кобленц, Германия, 2014

5. ИСТ-2020, XXVI Международная конференция "Информационные системы и технологии". 24 - 25 апреля, Нижний Новгород, 2020 Публикации. Основные результаты по теме диссертации изложены в 10 публикациях, 4 из которых изданы в журналах, рекомендованных ВАК [1—4] в том числе в журнале "Pattern Recognition and Image Analysis " входящий в базу Скопус, 6 — в тезисах докладов [5—10]. В рамках работы над диссертацией была написана и опубликована монография [11], посвященная открытой библиотеке компьютерного зрения OpenCV, в которую вошла программная реализация шага вычисления биологически обусловленных признаков.

Структура и объемы работы

Диссертация состоит из введения, трех глав, заключения и двух приложений. Полный объём диссертации составляет 105 страниц с 41 рисунком и 6 таблицами. Список литературы содержит 149 наименований.

Личный вклад автора

Личный вклад автора включает в себя участие на всех этапах процесса работы, в том числе:

1. Выдвижение гипотез, разработка алгоритмов, их реализация.

2. Проведение вычислительных экспериментов, анализ результатов.

3. Подготовка публикаций по выполненной работе.

Все выносимые на защиту результаты и положения, составляющие основное содержание диссертационной работы, разработаны и получены лично автором и при его непосредственном участии.

Объем и структура работы

Диссертация состоит из введения, четырёх глав, заключения и двух приложений. Полный объём диссертации составляет 104 страницы с 41 рисунком и 6 таблицами. Список литературы содержит 149 наименований.

Глава 1. Постановки задач, обзор существующих методов автоматического определения возраста, пола и выражений лица, а также наборов данных

В данной главе рассматриваются такие задачи из области распознавания лиц, как определение возраста, пола и выражений лица человека. В каждом конкретном случае задачи ставятся, как умение определять конкретный атрибут человека по одному или нескольким изображениям лица. Как описывается во введении, задачи представляют как научный, так и практический интерес. Подходы к решению поставленных задач, в своей массе, используют методы машинного обучения [12—15].

Обзор многих подходов автоматического определения таких атрибутов как пол, раса, возраст дан в диссертации [15]. Диссертация посвящена также теме автоматического распознавания атрибутов человека. Работы отличается в предлагаемых алгоритмах и полученных результатах. В том числе в данной работе уделяется особое внимание методам нормализации признаков. Также важное отличие заключается в том, что в данной работе рассматриваются дополнительные задачи, которые не рассматриваются в [15]. Например, задача автоматического определения таких атрибутов, как эмоции человека (как в статической, так и в динамической постановках задачи), что составляет значительную часть данной работы.

1.1 Определение возраста

Автоматическое определение возраста человека по изображению лица является достаточно сложной задачей. Изменение внешности во времени включает в себя два процесса: изменение геометрических параметров лица, т.е. его формы и размеров, а также изменение текстуры кожи. Если первый процесс проходит с наибольшей интенсивностью в детстве, то интенсивность второго начинает преобладать по мере достижении зрелого возраста. И хотя интенсивность этих процессов варьируется в зависимости от самого возраста, они всегда идут одновременно, и для точной оценки возраста необходимо учитывать в комплексе как геометрические, так и текстурные изменения лица.

На практике часто требуется умение автоматически определять возраст по изображению лица человека с требуемой точностью: например с точностью до года от момента рождения или с точностью до некоторой возрастной группы из

заранее определенного набора классов. Разумеется с практической точки зрения больший интерес представляют решения, позволяющие работать с изображениями, полученными в неконтролируемых условиях, т.е. без активного участия пользователя при получении фотографий или видео. В таком случае, в отличие от изображений, полученных в контролируемых условиях, возникают (или проявляются в большей степени) трудности, связанные с необходимостью выполнения нормализации лица. Без дополнительных шагов нормализации такие факторы, как вращение головы и неравномерность освещения лица будут оказывать влияние на качество работы алгоритмов. Изменения выражения лица из-за испытываемых эмоций, также может сказаться на качестве работы не лучшим образом.

Типичным способом автоматизации решения задач определения возраста (а также пола и эмоций) является применение методов машинного обучения. Подходы автоматического определения возраста человека, в зависимости от постановки задачи машинного обучения, можно подразделить на два класса: классификационные [16—22] или регрессионные [23—29]. Однако существуют и гибридные системы, которые используют оба подхода [15; 18; 30; 31].

Ввиду сложности характера изменения лица по мере старения, самому человеку порой не под силу определить точный возраст по фотографии. Задачу осложняет также то, что изменение внешности с течением времени носит индивидуальный характер и зависит от многих факторов, таких как пол, условия окружающей среды, образ жизни, наследственность, этническое происхождение и др [28; 32; 33]. Из-за влияния этих и других факторов внешность человека может не соответствовать его реальному возрасту, что осложняет задачу определения и приводит к ошибкам в определении точного возраста. Как отмечалось выше, положение головы, наличие макияжа, освещенность в момент фотографирования также могут приводить к ошибкам в определении возраста.

Большой интерес представляет собой построение полностью автоматических систем, не требующих взаимодействия с пользователем в процессе определения пола. Типичная разработка в данной области включается себя несколько базовых элементов, таких как детектирование и выделение лица на фотографии, нормализация получившегося изображения, вычисление признаков для дальнейшего использования в выбранном методе машинного обучения.

Для детектирования объектов в компьютерном зрении широко используются каскадные методы, использующие признаки Хаара или их модификации [34—

36]. Конкретно для обнаружения лиц может быть применен подход, использующий локальные бинарные шаблоны (англ. Local Binary Pattern, LBP) [37—39]. Последний алгоритм популярен, в частности, из-за того, что вычисление признаков на основе локальных бинарных шаблонов занимает меньше времени, чем вычисление признаков Хаара. Данный подход для детектирования лиц реализован в открытой библиотеке компьютерного зрения OpenCV [11; 40].

В работе [28] авторы применили биологически обусловленные признаки (англ. Bio-Inspired Features, BIF) в задаче автоматического определения возраста. BIF признаки, в свою очередь относятся к классу описателей, построенных на использовании фильтров Габора [41—44]. Идея использования фильтров Га-бора имеет биологическую подоплеку, см. параграф 2.1.5, и находит применение и развитие во многих задачах компьютерного зрения. В качестве классификатора в работе [28] была использована машина опорных векторов с нелинейным ядром [45—47]. В работе тех же авторов [48] проводится исследование различных методов нелинейного понижения размерности при использовании BIF признаков. Также в работе показано, что учет информации о поле человека при определении возраста сказывается положительно на финальной точности оценки возраста.

В работах [19; 49] было рассмотрено применение признаков, построенных на основе модели внешнего вида (англ. Active Appearance Model, AAM, [50]) совместно с нелинейной машиной опорных векторов. Полученные результаты показали, что учет неравномерности процесса изменения внешнего вида человека во временем, за счет построения множества различных моделей, может дать прирост качества по сравнению с подходами, где явно учет неравномерности взросления/старения не производится.

В [29] была предложена идея (до определенной степени схожая с подходом из [19]) использования кумулятивных атрибутов, как промежуточной формы представления изображения в виде признакового описания. Авторы получили алгоритм, превосходящий по точности подход, описанный в работах [19; 49]. Идея введения дополнительных форм представления исходных данных, а также введение иерархичности в признаки, весьма успешно применяется в компьютерном зрении. Примером может послужить модель построения признаков на основе словаря (англ. Bag-of-Words, BoW, [51; 52]), когда на основе результатов кластеризации набор одних признаков, строятся другие, более сложные признаки.

Следует также отметить исследования, проводимые в лаборатории компьютерной графики и мультимедиа Московского Государственного Университета. В работах [20—22; 32; 38; 53] авторы предложили модификацию алгоритма автоматического определения возраста [19], использующую метод ранжирования совместно с локальными бинарными шаблонами для решения задачи автоматического определения возраста. Полученные результаты показали преимущество предложенной модификации по сравнению с оригинальным подходом по точности определения возраста, а также по скорости работы. В работах [22; 54; 55] авторы предлагают многошаговую схему: сначала определение пола, а затем, с учетом полученной оценки пола, определение возраста. За счет использования предложенного подхода достигается улучшение в точности определения возраста.

В работе [56] приведены результаты исследования точности определения возраста людьми. Авторы использовали базу FG-NET и сервис Amazon Mechanical Turk [57] для оценивания точности определения возраста людьми. Согласно приведенным в работе результатам, средняя абсолютная ошибка составила 4.7 лет.

Как отмечалось ранее в последнее время набирает популярность направление, связанное с использование методов глубокого обучения (англ. deep learning) [58—61]. Методы глубокого обучения, до определенной степени, основаны на нейрофизиолигических моделях восприятия зрительной информации [58; 62— 65]. Модели сверточных нейронных сетей используются для решения задач из области распознавания лиц [12; 66—68], в том числе и для определения возраста [60; 69—72]. В работе [69] авторы предлагают сверточную нейронную сеть для решения задачи автоматического определения возрастной группы и показывают высокую точность работы на изображениях базы Adience [73]. Глубокое обучение и сверточные нейронные сети можно также рассматривать как результат дальнейшего развития идеи иерархичности признаков [74].

1.2 Определение эмоций

Задача определения эмоций заключается в распознавании испытываемой человеком эмоции по фотографиям/видео. Задача тесно связана с распознаванием выражений лица человека, т.к. анализ эмоций происходит через их проявление в выражении лица. Это может быть выражение лица в фиксированный момент вре-

мени или изменение выражения лица, наблюдаемое в течение некоторого промежутка времени. В контексте рассматриваемых далее задач понятия эмоции и выражения лица будут употребляться взаимозаменяемо, хотя следует отметить, что понятие эмоции шире, и только к рассмотрению выражений лиц не сводится.

Также как и в случае задачи определения возраста, особый интерес представляют решения, работающие с изображениями полученными в неконтролируемых условиях или "слабо" контролируемых (когда освещение и ориентация головы не фиксируются, но пользователю предоставляется обратная связь от системы, в виде, например, изображения с камеры, дополненного текстом в оценкой выражения лица, полученной алгоритмом). В случае "слабо" контролируемых условий пользователь может, судя по точности выдаваемого ответа, осознанно или неосознанно подстраивать, до известной степени, положение головы.

В задаче автоматического распознавания выражений лица обычно выделяется некий класс базовых эмоций (выражений лица), например таких как страх, гнев, радость, удивление, грусть, и презрение. К базовым эмоциям, в некоторых постановках задачи, также относят нейтральную эмоцию, иначе говоря, естественное выражение лица без каких-либо эмоциональных проявлений. Задача распознавания эмоций, в конечном счете, сводится к задаче машинного обучения, а именно классификации. Реальный диапазон эмоций человека не ограничивается указанным выше набором базовых выражений лица. Более того, применимость подобных решений также усложняется тем, что человек может демонстрировать смешанные эмоций, например смесь страха и удивления. В таком случае, например, в качестве ответа можно выдавать либо эмоцию, проявленную в наибольшей степени, либо выдавать набор оценок "проявленности" каждой базовой эмоции.

Существуют также подходы, в которых вместо выбранного набора базовых выражений используется некое множество более элементарных проявлений человеческой мимики. Которые, в свою очередь, можно использовать для описания составных выражений. Например вышеуказанные базовые эмоции (страх, гнев, радость, удивление, грусть, и презрение) можно выразить через положение рта и его форму (открытый, закрытый, поднятые или опущенные уголки губ, т.п.), а также описание глаз, бровей, и др. Существуют работы посвященные рассмотрению задачи классификации именно таких элементарных проявлений (англ. Action Unit, AU) [75], [76]. Однако такие подходы менее распространены, в отличие от

подходов, определяющих непосредственно человеческие эмоции из заранее зафиксированного списка.

Если для решения задачи определения эмоции используется только одно изображение, то такая задачу будет называться определением статических выражений лица. По сути задача сводится к определения выражения лица в конкретный момент времени. Задачу определений эмоций по набору следующих друг за другом во времени изображений будет называться распознаванием динамических выражений лица. Такая постановка имеет смысл, так как изменения выражения лица по природе суть динамическое событие (результат активности лицевых мускулов), состоящее из начальной, пиковой, и финальной фаз.

Список литературы диссертационного исследования кандидат наук Спижевой Алексей Сергеевич, 2021 год

Список литературы

1. Спижевой А., Оголихина А., Бовырин А. Автоматическое оценивание возраста человека с использованием адаптивного выравнивания яркости и биологически обусловленных признаков // Вестник Нижегородского университета им. Н.И. Лобачевского. — Нижний Новгород, Россия, 2014. — № 1. — С. 273—279.

2. Spizhevoi A., Bovyrin A. Estimating human age using bio-inspired features and the ranking method // Pattern Recognition and Image Analysis. — 2015. — Т. 25, № 3. — С. 547—552.

3. Spizhevoi A. Robust Dynamic Facial Expressions Recognition Using LbpTop Descriptors and Bag-of-Words Classification Model // Pattern Recognition and Image Analysis. — 2016. — Т. 26, № 1.

4. Спижевой А., Баландин Д. Понижение размерности пространства признаков в задаче автоматического определения пола человека // Труды НГТУ им. Р.Е. Алексеева. 2020, Номер 2. — Нижний Новгород, Россия : Нижегородский государственный технический университет им. Р.Е. Алексеева, 2020. — С. 42—52.

5. Spizhevoy A., Bovyrin A. Human age estimation using biologically inspired features and ordinal hyperplanes ranking //11th International Conference on Pattern Recognition and Image Analysis: New Information Technologies. Conference Proceedings (Vol. I-II), Volume I(II). — Samara, Russia : IPSIRAS, 2013.

6. Spizhevoy A., Bovyrin A. Estimation of Human Age and Facial Expression Using Biologically Inspired Features // The 24rd International Conference on Computer Graphics and Vision, GraphiCon'14, Conference Proceedings. — Rostov-on-Don, Russia, 2014.

7. Спижевой А., Бовырин А. Изучение значимости биологически обусловленных признаков в задаче классификации пола // Информационные технологии и системы - 2014, 38-я конференция-школа ИППИ РАН. — Нижний Новгород, Россия, 2014.

8. Spizhevoy A. S. Robust Dynamic Facial Expressions Recognition using LBP-TOP Descriptors and Bag-of-Words Classification Model // 9th Open German-Russian Worokshop on Pattern Recognition and Image Understanding (OGRW 2014), Electronic on-site Proceedings / ed. by D. Paulus, C. Fuchs, D. Droege. — Koblenz, Germany : University of Koblenz-Landau, 2014.

9. Спижевой А., Баландин Д. Автоматическое определение статических и динамических выражений лица человека по изображениям и видео // Материалы XXVI Международной научно-технической конференции «Информационные системы и технологии» (ИСТ - 2020). — Нижний Новгород, Россия, 2020. — С. 1078—1086.

10. Спижевой А., Баландин Д. Биологически-обусловленные признаки в задачах определения возраста и выражений лица человека // Материалы XXVI Международной научно-технической конференции «Информационные системы и технологии» (ИСТ - 2020). — Нижний Новгород, Россия, 2020. — С. 1087—1095.

11. Spizhevoy A., Rybnikov A. OpenCV 3 Computer Vision with Python Cookbook. — Packt Publishing, 2018 - 306 p.

12. Guo G., Zhang N. A survey on deep learning based face recognition // Computer Vision and Image Understanding. — 2019. — Т. 189. — С. 102805.

13. Mane S., Shah G. Facial recognition, expression recognition, and gender identification // Data Management, Analytics and Innovation. — Springer, 2019. — С. 275—290.

14. Agrawal B., Dixit M. Age Estimation and Gender Prediction Using Convolutional Neural Network // International Conference on Sustainable and Innovative Solutions for Current Challenges in Engineering & Technology. — Springer 2019. — С. 163—175.

15. Рыбинцев А. В. Исследование, модификация и разработка методов компьютерного зрения для задач определения атрибутов личности по изображению лица : дис. ... канд. / Рыбинцев Андрей Владимирович. — НАЦИОНАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ УНИВЕРСИТЕТ «МЭИ», 2018. — URL: https://mpei.ru/diss/Lists/FilesDissertations/369- %D0%94%D0%B8%D1 % 81 %D1%81 %D0%B5 %D1 %80%D1 %82%D0%B0%D1 %86%D0%B8%D1 % 8F.pdf.

16. Lanitis A., Draganova C., Christodoulou C. Comparing different classifiers for automatic age estimation // Systems, Man, and Cybernetics, Part B: Cybernetics, IEEE Transactions on. — 2004. — Т. 34, № 1. — С. 621—628.

17. Ueki K., Hayashida T., Kobayashi T. Subspace-based age-group classification using facial images under various lighting conditions // Automatic Face and Gesture Recognition, 2006. FGR 2006. 7th International Conference on. — IEEE. 2006. — 6—pp.

18. Image-based human age estimation by manifold learning and locally adjusted robust regression / G. Guo [и др.] // Image Processing, IEEE Transactions on. — 2008. — Т. 17, № 7. — С. 1178—1188.

19. Chang K.-Y., Chen C.-S., Hung Y.-P. Ordinal hyperplanes ranker with cost sensitivities for age estimation // Computer Vision and Pattern Recognition (CVPR), 2011 IEEE Conference on. — IEEE. 2011. — С. 585—592.

20. Модификация алгоритма классификации возраста людей по изображению лица на основе метода ранжирования / А. Рыбинцев [и др.] // Графикон. — 2012. — С. 133—137. — URL: https://www.graphicon.ru/html/2012/ conference/RU1%20-%20Biometry/gc2012rybintsev.pdf.

21. Возрастная классификация людей по изображению лица на основе метода ранжирования и локальных бинарных шаблонов / А. Рыбинцев [и др.] // Системы и средства информатики. — 2013. — Т. 23. — С. 48—59.

22. Рыбинцев А., Конушин В., Конушин А. Последовательная половая и возрастная классификация людей по изображению лица на основе ранжированных локальных бинарных шаблонов // Компьютерная оптика. — 2015. — Т. 39. — С. 762—769. — URL: http://www.computeroptics.smr.ru/KO/PDF/ K039-5/390517.pdf.

23. Fu Y., Huang T. S. Human age estimation with regression on discriminative aging manifold // Multimedia, IEEE Transactions on. — 2008. — Т. 10, № 4. — С. 578—584.

24. Fu Y., Xu Y., Huang T. S. Estimating human age by manifold analysis of face pictures and regression on aging features // Multimedia and Expo, 2007 IEEE International Conference on. — IEEE. 2007. — С. 1383—1386.

25. Ranking with uncertain labels / S. Yan [и др.] // Multimedia and Expo, 2007 IEEE International Conference on. — IEEE. 2007. — С. 96—99.

26. Learning auto-structured regressor from uncertain nonnegative labels / S. Yan [и др.] // Computer Vision, 2007. ICCV 2007. IEEE 11th International Conference on. — IEEE. 2007. — С. 1—8.

27. Image based regression using boosting method / S. K. Zhou [и др.] // Computer Vision, 2005. ICCV 2005. Tenth IEEE International Conference on. Т. 1. — IEEE. 2005. — С. 541—548.

28. Human age estimation using bio-inspired features / G. Guo [и др.] // Computer Vision and Pattern Recognition, 2009. CVPR 2009. IEEE Conference on. — IEEE. 2009. —С. 112—119.

29. Cumulative attribute space for age and crowd density estimation / K. Chen [и др.] // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. — 2013. — С. 2467—2474.

30. Locally adjusted robust regression for human age estimation / G. Guo [и др.]. — 2008.

31. A probabilistic fusion approach to human age prediction / G. Guo [и др.] // Computer Vision and Pattern Recognition Workshops, 2008. CVPRW'08. IEEE Computer Society Conference on. — IEEE. 2008. — С. 1—6.

32. Рыбинцев А. Исследование подходов к определению атрибутов личности по изображению лица методами машинного зрения // Национальный исследовательский университет «МЭИ». М. — 2015.

33. Age estimation from faces using deep learning: A comparative analysis / A. Othmani [и др.] // Computer Vision and Image Understanding. — 2020. — С. 102961.

34. Viola P, Jones M. Rapid object detection using a boosted cascade of simple features // Computer Vision and Pattern Recognition, 2001. CVPR 2001. Proceedings of the 2001 IEEE Computer Society Conference on. Т. 1. — IEEE. 2001. —С. I—511.

35. Integral channel features / P. Dollar [и др.]. — 2009.

36. Zamwar S. C., Ladhake S. A., Ghate U. S. Human Face Detection and Tracking for Age Rank, Weight and Gender Estimation based on Face Images using Raspberry Pi Processor // International Journal of Engineering Research and Applications. — 2017. — Т. 07. — С. 16—21.

37. Ahonen T., Hadid A., Pietikainen M. Face description with local binary patterns: Application to face recognition // Pattern Analysis and Machine Intelligence, IEEE Transactions on. — 2006. — Т. 28, № 12. — С. 2037—2041.

38. Рыбинцев А. В. Сокращение размерности пространства LBP-признаков в задачах определения атрибутов личности по изображению лица // Вестник Московского энергетического института. — 2016. — № 1. — С. 33—38.

39. Salihbasic A., Orehovacki T. Development of Android Application for Gender, Age and Face Recognition Using OpenCV // 2019 42nd International Convention on Information and Communication Technology, Electronics and Microelectronics (MIPRO). — IEEE. 2019. — С. 1635—1640.

40. Open Source Computer Vision Library. — URL: http://opencv.org/.

41. Gabor D. Theory of communication. Part 1: The analysis of information // Electrical Engineers-Part III: Radio and Communication Engineering, Journal of the Institution of. — 1946. — Т. 93, № 26. — С. 429—441.

42. Liu C., Wechsler H. Gabor feature based classification using the enhanced fisher linear discriminant model for face recognition // Image processing, IEEE Transactions on. — 2002. — Т. 11, № 4. — С. 467—476.

43. Coding facial expressions with gabor wavelets / M. Lyons [и др.] // Automatic Face and Gesture Recognition, 1998. Proceedings. Third IEEE International Conference on. — IEEE. 1998. — С. 200—205.

44. Shen L., Bai L. A review on Gabor wavelets for face recognition // Pattern analysis and applications. — 2006. — Т. 9, № 2/3. — С. 273—292.

45. Cortes C., Vapnik V. Support-vector networks // Machine learning. — 1995. — Т. 20, № 3. — С. 273—297.

46. Воронцов К. Лекции по методу опорных векторов // ВЦ РАН, М. — 2007. — URL: http://www.ccas.ru/voron/download/SVM.pdf.

47. Вьюгин В. Математические основы машинного обучения и прогнозирования. — Litres, 2017.

48. A study on automatic age estimation using a large database. / G. Guo [и др.] // ICCV. — 2009. — С. 1986—1991.

49. Chang K.-Y., Chen C.-S., Hung Y.-P. A ranking approach for human ages estimation based on face images // Pattern Recognition (ICPR), 2010 20th International Conference on. — IEEE. 2010. — С. 3396—3399.

50. Cootes T. F., Edwards G. J., Taylor C. J. Active appearance models // Pattern Analysis and Machine Intelligence, IEEE Transactions on. — 2001. — Т. 23, №6. —С. 681—685.

51. Banerjee S., Ramanathan K., Gupta A. Clustering short texts using wikipedia // Proceedings of the 30th annual international ACM SIGIR conference on Research and development in information retrieval. — ACM. 2007. — С. 787— 788.

52. Croft W. B., Metzler D., Strohman T. Search engines: Information retrieval in practice. Т. 283. —Addison-Wesley Reading, 2010.

53. Kuharenko A., Konushin A. Simultaneous facial attribute classification with convolutional neural networks // Pattern rcognition and image analysis (PRIA-11-2013). — 2013. — С. 623—626.

54. Рыбинцев А. В. Последовательное определение атрибутов личности по изображению лица на основе ранжированных LBP-признаков // Вестник Московского энергетического института. — 2017. — № 5. — С. 121—129.

55. Rybintsev A. Age estimation from a face image in a selected gender-race group based on ranked local binary patterns // Complex & Intelligent Systems. — 2017. — Т. 3, № 2. — С. 93—104.

56. Han H., Otto C., Jain A. K. Age estimation from face images: Human vs. machine performance // Biometrics (ICB), 2013 International Conference on. — IEEE. 2013. —С. 1—8.

57. Buhrmester M., Kwang T., Gosling S. D. Amazon's Mechanical Turk a new source of inexpensive, yet high-quality, data? // Perspectives on psychological science. — 2011. — Т. 6, № 1. — С. 3—5.

58. Николенко С. И., Кадурин А. А., Архангельская Е. О. Глубокое обучение. — "Издательский дом Питер", 2017.

59. Lachinov D., Vasiliev E., Turlapov V. Glioma Segmentation with Cascaded UNet // International MICCAI Brainlesion Workshop. — Springer. 2018. — С. 189—198.

60. Fine-grained age estimation in the wild with attention LSTM networks / K. Zhang [и др.] // IEEE Transactions on Circuits and Systems for Video Technology. — 2019.

61. Group-aware deep feature learning for facial age estimation / H. Liu [и др.] // Pattern Recognition. — 2017. — Т. 66. — С. 82—94.

62. ПРОГРАММНЫЕ МОДЕЛИ ОБРАБОТКИ ЗРИТЕЛЬНЫХ СИГНАЛОВ / В.Яхно [и др.]. —2006.

63. Возможность построения симуляторов осознания сенсорных сигналов: иерархия «распознающих ячеек»; нейроархитектура; психофизические данные / К. Кавамура [и др.] // Труды Х Всероссийская научно-техническая конференции «Нейроинформатика. — 2008. — С. 23—57.

64. Яхно В. Г. Основные динамические режимы осознания сенсорных сигналов в нейроноподобных моделях: проблемы на пути к «Нейроморфному» интеллекту // Известия высших учебных заведений. Прикладная нелинейная динамика. — 2011. — Т. 19, № 6.

65. Hubel D. H., Wiesel T. N.Receptive fields, binocular interaction and functional architecture in the cat's visual cortex // The Journal of physiology. — 1962. — Т. 160, № 1. —С. 106—154.

66. Deepface: Closing the gap to human-level performance in face verification / Y. Taigman [и др.] // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. — 2014. — С. 1701—1708.

67. Schroff F., Kalenichenko D., Philbin J.Facenet: A unified embedding for face recognition and clustering // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. — 2015. — С. 815—823.

68. Wang Q., Guo G. Benchmarking deep learning techniques for face recognition // Journal of Visual Communication and Image Representation. — 2019. — Т. 65. — С. 102663.

69. Levi G., Hassner T. Age and gender classification using convolutional neural networks // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops. — 2015. — C. 34—42.

70. Age estimation based on convolutional neural network / C. Yan [h gp.] // Advances in Multimedia Information Processing-PCM 2014. — Springer, 2014. — C. 211—220.

71. Wang X., Guo R., Kambhamettu C. Deeply-learned feature for age estimation // Applications of Computer Vision (WACV), 2015 IEEE Winter Conference on. — IEEE. 2015. — C. 534—541.

72. Yi D., Lei Z., Li S. Z. Age estimation by multi-scale convolutional network // Computer Vision-ACCV 2014. — Springer, 2014. — C. 144—158.

73. Eidinger E., Enbar R., Hassner T. Age and gender estimation of unfiltered faces // Information Forensics and Security, IEEE Transactions on. — 2014. — T. 9, № 12. — C. 2170—2179.

74. LeCun Y., Ranzato M. Deep learning tutorial // Tutorials in International Conference on Machine Learning (ICML13), Citeseer. — Citeseer. 2013.

75. Valstar M., Pantic M. Fully automatic facial action unit detection and temporal analysis // Computer Vision and Pattern Recognition Workshop, 2006. CVPRW'06. Conference on. — IEEE. 2006. — C. 149—149.

76. Tian Y.-l., Kanade T., Cohn J. F. Evaluation of Gabor-wavelet-based facial action unit recognition in image sequences of increasing complexity // Automatic Face and Gesture Recognition, 2002. Proceedings. Fifth IEEE International Conference on. — IEEE. 2002. — C. 229—234.

77. The Extended Cohn-Kanade Dataset (CK+): A complete dataset for action unit and emotion-specified expression / P. Lucey [h gp.] // Computer Vision and Pattern Recognition Workshops (CVPRW), 2010 IEEE Computer Society Conference on. — IEEE. 2010. — C. 94—101.

78. Yang P., Liu Q., Metaxas D. ^.Exploring facial expressions with compositional features // Computer Vision and Pattern Recognition (CVPR), 2010 IEEE Conference on. — IEEE. 2010. — C. 2638—2644.

79. Whitehill JOmlin C. W. Haar features for facs au recognition // Automatic Face and Gesture Recognition, 2006. FGR 2006. 7th International Conference on. — IEEE. 2006. — 5—pp.

80. Jain D. K., Shamsolmoali P., Sehdev P. Extended deep neural network for facial emotion recognition // Pattern Recognition Letters. — 2019. — T. 120. — C. 69—74.

81. Human emotion recognition using deep belief network architecture / M. M. Hassan [h gp.] // Information Fusion. — 2019. — T. 51. — C. 10—18.

82. Fan Y., Li V., Lam J. C. Facial Expression Recognition with Deeply-Supervised Attention Network // IEEE Transactions on Affective Computing. — 2020.

83. Ivanova E., Borzunov G. Optimization of machine learning algorithm of emotion recognition in terms of human facial expressions // Procedia Computer Science. — 2020. — T. 169. — C. 244—248.

84. Spatio-temporal covariance descriptors for action and gesture recognition / A. Sanin [h gp.] // arXiv preprint arXiv:1303.6021. — 2013.

85. Wang Z., Wang S., Ji Q. Capturing Complex Spatio-Temporal Relations among Facial Muscles for Facial Expression Recognition. — 2013.

86. Dynamic facial expression recognition using boosted component-based spatiotemporal features and multi-classifier fusion / X. Huang [h gp.] // Advanced Concepts for Intelligent Vision Systems. — Springer. 2010. — C. 312—322.

87. Emotional expression classification using time-series kernels / A. Lorincz [h gp.] // Computer Vision and Pattern Recognition Workshops (CVPRW), 2013 IEEE Conference on. — IEEE. 2013. — C. 889—895.

88. Yang P, Liu Q., Metaxas D. ^.Boosting encoded dynamic features for facial expression recognition // Pattern Recognition Letters. — 2009. — T. 30, № 2. — C. 132—139.

89. Wu T., Bartlett M. S., Movellan J. R. Facial expression recognition using gabor motion energy filters // Computer Vision and Pattern Recognition Workshops (CVPRW), 2010 IEEE Computer Society Conference on. — IEEE. 2010. — C. 42—47.

90. Person-independent facial expression detection using constrained local models / S. W. Chew [h gp.] // Automatic Face & Gesture Recognition and Workshops (FG 2011), 2011 IEEE International Conference on. — IEEE. 2011. — C. 915— 920.

91. Ojala T., Pietikainen M., Harwood D. A comparative study of texture measures with classification based on featured distributions // Pattern recognition. — 1996. — T. 29, № 1. — C. 51—59.

92. Ojala T., Pietikainen M., Maenpaa T. Multiresolution gray-scale and rotation invariant texture classification with local binary patterns // Pattern Analysis and Machine Intelligence, IEEE Transactions on. — 2002. — T. 24, № 7. — C. 971— 987.

93. Cristinacce D., Cootes T. F. Feature Detection and Tracking with Constrained Local Models. // BMVC. T. 2. — Citeseer. 2006. — C. 6.

94. Saragih J. M., Lucey S., Cohn J. F. Face alignment through subspace constrained mean-shifts // Computer Vision, 2009 IEEE 12th International Conference on. — IEEE. 2009. — C. 1034—1041.

95. Shan C., Gong S., McOwan P. W. Facial expression recognition based on local binary patterns: A comprehensive study // Image and Vision Computing. — 2009. — T. 27, № 6. — C. 803—816.

96. Lyons M. J., Budynek J., Akamatsu S. Automatic classification of single facial images // IEEE Transactions on Pattern Analysis & Machine Intelligence. — 1999. — № 12. — C. 1357—1362.

97. Belhumeur P. N., Hespanha J. P., Kriegman D. J.Eigenfaces vs. fisherfaces: Recognition using class specific linear projection // Pattern Analysis and Machine Intelligence, IEEE Transactions on. — 1997. — T. 19, № 7. — C. 711— 720.

98. Feng X., Pietikainen M., Hadid A. Facial expression recognition with local binary patterns and linear programming // Pattern Recognition And Image Analysis C/C of Raspoznavaniye Obrazov I Analiz Izobrazhenii. — 2005. — T. 15, № 2. — C. 546.

99. Guo G., Dyer C. R. Simultaneous feature selection and classifier training via linear programming: A case study for face expression recognition // Computer Vision and Pattern Recognition, 2003. Proceedings. 2003 IEEE Computer Society Conference on. Т. 1. — IEEE. 2003. — С. I—346.

100. Kellokumpu V., Zhao G., Pietikainen M. Human activity recognition using a dynamic texture based method. // BMVC. Т. 1. — 2008. — С. 2.

101. Learning realistic human actions from movies /1. Laptev [и др.] // Computer Vision and Pattern Recognition, 2008. CVPR 2008. IEEE Conference on. — IEEE. 2008. — С. 1—8.

102. Mattivi R., Shao L. Human action recognition using LBP-TOP as sparse spatiotemporal feature descriptor // Computer Analysis of Images and Patterns. — Springer 2009. — С. 740—747.

103. Behavior recognition via sparse spatio-temporal features / P. Dollar [и др.] // Visual Surveillance and Performance Evaluation of Tracking and Surveillance, 2005. 2nd Joint IEEE International Workshop on. — IEEE. 2005. — С. 65—72.

104. Lafferty J., McCallum A., Pereira F. C. Conditional random fields: Probabilistic models for segmenting and labeling sequence data. — 2001.

105. Hidden conditional random fields for gesture recognition / S. B. Wang [и др.] // Computer Vision and Pattern Recognition, 2006 IEEE Computer Society Conference on. Т. 2. — IEEE. 2006. — С. 1521—1527.

106. Morency L.-P., Quattoni A., Darrell T. Latent-dynamic discriminative models for continuous gesture recognition // Computer Vision and Pattern Recognition, 2007. CVPR'07. IEEE Conference on. — IEEE. 2007. — С. 1—8.

107. Jain S., Hu C., Aggarwal J. K. Facial expression recognition with temporal modeling of shapes // Computer Vision Workshops (ICCV Workshops), 2011 IEEE International Conference on. — IEEE. 2011. — С. 1642—1649.

108. Плотников Д., Сопов Е. Решение задач распознавания лиц и мимики с помощью сверточных нейронных сетей // Решетневские чтения. — 2017. — №21/2.

109. РАСПОЗНАВАНИЕ ЭМОЦИЙ ПО ИЗОБРАЖЕНИЮ ЛИЦА НА ОСНОВЕ ГЛУБОКИХ НЕЙРОННЫХ СЕТЕЙ / О. П. Тимофеева [и др.] // Труды НГ-ТУ им. РЕ Алексеева. — 2020. — 1 (128).

110. Corcoran P. M., Iancu C. Automatic Face Recognition System for Hidden Markov Model Techniques. — INTECH Open Access Publisher, 2011.

111. Real-time video face recognition for embedded devices / G. Costache [h gp.]. — INTECH Open Access Publisher, 2011.

112. Average of synthetic exact filters / D. S. Bolme, B. Draper, J. R. Beveridge [h gp.] // Computer Vision and Pattern Recognition, 2009. CVPR 2009. IEEE Conference on. — IEEE. 2009. — C. 2105—2112.

113. Dunker P, Keller M. Illumination Normalization for Face Recognition-A Comparative Study of Conventional vs. Perception-inspired Algorithms. // BIOSIGNALS (2). — 2008. — C. 237—243.

114. Ng C. B., Tay Y. H., Goi B. M. Vision-based human gender recognition: A survey // arXiv preprint arXiv:1204.1611. — 2012.

115. Abdi H., Williams L. J.Principal component analysis // Wiley Interdisciplinary Reviews: Computational Statistics. — 2010. — T. 2, № 4. — C. 433—459.

116. Geurts P, Ernst D., Wehenkel L. Extremely randomized trees // Machine learning. — 2006. — T. 63, № 1. — C. 3—42.

117. Shan C. Learning local binary patterns for gender classification on real-world face images // Pattern Recognition Letters. — 2012. — T. 33, № 4. — C. 431— 437.

118. InsideBias: Measuring Bias in Deep Networks and Application to Face Gender Biometrics /1. Serna [h gp.] // arXiv preprint arXiv:2004.06592. — 2020.

119. Face and Gender Recognition System Based on Convolutional Neural networks / Y. Zhou [h gp.] // 2019 IEEE International Conference on Mechatronics and Automation (ICMA). — IEEE. 2019. — C. 1091—1095.

120. Gender Classification Based on Face Recognition using Convolutional Neural Networks (CNNs) / R. Yuda [h gp.] // Journal of Physics: Conference Series. T. 1490. — IOP Publishing. 2020. — C. 012042.

121. Freund Y., Schapire R. E. A desicion-theoretic generalization of on-line learning and an application to boosting // Computational learning theory. — Springer. 1995. — C. 23—37.

122. Schapire R. E., Singer Y. Improved boosting algorithms using confidence-rated predictions // Machine learning. — 1999. — Т. 37, № 3. — С. 297—336.

123. Mittal S., Mittal S. Gender Recognition from Facial Images using Convolutional Neural Network // 2019 Fifth International Conference on Image Information Processing (ICIIP). — IEEE. 2019. — С. 347—352.

124. Afifi M., Abdelhamed A. AFIF4: deep gender classification based on AdaBoost-based fusion of isolated facial features and foggy faces // Journal of Visual Communication and Image representation. — 2019. — Т. 62. — С. 77—86.

125. Lanitis A. The FG-NET aging database. — 2002. — URL: http://www-prima. inrialpes.fr/FGnet/html/benchmarks.html.

126. Labeled faces in the wild: A database for studying face recognition in unconstrained environments : тех. отч. / G. B. Huang [и др.]; Technical Report 07-49, University of Massachusetts, Amherst. — 2007.

127. Kanade T., Cohn J. F., Tian Y. Comprehensive database for facial expression analysis // Automatic Face and Gesture Recognition, 2000. Proceedings. Fourth IEEE International Conference on. — IEEE. 2000. — С. 46—53.

128. Labeled faces in the wild: A database for studying face recognition in unconstrained environments : тех. отч. / G. B. Huang [и др.]; Technical Report 07-49, University of Massachusetts, Amherst. — 2007.

129. Обработка и анализ изображений в задачах машинного зрения / Ю. В. Ви-зильтер [и др.]. — 2010.

130. Adaptive histogram equalization and its variations / S. M. Pizer [и др.] // Computer vision, graphics, and image processing. — 1987. — Т. 39, № 3. — С. 355—368.

131. Riesenhuber M., Poggio T. Hierarchical models of object recognition in cortex // Nature neuroscience. — 1999. — Т. 2, № 11. — С. 1019—1025.

132. Robust object recognition with cortex-like mechanisms / T. Serre [и др.] // Pattern Analysis and Machine Intelligence, IEEE Transactions on. — 2007. — Т. 29, №3. —С. 411—426.

133. Serre T., Wolf L., Poggio T. Object recognition with features inspired by visual cortex // Computer Vision and Pattern Recognition, 2005. CVPR 2005. IEEE Computer Society Conference on. Т. 2. — IEEE. 2005. — С. 994—1000.

134. Meyers E., Wolf L. Using biologically inspired features for face processing // International Journal of Computer Vision. — 2008. — T. 76, № 1. — C. 93— 104.

135. Mutch J., Lowe D. G. Object class recognition and localization using sparse features with limited receptive fields // International Journal of Computer Vision. — 2008. — T. 80, № 1. — C. 45—57.

136. Jones J. P., Palmer L. A. An evaluation of the two-dimensional Gabor filter model of simple receptive fields in cat striate cortex // Journal of neurophysiology. — 1987. — T. 58, № 6. — C. 1233—1258.

137. Zhao G., Pietikainen M. Dynamic texture recognition using local binary patterns with an application to facial expressions // Pattern Analysis and Machine Intelligence, IEEE Transactions on. — 2007. — T. 29, № 6. — C. 915—928.

138. Chang C.-C., Lin C.-J. LIBSVM: a library for support vector machines // ACM Transactions on Intelligent Systems and Technology (TIST). — 2011. — T. 2, №3. —C. 27.

139. A comparison of event models for naive bayes text classification / A. McCallum, K. Nigam [h gp.] // AAAI-98 workshop on learning for text categorization. T. 752. — Citeseer. 1998. — C. 41—48.

140. Zhang Y., Jin R., Zhou Z.-H. Understanding bag-of-words model: a statistical framework // International Journal of Machine Learning and Cybernetics. — 2010. — T. 1, № 1—4. — C. 43—52.

141. Jiang Y.-G., Ngo C.-W., Yang J. Towards optimal bag-of-features for object categorization and semantic video retrieval // Proceedings of the 6th ACM international conference on Image and video retrieval. — ACM. 2007. — C. 494—501.

142. Evaluating bag-of-visual-words representations in scene classification / J. Yang [h gp.] // Proceedings of the international workshop on Workshop on multimedia information retrieval. — ACM. 2007. — C. 197—206.

143. MacKay D. An example inference task: clustering // Information Theory, Inference and Learning Algorithms. — 2003. — C. 284—292.

144. Active shape models-their training and application / T. F. Cootes [h gp.] // Computer vision and image understanding. — 1995. — T. 61, № 1. — C. 38— 59.

145. A comparative study on illumination preprocessing in face recognition / H. Han [h gp.] // Pattern Recognition. — 2013. — T. 46, № 6. — C. 1691—1699.

146. Lihua G. Smile Expression Classification using the improved BIF feature // Image and Graphics (ICIG), 2011 Sixth International Conference on. — IEEE.

2011. —C. 783—788.

147. scikit-learn. Machine Learning in Python. — URL: http://scikit-learn.org/.

148. Chao W.-L., Liu J.-Z., Ding J.-J. Facial age estimation based on label-sensitive learning and age-specific local regression // Acoustics, Speech and Signal Processing (ICASSP), 2012 IEEE International Conference on. — IEEE.

2012. — C. 1941—1944.

149. Learning active facial patches for expression analysis / L. Zhong [h gp.] // Computer Vision and Pattern Recognition (CVPR), 2012 IEEE Conference on. — IEEE. 2012. — C. 2562—2569.

Список рисунков

1.1 Распределение возрастов в базе FG-NET................22

1.2 Примеры фотографий из базы FG-NET.................23

1.3 Примеры изображений из базы LFW. .................24

1.4 Пример последовательности фотографий одного из субъектов

базы СК+ с разметкой ключевых точек.................25

2.1 Общая схема работы подходов компьютерного зрения, решающих задачи определения атрибутов человека (таких как пол, возраст, эмоции) по изображениям лица.....................27

2.2 Процедура "скользящего окна" проверяет каждый участок исходного изображения на предмет того, является ли участок изображением лица или нет. ......................28

2.3 Схема работы каскадного детектора Виолы и Джонса. Иллюстрация заимствована из работы [34]...............29

2.4 Признаки Хаара, используемые для детектирования лиц в каскадной схеме Виолы и Джонса....................30

2.5 Пример детектирования лица и глаз на изображении базы FG-NET. В левой части изображения показана исходная фотография (после перевода в полутоновую), в правой найденное лицо и глаза................................30

2.6 Схема работы предлагаемого подхода геометрической нормализации изображения лица. Центры глаз исходного изображения переводятся в две фиксированные точки финального изображения заданного размера.....................31

2.7 Пример результат работы этапа геометрической нормализации изображения лица.............................32

2.8 Схема работы алгоритма адаптивного выравнивания яркости ^ЛБЕ...................................34

2.9 Пример работы алгоритма адаптивного выравнивания яркости ^ЛБЕ...................................35

2.10 Пример выходного изображения после применения одного из фильтров Габора, используемых при вычислении ВШ признаков. . . 37

2.11 Схема работы алгоритма вычисления ВШ признаков изображения. . 38

2.12 Круговая окрестность точки в LBP операторе для разных

значений радиуса.............................39

2.13 Схема вычисления LBP-TOP описателей по участку видео из

работы [92]................................40

2.14 Иллюстрация работы метода главных компонент. ..........41

2.15 Переход от исходного пространства признаков в другое пространство с помощь нелинейного преобразования ф........46

2.16 Схема работы метода ранжирования для классификации возраста. . 48

2.17 При построении BoW модели локальные LBP-TOP описатели вычисляются в пространственно-временных окрестностях (зеленым цветом) ключевых точек лица (желтым цветом)....... 50

2.18 Общая схема работы системы автоматического определения возраста человека по изображению лица. На вход поступает полутоновая фотография человека, на выходе оказывается результат детектирования лица и оценка возраста...........53

2.19 Схема работы предложенного подхода автоматического

определения возраста человека по изображению лица. На вход поступает полутоновая фотография лица. На следующем этапе производится детектирование лица и местоположения глаз. Затем, с помощью преобразования подобия, осуществляется геометрическая нормализация, на выходе которой получается изображение фиксированного размера. После этого происходит выравнивание яркости с помощью метода СЬЛНЕ. После вычисления признаков получается вектор-описатель. Затем размерность вектора признаков понижается и он идет на вход методу ранжирования для классификации возраста. На выходе получается оценка возраста.......................55

2.20 Схема работы алгоритма определения динамических выражений лица. На вход поступает последовательность полутоновых фотографий лица. На следующем шаге происходит детектирование ключевых точек лица на каждом изображении (в случае, если ключевые точки уже идут вместе с изображениями, как часть набора данных, то детектировать их еще раз необязательно). Для каждого изображения и каждой ключевой точки строится LBP-TOP вектор признаков. Затем по всему набору векторов строится BOW гистограмма. Размерность гистограммы понижается и получившийся вектор используется

для предсказания эмоции......................... 58

3.1 Примеры фотографий из базы FG-NET после выполнения процедуры геометрической нормализации...............66

3.2 Результаты работы стадий геометрической нормализации лица и глобального выравнивания яркости на фотографиях базы FG-NET. . 67

3.3 Результаты работы стадий геометрической нормализации лица и адаптивного выравнивания яркости на фотографиях базы FG-NET. 67

3.4 Результаты работы системы в реальных условиях на фотографиях лица автора................................69

3.5 Эмпирическая плотность распределение абсолютных ошибок определения возраста на базе FG-NET.................69

3.6 Изображения из базы FG-NET с наименьшими (<2 лет) ошибками определения возраста...........................70

3.7 Изображения из базы FG-NET с наибольшими (> 15 лет) ошибками определения возраста.....................70

3.8 Изображения базы СК+ на которых алгоритм определения

эмоции выдал правильный результат..................72

3.9 Изображения базы СК+ на которых алгоритм определения

эмоции выдал неверный результат....................72

3.10 Результаты работы алгоритма определения эмоций в реальных условиях эксплуатации.......................... 73

3.11 Примеры ошибок, совершенных предложенным алгоритмом автоматического определения динамических эмоций лица на последовательностях из базы СК+. Текстом зеленого цвета отмечены ожидаемый результат, желтым - выданный системой. . . 74

3.12 Зависимость точности определения динамических эмоций от

числа элементов в словаре, приходящихся на каждую эмоцию. . . . 75

3.13 Иллюстрация наиболее информативных частей изображения. ... 76

3.14 Сравнение точности определения пола в зависимости от числа используемых признаков для метода главных компонент и метода, основанного на ранжировании признаков с помощью деревьев решений..................................77

3.15 Примеры результатов правильного определения пола субъекта на

базе LFW с помощью предложенного алгоритма............78

3.16 Примеры результатов ошибочного определения пола субъекта на

базе LFW с помощью предложенного алгоритма............78

А.1 Акт о внедрении результатов диссертационного исследования. . . .104

Список таблиц

1 Распределение базовых эмоций в базе CK+...............25

2 Сравнение алгоритмов определения возраста человека по фотографиям лица на стандартной базе FG-NET............68

3 Сравнение средней точности классификации базовых эмоций предложенным алгоритмом с другими работами на базе CK+. Оценки качества работы методов SVM+LBP [95], Shape+SVM [107], CSPL [149] в оригинальных работах приведены для шести базовых эмоций, без учета эмоции презрения.............71

4 Сравнение предложенного алгоритма автоматического определения динамических эмоций с результатами работы других опубликованных подходов на базе CK+, в том числе подходами, решающими задачу определения статических выражений лица. Оценки качества работы методов SVM+LBP [95], Shape+SVM [107], Shape+LDCRF [107], CSPL [149] в оригинальных работах приведены для шести базовых эмоций, без учета эмоции презрения. 74

5 Среднее время обработки одного изображения (640 х480) на компьютере с центральным процессором Intel Core i5 (3.2 GHz) в однопоточном режиме..........................76

6 Сравнение методов автоматического определения пола по фотографии на базе LFW......................... 77

Приложение А Приложение А.1 Акт о внедрении

АКТ

о внедрении результатов диссертационной работы Спижевого A.C. на тему

"МЕТОДЫ И АЛГОРИТМЫ АВТОМАТИЧЕСКОГО ОПРЕДЕЛЕНИЯ ВОЗРАСТА, ПОЛА И ВЫРАЖЕНИЙ ЛИЦА ЧЕЛОВЕКА ПО ФОТОГРАФИЯМ И ВИДЕО"

ООО Центр Компьютерного Зрения "Аргус" подтверждает, что результаты диссертационной работы Спижевого Алексея Сергеевича на тему "МЕТОДЫ И АЛГОРИТМЫ АВТОМАТИЧЕСКОГО ОПРЕДЕЛЕНИЯ ВОЗРАСТА, ПОЛА И ВЫРАЖЕНИЙ ЛИЦА ЧЕЛОВЕКА ПО ФОТОГРАФИЯМ И ВИДЕО", предоставленной на соискание ученой степени кандидата технических наук, использованы в деятельности компании, связанной с разработкой открытой библиотеки алгоритмов компьютерного зрения OpenCV. В библиотеку включена разработанная Спижевым А.С. программная реализация алгоритма вычисления биологически-обусловленных описателей (англ. Bio-Inspired Features, BIF) изображения.

Дата: "Л " и/2016 г.

Директор по исследованиям и разработ ООО Центр Компьютерного Зрения "А

Директор

ООО Центр Компьютерного Зрения "А]

Молинов С.А.

Корняков К.В.

Рисунок А.1

— Акт о внедрении результатов диссертационного исследования.