Алгоритмы распознавания и отслеживания лиц при их частичном закрытии тема диссертации и автореферата по ВАК РФ 00.00.00, кандидат наук Хтет Аунг

• Хтет Аунг
• кандидат наук
• 2024

Оглавление диссертации кандидат наук Хтет Аунг

ВВЕДЕНИЕ

ГЛАВА 1. ОБЗОР СУЩЕСТВУЮЩИХ ПОДХОДОВ И МЕТОДОВ СИСТЕМЫ РАСПОЗНАВАНИЯ ЛИЦ ПРИ УСЛОВИИ ОККЛЮЗИИ

1.1 Архитектура системы общего распознавания лиц

1.2 Различные типы окклюзий для систем распознавания лиц

1.3 Методы обнаружения лиц с окклюзией

1.3.1 Общие методы обнаружения лиц

1.3.2 Методы обнаружения лиц с окклюзией

1.4 Извлечение признаков на основе обнаружения лица без окклюзии системой распознавания лиц в условиях окклюзии

1.4.1 Подход на основе исправления признаков

1.4.2 Извлечение признаков на основе обучения

1.4.3 Снижение размерности вектора признаков

1.4.4 Распознавание лиц с использованием машина опорных векторов

1.5 Извлечение признаков на основе обнаружения окклюзированного лица системой распознавания лиц при окклюзии

1.6 Распознавание лиц на основе подхода к восстановлению лица

1.7 Система отслеживания лиц

1.8 Типовые наборы данных для обнаружения и распознавания лиц как в норме, так и в условиях окклюзии

1.9 Выводы по главе

ГЛАВА 2. РАЗРАБОТКА АЛГОРИТМОВ И МЕТОДОВ ДЛЯ РЕШЕНИЯ ПРЕДЛОЖЕННОЙ ЗАДАЧИ ИДЕНТИФИКАЦИИ ЛИЦ ПРИ ИХ ЧАСТИЧНОЙ ОККЛЮЗИИ

2.1. Методология построения предлагаемой системы распознавания лиц при их

частичном закрытии

2.2 Архитектура предложенной системы распознавания лиц

2.3 Структура системы обнаружения лиц при окклюзии на основе алгоритма YOLO

2.3.1 Предварительная обработка данных обучающей выборки

2.3.2 Извлечение признаков с помощью магистральной сети DarkNet53

2.3.3 Прогнозирование положения лиц на основе алгоритма YOLO

2.4 Разработка системы отслеживания лиц на основе корреляционного фильтра MOSSE

2.4.1 Предварительная обработка шаблона для инициализации

2.4.2 Процесс отслеживания трекера MOSSE

2.5 Распознавание лиц с использованием предварительно обученной модели ResNet50

2.6 Выводы по главе

ГЛАВА 3. РЕЗУЛЬТАТЫ ЭКСПЕРИМЕНТОВ И ОБСУЖДЕНИЕ

3.1 Планирование эксперимента

3.2 Программные и аппаратные инструменты для разработки

3.3 Методы оценки предлагаемой системы

3.4 Эксперименты и сравнение результатов

3.4.1 Исследование алгоритма обнаружения лиц

3.4.1.2 Детектор YOLO в среде Matlab

3.4.1.3 Детектор SSD

3.4.1.4 Детектор лиц Fast R-CNN в Matlab

3.4.1.5 Сравнение результатов обнаружения лиц

3.4.2 Результаты отслеживания лиц при помощи трекера MOSSE

3.4.2.1 Эксперимент - работа трекера при сдвиге лица на изображении

3.4.2.2 Эксперимент - работа трекера при изменении масштаба лица

3.4.2.3 Эксперимент - работа трекера при вращении лица

3.4.2.4 Эксперимент - влияние возникновения окклюзии

3.4.2.5 Эксперимент - работа трекера MOSSE в реальном времени

3.4.3 Результаты распознавания лиц

3.5 Выводы по главе

ОБШИЕ ВЫВОДЫ И ЗАКЛЮЧЕНИЕ

СПИСОК ЛИТЕРАТУРЫ

СПИСОК СОКРАЩЕНИЙ

БД - База данных

FDDB - Face Detection Database (База данных обнаружения лиц)

ИНС - Искусственная Нейронная Сеть

ГНС - Глубокая Нейронная Сеть

CNN - Сверточная Нейронная Сеть

YOLO - Помотрите изображение только один раз

HOG - Гистограмма ориентированных градиентов

LBP - Local Binary Patterns (Локальные бинарные шаблоны)

BoW - Bag-of-Words (мешок-из-слов)

SURF - Speeded-Up Robust Features (Ускоренные надежные функции) SVM - Support Vector Machines (Метод Опорных Векторов) K-NN - K-Nearest Neighbor (K-Ближайший сосед)

MOSSE - Minimum Output Sum of Squared Error (Минимальная Выходная Сумма

Квадратов Ошибок)

FR - распознавание лиц

TP - Истинное положительное (True Positive)

TN - Истинное отрицательное (True Negative)

FP - Ложное положительное (False Positive)

FN - Ложное отрицательное (False Negative)

ВВЕДЕНИЕ

В данной работе рассматривается задача обнаружения, идентификации и отслеживания лиц на видеоизображении в реальном времени, при наличии их частичного закрытия с использованием комбинированного подхода на основе современных алгоритмов глубокого обучения и корреляционных фильтров. Сначала рассмотрим несколько видов окклюзии, которые могут возникнуть, и то, как они влияют на точность распознавания лиц. После этого рассмотрим ряд решений, которые были предложены для решения проблемы окклюзии, таких как методы извлечения признаков, основанные на обнаружении лиц с окклюзией, методы извлечения признаков, основанные на обнаружении лиц без окклюзии, и методы восстановления лиц. Данная диссертация посвящена системе распознавания лиц, состоящей из трех главных этапов, включающую в себя модель обнаружения лица с частичной закрытой, модель распознавания лиц и модель отслеживания лиц.

Актуальность работы. Распознавание лиц является одним из основных подходов обеспечения биометрической безопасности. Другие формы биометрических методов включают распознавание голоса, отпечатков пальцев и сетчатки глаза или радужной оболочки. На сегодняшний день задача автоматического распознавания лиц является одной из популярнейших тем в сфере компьютерного зрения. Она позволяет идентифицировать или распознать лицо человека, анализируя разнообразные признаки лица не только на картинках, но и в реальном времени в режиме видео. Распознавание лиц имеет огромные достоинства при сравнении от других методов биометрической идентификации.

Алгоритмы распознавания лиц анализируют различные аспекты лица такие как расстояние между глазами, форму линии подбородка и положение носа для создания уникальной цифровой подписи, которую можно использовать для идентификации человека в режиме реального времени. Автоматическое распознавание лиц широко применяется в различных отраслях, включая

обеспечение безопасности, правоохранительные органы, банковское дело, здравоохранение, социальные сети и т.д.

Одно из наиболее важных применений технологии распознавания лиц - в сфере безопасности и правоприменения для повышения общественной безопасности путем выявления подозреваемых, мониторинга общественных зон и предотвращения преступлений. Правоохранительные органы используют лица подозреваемых, снятые камерами наблюдения, для сопоставления с базами данных известных преступников или подозреваемых в совершении преступлений. Это позволяет следователям быстрее выявлять и задерживать подозреваемых, потенциально предотвращая дальнейшую преступную деятельность. Распознавание лиц также используется при пограничном контроле и обеспечении безопасности в аэропортах для выявления потенциальных угроз и улучшения мер безопасности.

Еще одна отрасль, использующая технологию распознавания лиц - это контроль доступа. Распознавание лиц используется для контроля доступа в охраняемые помещения, такие как здания, офисы и другие чувствительные зоны. Традиционные методы идентификации, такие как удостоверения личности и ключи, больше не нужны, что предотвращает несанкционированный доступ и повышает безопасность. Распознавание лиц также может быть использовано для обеспечения безопасного доступа к электронным устройствам, таким как смартфоны и ноутбуки, гарантируя, что только авторизованные пользователи будут иметь доступ к конфиденциальным данным.

Технология распознавания лиц также используется в сфере розничной торговли для отслеживания поведения покупателей и улучшения качества покупок. Некоторые магазины используют технологию распознавания лиц для идентификации постоянных покупателей и предлагают персонализированные рекомендации или скидки. Эта технология также может быть использована для отслеживания структуры клиентского трафика и оптимизации планировки магазинов.

Банки также используют технологию распознавания лиц для повышения безопасности и предотвращения мошенничества. Некоторые банки используют распознавание лиц для проверки личности своих клиентов, когда они входят в свои учетные записи или совершают транзакции. Эта технология также может быть использована для выявления потенциальных мошенников и предотвращения мошенничества. Использование технологии распознавания лиц в банках потенциально может повысить безопасность и защитить активы клиентов, но оно также приводит к ложным срабатываниям и ложноотрицательным результатам, потенциально нарушая частную жизнь человека и гражданские свободы. также подвергался критике.

В качестве средства улучшения здравоохранения также исследуется технология распознавания лиц. Медицинские работники могут убедиться, что они лечат нужного пациента, используя распознавание лица для его идентификации. Технология также может быть использована для отслеживания истории болезни пациента, информации об аллергии и истории назначения лекарств. С помощью технологии распознавания лиц можно уменьшить количество медицинских ошибок и улучшить результаты лечения пациентов.

Электронные устройства также используют технологии распознавания лиц. Смартфоны и другие электронные гаджеты используют распознавание лиц для настройки пользовательского интерфейса и обеспечения безопасного и быстрого доступа к устройству. Чтобы разблокировать устройство, подтвердить платежи и получить доступ к конфиденциальным приложениям или данным, можно использовать распознавание лиц. Распознавая конкретных пользователей и предоставляя им соответствующие материалы или предложения, он также может быть использован для персонализации пользовательского опыта.

Хотя технология распознавания лиц имеет много потенциальных преимуществ, она также создает проблемы с конфиденциальностью, предвзятостью и точностью. Некоторые люди обеспокоены сбором и архивированием личных данных, а также возможностью злоупотребления ими. Существуют опасения относительно вероятности предвзятости и ошибок в

алгоритмах распознавания лиц, которые могут привести к дискриминации или неправильной идентификации. Чтобы гарантировать, что преимущества технологии распознавания лиц превзойдут любые возможные опасности и ограничения, крайне важно использовать ее должным образом и с соблюдением этических норм.

В последние годы проблема распознавания лиц остается чрезвычайно популярной и актуальной темой исследований, и в этом направлении было разработано значительное количество методов, которые обеспечивают очень высокую точность распознавания и могут быть использованы на практике. В числе традиционных способов машинного обучения наиболее широко применяются метод фильтра Виолы-Джонса и его модификация. На сегодняшний день эффективные подходы обнаружения и распознавания с помощью глубокого обучения и сверточных нейронной сетей остается одним из основных направлений исследований.

Существует несколько проблем и ключевых факторов, которые могут существенно повлиять как на эффективность распознавания лиц, так и на результаты сопоставления. Эти проблемы, которые необходимо решить, чтобы повысить их точность и надежность, можно сгруппировать в пять ее категорий: освещение, вариации выражений, вариации позы, различные окклюзии и низкое качество или разрешение изображения лица.

Одна из основных проблем в распознавании лиц заключается в том, что лицо человека может быть частично закрыто такими элементами, как медицинская маска, солнцезащитные очки, шарф, другими аксессуарами, а также естественными элементами (тень, элементы прически, усы, борода). Такое закрытие (окклюзия) оказывает значительное влияние на точность распознавания лиц и затрудняет правильную идентификацию людей. Проблема окклюзии при распознавании лиц рассматривалась во многих работах, использующих методы извлечения признаков, основанные на обнаружении лиц с окклюзией и без учета окклюзии, методы восстановления лиц. В первом случае извлекаются отличительные характеристики лиц - текстура кожи, форма и геометрия лица как с обнаружением окклюзии, так и

без него. В остальных случаях используется восстановление лица в частично перекрытых участках.

Учитывая всемирную эпидемию COVID-19, когда ношение маски для лица стало обязательным для всех, распознавание лиц с маской становится очень важной проблемой. Существует так много ситуаций, когда скрытое распознавание лиц очень важно, например, в аэропорту для проверки личности, в колледже и школе для проверки посещаемости студентов, посещаемости сотрудников в компании, когда можно распознавать лица с помощью биометрической машины, не снимая маски для лица. Поэтому проблемы повышения точности системы распознавания лиц в условиях окклюзии рассматриваются многими авторами во время эпидемии.

Задача автоматического высокоточного распознавания лиц при воздействии частичного закрытия (например, различные маски, солнцезащитные очки и руки), которое возникает в большом количестве важных практических приложений, прежде всего - связанных с обеспечением безопасности и контроля доступа. Возможность распознавания лиц с высокой скоростью и надёжностью выводит эти приложения на новый уровень, существенно повышая оперативность работы.

Цель диссертационной работы:

Целью данной работы является разработка и исследование алгоритмов, способных обнаруживать и отслеживать лица в реальном времени в разных положениях, при разном освещении, с разным цветом кожи и другими отличиями, а также распознавать их при частичном закрытии.

Основные задачи исследования:

1. Выполнить аналитический обзор существующих методов и алгоритмов, используемых в системах распознавания лиц;

2. Разработать алгоритм YOLO для обнаружения лиц в условиях реальной окклюзии;

3. Разработать систему распознавания частично закрытых лиц на основе сети ResNet50;

4. Разработать алгоритм отслеживания лиц на основе фильтра MOSSE (Минимальная Выходная Сумма Квадратов Ошибок);

5. Реализовать программное обеспечение по предлагаемым алгоритмам в среде MATLAB;

6. Провести эксперимента и выполнить анализ результатов. Научная новизна

Научная новизна работы, выносимая на защиту, состоит в следующем:

1. Разработан комбинированный поход на основе сети YOLO и трекера MOSSE, способный обнаруживать и отслеживать лица на видео изображении в реальном времени;

2. Разработан комбинированный алгоритм с использованием существующих моделей сверточных нейронных сетей, позволяющий распознавать лица при их частичном закрытии;

3. Разработан новый алгоритм, основанный на применении предложенного комбинированного подхода, дающий возможность распознавания лиц на видео изображении в реальном времени с высокой точностью при их частичном закрытии.

Научная ценность

Научная ценность диссертационной работы заключается в предложенном оригинальном комбинированном подходе, основанном на использовании методов обнаружения лиц, отслеживания лиц, извлечение признаков и классификации признаков, повышающий качество системы идентификации лиц не только на изображениях, но и в видео реального времени с высокой точностью при условии частичного закрытия лица.

Практическая ценность

Практическая ценность диссертационной работы заключается в том, что разработанные алгоритмы в виде программного обеспечения могут быть использованы в системах контроля доступа для идентификации лиц, при наличии

масок или других окклюзионных аксессуаров, таких как шарф, солнцезащитные очки и т.д., например, в условиях пандемии. Представленные алгоритмы распознавания частично закрытых лиц способных работать не только со статическими изображениями, но и с видеопоследовательностями в режиме реального времени.

Основные положения, выносимые на защиту:

1. Комбинированный алгоритм обнаружения и отслеживания лиц с использованием сети YOLO и фильтра MOSSE позволяет детектировать и отслеживать лица с высокой скоростью и при наличии частичного закрытия.

2. Предварительно обученная сетевая модель ResNet 50, использованная для извлечения признаков лица и идентификации с помощью потери кросс-энтропии. Инструменты моделирования с использованием языка программирования Matlab, включая computer vision toolbox, deep learning toolbox, image processing toolbox.

3. Оригинальные структура и алгоритмы функционирования системы распознавания лиц позволяют реализовать предложенный метод обеспечивают высокую точность распознавания не только при реальной окклюзии лица, но и в режиме реального времени.

Объект исследования

Объектом исследования диссертационной работы является система компьютерного зрения, осуществляющая идентификацию лиц на видео в режиме реального времени при наличии их частичного закрытия.

Предмет исследования

Предметом исследования является комбинированный подход к решению задачи идентификации и отслеживания лиц.

Методы исследования

В работе использовались методы теории глубокого обучения, автоматического управления, вероятностных моделей, математической статистики,

цифровой обработки изображений и моделирование с использованием программного пакета MATLAB.

Реализация результатов и предложения об использовании

Материалы диссертационной работы и полученные результаты использованы на кафедре информационных технологий машиностроения из технологического университета (г. Тханлин) под руководством министерства образования Союза Мьянмы.

Полученные в диссертационной работе результаты рекомендуется использовать для внедрения системы идентификации и отслеживания лиц в условиях частично закрытых.

Апробация

1. 4-я Международная научно-практическая конференция, «проблемы лингвистики и лингводидактики в неязыковом вузе», (Москва, 2020).

2. Международная научно-техническая конференция «Пром-Инжиниринг», (Сочи, 2021).

3. 20-я Всероссийская конференция с международным участием «Математические методы распознавания образов», (Москва, 2021).

4. Международная научно-техническая конференция «Пром-Инжиниринг», (Сочи, 2022).

5. XLVII Академические чтения по космонавтике «Королёвские чтения 2023», (Москва, 2023).

Публикации

По результатам исследований опубликовано 1 0 научных работ, в числе которых 4 научные работы в журналах, входящих в список, утвержденный ВАК РФ, 4 в материалах конференций, включенных в базу данных SCOPUS и 2 тезисы доклада на научных конференциях.

Введение диссертации (часть автореферата) на тему «Алгоритмы распознавания и отслеживания лиц при их частичном закрытии»

Структура работы

Диссертация состоит из списка сокращений, введения, трех глав, заключения, списка литературы, который содержит 121 наименований. Объем диссертации: 156 страниц, включая 50 рисунков, 10 таблиц и 5 листинг.

Во введении содержится обоснование актуальности темы диссертации, определяются цели и задачи, указывается научная новизна и практическая значимость работы, формулируются положения, выносимые на защиту, содержатся сведения об апробации, внедрении результатов, публикациях, структуре и объеме диссертации.

В первой главе рассматриваются общие сведения о методах биометрического распознавания. Представлены различные проблемы и факторы, возникающие в задаче распознавания лиц и влияющие на качество распознавания. Анализируются методы и алгоритмы обнаружения и распознавания лиц в условиях окклюзии. При этом каждый из рассмотренных методов имеет свои особенности, влияющие на качество распознавания, и обсуждаются проблемы выбранного метода.

При разработке системы распознавания частично закрытых лиц необходимо учитывать факторы, связанные с отслеживанием лиц. Проанализированы различные методы и алгоритмы, обеспечивающие работу системы слежения за лицом. Рассмотрены существующие наборы данных для обнаружения и распознавания лиц в нормальных условиях и в условиях окклюзии.

Вторая глава посвящена алгоритмам и методам решения задач распознавания лиц. Приведена архитектура предлагаемой системы распознавания и отслеживания лиц, обеспечивающая возможность использования при частичном закрытии лица, а также в реальном времени. Приведено описание методов глубокого обучения, использованных при построении предлагаемой системы распознавания лиц. Предложен алгоритм быстрого и точного отслеживания лиц на последовательности видеоизображений в режиме реального времени, основанный на использовании фильтра MOSSE.

В третьей главе представлены результаты экспериментальных исследований предложенных методов. Глава начинается с планирования эксперимента, включающего:

- Выбор средств, включающих не только аппаратное, но и программное обеспечение для реализации предлагаемой системы распознавания лиц;

- Выбор статических и динамических изображений для оценки системы распознавания лиц в условиях частичной окклюзии;

- Методы оценки предложенной системы;

- Эксперименты, сравнение результатов.

В заключении представлены основные результаты, достигнутые по диссертационной работе.

ГЛАВА 1. ОБЗОР СУЩЕСТВУЮЩИХ ПОДХОДОВ И МЕТОДОВ СИСТЕМЫ РАСПОЗНАВАНИЯ ЛИЦ ПРИ УСЛОВИИ ОККЛЮЗИИ

В данной главе будет представлен обзор существующих подходов и методов распознавания лиц при их частичном закрытии (окклюзии).

Система распознавания лиц - это технология, предназначенная для идентификации и верификации личности людей на основе их черт лица. Это система биометрической идентификации, которая анализирует уникальные черты лица человека, такие как форма глаз, носа, рта и другие черты лица [1].

Система распознавания лиц захватывает изображение или видеозапись лица человека и извлекает соответствующие черты лица. Эти признаки сравниваются с базой данных известных лиц для определения соответствия. Система использует различные алгоритмы и методы машинного обучения для анализа и сравнения черт лица с учетом различных факторов.

Верификация лица и идентификация по лицу - это две разных задачи распознавания лиц.

Верификация лица: также известная как аутентификация по лицу или верификация распознавания лиц - это процесс подтверждения принадлежности лица конкретному лицу. Она включает в себя сравнение захваченного лица с эталонным лицом, обычно хранящимся в базе данных, чтобы определить, совпадают ли они. Цель состоит в том, чтобы подтвердить заявленную личность человека.

При верификации лица системе обычно присваивается конкретная личность или целевое лицо, и она принимает бинарное решение - либо подтверждает совпадение (положительный результат), либо отклоняет совпадение (отрицательный результат). Этот режим работы обычно используется в системах контроля доступа, где пользователь заявляет о своей личности, а система сверяет ее с известной ссылкой, чтобы предоставить или запретить доступ.

Идентификация лица: также известная как распознавание лиц или идентификацие по лицу - это процесс идентификации неизвестного лица путем

сравнения его с базой данных известных лиц. В отличие от проверки по лицу, идентификация по лицу не предполагает указания конкретной личности. Вместо этого он направлен на то, чтобы найти подходящую кандидатуру среди большого числа потенциальных кандидатов.

При идентификации лица система выполняет поиск по всей базе данных, чтобы найти наиболее близкое соответствие данному лицу. Он присваивает лицу ярлык или идентификатор, основанный на наиболее подходящем кандидате. Этот режим работы обычно используется для таких приложений, как наблюдение, судебно-медицинские расследования или идентификация людей в толпе, где конкретная личность заранее неизвестна.

Ключевое различие между верификацией лица и идентификацией по лицу заключается в цели и характере сравнения. Верификация лица проверяет личность на основе сравнения с только одним зарегистрированным шаблоном, в то время как идентификация лица выполняет поиск неизвестного лица в более крупной базе данных, чтобы определить его личность среди множества возможных вариантов. Как проверка подлинности, так и идентификация лиц основаны на схожих базовых технологиях и алгоритмах, но их использование и цели различаются. Выбор между этими двумя режимами зависит от конкретных требований и областей применения системы распознавания лиц.

1.1 Архитектура системы общего распознавания лиц

Рисунок 1.1. Общая схема процесса распознавания лиц

Принцип работы системы распознавания лиц включает в себя несколько этапов. Приведём упрощенный обзор этого процесса (на Рисунке 1.1) [2]:

Обнаружение лиц/ отслеживание лиц: Система сначала идентифицирует, локализует или отслеживает лица в пределах изображения или видеокадра. Этот шаг предполагает использование методов компьютерного зрения для обнаружения объектов, напоминающих лица, например - имеющих глаза, носы и рты, расположенные в определенном порядке.

Выравнивание лица: Как только лицо обнаружено, система выравнивает его, нормализуя положение, масштаб и ориентацию. Этот шаг помогает уменьшить вариации, вызванные различными ракурсами съемки или позами лица.

Извлечение признаков: Система анализирует выровненное лицо для извлечения уникальных черт лица, часто называемых ориентирами лица или векторами признаков. Эти особенности могут включать расстояние между глазами, форму носа и другие отличительные черты лица. Для извлечения и представления этих признаков в числовой форме используются различные математические алгоритмы, а также метода глубокого обучения.

Сравнение признаков (верификация или идентификация): Извлеченные признаки лица сравниваются с базой данных или набором известных лиц. Это сравнение обычно выполняется путем измерения сходства или несходства между векторами признаков. Система вычисляет оценку сходства или показатель расстояния, чтобы определить, насколько близко совпадают объекты. На основе оценки сходства принимается решение о том, соответствует ли рассматриваемое лицо какому-либо лицу в базе данных или известным лицам. Если обнаружено близкое совпадение выше определенного порога, система распознает лицо как совпадающее. В противном случае оно классифицируется как неизвестное лицо.

Существует несколько проблем и ключевых факторов, которые могут существенно повлиять на эффективность распознавания лиц и на результаты сопоставления. Некоторые из этих проблем показаны на Рисунке 1.2 [3]. Эти проблемы можно сгруппировать в пять категорий:

Рисунок 1.2. Различные проблемы в системе распознавания лиц (FEI базы

данных)

Освещение: освещение представляет собой изменения в освещенности сцены. Небольшие изменения в условиях освещения могут создать серьезные проблемы для автоматического распознавания лиц и существенно повлиять на его результаты. Освещение имеет тенденцию меняться со временем, и один и тот же человек, снятый одним и тем же датчиком с почти одинаковым выражением лица или позой, может выглядеть совсем по-разному. Освещение радикально изменяет внешний вид лица. Исследования показывают, что два одинаковых лица, сфотографированных при различном освещении, отличаются больше, чем два разных лица, снятых при одинаковом освещении.

Вариации выражений: Различные выражения лица могут значительно изменить внешний вид лица, затрудняя системам распознавания лиц сопоставление их с эталонными изображениями. Чтобы преодолеть эту проблему, системы необходимо обучать на больших наборах данных, охватывающих широкий спектр выражений лица.

Вариации ракурса съемки: Системы распознавания лиц очень чувствительны к изменениям ракурса. Различия в движениях головы и углах обзора камеры

неизбежно изменяют внешний вид лиц, что приводит к вариабельности внутри класса, что может значительно снизить скорость автоматического распознавания лиц. Чем больше угол поворота, тем труднее распознать реальное лицо. Если база данных содержит только фронтальные изображения лиц, распознавание может быть неправильным или вообще не работать.

Окклюзии: Когда часть лица закрыта предметами или аксессуарами, такими как очки или шарфы, системам распознавания лиц может быть сложно выделить необходимые черты лица. Для повышения точности этих систем необходимы надежные алгоритмы, способные справляться с окклюзиями и адаптироваться к различным уровням окклюзии.

Разрешение еще один фактор, влияющий на эффективность распознавания, связаны с разрешением и качеством изображения лица, дефектными данными или настройкой и режимом работы цифрового оборудования, используемого для съемки лица. Изображения лиц с низким разрешением и высоким уровнем шума могут быть получены небольшими автономными камерами, такими как камеры уличного наблюдения, камеры банкоматов и камеры наблюдения супермаркетов. Эти камеры могут захватывать небольшую часть области человеческого лица, но они не могут находиться слишком близко к лицу, поэтому шум и другие факторы, влияющие на лицо, могут привести к неполному отображению лиц (большое расстояние, сложная обстановка). Такие изображения лиц с низким разрешением и с высоким уровнем шума не дают много информации, поскольку большая часть информации теряется. Распознавание лиц в этом случае может оказаться большой проблемой.

За последние 20 лет для идентификации и верификации человека были разработаны многочисленные биометрические методы, использующие отпечаток пальца, радужную оболочку глаза и лицо. Биометрическая технология распознавания лиц является наиболее эффективным из этих биометрических подходов. Однако одна из самых больших проблем при распознавании лиц возникает, когда части лица закрыты внешними факторами, такими как солнцезащитные очки, шарфы, маски и даже природные явления, такие как тени,

волосы и борода. Способ справиться с возникающей закупоркой. Окклюзия сильно влияет на производительность систем распознавания лиц, затрудняя точную идентификацию людей.

Распознавание лиц с помощью маски становится особенно важной проблемой во время пандемии, когда ее ношение требуется всем. Скрытое распознавание лиц имеет решающее значение во многих сценариях, включая проверку лиц в аэропортах, посещение колледжей и школ учащимися, а также посещаемость сотрудниками предприятий, где людей можно идентифицировать с помощью биометрических устройств, не снимая лицевых масок.

В последние годы были предложены различные подходы, включая методы извлечения признаков, основанные на обнаружение окклюзированных лиц, методы извлечения признаков, основанные на обнаружение лиц без окклюзии, и методы, основанные на восстановлении лиц, которые используют проблему окклюзии при распознавании лиц. Чтобы идентифицировать людей, алгоритмы, основанные на признаках, извлекают отличительные характеристики из изображений лиц, такие как текстура, форма или геометрия, даже если они обнаружены с окклюзией лицом или без обнаружения окклюзированного лица. В другом подходе, таком как методы, основанные на восстановлении лица, которые восстанавливают окклюзированные области изображений лица.

1.2 Различные типы окклюзий для систем распознавания лиц

Существует несколько типов окклюзии, влияющих на изображения лиц. Основываясь на них, можно выделить 5 категорий:

- реальная окклюзия,

- частичные лица,

- синтетические окклюзии,

- окклюзии с черно-белым прямоугольником,

- окклюзии с несвязанными изображениями.

На Рисунке 1.3 показаны различные виды окклюзии на изображениях лица

Очки: могут быть причиной окклюзии в системах распознавания лиц, особенно если они свето отражающие или имеют толстую оправу, и закрывают ключевые черты лица.

Волосы на лице: как упоминалось ранее, растительность на лице также может существенно мешать распознаванию лиц. Сюда входят бороды, усы и бакенбарды, которые могут закрывать важные участия лица.

1 ЕхГепё Уа1е В

окклюзии /

Рисунок 1.3. Различные виды окклюзии на изображениях лица

Маски: Использование масок, особенно во время пандемии СОУГО-19, стало серьезной проблемой для систем распознавания лиц. Маски могут закрывать значительную часть лица, что затрудняет точную идентификацию людей системами распознавания.

Шляпы или головные уборы: Шляпы, шапочки или другие виды головных уборов могут вызвать проблемы в системах распознавания лиц. Эти предмета могут

закрывать лоб, брови или линию роста волос, что затрудняет распознавание этих особенностей системами распознавания.

Частично видимые лица: камера может снимать только часть лица, если оно было закрыто одним из вышеуказанных типов окклюзии. Это может затруднить точную идентификацию человека системами распознавания лиц.

Искусственная окклюзия: используется для моделирования реальных окклюзий. Она включает синтетические окклюзии, окклюзии черно-белым прямоугольником, окклюзии несвязанными изображениями, окклюзионный шум и т.д., которые могут блокировать или перекрывать важные черты лица на изображениях и могут привести к снижению точности систем распознавания лиц.

В Таблице 1 описаны различные типы окклюзий для систем распознавания лиц при окклюзиях.

Таблица 1.

Различные типы окклюзий для систем распознавания лиц при окклюзиях

Различные типы окклюзии Подкатегория Примеры

Реальная окклюзия лицо окклюзии аксессуарами солнцезащитные очки, шарф, различные маски, шляпа, волосы

внешняя окклюзия закрыто рукой или случайным объектом

просматриваемые ограниченные части лица частичное лицо, Не фронтальная поза

Искусственная окклюзия синтетические окклюзии синтезированные окклюзии с различными аксессуарами

окклюзии с черно-белым прямоугольником или с шумом гауссов шум, прямоугольник

перекрыто несвязанными комбинированные

изображениями несвязанные изображения с

изображениями лиц

1.3 Методы обнаружения лиц с окклюзией

Методы обнаружения лиц с окклюзией можно разделить на две группы:

- это общие методы обнаружения лиц, которые могут быть применены как для окклюзионного, так и неокклюзионного обнаружения лиц,

- а также методы обнаружения лиц с окклюзией, которые специально разработаны для решения проблемы окклюзии при обнаружении лиц. Обнаружение лиц является первым шагом во многих системах обработки

лиц, таких как распознавание лиц, автофокусировку камеры, автоматическую подсчет лиц на изображениях, обнаружение усталости пешеходов и водителей в транспортных средствах, идентификацию преступников, контроль доступа и т.д. [5]. Сложная задача машинного зрения и целевых установок направлена на применение всех возможных вариаций внешнего вида, вносимых изменением освещения, ракурса, черт лица и т.д. [6]. Кроме того, алгоритмы обнаружения лиц должны детектировать лица, которые появляются в различных размерах и позах.

1.3.1 Общие методы обнаружения лиц

В первую очередь сюда относятся методы, основанные на сопоставлении шаблонов для обнаружения лиц. Сопоставление с шаблоном - популярный метод, используемый для обнаружения лиц, особенно для приложений реального времени [7]. Вот несколько методов, основанных на сопоставлении шаблонов, которые можно использовать для обнаружения лиц:

Нормализованная взаимная корреляция (Normalized Cross-Correlation, NCC): Это обычно используемый метод сопоставления шаблонов, при котором рассчитывается свёрка шаблона с изображением, чтобы найти наилучшее соответствие. Вычисляется нормализованный коэффициент взаимной корреляции

между шаблоном и изображением, и в качестве местоположения лица выбирается местоположение с наибольшим коэффициентом корреляции.

Сумма абсолютных различий (Sum of Absolute Differences, SAD): В этом методе вычисляются абсолютные различия между шаблоном и изображением, и в качестве местоположения лица выбирается местоположение с минимальной суммой абсолютных различий.

Сумма квадратов различий (Sum of Squared Differences, SSD): Этот метод аналогичен SAD, но различия между шаблоном и изображением возводятся в квадрат перед их суммированием. В качестве местоположения шаблона выбирается местоположение с минимальной суммой квадратов разностей. Сопоставление шаблонов с использованием признаков, Хаара: Этот метод предполагает использование признаков Хаара и его аналогов, в качестве шаблонов для сопоставления. Признаки, подобные Хаару, - это прямоугольные признаки, которые используются для определения краев и других важных признаков изображения. Вычисляется свёртка шаблона с изображением, и в качестве местоположения лица выбирается местоположение с наибольшим коэффициентом корреляции.

В работе [8] представлен подробный обзор различных методов сопоставления шаблонов для обнаружения лиц, включая нормализованную взаимную корреляцию (NCC), сумму абсолютных различий (SAD), сумму квадратов различий (SSD) и оптимизированную сумму абсолютных различий (OSAD). Авторы сравнивают эффективность этих техник с точки зрения точности при различных ракурсах съемки и приходят к выводу, что OSAD является не только наиболее точным методом, но и самым быстрым. Авторы предположили, что изменение освещенности не влияет на OSAD, в то время как на неё влияет изменение фона изображения влияет на нее. В работах [9-13] представлены методы быстрого обнаружения лиц, основанный на гибридном сопоставлении шаблонов. Авторы демонстрируют результат своих подходов, которые позволяют обнаруживать лица не только в режиме реального времени, но и с высокой точностью.

Таким образом, в этих работах дается всесторонний обзор методов обнаружения лиц на основе сопоставления с шаблоном и их приложений. Хотя эти методы могут быть полезны для обнаружения лиц и отслеживания их в режиме реального времени, но они имеют некоторые ограничения и могут подходить не для всех ситуаций.

Вторая группа - алгоритмы обнаружения лиц, основанные на поиске областей телесного цвета. Целью моделирования цвета кожи является эффективный поиск пикселей, принадлежащих человеческой коже, и извлечение набора правил принятия решений, которые удаляют пиксели, представляющие другие объекты. Существует несколько подходов к определению цвета кожи, например, гибридные подходы с использованием цветовых схем YCbCr, HSV, RGB и т.д. При использовании в цифровых медиа цвета представляются в числовом виде. Цветовое пространство - это соответственно, набор правил, позволяющих описывать цвета с помощью чисел. RGB - это одно из цветовых пространств. RGB расшифровывается как красный, зеленый, синий и представляет собой систему отображения изображений/видео, в которой каждый пиксель на экране может отображать три своих цвета.

Еще одна цветовая система, известная как YCbCr, где Y означает Luma и яркость, U - яркость в канале синего, а V - яркость в канале красного, которая используется в основном потому, что она может отделить яркость от хромонанса более эффективно, чем цветовое пространство RGB. Цветовая модель HSV (hue, saturation, value) - это цилиндрическая цветовая модель, преобразующая первичные цвета RGB в удобочитаемые человеком параметра яркости, оттенки и насыщенности. Оттенок представляет цвет. Значение оттенка варьируется от o до 360 градусов. Значение насыщенности говорит о том, какое количество соответствующего цвета должно быть добавлено. Насыщенность 100 % означает, что добавляется полностью чистый цвет, а насыщенность 0 % означает, что цвет не добавлен, что приводит к серым полутонам. Яркость представляет собой яркость относительно насыщенности цвета. Значение 0 означает полную черную темноту, а значение 100 означает полную яркость и зависит от насыщенности.

Авторы работы [14-15] предложили обзор методов определения тона кожи, в том числе тех, которые используются для обнаружения лиц. Авторы описывают различные цветовые пространства и статистические методы обнаружения кожи и анализируют их эффективность. Эта работа является полезным ресурсом для всех, кто интересуется современным уровнем определения цвета кожи. В работе [16] представлен метод обнаружения лиц, который сочетает в себе сегментацию по цвету кожи и классификатор SVM. Авторы использовали сегментацию по цвету кожи для выделения областей-кандидатов, а затем применили SVM-классификатор к этим областям, чтобы определить, содержат ли они лицо.

В работах [17-19] представлен метод обнаружения лиц в реальном времени, который использует предложенный метод обнаружения кожи, разработанный в качестве этапа предварительной обработки для пары передовых методов, таких как Виола-Джонс, глубоких нейронных сетей и многих других оконных подходов. Авторы демонстрируют, что их подход обеспечивает высокую точность обнаружения. Авторы [20-21] предложили обнаруживать объекты на основе цвета кожи, выделения признаков и верификации. Первым этапом предлагаемого способа является применение алгоритма обнаружения кожи для указания всех местоположений кожи на изображении. Во-вторых, извлекаются такие элементы объекта, как глаза, рот и нос. На последнем этапе применяется этап проверки, чтобы убедиться, что извлеченные элементы являются чертами лица. Также проанализированы различные подходы к обнаружению областей кожи.

Вышеупомянутое исследование демонстрирует, что обнаружения лиц на основе цвета кожи по-прежнему является активной темой изучения, при этом предлагаются многочисленные методы и алгоритмы для повышения точности и эффективности вычислений. Чтобы получить высокую скорость обнаружения, эти методы часто интегрируют характеристики, основанные на цвете, с машинным обучением или алгоритмами глубокого обучения. Кроме того, многие исследователи изучают, как модифицировать эти методы для работы в условиях низкой освещенности, на сложном фоне и т.д., сделав их более долговечными и полезными для использования в реальном мире.

Третья группа алгоритмов поиска лиц основана на использовании каскадных фильтров. Это такие методы, как Viola-Jones, HOG, LBP и т.д. Алгоритм Виолы-Джонса - это популярный метод обнаружения лиц, который использует признаки, подобные Хаару, для обнаружения лиц. Алгоритм работает путем сканирования изображения с помощью скользящего окна различных размеров и положений, а затем вычисления признаков, подобных Хаару, для каждого подокна. Затем признаки используются для классификации каждого подокна либо как лицевой, либо как не-лицевой области.

Локальные двоичные шаблоны (Local Binary Pattern, LBP) - это текстурный дескриптор, который может использоваться для обнаружения лиц. Алгоритм работает путем разделения изображения на небольшие ячейки и вычисления двоичного кода для каждой ячейки на основе значений интенсивности соседних пикселей. Двоичные коды затем используются в качестве объектов для классификации каждого подокна либо как содержащей, либо как не содержащей лицо.

Гистограмма ориентированных градиентов (Histogram of Oriented Gradients , HOG) - это дескриптор признаков, который может использоваться для обнаружения лиц. Алгоритм работает путем вычисления градиентов изображения в различных направлениях, а затем группировки градиентов по ячейкам. Затем ячейки используются для создания гистограммы ориентированных градиентов, которая используется в качестве объекта для классификации каждого подокна либо как лицевой, либо как не-лицевой области.

Авторы в работах [22-28] предложили систему обнаружения лиц путем расчета каскадного классификатора Хаара на основе Виолы-Джонса и цвета кожи. В данных работах они показывают, что их подходы получили точность 95,75 % на тестовом наборе данных при низкой вычислительной сложности. Также точность этих результатов они сравнивали со стандартным набором данных.

Авторы в [29] представили гибридный надежный алгоритм обнаружения лиц, основанный на трех различных дескрипторах признаков: локальном двоичном шаблоне (LBP), гистограмме локального двоичного шаблона (LBPH) и

гистограмме градиента (HOG) для получения признаков лиц, а затем SVM-классификаторе для процесса обнаружения. Они сравнили точность этих результатов со стандартным набором данных и сообщили, что LBPH с помощью SVM превосходит другие методы с точки зрения эффективности и надежности обнаружения лиц. Было обнаружено, что частота правильного обнаружения в среднем превышает 98,04%. В работе [30] были рассмотрены и оценены три детектора лиц: (1) каскад, подобный Хаару, (2) гистограмма ориентированных градиентов (HOG) с использованием SVM и (3) каскад линейных бинарных шаблонов (LBP). Показано, что подход HOG + SVM является более надежным и точным, чем подходы LBP и Haar, со средней частотой обнаружения 92,68%.

Список литературы диссертационного исследования кандидат наук Хтет Аунг, 2024 год

СПИСОК ЛИТЕРАТУРЫ

1. Эмомов М. И. Анализ современных подходов распознавания и сопоставления лиц для систем биометрического контроля // Вестник магистратуры. 2019. № 1-2(88). С. 41-46.

2. Коломиец В. Анализ существующих подходов к распознаванию лиц. [Электронный ресурс] // Блог компании Синезис. — Режим доступа: http://habrahabr.ru/company/synesis/blog/238129 (дата обращения 01.01.2024).

3. Иванова Е. В., Струева А. Ю. Система учета посещаемости студентов на основе распознавания лиц // Вестник ЮУрГУ. Серия: Вычислительная математика и информатика. 2021. Т. 10, № 4. С. 60-73.

4. Dan Z., Veldhuis R., Spreeuwers L. A survey of face recognition techniques under occlusion, https://doi.org/10.48550/arXiv.2006.11366 (дата обращения 01.01.2024).

5. Воронов В. И., Быков А. Д., Воронова Л. И. Проектирование подсистемы детектирования лиц и интерфейса работы с базой данных в программно -аппаратном комплексе биометрической идентификации на основе нейросетевого распознавания лиц // T-Comm: Телекоммуникации и транспорт. 2020. Том 14. №4. С. 31-38.

6. Sharifara A., Mohd Rahim M. S., Anisi Y. A general review of human face detection including a study of neural networks and Haar feature-based cascade classifier in face detection // 2014 International Symposium on Biometrics and Security Technologies (ISBAST), Kuala Lumpur, Malaysia, 2014, P. 73-78.

7. Татаренков Д. А. Анализ методов обнаружения лиц на изображении // Молодой ученый, 2015, №4 (84), С. 270-276.

8. Dawoud N. N., Janier J. Fast Template Matching Method Based Optimized Sum of Absolute Difference Algorithm for Face Localization // March 2011International Journal of Computer Applications, 18. P. 30-34.

9. Tao Z., Jingjing L., Wenjing J., Jun S., Huihua Y. Fast and robust occluded face detection in ATM surveillance // Pattern Recognition Letters, Volume 107, 2018, P. 3340.

10. Wang J., Yang H. Face Detection Based on Template Matching and 2DPCA Algorithm // 2008 Congress on Image and Signal Processing, Sanya, China, 2008, P. 575579.

11. Wang Q., Yang W., Wang H., Yang J., Zheng Y. Face Detection Using Binary Template Matching and SVM // Trends in Artificial Intelligence PRICAI 2006, Lecture Notes in Computer Science, vol 4099, Springer, Berlin, Heidelberg. P. 1237-1241.

12. Эрман Е. А., Мамдух М., Гомаа М. Программно-аппаратный комплекс обнаружения лиц с помощью метода сравнения с шаблонами // Вестник АГТУ. Серия: Управление, вычислительная техника и информатика, 2015, №4, URL: https://cyberleninka.ru/article/n/programmno-apparatnyy-kompleks-obnaruzheniya-lits-s-pomoschyu-metoda-sravneniya-s-shablonami (дата обращения: 19.04.2023).

13. Smita T., Varsha S., Sanjeev S. Face Detection using Combined Skin Color Detector and Template Matching Method // International Journal of Computer Applications, 2011, vol. 26, no. 7, P. 5-8.

14. Chandrappa D. N., Ravishankar M., RameshBabu D. R. Face detection in color images using skin color model algorithm based on skin color information // 2011 3rd International Conference on Electronics Computer Technology, Kanyakumari, India, 2011, P. 254-258.

15. Bhuvendhraa R., Shahrel A. S. A Review on Color Based Face Detection // Conference: 5th Electrical & Electronics Postgraduate Colloquium (EEPC), https://www.researchgate.net/publication/325809164_A_Review_on_Color_Based_Fac e_Detection (дата обращения: 20.08.2023).

16. Lin H. -J., Yen S. -H., Yeh J. -P., Lin M. -J. Face Detection Based on Skin Color Segmentation and SVM Classification // 2008 Second International Conference on Secure System Integration and Reliability Improvement, Yokohama, Japan, 2008, P. 230-231.

17. Анбарджафари Г. Распознавание лиц с использованием цветового локального бинарного шаблона из взаимно независимых цветовых каналов // Image Video Proc 2013, 6 (2013). https://doi.org/10.1186/1687-5281-2013-6 (дата обращения: 20.08.2023).

18. Болотова Ю. А., Федотова Л. C., Спицын В. Г. Алгоритм детектирования областей лиц и рук на изображении на основе метода Виолы - Джонса и алгоритма цветовой сегментации // Фундаментальные исследования. 2014. № 11-10. С. 21302134.

19. Ахунзянов Р. Р., Тропченко А. Ю. Разработка адаптивного детектора тона кожи // Научно-технический вестник информационных технологий, механики и оптики, 2013, № 5 (87). https://cyberleninka.ru/article/n7razrabotka-adaptivnogo-detektora-tona-kozhi (дата обращения: 20.08.2023).

20. Erdem C. E., Ulukaya S., Karaali A., Erdem A. T. Combining Haar Feature and skin color based classifiers for face detection // IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), Prague, Czech Republic, 2011, P. 1497-1500.

21. Kakumanu P., Makrogiannis S., Bourbakis N. A survey of skin-color modeling and detection methods // Pattern Recognition, Volume 40, Issue 3, 2007, P. 1106-1122.

22. Viola P., Jones M. Rapid object detection using a boosted cascade of simple features // Proceedings of the 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. CVPR 2001, Kauai, HI, USA, 2001, P. I-I.

23. Lu W. -y., Yang M. Face Detection Based on Viola-Jones Algorithm Applying Composite Features // International Conference on Robots & Intelligent System (ICRIS), Haikou, China, 2019, P. 82-85.

24. Nehru M., Padmavathi S. Illumination invariant face detection using Viola-Jones algorithm // 4th International Conference on Advanced Computing and Communication Systems (ICACCS), Coimbatore, India, 2017, P. 1-4.

25. Рудинская Е. А., Парингер Р. А. Разработка алгоритма детектирования лиц с использованием комбинаций каскадов Хаара // Сборник трудов ИТНТ-2019, Издательство: Новая техника - 2019, С. 6-12.

26. Ткачук Е. О., Федяев О. И. Сравнительный анализ классификаторов обнаружения лица на снимке, информационные управляющие системы и компьютерный мониторинг // материалы V Международной научно -технической конференции-Донецк, ДонНТУ-2014, Т. 1, С. 382-387.

27. Кузнецов Д. А., Никольский П. Г., Рачков Д. С., Кузнецов А. В., Хахамов А. П. Классификация методов обнаружения и распознавания лица на изображении // doi: 10.18413/2518-1092-2019-4-1-0-6 (дата обращения: 22.09.2023).

28. Эрман Е. А., Мамдух М., Гомаа М. Метод обнаружения лиц на изображении с использованием комбинации метода Виолы-Джонса и алгоритмов определения цвета кожи // Вестн. Астрахан. гос. техн. ун-та. Сер. управление, вычисл. техн. информ., 2015, № 1, C. 49-55.

29. Kortli Y., Jridi M., Falou A. A., Atri M. A novel face detection approach using local binary pattern histogram and support vector machine // International Conference on Advanced Systems and Electric Technologies (IC_ASET), Hammamet, Tunisia, 2018, P. 28-33.

30. Adouani A., Ben Henia W. M., Lachiri Z. Comparison of Haar-like, HOG and LBP approaches for face detection in video sequences // 16th International Multi-Conference on Systems, Signals & Devices (SSD), Istanbul, Turkey, 2019, P. 266-271.

31. Kaushal A., Raina J. P. Face Detection using Neural Network & Gabor Wavelet Transform // IJCSt Vol. 1, ISSue 1, September 2010. P. 58-63.

32. Shuo Y., Yuanjun X., Chen C. L., Xiaoou T. Face Detection through Scale-Friendly Deep Convolutional Networks // https://doi.org/10.48550/arXiv.1706.02863 (дата обращения: 22.09.2023).

33. Hou S., Fang D., Pan Y., Li Y., Yin G. Hybrid Pyramid Convolutional Network for Multiscale Face Detection // Comput Intell Neurosci. 2021 May 5. doi: 10.1155/2021/9963322 (дата обращения: 22.09.2023).

34. Ming L., Ruijie C., Lukai L., Jiafeng W., Qichao Y. An Efficient Multiscale Pyramid Attention Network for Face Detection in Surveillance Images // Security and Communication Networks, vol. 2022, Article ID 8080301, 2022. P. 11.

35. Chen Q., Meng X., Li W., Fu X., Deng X., Wang J. A multi-scale fusion convolutional neural network for face detection // IEEE International Conference on Systems, Man, and Cybernetics (SMC), Banff, AB, Canada, 2017, P. 1013-1018

36. Hofer P., Roland M., Schwarz P., Schwaighofer M., Mayrhofer R. Importance of different facial parts for face detection networks // 2021 IEEE International Workshop on Biometrics and Forensics (IWBF), P. 1-6.

37. Islam M. T., Ahmed T., Raihanur Rashid A. B. M., Islam T., Rahman M. S., Tarek Habib M. Convolutional Neural Network Based Partial Face Detection // IEEE 7th International conference for Convergence in Technology (I2CT), Mumbai, India, 2022, P. 1-6.

38. Redmon J., Farhadi A. Y0L09000: Better, Faster, Stronger // 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Honolulu, HI, USA, 2017, P. 6517-6525.

39. Redmon J., Farhadi A. Y0L0v3: An Incremental Improvement // URL: https: //www.researchgate.net/publication/324387691_Y0L0v3_An_Incremental_Impro Improv (дата обращения: 22.09.2023).

40. Aung H., Bobkov A. V., Tun N. L. Face Detection in Real Time Live Video Using Yolo Algorithm Based on Vgg16 Convolutional Neural Network // International Conference on Industrial Engineering, Applications and Manufacturing (ICIEAM), Sochi, Russia, 2021, P. 697-702.

41. Болховитина Е. И. Исследование моделей сверточных нейронных сетей Yolov3 и RetinaNet для задачи детектирования лица человека на изображении // StudNet. 2022. №6. URL: https://cyberleninka.ru/article/n/issledovanie-modeley-svertochnyh-neyronnyh-setey-yolov3-i-retinanet-dlya-zadachi-detektirovaniya-litsa-cheloveka-na-izobrazhenii (дата обращения: 22.09.2023).

42. 0pitz M., Waltner G., Poier G., Possegger H., Bischof H. Grid Loss: Detecting 0ccluded Faces // In: Leibe, B., Matas, J., Sebe, N., Welling, M. (eds). Computer Vision. ECCV 2016. Lecture Notes in Computer Science (), vol 9907. Springer, Cham. https://doi.org/10.1007/978-3-319-46487-9_24 (дата обращения: 22.09.2023).

43. Jianfeng W., Ye Y., Gang Y. Face Attention Network: An Effective Face Detector for the 0ccluded Faces // https://doi.org/10.48550/arXiv.1711.07246 (дата обращения: 22.09.2023).

44. Alashbi A. A. S., Sunar M. S., Alqahtani Z. Context-Aware Face Detection for Occluded Faces // 6th International Conference on Interactive Digital Media (ICIDM), Bandung, Indonesia, 2020, P. 1-4.

45. Shuo Y., Ping L., Chen C. L., Xiaoou T. Faceness-Net: Face Detection through Deep Facial Part Responses // https://doi.org/10.48550/arXiv.1701.08393 (дата обращения: 22.09.2023).

46. Nikan S., Ahmadi M. Human face recognition under occlusion using LBP and entropy weighted voting // Proceedings of the 21st International Conference on Pattern Recognition (ICPR2012), Tsukuba, Japan, 2012, P. 1699-1702.

47. Jianxin Z., Junyong W. Local occluded face recognition based on HOG-LBP and sparse representation // IEEE International Conference on Artificial Intelligence and Computer Applications (ICAICA), Dalian, China, 2020, P. 808-813.

48. Amit K. Y., Neeraj G., Aamir K., Anand S. J. Robust Face Recognition Under Partial Occlusion Based on Local Generic Features // International Journal of Cognitive Informatics and Natural Intelligence Volume 15 • Issue 3 • July-September 2021, P. 4757.

49. Tong S. G., Huang Y. Y., Tong Z. M. A Robust Face Recognition Method Combining LBP with Multi-mirror Symmetry for Images with Various Face Interferences // Int. J. Autom. Comput. 16, 2019. P. 671-682.

50. Cavalcanti G. D. C., Tsang I. R., Reis J. R. Recognition of partially occluded face using Gradientface and Local Binary Patterns // IEEE International Conference on Systems, Man, and Cybernetics (SMC), Seoul, Korea (South), 2012, P. 2324-2329.

51. Петрук В., Самородов А. В., Спиридонов И. Н. Применение локальных бинарных шаблонов к решению задачи распознавания лиц // Вестник МГТУ им. Н.Э. Баумана. Серия «Приборостроение». 2011. №S. URL: https://cyberleninka.ru/article/n/primenenie-lokalnyh-binarnyh-shablonov-k-resheniyu-zadachi-raspoznavaniya-lits (дата обращения: 19.04.2023).

52. Yi J., Hou J., Huang L., Shi H., Hu J. Partial Occlusion Face Recognition Based on CNN and HOG Feature Fusion // IEEE 4th International Conference on Electronics and Communication Engineering (ICECE), Xi'an, China, 2021, P. 55-59.

53. Yaaseen M. S., Sameerchand P. Is Face Recognition with Masks Possible? // (IJACSA) International Journal of Advanced Computer Science and Applications, Vol. 12, No. 7, 2021. doi: 10.14569/IJACSA.2021.0120706.

54. Li Y., Qi C. Face recognition using HoG feature and group sparse coding // IEEE International Conference on Image Processing, Melbourne, VIC, Australia, 2013, P. 3350-3353.

55. Wang H., Zhang D., Miao Z. Fusion of LDB and H0G for Face Recognition // 37th Chinese Control Conference (CCC), Wuhan, China, 2018, P. 9192-9196.

56. Ahamed H., Alam I., Islam M. M. H0G-CNN Based Real Time Face Recognition // International Conference on Advancement in Electrical and Electronic Engineering (ICAEEE), Gazipur, Bangladesh, 2018, P. 1-4.

57. Лео М., Дель К. М., Карканьи П. и др. Распознавание выражения лица и гистограммы ориентированных градиентов // комплексное исследование. SpringerPlus 4, 645 (2015). https://doi.org/10.1186/s40064-015-1427-3

58. Gupta S., Thakur K., Kumar M. 2D-human face recognition using SIFT and SURF descriptors of face's feature regions // Vis Comput 37, 2021. P. 447-456.

59. Gao T., Lei X. -m., Hu W. Face recognition based on SIFT and LBP algorithm for decision level information fusion // 13th International Conference on Natural Computation, Fuzzy Systems and Knowledge Discovery (ICNC-FSKD), Guilin, China, 2017, P. 2242-2246.

60. Lin S. D., Linares 0toya P. Large Pose Detection and Facial Landmark Description for Pose-invariant Face Recognition // IEEE 5th International Conference on Knowledge Innovation and Invention (ICKII), Hualien, Taiwan, 2022, P. 143-148.

61. Fatemeh J., Hamidreza R. K. Disguised Face Recognition by Using Local Phase Quantization and Singular Value Decomposition // Volume 9, Issue 1 - Serial Number 1 January 2016, P. 51-60.

62. Pradeep M., Rao S. H. Identification of Facial Expressions Using Local Phase Quantization // International Conference on Computing, Communication and Power Technology (IC3P), Visakhapatnam, India, 2022, P. 161-166.

63. Ahonen T., Rahtu E., Ojansivu V., Heikkila J. Recognition of blurred faces using Local Phase Quantization // 19th International Conference on Pattern Recognition, Tampa, FL, USA, 2008, P. 1-4.

64. Shamrat F. M. J. M., Bhowmik S. K., Muntasim M. F., Nibir T. I., Chowdhury T. R., Thapa S. Comparative Analysis of Human Face Recognition Using SURF and Neural Network Methods // 2nd International Conference on Smart Electronics and Communication (ICOSEC), Trichy, India, 2021, P. 984-988.

65. Hatipoglu B., Kose C. A gender recognition system from facial images using SURF based BoW method // International Conference on Computer Science and Engineering (UBMK), Antalya, Turkey, 2017, P. 989-993.

66. Raihan M. A., Jayanta, Santoni M. M. Face Recognition Using Convolutional Neural Network Architectures on Mask-Occluded Face Images // International Conference on Informatics, Multimedia, Cyber and Information System (ICIMCIS, Jakarta, Indonesia, 2021, P. 301-306.

67. Sarapakdi S., Nangsue P., Pluempitiwirivawej C. Occluded Facial Recognition with 2DPCA based Convolutional Neural Network // IEEE International Conference on Consumer Electronics - Asia (ICCE-Asia), Bangkok, Thailand, 2019, P. 135-138.

68. Winarno E., Husni Al Amin I., Februariyanti H., Adi P. W., Hadikurniawati W., Anwar M. T. Attendance System Based on Face Recognition System Using CNN-PCA Method and Real-time Camera // International Seminar on Research of Information Technology and Intelligent Systems (ISRITI), Yogyakarta, Indonesia, 2019, P. 301-304.

69. Yudita S. I., Mantoro T., Ayu M. A. Deep Face Recognition for Imperfect Human Face Images on Social Media using the CNN Method // 4th International Conference of Computer and Informatics Engineering (IC2IE), Depok, Indonesia, 2021, P. 412-417.

70. Bhangale K., Ingle P., Kanase R., Desale D. Multi-view Multi-Pose Robust Face Recognition Based on VGGNet. // Second International Conference on Image Processing and Capsule Networks. ICIPCN 2021. Lecture Notes in Networks and Systems, vol 300. Springer, Cham. https://doi.org/10.1007/978-3-030-84760-9_36 (дата обращения: 10.10.2023).

71. Wu G., Tao J., Xu X. 0ccluded Face Recognition Based on the Deep Learning // Chinese Control and Decision Conference (CCDC), Nanchang, China, 2019, P. 793-797.

72. Ejaz M. S., Islam M. R. Masked Face Recognition Using Convolutional Neural Network // International Conference on Sustainable Technologies for Industry 4.0 (STI), Dhaka, Bangladesh, 2019, P. 1-6.

73. Гринин И.Л., Кравченко С.В. Системы обнаружения распознавания лиц, основанные на различных архитектурах нейронных сетей: анализ и сравнение технологий // Инновации и инвестиции. 2021. №6. URL: https://cyberleninka.ru/article/n/sistemy-obnaruzheniya-raspoznavaniya-lits-osnovannye-na-razlichnyh-arhitekturah-neyronnyh-setey-analiz-i-sravnenie-tehnologiy (дата обращения: 20.04.2023).

74. Никитин М. Ю., Конушин В. С., Конушин А. С. Нейросетевая модель распознавания человека по лицу в видеопоследовательности с оценкой полезности кадров // КО. 2017. №5. URL: https://cyberleninka.ru/article/n/neyrosetevaya-model-raspoznavaniya-cheloveka-po-litsu-v-videoposledovatelnosti-s-otsenkoy-poleznosti-kadrov (дата обращения: 20.04.2023).

75. Антипова С. А. Разработка системы контроля доступа на основе распознавания лиц // Программные продукты и системы. 2021. №2. URL: https://cyberleninka.ru/article/n/razrabotka-sistemy-kontrolya-dostupa-na-osnove-raspoznavaniya-lits (дата обращения: 20.04.2023).

76. Визильтер Ю. В., Горбацевич В. С., Воротников А. В., Костромов Н. А. Идентификация лиц в реальном времени с использованием свёрточный нейронной сети и хэширующего леса // КО. 2017. №2. URL: https://cyberleninka.ru/article/n/identifikatsiya-lits-v-realnom-vremeni-s-ispolzovaniem-svyortochnyy-neyronnoy-seti-i-heshiruyuschego-lesa (дата обращения: 20.04.2023).

77. Aisha A., Muhammad S., Mudassar R., Marryam M. A Survey: Face Recognition Techniques under Partial 0cclusion // The International Arab Journal of Information Technology, Vol. 11, No. 1, January 2014, P 1-10.

78. Maafiri A., Chougdali K. Face Recognition using Wavelets based Feature Extraction and PCA-L1 norm // International Conference on Vision Towards Emerging Trends in Communication and Networking (ViTECoN), Vellore, India, 2019, P. 1-4.

79. Titijaroonroj T., Hancherngchai K., Rungrattanaubol J. Regional Covariance Matrix-Based Two-Dimensional PCA for Face Recognition // 12th International Conference on Knowledge and Smart Technology (KST), Pattaya, Thailand, 2020, P. 6-11.

80. Щеголева Н. Л., Кухарев Г. А. Применение алгоритмов двумерного анализа главных компонент для задач распознавания изображений лиц // Бизнес-информатика. 2011. №4 (18). URL: https://cyberleninka.ru/article/n/primenenie-algoritmov-dvumernogo-analiza-glavnyh-komponent-dlya-zadach-raspoznavaniya-izobrazheniy-lits (дата обращения: 20.04.2023).

81. Cotter S. F. Recognition of occluded facial expressions using a Fusion of Localized Sparse Representation Classifiers // Digital Signal Processing and Signal Processing Education Meeting (DSP/SPE), Sedona, AZ, USA, 2011, P. 437-442.

82. Mustafa M. A., Nadith P., Wanquan L., Ling L. Face recognition against occlusions via colour fusion using 2D-MCF model and SRC // Pattern Recognition Letters, Volume 95, 2017, P. 14-21.

83. Zhaohua C., Tingrong X., Zhiyuan H. Occluded face recognition based on the improved SVM and block weighted LBP // International Conference on Image Analysis and Signal Processing, Wuhan, China, 2011, P. 118-122.

84. Priya G. N., Wahida B. R. S. D. Occlusion invariant face recognition using mean based weight matrix and support vector machine // Sadhana 39, 2014. P. 303-315.

85. Caba J., Barba J., Rincon F., Torre J., Escolar S., Lopez J. Hyperspectral Face Recognition with Adaptive and Parallel SVMs in Partially Hidden Face Scenarios // Sensors. 2022; 22(19):7641. https://doi.org/10.3390/s22197641 (дата обращения: 20.04.2023).

86. Stefan H., Zeyuan Z., Martin K., Torben T., Gerhard R. Attention-based Partial Face Recognition // https://doi.org/10.48550/arXiv.2106.06415 (дата обращения: 20.04.2023).

87. Lin D., Li Y., Cheng Y., Prasad S., Guo A. Masked Face Recognition via Self-Attention Based Local Consistency Regularization // IEEE International Conference on Image Processing (ICIP), Bordeaux, France, 2022, P. 436-440.

88. Wan W., Chen J. Occlusion robust face recognition based on mask learning // IEEE International Conference on Image Processing (ICIP), Beijing, China, 2017, P. 37953799.

89. Lingxue S., Dihong G., Zhifeng L., Changsong L., Wei L. Occlusion Robust Face Recognition Based on Mask Learning with Pairwise Differential Siamese Network // https://doi.org/10.48550/arXiv.1908.06290 (дата обращения: 20.04.2023).

90. Cavalcanti G. D. C., Tsang I. R., Reis J. R. Recognition of partially occluded face using Gradientface and Local Binary Patterns // IEEE International Conference on Systems, Man, and Cybernetics (SMC), Seoul, Korea (South), 2012, P. 2324-2329.

91. Huang Y. -C., Tsao L. -H., Chen H. H. Robust Masked Face Recognition via Balanced Feature Matching // IEEE International Conference on Consumer Electronics (ICCE), Las Vegas, NV, USA, 2022, P. 1-6.

92. Xiangnan Y., Di H., Zehua F., Yunhong W., Liming C. Segmentation-Reconstruction-Guided Facial Image De-occlusion // https://doi.org/10.48550/arXiv.2112.08022 (дата обращения: 20.04.2023).

93. Zhang N., Liu N., Han J., Wan K., Shao L. Face De-occlusion with Deep Cascade Guidance Learning // in IEEE Transactions on Multimedia, vol. 25, 2023. P. 3217-3229. 94 Zhao F., Feng J., Zhao J., Yang W., Yan S. Robust LSTM-Autoencoders for Face De-Occlusion in the Wild // in IEEE Transactions on Image Processing, vol. 27, no. 2, Feb. 2018. P. 778-790.

95. Cai J., Han H., Cui J., Chen J., Liu L., Zhou S. K. Semi-Supervised Natural Face De-Occlusion // in IEEE Transactions on Information Forensics and Security, vol. 16, 2021, P. 1044-1057.

96. Ju Y. -J., Lee G. -H., Hong J. -H., Lee S. -W. Complete Face Recovery GAN: Unsupervised Joint Face Rotation and De-Occlusion from a Single-View Image // IEEE/CVF Winter Conference on Applications of Computer Vision (WACV), Waikoloa, HI, USA, 2022, P. 1173-1183.

97. Xian Z., Canghong S., Xin W., Xi W., Xiaojie L., Jiancheng L., Imran M. Face inpainting based on GAN by facial prediction and fusion as guidance information // Applied Soft Computing, Volume 111, 2021, https://doi.org/10.1016/j.asoc.2021.107626 (дата обращения: 10.10.2023).

98. Feng C., Tongtong Z., Heng L. Face image inpainting via latent features reconstruction and mask awareness // Computers and Electrical Engineering, Volume 103, 2022, https://doi.org/10.1016/j.compeleceng.2022.108282 (дата обращения: 10.10.2023).

99. Chen Y. -A., Chen W. -C., Wei C. -P., Wang Y. -C. F. Occlusion-aware face inpainting via generative adversarial networks // IEEE International Conference on Image Processing (ICIP), Beijing, China, 2017, P. 1202-1206.

100. Wang X., Okoshi T., Nakazawa J. Lower Face Inpainting Aiming at Face Recognition under Occlusions // IEEE International Conference on Pervasive Computing and Communications Workshops and other Affiliated Events (PerCom Workshops), Pisa, Italy, 2022, P. 62-65.

101. Кононыхин И. А., Ежов Ф. В., Мартынюк Р. А. и др. Реализация системы распознавания и отслеживания лиц // Молодой ученый. 2020. № 28 (318), С. 8-12.

102. Bolme D. S., Beveridge J. R., Draper B. A., Lui Y. M. Visual object tracking using adaptive correlation filters. // IEEE Computer Society Conf. on Computer Vision and Pattern Recognition, 2010. P. 2544-2550.

103. Beveridge R. J., Troup L. Tutorial on Minimum Output Sum of Squared Error Filter // URL: http://hdl.handle.net/10217/173486 (дата обращения 03.09.2022).

104. Adam A., Rivlin E. and Shimshoni I. Robust Fragments-based Tracking using the Integral Histogram // Proc. of the 2006 IEEE Computer Society Conf. on Computer Vision and Pattern Recognition (CVPR'06). 2006, P. 798-805.

105. Babenko B., Yang M.H., Belongie S. Visual tracking with online Multiple Instance Learning // Proc. of the IEEE Conf. on Computer Vision and Pattern Recognition, 2009. P. 983-990.

106. Sun J. D., Enjie L., Dan Z., Kailiang W., Ximin. Continuously Adaptive Mean-shift Tracking Algorithm Based on Improved Gaussian Model // Journal of Engineering Science and Technology Review. 13. 2020. P. 50-57.

107. Nie J., Guo X. A Target Tracking Method Based on Improved Camshift Algorithm // IEEE 5th Information Technology and Mechatronics Engineering Conference (IT0EC), Chongqing, China, 2020, P. 254-258.

108. Sharma P., Kokare P.M., Kolekar M.H. Performance Comparison of KLT and CAMSHIFT Algorithms for Video 0bject Tracking // Computing, and Electronics. Lecture Notes in Electrical Engineering, vol 524. Springer, Singapore. https://doi.org/10.1007/978-981-13-2685-1_31 (дата обращения 01.01.2024).

109. Онлайн-источник: https://www.face-rec.org/databases/ (дата обращения 01.01.2024).

110. Онлайн-источник: https://www.interstellarengine.com/ai/dataset-face-recognition.html (дата обращения 01.01.2024).

111. Sarker I. H. Deep Learning: A Comprehensive 0verview on Techniques // Taxonomy, Applications and Research Directions. SN C0MPUT. SCI. 2, 420 (2021). https://doi.org/10.1007/s42979-021-00815-1 (дата обращения 01.01.2024).

112. Montesinos L. 0. A., Montesinos L. A., Crossa J. Fundamentals of Artificial Neural Networks and Deep Learning // Multivariate Statistical Machine Learning Methods for Genomic Prediction. Springer, Cham. https://doi.org/10.1007/978-3-030-89010-0_10 (дата обращения 01.01.2024).

113. Бобков А. В., Аунг Х. Идентификация человека по видеоизображению в реальном времени на основе сетей YOLOv2 и VGG-16 // Автомат. и телемех., 2022, № 10, С. 94-104.

114. Бобков А. В., Аунг Х. Обнаружение лиц в реальном времени на основе алгоритма Y0L0 // Статья в сборнике трудов конференции, источник: наука, технологии и бизнес, 2022. С. 184-191.

115. Бобков А. В., Аунг Х. Разработка системы отслеживания лиц в режиме реального времени на основе корреляционного фильтра MOSSE // Издательство «Инновационное машиностроение», 2023. Т. 77. № 7. С. 324 - 329.

116. Онлайн-источник: Mastering machine learning a step-by-step guide with matlab // URL: https://www.mathworks.com/campaigns/offers/mastering-machine-learning-with-matlab.html (дата обращения 01.01.2024).

117. Kaiming H., Xiangyu Z., Shaoqing R., Jian S. Deep Residual Learning for Image Recognition // url: https://doi.org/10.48550/arXiv.1512.03385

118. Онлайн-источник: https://www.labelf.ai/blog/what-is-accuracy-precision-recall-and-f1-score (дата обращения 01.01.2024).

119. Jang, Youngkyoon и Gunes, Hatice и Patras, Ioannis.Registration-free Face-SSD: Single shot analysis of smiles, facial attributes, and affect in the wild. Computer Vision and Image Understanding. 2019.

120. H. Jiang и E. Learned-Miller. Face Detection with the Faster R-CNN // IEEE International Conference on Automatic Face & Gesture Recognition, Washington, DC, USA, 2017, P. 650-657.

121. K. Wang, Y. Dong, H. Bai, Y. Zhao и K. Hu. Use fast R-CNN and cascade structure for face detection // Visual Communications and Image Processing (VCIP), Chengdu, China, 2016, P. 1-4.