Методы и алгоритмы биометрической идентификации пользователя на основе термограммы лица тема диссертации и автореферата по ВАК РФ 00.00.00, кандидат наук Белов Никита Игоревич

• Белов Никита Игоревич
• кандидат наук
• 2023

Оглавление диссертации кандидат наук Белов Никита Игоревич

Реферат

8упор8у8

Введение

ГЛАВА 1. Анализ состояния проблемы идентификации пользователя по биометрическим характеристикам

1.1 Системы управления доступом

1.2 Помещения, предписывающие ношение СИЗ

1.3 Методы оценки систем идентификации личности

1.4 Биометрические характеристики

1.5 Термография лица

1.5.1 Изменчивость термограммы лица вследствие изменения внешности и окружения

1.5.2 Открытые наборы данных термограмм

1.6 Методы и алгоритмы выделения биометрических характеристик в задаче биометрической идентификации

1.6.1 Методы локального выделения признаков

1.6.1.2 Метод локально-бинарных шаблонов (ЬБР)

1.6.1.3 Вейвлеты Габора

1.6.1.4 Метод масштабно-инвариантной трансформации признаков

1.6.1.5 Локальный дескриптор Вебера

1.6.2 Методы целостного преобразования изображения

1.6.2.1 Метод анализ главных компонент и метод анализа главных компонент с применением ядра

1.6.2.2 Метод линейного дискриминантный анализа

1.6.2.3 Метод независимых компонент

1.7 Методы и алгоритмы биометрической идентификации личности на основе термограммы лица

1.8 Риски информационной безопасности систем биометрической идентификации

1.9 Методы объединения результатов нескольких алгоритмов идентификации

1.9.1 Метод на основе голосования большинства

1.9.2 Метод вероятностных оценок

1.9.3 Метод на основе использования мета-классификатора

1.10 Постановка научной задачи и цели исследования

1.11 Выводы к главе

ГЛАВА 2. Разработка научно-методического аппарата по использованию термограмм лица в рамках задачи по идентификации личности

2.1 Разработка термографической модели лица пользователя

2.2 Разработка алгоритма формирования набора данных

2.3 Извлечение биометрических признаков в задаче идентификации пользователя по термограмме лица

2.4 Разработка алгоритма биометрической идентификации пользователя на основе термографии лица

2.5 Разработка метода идентификации пользователя на основе комплекса биометрических признаков лица

2.6 Разработка методики применения предложенных алгоритмов идентификации личности в практических задачах

2.6.1 Регистрация пользователя в системе

2.6.2 Идентификация и аутентификация пользователя в системе

2.7 Выводы к главе

ГЛАВА 3. Экспериментальное обоснование работы

3.1 Экспериментальный стенд

3.2 Исследование изменчивости термографической модели лица пользователя во времени

3.3 Подтверждение применимости алгоритма формирования набора данных в задаче идентификации по термограмме лица пользователя

3.4 Результаты разработки алгоритма идентификации личности на основе термограммы лица

3.5 Результаты тестирования метода идентификации пользователя на основе комплекса биометрических признаков лица

3.6 Сравнительный анализ разработанных алгоритма, модели и метода с существующими решения биометрической идентификации

3.7 Выводы к главе

Заключение

Список сокращений и условных обозначений

Список литературы

Приложение А. Изменение областей термограммы в зависимости от времени ее формирования

Приложение Б. Свидетельство регистрации программы для ЭВМ

Приложение В. Акты внедрения результатов работы

Приложение Г. Тексты публикаций по теме диссертации

Реферат

Введение диссертации (часть автореферата) на тему «Методы и алгоритмы биометрической идентификации пользователя на основе термограммы лица»

I. Общая характеристика диссертации Актуальность темы исследования.

Согласно информации SecurityRussia, за последние 3 года интерес к биометрическим системам управления доступом в мире вырос в 2,3 раза. Такой рост обусловлен повышением интереса к бесконтактным способам биометрической идентификации и аутентификации в специфичных отраслях, в том числе в медицинской и горнодобывающей промышленности.

Среди достоинств методов и алгоритмов идентификации на основе изображений лиц пользователей выделяют относительную дешевизну реализации и простоту получения данных, невысокие требования к аппаратному обеспечению для получения изображений с точки зрения функциональных особенностей оборудования, а также простоту интерпретации получаемой информации.

Изображение лица может быть получено в разных спектральных диапазонах: инфракрасном, видимом, ультрафиолетовом, рентгеновском. Существующие исследования подтверждают, что использование именно термографических изображений в задачах идентификации имеет отличительные особенности:

1. Термографическая карта лица может быть получена в условиях отсутствующей или недостаточной освещенности объекта.

2. При соблюдении ряда условий тепловизор может просветить участки, прикрытые тонкой тканью.

3. Термографическая съемка позволяет подтвердить, что объект идентификации является живим.

Также необходимо отметить, что другие методы биометрической идентификации, такие как сканирование отпечатков пальцев, анализ сетчатки глаза или создание 3D изображений головы, не всегда могут применяться в определенных ситуациях, где ношение средств индивидуальной защиты (СИЗ)

является обязательным. Например, на промышленных предприятиях, таких как металлургические заводы или в сферах с грязным производством, медицинские учреждения, работники обязаны носить защитные маски, перчатки, очки и каски. Эти ограничения могут исключать возможность использования вышеупомянутых методов идентификации для контроля доступа в таких рабочих зонах.

В связи с вышеуказанным, объединение алгоритмов идентификации пользователя по изображениям в видимом и инфракрасном оптическом диапазоне способно нивелировать недостатки каждого из рассмотренных алгоритмов идентификации и эффективно использовать их преимущества.

Степень разработанности темы исследования.

Задача идентификации пользователя по биометрическим признакам существует давно и остается актуальной и востребованной. Над задачей идентификации по сетчатке и хрусталику глаза работали Гришачев В. В., Лавров Д. Н., Нафиков М. А., Bekkers B.M., Romeny Н., Zhang J., Pisani М.. Над задачей идентификации пользователя по отпечатку пальца работали Kirvel V., Гуреева О., Saurova K.E., Nibras Sh.. Вопросы идентификации пользователя по изображению лица на основе термограммы, в видимом спектре или 3D представлению головы рассматривались Поляковым А.В., Зикратовым И.А. и Соломатиным А.Ю., Ayan Seal, Ali Salah A., Gokberk B., Chatterjee S. и другими.

В рамках данной работы рассматриваются ограничения, связанные с промышленной безопасностью объектов, в которых установлены требования бесконтактной идентификации и обязательного ношение средств индивидуальной защиты (СИЗ). Ограничения биометрических характеристик обусловленные использованием СИЗ представлены в Таблица 1.

Как видно из таблицы 1, только идентификация на основе термограмма удовлетворяет установленным ограничениям.

Существует множество методов выделения признаков из термографических карт лица, используемых в алгоритмах идентификации. Среди наиболее эффективных выделяются методы целостного преобразования изображения,

методы выделения локальных признаков и ряд классических методов извлечения квазистатических точек термограммы лица.

Таблица 1. Ограничения биометрических характеристик в части СИЗ

Биометрическая характеристика Защитные очки Каска/ головной убор Защитные перчатки Мед. маска

Отпечаток пальца - - + -

Термограмма лица +/- - - -

2D изображение лица - - - +/-

3D изображение головы - + - +/-

Радужная оболочка глаза + - - -

Сетчатка глаза + - - -

Проблема сравнения векторных представлений признаков применительно к термографическим снимкам решена лишь отчасти. Эту проблему в последние годы активно обсуждают отечественные и зарубежные исследователи Волхонский В.В., Емошин Р.В., Частикова В.А. Титова А.А., Ojala, T., M. O. Simón, Méndez Heydi, Vaeth M. и другие. Для сравнения полученных векторов предлагается использовать алгоритмы, построенные на базе нейросетевых архитектур.

Иными словами, существующие подходы к идентификации лиц на основе термографических карт лиц людей направлены на решение проблем выделения признаков из термографической карты лица. При этом недостатки, касающиеся метода выделения векторных представлений признаков термографических карт лица на данный момент не устранены. Существующие методы сбора обучающего набора данных для таких алгоритмов недостаточно совершенны и требуют

доработки. Поэтому создание методов и алгоритмов, направленных на решение указанных проблем, являются актуальной задачей.

При этом уровень развития технологий достаточен для совершенствования существующих и разработки новых методов и алгоритмов идентификации пользователя на основе термограммы лица и алгоритмов компьютерного зрения.

Научная задача, решаемая в диссертации, заключается в разработке научно-методического аппарата (НМА) по применению термограммы лица пользователя и алгоритмов машинного обучения в задаче биометрической идентификации.

Объектом исследования являются системы биометрической идентификации на основе изображений лица человека.

Предметом исследования являются методы и алгоритмы биометрической идентификации по термографическим картам лица.

Целью диссертационной работы является снижение ошибок первого и второго рода в задаче биометрической идентификации пользователя при помощи научно-методического аппарата, основанного на термографической модели лица. Для достижения поставленных цели необходимо решение следующих частных задач:

1. Провести анализ существующих решений в области идентификации по термограммам лица, выявить их преимущества и недостатки.

2. Разработать термографическую модель лица, построенную на основе изображений в дальнем инфракрасном диапазоне.

3. Разработать требования и сформировать набор данных для обучения и тестирования алгоритмов идентификации пользователя на основе изображения его лица в дальнем инфракрасном диапазоне.

4. Разработать алгоритм идентификации пользователя на основе термограммы его лица.

5. Разработать метод и методику идентификации пользователя на основе комплекса биометрических признаков лица.

6. Разработать программно-аппаратный комплекс по идентификации на

основе термограммы лица и провести экспериментальные исследования.

7. Оценить эффективность предложенного научно-методического

аппарата по идентификации на основе термограмм лица и сравнить с

существующими решениями в области биометрической идентификации.

Методология и методы исследования. Для решения поставленных задач

были использованы методы математического моделирования, системного анализа, теории вероятности, математической статистики, математического анализа, теории информационной безопасности, методы оптимизации и методы анализа рисков и угроз информационной безопасности.

Основные положения, выносимые на защиту:

1. Термографическая модель лица, построенная на основе изображений в дальнем инфракрасном диапазоне, позволяет проводить идентификацию в условиях изменений внешних признаков человека с показателем F-меры не менее 0,6.

2. Предложенный алгоритм идентификации пользователя, основанный на сиамский архитектуре сверточных нейронных сетей позволяет понизить показатели ошибок первого и второго рода в задаче идентификации пользователя по термограмме лица в среднем на 7% и 10%, соответственно, относительно существующих решений.

3. Метод и методика идентификации пользователя на основе комплекса биометрических признаков позволяют снизить показатели ошибок первого и второго рода в среднем не менее чем на 6%, относительно алгоритма идентификации по термограмме лица пользователя, и повысить скорость обработки входящих данных в среднем более чем на 20% по сравнению с существующими решениями.

Научная новизна работы состоит в следующем:

1. Разработанная биометрическая модель пользователя на основе данных термографии лица (термографическая модель лица) отличается от

существующих набором биометрических шаблонов и процессом выделения квазистатических областей и позволяет идентифицировать личность по изображению лица в дальнем инфракрасном диапазоне с учетом изменчивости внешних признаков.

2. Предложенный алгоритм идентификации пользователя на основе термограммы лица отличается от существующих требованиями к набору данных, набором гиперпараметров и весами используемой нейронной сети сиамкой архитектуры и позволяет проводить идентификацию пользователя при использовании им СИЗ.

3. Разработанные метод и методика идентификации пользователя на основе комплекса биометрических признаков отличаются от существующих совокупностью используемых алгоритмов биометрической идентификации и методом объединения результатов идентификации. За счет формирования изображения в разных оптических диапазонах (дальнем инфракрасном и видимом) позволяет снизить показатели ошибок первого и второго рода.

Достоверность полученных результатов обеспечивается глубоким анализом проблематики, опорой на существующие работы в сфере доказательства качества обработки неструктурированных данных методами на основе нейросетевых архитектур; корректным использование аналитических и экспериментальных методов, математического аппарата теории вероятности, математической статистики, системного анализа, математического анализа; набором практических экспериментов с использованием прототипа программно-аппаратной реализации; согласованностью результатов, полученных при теоретическом исследовании с результатами проведённых экспериментов; представлением результатов исследования в печатных трудах и докладах на отечественных научно-практических конференциях.

Теоретическая и практическая значимость результатов диссертационной работы состоит в совершенствовании методов и алгоритмов

идентификации пользователя на основе биометрических данных с использованием термографических карт лиц.

Результаты исследований могут использоваться при построении решений на основе биометрической идентификации личности по термографической карте лица, например:

• В системах контроля и управления доступом (СКУД) для предотвращения реализации рисков информационной безопасности в части проникновения инсайдера на территорию контролируемой зоны.

• На предприятиях, где обязательным условием является ношение СИЗ сотрудниками предприятия, в качестве системы допуска в производственную зону или палату для инфекционных больных.

• В автоматизированных банковских системах для предотвращения мошеннических действий в части получения несанкционированного доступа к счету пользователя.

Апробация результатов работы. Основные результаты работы докладывались и обсуждались на следующих научно-практических конференциях:

• X, XI, XII Всероссийский конгресс молодых ученых (2021-2023 гг.)

• 50, 51, 52 Научная и учебно-методическая конференции Университета ИТМО (2021-2023 г.)

• 619296 НИР - ФУНД Разработка методов создания и внедрения киберфизических систем (01.01.2019 - 31.03.2020)

• 620164 НИР - ПОИСК Методы искусственного интеллекта для киберфизических систем (01.09.2020 - 31.03.2023)

Личный вклад автора. Все результаты, изложенные в диссертации, получены автором самостоятельно. Постановка цели и задач, обсуждение планов исследований и полученных результатов выполнены автором совместно с

научным руководителем. Реализация прототипа программной реализации выполнена автором самостоятельно.

Внедрение результатов работы.

Получен акт внедрения в образовательную деятельность факультета БИТ Университета ИТМО.

Получен акт внедрения результатов диссертационной работы в ЗАО «Морские компьютерные системы».

Публикации. Основные результаты по теме диссертации изложены в 11 публикациях, из них 4 изданы в журналах, рекомендованных ВАК, 1 опубликована в издании, индексируемом в базе цитирования SCOPUS.

Структура и объем работы. Диссертация состоит из введения, четырех глав, заключения, списка использованных источников. Объем работы 211 страниц, 32 рисунков, 29 таблиц, а также 4 приложений на 47 страницах. Список литературы содержит 102 наименования.

II. Основное содержание работы

Во введении обоснована актуальность проводимых в рамках диссертационной работы исследований, сформулированы научная новизна, цель и задачи работы; выделены методы исследования и положения, выносимые на защиту; продемонстрирована обоснованность и достоверность теоретических положений диссертации, а также теоретическая и практическая значимость результатов работы.

Первая глава посвящена анализу проблематики идентификации пользователя по биометрическим признакам, в том числе на основе изображений лица в видимом и инфракрасном диапазонах. Раскрываются основные проблемы, обуславливающие цель и задачи работы, формулируется научная задача исследования.

Рассмотрено понятие промышленной безопасности (безопасность опасных производственных объектов) - состояние обеспеченности защиты жизненно

важных интересов индивидов и общества от аварийных ситуаций на опасных промышленных объектах и их последствий. Рассмотрены основные понятия и методы оценки систем биометрической идентификации пользователя. Также используются две группы биометрических систем: квазистатические - признаки имеют слабую изменчивость во времени, и квазидинамические - признаки подвержены сильной изменчивости.

Идентификация базируется на определении личности или объекта по уникальным характеристикам, таким как геометрия лица или отпечаток пальца. Аутентификация, с другой стороны, направлена на проверку подлинности представленного идентификатора. В рамках систем биометрической идентификации и аутентификации, целью аутентификации является также оценка "живости" объекта, другими словами, проверка того, является ли субъект или объект законным обладателем представленной идентификационной характеристики.

Уделяется внимание способности термографии к оценке "живости" объекта идентификации. Это процесс позволяет определить, является ли взаимодействие с системой результатом действий легитимного пользователя или мошенника, использующего поддельные идентификационные характеристики. Неспособность эффективно оценивать "живость" может создавать уязвимости в системе, такие как несанкционированный доступ или отказ доступа легитимного пользователя. Для успешной идентификации личности необходимо минимизировать различия между идентификационными характеристиками одного человека и одновременно установить значительные отличия между его характеристиками и теми, которые присущи другим людям.

Проведено сравнение наборов данных термограмм лиц, удовлетворяющего разработанным требованиям с учетом СИЗ и изменениям внешних характеристик (Таблица 2). Было выявлено, что большинство из них не соответствуют требованиям, предъявляемым к наборам данных. Было принято решение разработать собственный набор данных.

Таблица 2. Сравнительный анализ некоторых наборов данных термограмм

Условия Набор данных

Equinox database RGB-DT face dataset NIST database University of Notre Dame

Количество изображений 14 560 45 900 25 000 2 293

Количество людей в наборе данных 91 51 91 82

Тип изображений Дальний ИК Дальний ИК Дальний ИК Дальний ИК

Движение головы 3 позиции + - -

Выражение лица (улыбка, грусть, спокойствие) + + + +

Изменение освещения + - - -

Аксессуар (очки) + + + +

В результате анализа существующих исследований по идентификации по термограмме лица выявлено, что некоторые из представленных работ имеют ограничения, связанные с учетом изменений внешних характеристик человека или окружающей среды, а также с робастностью полученных биометрических характеристик к различным факторам, таким как изменение внешности, температуры или ракурса съемки.

Разработана модель угроз для системы контроля и управления доступом и проведен анализ рисков.

Рассмотрены сонаправленные работы других исследователей их обзор, описание особенностей и ограничений. Упоминаются различные методы выделения локальных признаков, методы целостного преобразования изображений и методы машинного обучения, применяемые в задачах биометрической идентификации. Однако отмечается, что некоторые из этих

исследований имеют ограничения. Эти ограничения связаны с учетом изменений внешних характеристик человека или окружающей среды. Также отмечается важность робастности биометрических характеристик к различным факторам, таким как изменение внешности, температуры или ракурса съемки.

Разработана модель угроз для системы контроля и управления доступом и проведен анализ рисков.

Научной задача исследования может быть выражена следующим образом. Существует множество объектов X = [х1, х2, х3,..., хп}, каждый объект хЕХ данного множества представляет собой вектор биометрических признаков*; =

{х!,..., хт}, I = 1, п среди них существует подмножество термографических

<11г •••

признаков Б, где (хг) = I : ^ : I, Ь = 1, п, где йц =

(1ц ••• йц

~Тл=л \ хю, —~^п=1 хю ), если / - индекс области лица по оси x;

] - индекс области лица по оси у; к - индекс накопления данных за промежуток времени; т. - количество пикселей (представлены в виде градаций серого) на изображении, такое, что О с [х1,...,хт}. В рамках исследовательской работы была выдвинута гипотеза, что при выделении признаков на основе термографической модели лица при наличии некоторого набора алгоритмов Я конечный результат не зависит от выбора алгоритма Уг Е Я, г(_<Г) = ё.', где ё.' -уникальный набор термографических признаков, идентифицирующих человека. Таким образом, на основе матрицы термографических признаков Б предложенная сиамская нейронная сеть, которая выделяет вектор признаков у" = пе^О^х)^,х Е X , у" Е [0; 1], на основе двумерного изображения лица С(х) = 'си '" с1;\

: 4 : I, где 01] - значение градации серого в изображении, алгоритм

ч СП " С1) /

идентификации БаоеКй выделяет вектор признаков у' = пе1(С(х)), х Е X, у' Е [0; 1]. Результирующее значение линейной функции независимых переменных

формируется следующим образом: у = а0у' + а1у", коэффициенты регрессии А = (а0, а1} данной функции подбираются таким образом, чтобы сумма квадратов отклонений точек, соответствующих реальным значениям данных, от линии регрессии была минимальной А = а^шт МБЕ(урГед, у^ие), затем

подается на вход функции /(у) =-—,/(у) е [0; 1].

1 + 6 У

Во второй главе представлено теоретическое обоснование методов и алгоритмов, используемых в задаче биометрической идентификации личности на основе термограмм лица. Рассмотрены основные принципы и концепции, лежащие в основе этих методов, а также их теоретическая обоснованность и применимость в контексте данной работы.

Формализован алгоритм формирования набора данных термограмм лиц. Для сравнения характеристик различных наборов данных необходимо установить общие требования к данным. В данной работе были сформулированы требования к содержанию набора данных, предназначенного для обучения и тестирования методики аутентификации на основе термограмм лица. Эти требования включают в себя следующие аспекты:

• съемка с разных ракурсов;

• различные температурные условия окружающей среды;

• разные условия освещения объекта идентификации;

• учет мимических искажений лица;

• съемка в условиях изменения внешности, таких как ношение грима, усов, бороды;

• наличие аксессуаров, таких как очки и медицинские маски. Указанные требования позволяют учесть разнообразные факторы, включая

изменения внешности и окружающей среды. Это важно при разработке алгоритмов на основе машинного обучения и искусственного интеллекта. Алгоритм, обученный на таких данных, способен более качественно решать задачу идентификации, что в итоге приводит к получению более практически

значимых результатов. Характеристики полученного набора данных представлены в Таблице 3.

Кроме того, представлены рекомендации к записи видеороликов с различными вариантами изменений внешности и окружающей среды для получения разнообразных тепловизионных изображений. Для формирования набора данных с разных ракурсов объект съемки производил вращательные движения головой. В соответствии с указанными требованиями были созданы короткие видеоролики продолжительностью от 40 до 60 секунд для каждого из аспектов. В результате сбора данных для каждого человека было получено 14 видеороликов. В каждом видеоролике человек находился в разных условиях: носил очки и не носил их, с изменением температуры окружающей среды, с нанесением грима или косметики, с медицинской маской, с накладными усами или бородой, а также с имитацией разных мимических выражений (грусть, смех, злость, удивление, нейтральное лицо), надевал головной убор и менялось освещение объекта.

После этого каждый из этих видеороликов был записан повторно, с учетом факторов изменения внешности в соответствии с каждым из перечисленных пунктов:

• ношение очков;

• использование медицинской маски;

• нанесение искусственных усов и бороды;

• нанесение грима или косметики.

Рассматривается логическая схема идентификации пользователя на основе термографических изображений лиц. Алгоритм состоят из двух блоков: выделения признаков и сравнения или принятия решения.

Первый блок в алгоритме отвечает за создание термографической карты лица пользователя, учитывая индивидуальные характеристики распределения температурных полей на лице. Этот процесс приводит к формированию К-

мерного вектора, который описывает распределение температурных полей для конкретной личности.

Таблица 3. Сравнение сформированного набора данных с общедоступными в разрезе выдвинутых требований

Требования Equinox RGB-DT NIST ND University Сформирован ные данные

Объем (шт.) 14 560 45 900 25 000 2 293 632 000

Кол-во людей 91 51 91 82 158

Тип изображений Дальний ИК Дальний ИК Ближний ИК и дальний ИК Дальний ИК Дальний ИК

1. Ракурс на чел. 3 поз. + — - +

2. Мимика + + + + +

3. Изменение освещения + - — - +

4. Изменение температуры - - — - +

5. Грим/ косметика - - — - +

6. Усы/ борода - - - - +

7. Головной убор + + — - +

8. Очки + + + + +

9. Мед. маска - - — - +

Второй блок предназначен для сопоставления этого вектора с данными, которые хранятся в базе данных легитимных пользователей. Для выполнения

этого сравнения могут использоваться разные методы расчета расстояния между векторами, такие как евклидово расстояние, квадрат евклидового расстояния, манхэттенское расстояние (мера относительной нормы L1), расстояние Чебышева и косинусное расстояние. Результатом работы алгоритма является значение 2, которое показывает степень сходства между регистрационными данными и данными идентификации.

Рисунок 1 - Архитектура сиамской нейронной сети Предложенный алгоритм идентификации пользователя на основе термографических изображений лица и использовании сверточных нейронных сетей в сиамской архитектуре, для задачи извлечения признаков. Для алгоритма использовалась сверточная нейронная сеть, состоящая из двух ветвей, которые передают результаты своей работы в набор полносвязных слоев для снижения размерности тензора. Тензоры сравниваются с помощью косинусного расстояния. Архитектура нейронной сети представлена на Рисунке 1.

В качестве функции оценки ошибки была использована Triplet Loss, которая основывается на тройках данных, состоящих из якорного, положительного и отрицательного примеров. Цель заключается в минимизации расстояния между якорным и положительным примером, и максимизации расстояния между якорным и отрицательным примером.

Предложена модель лица пользователя в дальнем инфракрасном диапазоне, разработанная в рамках исследования квазистатических и квазидинамических областей на лице пользователя в дальнем инфракрасном диапазоне.

{ - индекс области лица по оси x; ] - индекс области лица по оси у;

к - индекс состояния термограммы лица в момент времени; т - количество пикселей (представлены в виде градаций серого) на изображении.

Для выделения квазистатических точек был создан специализированный набор данных. В рамках этого эксперимента проводилась съемка термограмм лица каждого участника в течение дня. Эти данные использовались для последующего сопоставления и выявления квазистатических областей лица.

Термографическое изображение лица человека было предварительно обработано, включая процедуры нормализации и стабилизации. Затем изображение было разделено на ячейки, которые представляют собой определенные области на лице (например, нос, губы, верхняя часть лба и так далее). Это позволило выделить области, которые более или менее постоянны с течением времени. Исторические данные, сформированные путем съемки изображений в разные промежутки времени в течение дня, и затем каждое изображение в каждом временном сегменте наслаивается на предыдущее. Для каждой из областей на лице, на которой применяются исторические изображения, вычисляется значение дисперсии. Это значение дисперсии служит показателем того, является ли данная область квазистатической или квазидинамической.

Список литературы диссертационного исследования кандидат наук Белов Никита Игоревич, 2023 год

Литература

I Zhao W., Chellappa R, Phillips PJ. RosetifeldA Face recognition a literature survey // ACM Computing Surveys 200} V 35 N4 P 399-458 htlps ,'doi org; 101145,954339 954 342

2. Cutler R Face recognition using mfiaied images and eigenfaces. 1999 [Электронный ресурс] URL Irttps www researchgate net' publication 2375350_Face_Recoguition_Usuig_Iufrared_Iimge5_ and^Eigenfaces (дата обращения 21 12 2021)

3 Knsto M ., Ivaíié-Kos M An overview of thermal face recognition methods Proc of tlie 41s1 International Convention on Information and Communication Technology Electronics and Microelectronics (MIPRO). 201S P 1098-П03 https:'/doi org/10 23919/ MIPRO 2018 8400200

4 Hermosilla G , Riuz-del-Solar J , Verschae R Correa M. A comparative study of thermal face recognition methods in unconstrained environments Pattern Recognition 2012. V 45 N 7. P 2445-2459 https .'dot oig'10 101«/] patcog 2012 01 001

5 АШоиб MA. Bendada A Infrared face recognition using texture descriptors Proceedings of SPIE 2010 V. 7661 P 766109 https:.7 doiotg 10 1117/12 S49764

6 Méndez H Martm С S, Krttier J Plaseucia Y, Garcia-Reyes E Face recogmtioo ivith LWIR imagery using local binary patterns // Lecture Notes in Computer Science (including subsenes Lecture Notes in Artificial Intelligence and Lecture Notes in Biomfonuatics) 2009

V 5558 P 327-336 haps //doiotg 10 1007/978-3-642-01793-3_34

7. Simon M O , Comeanu C„ Nasmllahi 1С., Nitostus O . Escalera S,

Escalera S , Sun Y., Li H , Sun Z , Moeslund ТВ , Greitans M tmpro\¥dRGB-D-T based face recogmtion lETBiometncs 2016

V 5 N4 P 297-303 httpsv/doi.org/ 10 HMMet-bmt 2015 0057

8 Bebis G . Gyaourova A. Singh S . Pavlidts I Face recognition by fusing thermal infrared and vtstble imagery Image and Vision Computing. 2006 V. 24. N 7 P 727-742. Imp; dot org-101016) lllBvis 200601 017

9 Palm R В Prediction as a candidate for learning deep hierarchical models of data 2012 [Электронный ресурс] URL https //www2 inun dtu dk pubdb pubs/6284-full html (дата обращения 05 01 2022).

10 Ojala Т. Pietikáinen М . Hamood D A comparative study of texture measures with classification based on feature distributions Pattern Recognition 1996 V. 29 N 1 P 51-59 https: Ydoi oi^ 10 1016 0031-3203(95)00067-4

II Okajima К Two-dimensional Gabor-type recepave field as derived by mutual tnfonnation maxnnization Neural Networks 1998 V. 11. N 3 P 441-147 ht^S f dot otgTO 1016 SOS93-6080(9S)00007-0

12. Kyrh V, Kamarainen J -K , Kalviamen H Simple Gabor feature space for lm апаш object recogumon Pattern Recogumon Letters

References

I Zhao W, Chella^ra R , Phillips P J.: Rosenfeld A Fa ce recognition a literature survey ACM Computing Sunc\s 2003. vol 35. no 4. pp 399-458 https ; dot org'lO 1145/954339 954342

2. Curler R Face recognition using infrared images and eigenfaces. 1999. Available at https://www researchgate net/ publication 23 75350_Face_Recognition_Usiug_Iiifrared_Images_ andEigeufeces (accessed 21 12 2021)

3 Knsto M. , I\a£ic-Kos M. An overview of thermal face recognition methods Proc. of the 41" International Convention on Information and Conammkatian Technology;, Elecnomcs and Micioelecrmncs (MIPRO), 2018, pp 1098-1103 https://doi org/10 23919 MIPRO 2018 5400200

4 Hermosilla G , Ruiz-del-Solar J . Verschae R , Correa M A comparative study of thermal face recognition methods in unconstrained environments Pattern Recognition, 2012. vol 45, no 7 pp 2445-2459 httpsvVdot oig/10 1016«^patcog 2012 01 001

5 Akhloufi M A . Bendada A Infrared face recognition using texture descriptors Proceedings of SPIE. 2010, vol 7661. pp 766109 https I doioig 10.1117/12 849764

6 Mendez H .MartinC.S., Kirtler J. Plasencia Y, Garcia-Reyes E Face recognition ivith LWIR imagery using local binary patterns Lecture Notes in Computer Science (including subseries Lecture Notes m Artificial Intelligence and Lecture Notes m Siomformatics>, 2009. vol 5558, PP 327-336 Imps .'-dot oig/10 1007/978-3-642-01793-3_34

7 Snnon MO. Comeanu C., Nasrollahi K., Nitosms O Escalera S., Escalera 5 , Suu Y, Li H . Sun Z . Moeslund TB . Greitans M Improved RGB-D-T based face recognition LET Biometrics, 2016. vol 5. no. 4.pp. 297-303. https: Vdoi.oigTO lW9.'iet-bmJ.2015 0057

8 Betas G , Gyaourova A, Singh S , Pavlidts I Face recogumon by fusing thermal infrared and visible imagery Image and Vision Computing, 2006, vol 24, no 7, pp 727-742 https '/dot org lO 101&J imavis 2006 01 017

9 PalmRB Prediction as a candidate for learning deep Inei-archical models of data, 2012 Available at https: //wrvw2.imm dtu dkpubdb pubs'62S4-full html (accessed: 05 01 2022)

10 Ojala T Pietikainen M . HarwoodD A comparative study of texture measures with classification based on feature distributions Panel n Recognition, 1996, vol 29, no 1 pp 51-59 httpsV/doi org 10 1016 0031-3203(95)00067-4

II Okajima K Two-dimensional Gabor-type tecep&ve field as derived by mutual tnfonnation maxuruzattou Neural Neniotis, 1998. vol 11. no 3, pp 441—147 https 7<doi orgl 0 1016-' SOS 93- 60S0(98)00007-0

12. Kvrki V. Kamarainen J -K , Kalvtawen H Simple Gabor feature space for invariant object recognition Pattern Recognition Letters.

Никита И. Белов Национальный исследовательский университет IJTMO, Кронверкский пр., 49, Санкт-Петербург, 197101 e-mail: nikit. belm @gmail.com, https://orcid.org/0000- 0003-0644-1547

МЕТОДЫ ЦЕЛОСТНОГО ПРЕОБРАЗОВАНИЯ ИЗОБРАЖЕНИЙ ПРИ АУТЕНТИФИКАЦИИ ЧЕЛОВЕКА ПО ТЕРМОГРАММЕ ЛИЦА

DPI: http://dx.doi.orz/10.265S3/bit.2Q22.3.04

Аннотация. Цель работы. Данное исследование проведено для изучения применимости методов целостного преобразования изображений к задаче аутентификации личности человека по термографическому изображению его лица. Предмет исследования Данная работа включает исследование методов целостного преобразования изображений применительно к задаче аутентификации человека по термографическому снимку его лица. Собраны наборы данных изображений лиц в дальнем инфракрасном диапазоне (LWIR). Новизна исследования состоит в особенностях набора данных изображений, собранных в реальных условиях, оказывающих влияние на качество аутентификации, таких как мимика, ношен] ie очков или медицинской маски, нанесение грима/косметики, различная освещенность и температурные условия окружающей среды, повороты головы. Методы. Исследуемые методы основаны на построении и выделении признаков изображения при сокращении размерности и преобразовании изображении в другую форму представления. Методы применяются при решении задачи выделения признаков на изображениях, при аутентификации по 20-пзображенню лица и при решении других задач компьютерного зрения. В данной статье рассматриваются классические методы целостного преобразования изображений: анализ главных компонент, анализ главных компонент с применением ядра, анализ линейного дескриптора, анализ независимых компонент, усеченное сингулярное разложение, дискретное косинусное преобразование. В качестве меры близости изображений пспользуется евклидово расстояние между векторами признаков изображения. Основные результаты. Тестирование методов было выполнено на наборе термограмм, состоящем нз 632 тысяч изображений лиц 158 человек. В качестве метрики для оценки качества сопоставления выбранных методов использована F-мера В результате проведенного эксперимента, метод анализа независимых компонент показал наиболее высокие значения метрики F-меры - 0,72. Практическая значимость. Результаты работы могут найти применения в системах управления и контроля доступом для повышения отказоустойчивости аутентификации лиц. Использование рассмотренных методов эффективно в задачах обработки термографических снимков для аутентификации человека по вторичным признакам, в частности по рисунку его вен и сосудов на лице, в случаях изменения мимики и внешности по средству нанесения грима и носимых аксессуаров.

Ключевые слова: компьютерное зрение, алгоритм аутентификации, термограмма лица, методы целостного преобразования, анализ главных компонент, анализ линейного дескриптора, анализ независимых компонент, усеченное сингулярное разложение, дискретное косинусное преобразование.

Для цитирования: БЕЛОВ, Никита И. МЕТОДЫ ЦЕЛОСТНОГО ПРЕОБРАЗОВАНИЯ ИЗОБРАЖЕНИЙ ПРИ А УТЕНТИФИКА ПИИ ЧЕЛОВЕКА ПО ТЕРМОГРАММЕ ЛИЦА. Безопасность информационных технологий, [S.I.], т. 29, Ne 3, с. 53-61, 2022. ISSN 2074-7136. URL: https://bit.speh.ru/mdex.php/bit/articleMew/1432. DOI: lmp://dx.doi.org/10.265S3/bit.2022.3.04.

Nikita I. Belov National Research University ГГМО, Kr от 'erksky Ave., 49, Saint Petersburg, 197101 e-mail: [e-mail], https://orcid.org/0000-0003-0644-1547

Methods of image transformation for person authentication using face thermographic image

DPL http://dx. doi.org/10.265S3/bit. 2022. $.04

Abstract. The purpose of the paper is to study the holistic image transformation methods for person's identity authentication from a thermographic image of faces. Widiin this study the datasets of images of faces in the far infrared range (LWIR) have been collected. The novelty of the study consists in the features of the dataset of images which collected in real conditions that affect the quality of audientication, such as fecial expressions, wealing glasses or a medical mask, applying makeup / cosmetics, different illumination and temperature conditions of the environment, head turns The methods under the study are based on the construction and selection of image features while reducing the dimension and converting the image into another form of representation. These methods are used to solve the problem of distinguishing feamres in images, in authentication person identity by 2D image of his face and allows solving other computer vision problems. Tliis paper discusses classical methods of integral image transformation: principal component analysis, principal component analysis using a kernel, linear descriptor analysis, independent component analysis, truncated singular value decomposition, discrete cosine transformation. As a measure of the proximity of images, the Euclidean distance between the vectors of image features is used. Testing of the methods was performed on a set of thermograms consisting of 632 thousand images of the faces of 158 people. The F-measure was used as a metric to assess the quality of comparison of the selected methods. As a result of die experiment, the independent component analysis method showed the highest values of the F-measure metric - 0.72. The results of the study can find applications in access control and control systems to increase the fault tolerance of authentication of persons. The use of the considered methods is effective in die tasks of processing thermographic images for authenticating a person by secondary signs, by die pattern of his veins and vessels on the face, in cases of changes in facial expressions and appearance by means of applying makeup and wearable accessories.

Keywords: computer vision, authentication algorithm, face thermogram, holistic transformation methods, principal component analysis, linear descriptor analysis, independent component analysis, truncated singular value decomposition, discrete cosine transformation.

For citation: BELOV, Nikita 1. Methods of image transformation for person authentication using face thermographic image. IT Security (Russia), [SI], v. 29, no. 3, p. 53-61, 2022. ISSN 2074-7136. URL: https://bit.spels.ru/index.php/bit/article/vie\v/1432. DOl: htrp://dx.doi.org/10.265S3/bit.2022.3.04.

Введение

В настоящее время алгоритмы распознавания лиц [1] широко используются в различных системах: как в мобильных устройствах, так и в системах принятия платежей. Существует большое количество методов (методы на основе непросетевых архитектур, методы целостного преобразования изображения, статистические методы, методы выделения локальных признаков на изображении), применяющихся для задачи аутентификации личности человека, демонстрирующие высокое качество распознавания и аутентификации на основе 2D изображений лиц [2]. Также растет и количество способов обхода таких алгоритмов, в частности, данные методы уязвимы перед изменениями условий снятия снимка лица человека, такими как освещение, изменение мимики, внешности, ракурса съемки. В связи с этим необходимо рассмотреть пные способы установления личности человека, устойчивые к подобным воздействиям. Методами, замещающих или дополняющих данные алгоритмы, могут стать методы на основе аутентификации человека по изображению его лица на изображении в дальнем инфракрасном диапазоне (Long-Wavelength Infrared Specter, LWIR)

Снимки в LWIR диапазоне являются уникальными для каждого отдельного человека. 11спользуя аппаратуру с высоким разрешением в целях получения термограмм, возможно увидеть сети сосудов и вен на лице человека [3].

Цель данной работы - исследование классических методов целостного преобразования изображении в задаче аутентификации человека применительно к снимкам лица в LWTR диапазоне (8-14 мкм) с учетом изменчивости условии снятия снимка и внешности персон.

1. Сбор выборки для проведения эксперимента

Сбор данных для формирования выборки производился с помощью тепловизора Seek Thermal Compact Pro. Характеристики устройства указаны в табл. 1.

Таблица 1. Характеристики тепловизора для сбора и анализа данных

Характеристика Показатель

Температурный диапазон от -40°С до +330 °С

Угол обзора 32°

Разрешение 320 х 240 рх

Дальность видимости до 5 50 м

Фокус регулируемый

Частота обновления кадров 9 Гц

При подготовке былн собраны короткие видеофрагменты по 20—40 с изображений лиц 158 человек выполняющих вращательные движения головой, к ним былн добавлены видеоролики, где те же люди изображены после нанесения средств маскировки лица (грим, косметика), видеофрагменты с использованием носимых аксессуаров (очки, медицинские маски), видеофрагменты с охлаждением внешних тканей лица п их нагревом, видеофрагменты с изменением мимики, а также видеофрагменты с нанесением накладных усов, бороды.

В табл. 2 приведено сравнение наборов данных термографических снимков из открытых источников и собранных в данном исследовании. Недостатком известных исследований является сложность их практического применения в реальных условиях, так как внешность людей изменчива, как и условия окружающей среды (смена времен года, смена времени суток и др.). Также в исследованиях использовалось малое количество персон в выборке, что понижает вариативность уникальных признаков и искусственно повышает качество работы алгоритмов аутентификации. В настоящей работе, собранная выборка состоит из двух типов изображений: снимков лиц людей и термограмм в 1Л\71Я-диапазоне.

На следующем шаге видеофрагменты былн нарезаны на кадры и проведена предваршельная обработка (нормализация изображений) данных для дальнейшей передачи данных по одному из алгоритмов целостного преобразования изображения. Пример изображений из собранных данных представлен на рис. 1.

Таблица 2. Сравнительная характеристика наборов данных из открытых источников и

собранного набора данных

Условия Набор данных

Equinox database [4, 5] RGB-DT face dataset [6] NIST database V) University of Notre Dame [S] Собранные данные

Количество изображений 14 560 45 900 25 000 2 293 632 000

Количество человек в наборе данных 91 51 9t 82 158

Тип изображений LWIR LWIR Фото и LWIR LWIR Фото и LWIR

Движение головы + + - - +

Выражение лица (улыбка, грусть, спокойствие) + + + + +

Изменение освещения + - - - +

Изменение внешности (очки) + + + + +

Изменение внешности (грим/космет1гка) - - - - +

Изменение внешности (усы/борода) - - - - +

Изменение внешности (ношение медицинской маски) - - - - +

Изменение температуры окружающей среды - - - - +

Рис. 1. Пример изображении из собранной выборки Fig. 1. Thermal image example from the data set

2. Методы целостного преобразования изображения

В статье рассматриваются методы целостного преобразования изображения, которые широко применяются в задачах аутентификации человека в задаче аутентификации по 2D изображению лица человека. Данные методы базируются в первую очередь на идее аппроксимации данных и нахождения их проекции в пространстве. В частности, ряд ниже приведенных методов используется для выделения признаков изображения и сокращения их размерности, для дальнейшего сопоставления полученных векторов признаков изображения применяется меры расстояний пли классификационные алгоритмы.

По данной тематике существует ряд работ зарубежных исследователей, где представлена оценка методов целостного преобразования изображений для термографических снимков: анализ главных компонент (Principal Component Analysis, РСА), анализ главных компонент с применением ядра (Kemel Principal Component Analysis, Kernel РСА), анализ линейного дескриптора (Linear Descript Analysis, LDA), анализ независимых компонент (Independent! Component Analysis, ICA), усеченное сингулярное разложение (Truncated Singular Value Decomposition, T-SYD) п дискретное косинусное преобразование (Discrete Cosine Transform, DCT) [9]. Приведенные оценки не подходят для применения к выборкам обучения и тестирования моделей по количеству термограмм и по качественным характеристикам.

Алгоритм анализа главных компонент с применением ядра или Kernel РСА, является расширением базового метода РСА. Один из главных недостатков оригинального алгоритма в том, что он использует линейное разложение и испытывает трудности при преобразовании изображении, имеющих сложные нелинейные структуры [10]. Прннцнп его работы, это повышение размерности исходного изображения, для выделения в пространстве более высоких размерностей векторов, описывающих исходное изображение более полно.

Метод анализа линейного дескриптора LDA, также очень похож на метод анализа главных компонент РСА. Его основная идея схожа, требуется преобразовать изображение в одномерный вектор и уменьшить размерность исходного пространства. Кроме того, в данном методе учитывается класс, к которому принадлежит пиксель (2 класса: лицо или не лицо) [11].

Анализ независимых компонент ICA - метод, основанный на гипотезе о том, что объекты в рассматриваемом пространстве статистически независимы друг от друга. Данный метод позволяет выявить скрытые признаки на изображении путем понижения размерности [12].

Метод дискретного косинусного преобразования (DCT) является аналогом дискретного преобразования Фурье, преобразуя входное изображение из пространственной в частотную область [13].

Метод усеченного сингулярного разложения (T-SYD) имеет одно очень весомое преимущество перед рассмотренными ранее методами [14]. В отличие от нпх данный алгор!гтм не используется нормализацию изображения и хорошо работает с разряженными матрицами, не преобразуя их дополнительно.

3. Эксперимент

Алгоритмы, используемые в данной работе, успешно применяются в задачах аутентификации человека по 2D изображению [2]. Был проведен эксперимент по изучению возможности аутентификации люден по изображению их лица в LWIR

После выполнения всех этапов преобразования термограмм в векторное представление, по средству использования методов целостного преобразования, по результатам сопоставления меры похожести опытным путем было выбрано пороговое значение равное 0.4. Результаты работы алгоритмов приведены в табл. 3 и были рассчитаны по метрике точности F-мера (F ¡¡)

р precision ■ recall

^ (02 ■ precision) + recall'

где 0 - вес точности метрики (принимает значение в диапазоне 0 < 0 < оо ), в нашем случае 0 = 1. Так как, прп 0 = 1 значение метрики является сбалансированным между полнотой (recall) и точностью (precision).

Для расчета метрики точности F-мера первоначально на основе матрицы ошибок рассчитывается полнота (recall) и точность (precision)

TP TP

ГеСаИ = TPT?N' Precision ~ fiT^FP'

где TP - истинно положительные срабатывания системы, TN - истинно отрицательные срабатывания системы, FN - ложно отрицательные срабатывания системы, FP - ложно положительные срабатывания системы.

Таблица 3. Результаты работы алгоритмов распознавания

Метод преобразования изображения Значение метрики F-мера

РСА 0.34

Kernel РСА 0.45

LDA 0.48

ICA 0.72

T-SVD 0.56

DCT 0.56

Классический алгоритм РСА, LDA и Kernel PC А обладают худшими показателями F-меры среди рассмотренных, значение F-меры не превышает 0,5. Методы DCT и T-SVD с задачей выделения признаков лица справились на одном уровне и имеют одинаковое значение точности 0,56. Отметим, что в ходе проведения эксперимента, метод ICA показал лучшие результаты относительно остальных методов для термограмм лица человека прп сопоставлении векторов признаков, значение F-меры для данного метода составляет 0.72. Данный метод, также демонстрирует лучшие показатели точности по сравнению с методами выделения локальных признаков с изображения [15].

Заключение

В данной работе были исследованы шесть алгоритмов целостного преобразования изображений применительно к задаче аутентификации человека по термографическому снимку лица. Для проведения эксперимента был собран набор данных, состоящий из 632 ООО изображений лиц 158 человек, максимально приближенный к реальным условиям эксплуаташш подобных систем.

Полученные результаты в ходе эксперимента показали, что в задаче аутентификации по термограмме лица человека метод анализа независимых компонент ICA показал наилучший результат - значение метрики Р-мера=0.72.

Также на основе полученных результатов, необходимо отметить, что оригинальные методы целостного преобразования изображений, в целом, не лучшим образом справляются с задачей, однако различные вариации и расширения классических методов, могут существенно повысить значения метрики точности и улучшить процесс аутентификации по термограмме лица человека.

В дальнейших работах планируется рассмотреть марковские модели распознавания лиц и методы на основе нейросетевых архитектур и сравнить их с методами целостного преобразования изображения и методами выделения локальных признаков.

СПИСОК ЛИТЕРАТУРЫ:

1. Zliao W., Chellappa R, Pliillips P.J. and Rosenfeld A. Face recognition: A literature survey. ACM Comput. Surv, 2003, vol. 35, issue 4, p. 399-458. DOI: https://doi.org/10.1145/954339.954342.

2. Кузнецов Д.А., Дамм В.Д., Кузнецов А.В., Трегубое Р.Б. Сравнительный анализ популярных методов распознавания лиц на изображениях. Научный результат. Информационные технологии. 2019, № 4, с. 3-9. URL: bttpsy/cyberleninka.ni/article/n/sravmtelnyy-aimliz-PoPuIyaniyh-nietodo\'-rasPoznavaniya-lits-na-izobrazbeniyahUara обращения: 25.07.2022).

3. Jain А.К.. Ross A. and Prabhakar S. An introduction to biometric recognition. IEEE Transactions on Circuits and Systems for Video Technology. 2004. vol. 14, no. 1, p. 4-20. DOI: https://doi.org/10.1109/TCSVT.2003.818349.

4. Bendada A. and Akhloufi M.A. Multispectral Face Recognition in Texture Space. Canadian Conference on Computer and Robot Vision. 2010, p. 101-106. DOI: https://doi.org/!0.1109/CRV.20I0.20.

5. Méndez, H.. Martin, C.S.. Kittfcr, J., Plasencia, Y., García-Reyes. E. (2009). Face Recognition with LWIR Imagery Using Local Binary Patterns. In: Tistarelli, M., Nixon, M.S. (eds) Advances in Biometrics. ICB 2009. Lecture Notes in Computer Science, vol 5558. Springer, Berlin. Heidelberg. DOI: https://doi.org/10.1007/978-3-642-01793-3_34.

6. Nikisins O., Nasrollahi K., Greitaas M. and Moeslund T.B. RGB-D-T Based Face Recognition. 22nd International Conference on Partera Recognition. 2014, p. 1716-1721. DOI: https://doi.org/10.110SVICPR.2014.302.

7. Bebis George et al. Face recognition by fusing thermal infrared and \isible imagery. Image and Vision Computing 24.7 (2006): p. 727-742. DOI: https://doiorg/10.1016/j.miavis.2006.01.017.

8. Palm R.B. Prediction as a candidate for learning deep hierarchical models of data. 2012. URL: http:/Avwv2.imm.dni.dk/pubdb/views/publication_details.php?id=6284 (дата обращения: 06.08.2022)

9. Kaur R. and Himanshi E. Face recognition using Principal Component Analysis. IEEE International Advance Computing Conference (IACC). 2015. p. 585-589. DOI: httpsv'/doi.org/lO.l 109/IADCC.2015.7154774

10. Huang G.H., Shao H.H. Kernel Principal Component Analysis and Application in Face Recognition. Computer Engineering, Shanghai, 2004. URL: ht^js^/wwiv.semanticscholar.org/paper/Kernel-Principal-Component-Analysis-and-Application-Hui-he/61221 c884c40f2176c615b303222bd0a65b425b (дата обращения: 06.08.2022).

11. Xiaogang wang and Xiaoou Tang: Random Sampling for Subspace Face Recognition. International Journal of Computer Vision 70, p. 91-104, 2006. URL: https://mmlab.ie.cubk.edu.hk/pdf/wangTijc\'06.pdf (дата обращения: 10.08.2022).

12. Turk M.A. and Pentland A.P. Face recognition using eigenfaces Proceedings. IEEE Computer Society Conference on Computer Vision and Pattern Recognition. 1991, p. 586-591. DOI: https://doi.org/10.1109/CVPR.1991.139758.

13. Loeffler C., Ligtenberg A. and Moschytz G.S. Practical fast 1-D DCT algorithms with 11 multiplications. Internationa! Conference on Acoustics, Speech, and Signal Processing. 1989, vol. 2, p. 988-991. DOI: https://doi.org/10.1109ЛСА35Р. 1989.266596.

14. Ahmed N.. Natarajan T. and Rao K.R. Discrete Cosine Transform. IEEE Transactions 011 Computers. 1974. vol C-23,no. l.p. 90-93. DOI: https://doi.org/10.1109/T-C.1974.223784.

15. Белов Н И., Ермак M.A., Дубннич Е.А., Кузнецов А.Ю. Методы выделения локальных признаков лица на изображении при аутентификации человека по термограмме. Научно-технический вестник информационных технологии, механики и оптики. 2022. т. 22. № 2(138). с. 279-286. DOI: https^/doi.org/10.17586/2226-1494-2022-22-2-279-286. -EDN JFLCZJ.

REFERENCES:

[1] Zhao W„ Chellappa R., Plullips P.J. and Rosenfeld A. Face recognition: A literature survey. ACM Comput. SUV. 2003. vol. 35, issue 4,p. 399-45S. DOI: https://doi.org/10.H45/954339.954342.

[2] Kuznetsov D.A., Damm V.A., Kuzuetsov A.V., Tregubov R.B. Popular methods of face images recognition comparative analysis of. Nauchuiy resultat. Informacionnie techtiologii. 2019. 4, p. 3-9. URL: https: //cy be rle ninka. ni/a rticle/u/sra YTiitelnyy-arializ-popiily amyh-metodo v-raspo л la vaniya-lits-na-izobrazheniyah (accessed: 25.07.2022) (in Russian).

[3] Jain A.K., Ross A. and Prabhakar S. An introduction to biometric recognition. IEEE Transactions on Circuits and Systems for Video Technology. 2004, vol. 14, no. 1, p. 4-20. DOI: https://doi.org/10.1109/TCSVT.2003.81S349.

[4] Bendada A. and Akhloufi M.A. Multispectral Face Recognition in Texture Space. Camdian Conference on Computer and Robot Vision. 2010. p. 101-106. DOI: https://d0i.0rg/l 0.1109/CRV.2010.20.

[5] Mendez. H., Martin, C.S.. Kittler. J.. Plasencia, Y„ Garcia-Reyes, E. (2009). Face Recognition with LWIR Imagery Using Local Binary Patterns. In: Tistarelli. M., Nixon. M.S. (eds) Advances in Biometrics. ICB 2009. Lecture Notes in Computer Science, vol 5558. Springer, Berlin. Heidelberg. DOI: https://doi.org/10.1007/978-3-642-01793-3_34.

[6] Nikisins O., Nasrollahi K.., Greitans M. and Moeslund T.B. RGB-D-T Based Face Recognition. 22nd International Conference 011 Pattern Recognition. 2014, p. 1716-1721. DOI: https://doi.org/10.1109/ICPR2014.302.

[7] Bebis George et al. Face recognition by fusing thermal infrared and visible imagery. Image and Vision Computing 24.7 (2006): p. 727-742. DOI: https://doi.Org/10.1016/j.imavis.2006.01.017.

[8] Huang G.H., Shao H.H. Kernel Principal Component Analysis and Application in Face Recognition. Computer Engineering, Shanghai, 2004. URL: https^wn-wsemanticscholarorg/paper/Kernel-Principal-Component-Analysis-and-Application-Hui-he/61221 c884c40f2176c61 f5b303222bd0a65b425b (accessed: 06.08.2022).

[9] Xiaogang wang and Xiaoou Tang: Random Sampling for Subspace Face Recognition. International Journal of Computer Vision 70, p. 91-104. 2006. URL: https://umUab ie.cuhk.edu.lik/pd&\vaugTijcv06.pdf (accessed: 10.08.2022).

[10] Kaur R and Himansla E. Face recognition using Principal Component Analysis. IEEE International Advance Computing Conference (IACC). 2015, p. 585-589. DOI: https://doi.org/10.1109/IADCC.2015.7154774.

[11] Turk M.A. and Pentland A.P. Face recognition using eigenfaces Proceedings. IEEE Computer Society Conference on Computer Vision and Pattern Recognition. 1991, p. 586-591. DOI: https://doi.Org/10.l 109/CVPR1991.139758.

[12] Loeffler C, Ligtenberg A. and Moschytz G.S. Practical last 1-D DCT algorithms with 11 multiplications. International Conference on Acoustics, Speech, and Signal Processing. 1989, vol. 2, p. 988-991. DOI: https://doi.Org/10.l 109ЛСА85Р. 1989.266596.

[13] Ahmed N.. Natarajan T. and Rao K.R Discrete Cosine Transform. IEEE Transactions on Computers. 1974, vol. C-23, no. I. p. 90-93. DOI: https://doi.org/10.1109/T-C.1974.223784.

[14] Belov N.I.. Ermak M.A., Dubinich E.A., Kuznetsov А.Ю. Methods of local features extraction in person authentication task by face thermographic imageю Scientific and Technical Journal of Information Technologies. Mechanics and Optics. 2022, vol. 22, no. 2(138), p. 279-286. DOI: https://doi.org/10.17586/2226-1494-2022-22-2-279-286. - EDN JFLCZJ (in Russian).

Поступила в редакцию -17 августа 2022 г. Окончательный вариант - 30 августа 2022 г, Recen ed - August 17, 2022. The final version —August 30, 2022.

Алгоритм биометрической аутентификации пользователя по термограмме лица на базе нейросетевой архитектуры

0 Biometric Authentication Algorithm by the Thermal Face Image Using Neural Network Approach

N.J. Befov

nildt, belov@gm ail.com ITmO University

However, these algorithms have several disadvantages. Which are successfully handled by algorithms based on the analysis of thermographic images of people's faces. The purpose of file work is to improve the characteristics of False Acceptance Rote (FAR) and False Rejection Rale (FRRJ in fhe tasks af user authentication by face thermogram. To achieve the presented goal, fasks were set for training and testing an algorithm ba sed on a neural network with several Input layers, choosing a metric for evaluating the quality of fhe algorithm, as weff as conducting a comparative analysis between the algorithm s and methods considered (LBfJ ICA). The algorithm developed in fhe course of fhe study successfully copes wifh fhe task of authentication and has indicators exceeding the results obtained using other algorithms under consideration: LAP and ICA, This algorithm can be used as one of several algorithms for mulK-factor authentication.

Keywords: authentication algorithm, thermal face image, neural network approach, Siamese neural network, biomefric authentication

УДК 004.07

Использующиеся сегодня алгоритмы биометрической аутентификации имеют ряд недостатков, с которыми успешно справляются алгоритмы, построенные на базе анализа термографически* снимков лиц людей. Цель работы заключается в повышении характеристик FAR (False Acceptance Rote) - коэффициента ложного пропуска и FRR (False Rejection Rate} - коэффициента ложного отказа в задачах аутентификации пользователя по термограмме лица. Для этого были поставлены задачи по обучению и тестированию алгоритма на базе нейронной сети с несколькими вх одными слоями, выбору метрики оценки качества алгоритма, а также по проведению сравнительного анализа между рассмотренными алгоритмами и методами (LBP, 1СА). Разработанный в ходе исследования алгоритм успешно справляется с задачей аутентификации и имеет показатели, превышающие результаты, полученные с использованием других рассматриваемых алгоритмов: LBP и ICA. Данный алгоритм может использоваться, как один из нескольких при многофакторной аутентификации.

Ключевые слова: алгоритм аутентификации, термограмма лица, нейронная сеть, сиамская нейронная сеть, биометрическая аутентификация

Никита Игоревич Белов

л*кг1,Ьб1й¥@длпаД сот Университет ИТМО

Введение

В настоящее время алгоритмы биометрической аутентификации используются повсеместно [1], начиная с разблокировки смартфона и доступа к приложениям И заканчивая банковой сферой и системами распознавания лиц. Однако такие системы имеют некоторые ограничения, в частности, испытывают сложности, связанныес зависимостью от уровня освещенности, изменения визуальных признаков (очки, косметика/грим), изменения внешности

посредством пластической хирургии и др. [2].

Большинство из этих ограничений могут быть компенсированы с помощью систем аутентификации на основе термограмм лиц, поскольку данные алгоритмы устойчивы ко всем перечисленным выше ограничениям и даже могут различить близнецов [3]. Происходит это вследствие того, что термограмма лица для каждого человека индивидуальна и не меняется со временем [4]. Таким образом, целью данного исследования является разработка алгоритма аутентификации пользователя на основе термографических данных лица для его использования в задаче идентификации личности с целью повы-

3<щнга информации. INSIDE № 2'2023

шения отказоустойчивости подобных систем.

Научная новизна работы заключается в использовании непросеге вого подхода к решению задачи аутентификации пользователя по термограмме лица вместо привычных статистических методов и алгоритмов, а также проведение сравнительного анализа представленных методов на предмет их применимости на практике.

Алгоритм

Базовая концепция алгоритма состоит в двух базовых блоков: блока преобразования термограммы в векторное представление и блока сравнения полученного тензора с на бором векторных представлений легитимных пользователей.

Блок преобразования изображения в векторное представление-это нейронная сеть, обученная на наборе термограмм из изображений люден, сформированном конкретно под эту задачу, при ряде условий, влияющих на качество работы алгоритмов компьютерного зрения [5]:

• изменение условий окружающей среды (температуры,освещения);

• изменение мимики;

• ношение аксессуаров и изменение внешности {очки, медицинские маски, грим/косметика);

• изменение угла наклона головы и ракурса съемки.

Для обучения и тестирования подхода была построена нейронная сеть, архитектура которой, представляющая собой сиамскую нейронную сеть с д ву мя входиыми слоям! |, изображена на рис. I.

В качестве скрытых слоев предлагается использовать но восемь наборов блоков, состоящих из свер-точных слоев. Строение блоков и ред-ставлено на рис. 2. Также необходимо отметить, что обе ветви сверточных слоев имеют одинаковые наборы гиперпараметров и весовых коэффициентов, что необходимо для корректного преобразования и сравнения векторных представлений изображения.

Блок сравнения расстояний между векторами являет собой механизм сопоставлены векторных представ-

720

640

720

Косинусное расстояние

640

X Rv

Рис. 1. Архитектура нейронной сети

ленин термограмм и принятия решения о похожести этих векторных представлений, а значит, и исходных термограмм. В качестве метода расчета расстояния между двумя тензорами было решено использовать метод косинусного расстояния (1) (врезка 1), так как он, согласно оценкам других исследователей, показывает себя наиболее применимым на практике при решении задач компьютерного зрения [6].

На рис. 3 представлена блок-схема работы алгоритма при решении задачи аутентификации, а на рис. 4 блок-схема регистрации нового пользователя и присвоение ему статуса легитимного.

Необходимо отметить, что для регистрации пользователя в системе достаточно сформировать несколько коротких видеороликов (2-3 шт. по 10-25 с, 20 кадров в секунду), где пользователь выполняет круговые движения головой |7]. Далее производится нарезка указанных видеороликов на единичные кадры, которые используются для дальнейшего

1x1 сверточный слон

Пакетная нормализация

ReLU

3x3 Слой глубокой свертки

Пакетная нормализация

ReLU

X

1*1 оберточный слой

Пакетная нормализация

['не. 2. Архитектура блока нейронной сети

Примечание. ReLU (Rectified Linear Unit) -выпрямленная линейная единица: наиболее часто используемая функция активации при глубоком обучении искусственных нейронных сетей

Врезка 1

cosine similarity =

VI

где Л и В - ненулевые векторы;

Л, н В--компоненты векторов Л и В соответственно.

(1)

Защита информации. INSIDE № 22023

Сравнительный анализ моделей

Для анализа качества полученного алгоритма аутентификации был проведен его сравнительный анализ с другими методами аутентификации по термограмме лица: независимым компонентным анализом ( Independent Component Analysis, ICA) и локальными бинарными шаблонами {Lottil Binary Patterns, LBP). Все алгоритмы были обучены и протестированы на одном наборе данных [9,10].

Сравнительный анализ производился на валидационной выборке, сформированной ранее на этапах подготовки данных и обучения моделей. Данные из этой выборки не учувствовали при обучении и тестировании моделей но результатам обучения. Результаты проведения сравнительного анализа приведены в таблице.

Также в качестве дополнительной оценки были выбраны показатели FAR (вероятность ложного отказа в доступе) и FRR (вероятность ложного допуска), позволяющие оценить надежность алгоритма аутентификации на основе термографического снимка лица. Для расчета этих метрик использованы формулы (3) и (4) (врезка 3).

В ходе сравнения было выявлено, что предлагаемый алгоритм имеет наиболее высокий показатель F-меры н превосходит прочие рассмотренные алгоритмы по показателям FAR и FRR.

Выводы и результаты

Разработанный алгоритм, обученный на сформированном наборе данных [7], имеет самый высокий показатель f-меры среди рассмотренных (0,86), а также лучшие по сравнению с ними показатели FAR и FRR, составляющие 12,3 и 11,7 % соответственно. Таким образом,остальные алгоритмы продемонстрировали низкую эффективность относительно рассматриваемого при сравнительно высокой скорости прохождения аутентификации на основе термограммы лица.

В рамках данной работы был сделан вывод о том, что разработанный

Таблица. Сравнительная таблица характеристик алгоритмов аутентификации по термографическому изображению лица

Метод F-мерэ FAR FRR

Предлагаемый алгоритм 0,86 12,3 % 11,7 %

ICA 0,72 21,6 % 16,1%

LBP 0,69 17,8% 23,1 %

В ре s кс 3

LLU

FARJ^FW*<dV. 100%,

1г(/)1

(3)

(4)

ще .V- примеры термографических снимков из валидационной выборки; Р- функция сопоставления векторов термограмм лиц; /-примеры термограмм лиц людей, не зарегистрированных в системе; Т-примеры термограмм лиц людей, зарегистрированных в системе; А-пороговое значение отнесения человека к классу регистрированных и незарегистрированных, Л е ¡0; 1) (в нашем случае пороговым значением выбрано число 0.6).

алгоритм применим на практике в качестве дополнительного фактора при многофакторной аутентификации. В свою очередь, текущее качество его работы не позволяет использовать алгоритм как единственный в той или иной системе аутентификации.

В дальнейшем, с целью совершенствования работы алгоритма, планируется расширить выборку для обучения и тестирования модели, а также провести исследование в на правлении его использования в системах многофакторной аутентификации лиц по 2D-изображению лица человека. ■

ЛИКРДГУРД

/. ZhaoW, ClielappaR.,PhiOipsP.J.,RasenfMA. Face recogiiition: A literature survey //ACM Com-put. Surv., ACM Press, New York. 2003. V. 35, »4. P. 399-458.

2. Jam A K, Ross A„ PrabhakarS. Ли imroduction to biometric recognition II IEEE Trans. Circuits Syst. Viileo Technol 2004. V. 14, № I. P. 4-20.

3. liftIZ., Fuller N.. Thaiault D„ Betke M. Л tlienml infrared video benchmark for visual analysis 11 Proc. of 10th IEEE Workshop on Perception beyond the vaible spectrum (PBVS). 2014, Columbus, Ohio, USA.

4. Ross C. Face recognition using infrared images and eigaifaces ¡Электронный ресурс! U URL: https^/vww.researdtpte.net/pubScatim/237S3S0_ Face_Recognitioit_Using_liifrared_lmages_aiid_ Eigenfaces

(дата обращена: 20.01.2023).

5. BhoH'inik M. K. et aL Thermal infrared face recognition—a biometric identification technique fir a robust security system/IRwieivs, refinements and neiv ideas in face recognition, IttTech, 2011.

6. Al-Aui M. S-, AM Rajah M. Biometrics haiulgeometry using discrete cosine transform (DCT)//Sciena and Technology. 2013. V. 3,1)4. P 112-117. - DOI: 10.59231j.scit.20l30304.03

(дата обращеншч: 20.01.2023).

7. Велев H. И., Кузнецов А Ю. Методика формирования набора diiHHinx для задач аутентификации по термографическому снимкулица// Вестник компьютерных и информационных тес-кололис - 2021 - Т. 19, №12-С, 3-11. - DOI: 10.14489lvkit.2022.12.pp.003-011

(дата обращения: 20.01.2023). S, SchuckersM., HawleyA, Lhiitgstone К., Mnmt-ba N. A comparison of statistical methods foreviihi-ating matching performwice of a biometric identification device li A preliminary report. Proc. of The International society for optiod engineering (SPIE). 2004. Proc. Vol 5404. - DOI: 10.1117112.541899 (дата обращения: 20.01.2023).

9. Белов И. И. Методы целостного нреобра зования изображений при аутентификаций человека по терм ограмме лица И Безопасное! пь информационных технологий -2022. - Т. 29, №3.-С. 53-61.

10. Нелов Н. И., Ермак М. А., Дубинин Е. А, Кузнецов А. Ю. Методы выделения локальных признаковлица на изображении при аутентификации человека по термограмме Ц Научно-технический вестник информационных технологий, механики и оптики, - 2022. - Т. 22, №2 (1381. -С. 279-286.

2.3.6

МЕТОДЫ И СИСТЕМЫ ЗАЩИТЫ ИНФОРМАЦИИ, ИНФОРМАЦИОННАЯ БЕЗОПАСНОСТЬ (ТЕХНИЧЕСКИЕ, ФИЗИКО-МАТЕМАТИЧЕСКИЕ НАУКИ)

INFORMATION SECURITY

DOI: 10.33693/2313-223Х-2023-10-3-109-120

УДК: 004.93

ГРНТИ: 28.19

EDN: SQVCIV

Применение термографический модели лица в задачах идентификации и аутентификации

Н.И. Белов ©, В.М. Коржук ©

Университет ИТМО,

г. Санкт-Петербург, Российская Федерация Е-таН: [e-mail]

Аннотация. Задача Данная статья является продолжением исследования, результаты которого опубликованы ранее [5], посвященного разработке алгоритма идентификации пользователя по термограмме лица с применением сиамских свер-точных нейронных сетей. Цель работы состоит в разработке научно-методического аппарата по применению термогрзммы лица в задачах идентификации и аутентификации и, в частности, проведении дополнительных экспериментов для полученных ранее результатов. Аналогичные работы встречаются у российских [11-14] и зарубежных [1-4; 6-10; 15-17; 19; 20] авторов, что свидетельствует об актуальности темы исследования. Модель. В статье описан программно-аппаратный комплекс для проведения экспериментальных исследований, на котором происходит проверка выдвигаемых гипотез, кратко описаны несколько алгоритмов: алгоритм извлечения квазистатических точек на термогрзмме лица человека, алгоритм идентификации по 20-изображению лица пользователя, алгоритм комплексной оценки результатов идентификации пользователя потермограммам и 20 изображениям лица. Особенность представленных в данной работе алгоритмов заключается в их способности к обобщению динамических условий, воздействующих на изображение лица в инфракрасном свете. Необходимо отметить, в данной работе не учить:вается процесс хранения биометрических данных, выводы. Разработанный программно-аппаратный комплекс подтверждает применимость алгоритма, основанного на сиамских сверточных нейронных сетях для решения задачи идентификации пользователя по термограмме лица. Также, результаты экспериментов подтверждают эффективность выделения квазистатических областей, и точность определения признаков, выделенных с использованием разработанной нейронной сети, составляет 86,41%. В отношении задачи повышения эффективности идентификации в динамических условиях, предлагается метод объединения результатов, полученных с помощью двух алгоритмов идентификации (термограммы и 20 изображения). Наиболее эффективным показал себя метод стекинга, основанный на алгоритме логистической регрессии. Этот метод обеспечивает удовлетворительные показатели ошибок первого и второго рода, составляющие 6,61 и 5,63% соответственно. В ходе сравнительного анализа алгоритмов идентификации на основе 20-изображений лиц пользователей, наиболее эффективным считается алгоритм Расе^. Рамки использования/возможность последующего использования результатов научной работы. Идеи и тезисы, отраженные в представленной работе, могут быть использованы как основа для дальнейших исследований в области биометрической идентификации с использованием изображений лица в ИК диапазоне, а также при совершенствовании алгоритмов идентификации, развитии методов формирования наборов данных, систем контроля и управления доступом. Практическая значимость. Полученные результаты исследования могут быть использованы в составе систем управления и контроля доступом для повышения эффективности многофакторной биометрической идентификации. Использование представленных алгоритмов, возможно в местах, где предписано обязательное ношение средств индивидуальной защиты {медицинские учреждения, объекты опасного производства итэкдалее) для автоматической идентификации личности работников. Оригинальность/ценность. Данная работа несет ценность в рамках образовательных целей, развития моделей и алгоритмов идентификации по биометрическим признакам и систем видеоаналитики.

Ключевые слова: квазистатические признаки термограммы лица, термограмма лица, идентификация по термограмме лица, искусственные нейронные сети

г

ССЫЛКА НА СТАТЬЮ: Белов Н.И., Коршук В.М. Применение термографический модели лица в задачзх идентификации и аутентификации // Computational Nanotechnology. 2023. Т. 10. № 3. С. 109-120. DOI: 10.33693/2313-223Х-2023-10-3-109-120. EDN: SQVCIV

Ч,_✓

DOI: 10.33693/2313-223Х-2023-10-3-109-120

The Thermographic Face Model Appliance for Identification and Authentication

N.I. Belov © , V.M. Korzhuk ©

ITMO University,

St. Petersburg, Russian Federation E-mail: [e-mail]

Abstract. The subject of this study pertains to the continued exploration of identity identification algorithms utilizing thermogram data of individuals. The novelty of this research lies in the development of a biometric thermographic model for facial recognition, capable of incorporating quasi-static points that remain unchanged over time and unaffected by external factors. Additionally, this work provides experimental confirmation of the proposed Method. Within the scope of this study, the investigated model primarily focuses on the capacity to generalize key facial areas and determine the variability weights of these areas for everyone, regardless of when the thermogram of the user's face was captured. Furthermore, this study train algorithms that have undergone testing in previous works by the authors, as well as within the current research, forming part of the developed software and hardware complex designed to validate the concept of identifying quasi-static areas. The primary outcomes of this research reveal that the developed hardware and software complex corroborates the applicability of the algorithm based on Siamese convolutional neural networks for resolving the problem of user identification via facial thermography. This algorithm successfully competes with other biometric identification methods, including those utilizing 2D facial images. Moreover, experimental results affirm the effectiveness of isolating quasi-static regions, with an 86.41% accuracy rate in correctly identifying features identified using the developed neural network. Concerning the task of amalgamating results obtained from two identification algorithms, the stacking method based on the logistic regression algorithm emerges as the most effective. This approach yields low error rates of the first and second kinds, amounting to 6.61 and 5.63%, respectively. Furthermore, in the comparative analysis of identification algorithms based on 2D images of users' faces, the FaceNet algorithm is deemed the most effective. This algorithm boasts high identification accuracy, even in the presence of alterations in appearance and lighting conditions. FaceNet proves especially advantageous when working with 2D facial images, significantly enhancing performance in user identification tasks based on images captured within the visible spectrum. The f-measure metric for this algorithm, trained on data from the You Tube Face DataBase, stands at 0.94. The practical significance of these research findings lies in their potential application within access control and monitoring systems to enhance the reliability of person-based authentication processes. The effective utilization of the methods presented here holds value in the realm of processing thermographic images for the purpose of identity verification, relying on the quasi-static features of the user's facial thermogram. Such applications can be especially valuable in scenarios necessitating identification, even amidst fluctuations in facial expressions, appearance changes (such as makeup application), orvariations in environmental conditions.

Key words: quasi-static facial thermogram features, facial thermogram, facial thermogram-based identification, artificial neural networks

FOR CITATION: Belov N.I., Korzhuk V.M. The Thermographic Face Model Appliance for Identification and Authentication. Computational Nanotechnology. 2023. Vol. 10. No. 3. Pp. 109-120. (In Rus.) DOI: 10.33693/2313-223X-2023-10-3-109-120. EDN: SQVCIV

ВВЕДЕНИЕ

В настоящее время широко распространены алгоритмы, позволяющие идентифицировать личность пользователя для дальнейшей верификации [19]. Эти алгоритмы нашли широкое применение и распространение в различных областях, включая системы безопасности на портативных мобильных устройст-

вах. платежные системы и системы контроля доступа на предприятиях. Однако такие алгоритмы, которые используют 20-изображения лица в видимом спектре излучения и представленные в форме трехканальных ЯСВ-матриц, имеют свои недостатки:

1) плохая приспособляемость к изменениям во внешности лица человека, таким как изменение прически, пластические операции, макияжа

или грима, ношение медицинских масок или солнцезащитных очков;

2) низкая эффективность в условиях изменяющегося освещения. Алгоритм, настроенный на работу в темное время суток, не будет работать в светлое время суток и наоборот;

3) сложность адаптации к проявлениям эмоций и изменению мимики.

Представленные недостатки в совокупности могут привести к недостоверным результатам и потенциальным ошибкам, особенно при использовании системы контроля и управления доступом (СКУД) на охраняемых предприятиях.

Учитывая вышеизложенное, становится очевидным, что алгоритмы, основанные на идентификации по видимому изображению лица, могут быть недостаточно неэффективными и представлять высокие риски появления ложноположительных ошибок при использовании СКУД. Кроме того, другие биометрические методы, такие как сканирование отпечатков пальцев, распознавание сетчатки глаза или создание ЗЭ-изо-бражений головы могут оказаться неприменимыми в ситуациях, где необходимо использовать средства индивидуальной защиты (СИЗ), такие как маски, перчатки, очки и каски. Например, в отраслях, связанных с металлургией или грязной работой, такие ограничения делают невозможным использование указанных методов идентификации для контроля доступа в опасных зонах. Также необходимо отметить, что алгоритмы на базе многих биометрических признаков не способны определить живость (livnes!,) пользователя при идентификации, в частности такими признаками является отпечатки пальцев, 20- И ЗР-изображение лица пользователя, сетчатка глаза [2].

С учетом этой информации предлагается использовать термографию для получения биометрических характеристик в целях решения задачи идентификации. Термографические изображения, получаемые в инфракрасном диапазоне, не зависят от условий освещения и могут работать в темноте. Кожа человека излучает инфракрасное излучение, и каждый человек имеет псевдо-уникальные тепловые карты лица из-за особенностей структуры сосудов и вен на коже лица. Из термографических изображений можно извлечь анатомическую информацию о структуре кровеносных сосудов и тканей лица, а также в определенных условиях получить изображение вен на участке кожи, покрытой тонкой тканью [20].

Таким образом, разработка научно-методического аппарата по идентификации на основе термографических карт лица может решить проблемы, связанные с ограничениями других методов идентификации, и повысить безопасность в зонах применения систем контроля и управления доступом (СКУД). Предлагаемое решение может улучшить точность текущих алгоритмов идентификации лиц, основанных на искусственном интеллекте, и преодолеть некоторые ограничения этих алгоритмов.

ОБЗОР ЛИТЕРАТУРЫ

База алгоритмов и методов идентификации пользователя на основе термографических данных в открытом доступе стремительно растет, также заметен интерес к данной области среди научного сообщества. В данном разделе рассматриваются наиболее свежие на момент публикации исследования и представлены результаты анализа применимости таких алгоритмов в рамках задачами по идентификации лица человека, в том числе использующего СИЗ.

В статье 2023 г. [1] авторы приводят исследование в части идентификации эмоций пользователя по термографическому снимку лица. В данной работе представлена идея формирования признакового пространства из тепловой карты (термограммы) лица с помощью искусственной нейронной сети и дальнейшей оптимизации полученного вектора признаков. Авторам удалось достичь для распознавания эмоций метрики accuracy 97,47%. Однако, как утверждают авторы, практическая применимость данной оптимизационной модели не была подтверждена экспериментами. Также необходимо отметить ограниченность набора данных, на которых обучался данный алгоритм, что усложняет процесс внедрения и использования из-за изменчивости термограмм лица.

В статье [2] исследователи представляют алгоритм детектирования живости (Hveness) объекта в кадре тепловизора. Иными словами, объект классифицируется как живой или не живой. Авторы рассматривают несколько подходов по определению живости объекта. Исследователям удалось достигнуть показателя accuracy 99%, Стоит оггметить, что выборка, на шторой проводилось исследования, достаточна мала, поэтому требует дальнейшего изучения. Данная работа подтверждает тезис о возможности определения живости объекта в рамках идентификации с помощью биометрических признаках человека, однако также подтверждает факт невозможности некоторых признаков в поставленных задачах.

В статье [3] представлены рекомендации по повышению надежности защиты персональных данных и устранению уязвимостей биометрической аутентификации. В частности, авторы утверждают, что графические данные, 20-изображения или термограммы, являются в достаточной мере безопасными за счет того, что невозможно четко определить алгоритм, по которой нейронная сеть выбирает те или иные признаки для идентификации. И в случае, когда биометрические признаки хранятся во внутреннем контуре системы, они сами по себе являются аналогом хеша, получить из которого исходное изображение является трудо-и ресурсо-затратной задачей.

В работе [4] приводятся ряд экспериментов по обучению нейронных сетей для идентификации человека в медицинской маске и без маски. Коллеги приводят множество примеров изображений и детальнее описывают математические модели. Однако набор данных,

Таблица 1

Характеристики компонентов программно-аппаратного комплекса идентификации пользователя по термограмме лица [Characteristics of the components of the software and hardware complex for user identification]

Тепловизор [Thermal camera]

Диапазон распознаваемой температуры, °С [The range of recognized temperature, X] -40 до 330

Разрешение матрицы, пике [Matrix resolution, pixels] 320 x 240

Частота кадров, Гц [Frame rate, Hz] 9

Температурная чувствительность, °C [Temperature sensitivity, °C] 0,5

Спектральный диапазон p ¡Spectral range p] 7,5-14

Материал линзы [Lens material] Халькогенцдное стекло [Chalcogenide glass]

Материал матрицы [Matrix material] Оксид ванадия [Vanadium oxide]

Длина волны, мкм [Wavelength, pm] 7,2-13

Вычисиггель [Computing GPÜ]

Частота процессора, ГГц [Processor frequency, GHz] 1,2

Число ядер процессора [Number of processor cores] 4

Еренд процессора [Processor brand] Broadcom

Оперативная память, ГБ [RAM, GB] 1

Тип памяти [Memory type] DDR2

Камера [Camera]

Тип матрицы [Matrix type] Sony IMX219 Color CMOS 8-megapixel

Размер матрицы, мм [Matrix size, mm] 3,674 * 2,760 (1/4" формат)

Количество пикселей [Number of pixels] 3296x 2512

Размер пикселя, мкм [Pixel size, pm] 1,12 x 1,12 um

Угол зрения, град. [Angle of view, degree] 70

Данный программно-аппаратный комплекс используется для проведения экспериментов, которые направлены на проверку положений, представленных в текущей и ранее опубликованных статьях по теме работы. В качестве блока, отвечающего за получение результатов, можно использовать любой из перечисленных ниже компонентов, которые демонстрируют результаты работы разработанного программно-аппаратного комплекса:

• ворота, обеспечивающие режим пропуска;

• сигнал о предоставлении или отказе в доступе;

• база данных, где сохраняются результаты выполнения алгоритма.

Программный комплекс возвращает значения в диапазоне от 0 до 1 в качестве выходных данных, что отражает успешность или неуспешность процесса идентификации пользователя. Здесь 1 указывает на успешную идентификацию человека в системе, в то время как О указывает на отказ в доступе при идентификации. Логическая схема стенда представлена на рис. 3.

Данный стенд состоит из трех базовых логических блоков, отвечающих за обработку и анализ данных, получаемых с камеры и тепловизора, а также принятии решения об идентификации (допуске или недопуске).

В рамках экспериментов, проведенных с помощью представленного стенда, была рассчитана степень соответствия термографической модели лица пользователя и признакового пространства, выделяемого другими алгоритмами извлечения признаков. Согласно результатам полученных ранее [5] алгоритмами, являющимися наиболее эффективными при извлечении признаков, являются алгоритмы LBP и ICA. На основе наложения выделенных квазисгагических областей на признаковое пространство, выделенное каждым алгоритмом, был проведен сравнительный анализ, результаты которого представлены в табл. 2.

Как видно из табл. 2, алгоритм на базе сиамской И НС показывает более высокие показатели ошибок первого и второго рода в задаче идентификации по гермограмме лица, а также большее количество попаданий важных для модели признаков в области квазистатических областей и составляет 86,41%, что позволяет сделать вывод о том, что алгоритмы с большим содержанием таких квазисгагических точек принадлежащих конкретному человеку позволяет увеличить точность идентификации.

ПОДТВЕРЖДЕНИЕ РЕЗУЛЬТАТОВ ОБУЧЕНИЯ

АЛГОРИТМА БИОМЕТРИЧЕСКОЙ

ИДЕНТИФИКАЦИИ ПОЛЬЗОВАТЕЛЯ

НА ОСНОВЕ ТЕРМОГРАММЫ ЛИЦА

Для проверки эффективности разработанного алгоритма идентификации пользователей на основе термограмм лица, был проведен сравнительный анализ результатов. Анализ проводился на основе сопоставления данных, полученных в ходе обучения алгоритма идентификации по термограммам лиц, с данными, полученными при работе программно-аппаратного комплекса, созданного на основе данного алгоритма.

Тепловизор [Thermal camera]

Камера (Camera]

Программная реализация способа идентификации по термограмме [Thermaf identification software)

Программная реализация способа идентификации по 20-иэображению |2D-image identification software]

Микроконтроллер [Microcontroller unit]

Программная реализация метода объединения результатов идентификации двух факторов (Two identification methods combination software]

~ё!э в

БД признаков пользователя БД результатов идентификации ¡User Features database! [Identification result database]!

Рис. 3. Логическая схема строения программно-аппаратного комплекса Fig. 3. A schematic representation of the hardware and software complex's structural layout

Таблица 2

Сравнительный анализ лучших методов извлечения признаков с предложенным на базе ИНС [Comparative analysis of the proposed neural network-based feature extraction method with the best existing methods)

Метрика Перечень методов идентификации [Identification method list]

[Metrics | Сверточная ИНС [Siainse neural network] ICA LBP

F-мера IF-score] 0,89 0,77 0,71

Ошибка первого рода, % [FAR, %] 12,3 20,04 25,43

Ошибка второго рода, % [FRR.%] 1>,7 23,81 29,19

Степень соответствия теоретической и экспериментальной термографической модели лица пользователя. % [The degree of conformity of the theoretical and experimental thermographic model of the user's face, %] 86,41 79,18 75,27

Иными словами, в начале алгоритм был обучен и протестирован на базе сиамской сверточной нейронной сети на существующем наборе данных [17]. Затем, после разработки программ но-аппаратного комплекса, этот алгоритм был применен к реальным данным пользователей для идентификации.

Для эксперимента бьши сформированы данные, принадлежащие 20 добровольцам, где каждый человек проходил регистрацию в системе, и повторную идентификацию для подтверждения личности в рамках эксперимента, В рамках проведенного эксперимента, учитывались предложенные в других работах [18] требования по формированию наборов данных. Эксперимент проводился согласно представленным требованиям, данные условия включают следующий набор параметров съемки:

• разные ракурсы съемки лица:

• разные температурные условия окружающей среды;

• разные условиях освещения объекта идентификации;

• с учетом мимических искажении лица;

■ в условиях изменения внешности, таких как грим, усы, борода;

• наличие аксессуаров, таких как очки и медицинские маски.

Эти требования предоставляют возможность учесть достаточное количество возможных изменения внешности и окружающей среды в процессе разработки алгоритма, использующего модели машинного обучения и искусственного интеллекта без углубления в специфическую медицинскую сферу. Алгоритм, обученный на таких разнообразных данных, способен более эффективно решать задачу идентификации, что в итоге приводит к получению результатов, свидетельствующих о возможности практического использования. Таким образом, в ходе проведения эксперимента были получены результаты, отраженные в табл. 3, где им сопоставляются результаты, полученные в ходе ва-лидации во время обучения нейронной сети.

INFORMATION SECURITY

Таблица 3

Сравнительная характеристика алгоритма идентификации, протестированного на двух источниках данных [Comparative evaluation of the identification algorithm tested on two different data sources]

Метрика [Merics] Источник данных для сиамской ИНС [Siamese neural-network data source]

Данные для тестирования [Testing dataset] Данные программно-аппаратного комплекса [Technical complex data sel]

F-мера [F-score] 0,86 0,88

FAR. % 12,30 11,90

FRR.% 11,70 11,40

функции потерь triplet loss, которая помогает учить модель таким образом, чтобы векторное представление лица в пространстве имело небольшое расстояние между лицами одного человека и большое расстояние между лицами разных людей.

Таблица 4 Сравнительный анализ алгоритмов идентификации личности по ZD-изображению лица [Comparison of facial identity identification algorithms based on 2D-face images]

Алгоритмы F-мера

[Allioritinsl [F-score]

FaceNet 0,94

DeepFace 0,88

Deepjd2+ 0,91

Другие [Others] <0,85

Как видно из представленной таблицы, результаты, полученные в ходе проведения эксперимента, соответствуют данным, полученным в ходе обучения модели, данный факт подтверждает применимость данной модели в решении задачи идентификации пользователя по термограмме лица. Однако, необходимо отметить, что как говорилось ранее, данный алгоритм следует использовать как дополняющий алгоритм другой способ идентификации, как в данной работе алгоритм на основе 20-изображения лица пользователя.

МЕТОД ИДЕНТИФИКАЦИИ ПОЛЬЗОВАТЕЛЯ

ПО ТЕРМОГРАММЕ И 20-ИЗОБРАЖЕНИЮ ЛИЦА

Поскольку использование алгоритма идентификации на основе термографической модели лица имеет недостаточно высокие показатели F-меры (0,86-0,88) и ошибок первого и второго рода (11,9-12,3 и 11,4-11,7% соответственно), авторы предлагают использовать совместно термографическое изображение и изображение видимо го спектра.

В качестве алгоритма идентификации личности по изображению лица в видимом спектре выступает предобученный алгоритм FaceNet [6]. Так как данный алгоритм демонстрирует лучшие показатели метрики качества среди других представленных алгоритмов для решения данной задачи: Falconet [7], DeepFace [8], Deepld2+ [9] и другие алгоритмы [10-16]. Представленная в табл. 4 сравнительная характеристика алгоритмов, разработанных и протестированных большим количеством исследователей в ведущих организациях в области исследования и разработки искусственных нейронных сетей и систем идентификации по 20-изображению лица человека.

FaceNet основана на сверточной нейронной сети, построенной на базе Google's Inception Architecture. Структура FaceNet использует глубокую сеть, состоящую из множества сверточных и полносвязный слоев. Однако его ключевая особенность - это использование

Архитектура Falcon Net также является сверточной нейронной сетью, но она представляет собой улучшенную версию сверточной архитектуры для более точного распознавания лиц. Также структура FalconNet может иметь различные конфигурации, но в основе она содержит свергочные слои, слои пулинга и слои полносвязных нейронов. Она обучается на большом объеме данных для более высокой точности распознавания лиц.

Архитектура DeepFace разработана Facebook и основана на глубокой сверточной нейронной сети. Структура DeepFace включает в себя несколько сверточных слоев, слоев субдискретизации и полносвязных слоев. Важным компонентом является softmax-слои для классификации лиц.

Каждый из представленных алгоритмов в рамках сравнительного анализа был обучен и протестирован на разных частях набора открытых данных You Tube Database [17], который часто встречается при обучении алгоритмов сегментации и классификации лиц людей на изображении. Таким образом, по результатам проведенного анализа, алгоритм FaceNet показывает наиболее высокие значения по метрике F-мера,

Метод комплексного использования результатов нескольких алгоритмов идентификации - это подход, при котором результаты нескольких различных алгоритмов объединяются или комбинируются для улучшения точности и надежности системы идентификации. Этот метод основан на идее, что разные алгоритмы могут иметь разные сильные и слабые стороны, и объединение их результатов может уменьшить вероятность ошибок и улучшить общую производительность системы. Приведем несколько распространенных методов комплексного использования результатов алгоритмов идентификации.

• Метод на основе голосования большинства (bagging). Здесь каждый алгоритм имеет голос, и окончательное решение принимается на основе

большинства голосов. Это может быть мажоритарным голосованием (простое большинство), взвешенным голосованием (каждый алгоритм имеет разный вес) или даже учитывать доверие к каждому алгоритму. Классическим примером такого алгоритма является бэггинг-метад, который используется для улучшения устойчивости и точности моделей. Основная идея бэггинга заключается в том, что он создает несколько подмножеств обучающих данных (выборок с возвращением) и обучает независимые модели на каждой из этих подвыборок. Затем он комбинирует (агрегирует) результаты этих моделей для получения окончательного прогноза или классификации. Важным преимуществом бэггинга является уменьшение дисперсии модели, что может привести к улучшению обобщающей способности.

Метод на основе использования мета-классификатора заключается в объединении результатов нескольких классификаторов с помощью дополнительного классификатора (мета-модели), называемого мета-классификатором. Каждый из этих классификаторов используется для создания своих собственных прогнозов, а затем мета-классификаггор используется для объединения этих прогнозов в одну общую оценку. Этот метод может повысить точность классификации, особенно если используемые классификаторы различаются по структуре и принципу работы. В методе штабелирования (stacking) результаты разных алгоритмов используются как входные данные для дополнительной модели (мета-модели). Мета-модель обучается на основе этих результатов и может выдавать окончательное решение. Метод вероятностных оценок - это статистический метод, используемый для оценки параметров веро-

ятностных распределений данных на основе наблюдений или выборки. Этот метод часто применяется в статистике и математической статистике для решения различных задач, включая оценку параметров распределений, прогнозирование будущих событий и многие другие.

Комплексное использование результатов алгоритмов идентификации позволяет значительно повысить надежность и точность системы, особенно в задачах, где у разных методов могут быть разные области применимости и ошибки.

Таким образом, в рамках исследования процесса идентификации по термограмме лица в состав экспериментального программно-аппаратного комплекса был введен разработанный авторами алгоритм объединения результатов работы двух различных нейронных сетей для унификации получаемого результата и принятии решении о допуске или отказе в допуске идентифицируемому лицу. В рамках разработки вышеописанного алгоритма было проведено сравнение четырех различных методов: бэггинг, метод анализа независимых событий, стекинг на основе дерева решений и стекинг на основе логистической регрессии. Для каждого из представленных алгоритмов были рассчитаны метрики Р-мера, ошибки первого и второго рода. Результаты этого сравнения представлены в табл. 5.

В результате сравнительного анализа бьшо установлено, что метод стекинга на базе логистической регрессии эффективнее справляется с задачей объединения результатов, полученных алгоритмами биометрической идентификации, и дает улучшение более чем на 3%, При этом ошибки первого и второго рода уменьшаются на 6,16 и 5,63% соответственно в таких задачах.

Таблица 5

Сравнительный анализ алгоритмов идентификации по термограмме лица [Comparison and analysis of algorithms for facial thermogram identification]

Метрика [Accuracy metrics] Стэкинг. Логистическая регрессия [Stacking. Logistic regression) Стэкинг. Дерево решений [Stacking. Decision Tree) Бэггинг | Bagging) Анализ независимых событий [Independent event analysis]

F-мера [F-score] 0,97 0,95 0,90 0,83

Ошибки первого рода, % [FAR, %] 6,16 7,43 9,69 11,15

Ошибки второго рода, % [FRR, %] 5,63 8,17 9,23 11,62

ВЫВОДЫ И РЕЗУЛЬТАТЫ

Разработанный программно-аппаратный комплекс подтверждает применимость алгоритма на базе сиамских сверточных нейронных сетей при решении задач

идентификации пользователя по термограмме лица. Также на основе разработанного программно-аппаратного комплекса была подтверждена идея о выделении квазистатических областей на термограмме лица. В результате проведения эксперимента, процент попадания

признаков, выделенных с помощью разработанной нейронной сети составляет 8G,41%. Предложен метод повышения эффективности идентификации на основе метода комплексного использования термограмм и 20-изображений лиц. В контексте решения задачи объединения результатов, полученных с помощью двух алгоритмов идентификации, наиболее эффективным из представленных является метод стекинга, который основан на алгоритме логистической регрессии. Этогг метод обеспечивает низкие показатели ошибок первого и второго рода, составляющие 6,61% и 5,63% соответственно.

Также в рамках проведения сравнительного анализа алгоритмов идентификации на основе 2Р-изображе-

Литература

1. Chatterjee5., Sofia D., Sen S. et al. Moth-flame optimization based deep feature selection for facial expression recognition using thermal images II Multimedia Tools and Applications. Published: 28 June 2023. DOl: https://doi.org/10.1007/ si1042-023-15861-5

2. Paulraj В., V'asan/ AR. Liveliness detection using thermograph patterns in face recognition // Mathematical Statistician and Engineering Applications. 2023. Vol. 72. No. 1. Pp. 1196-1207. DOl; 10.!7762/msea.v72il.2247

3. Kuzmina У. Azovtsevo A Perminova A. Vulnerability of Biometric Protection // International Russian Smart Industry Conference (SmartlndustryCon). Sochi, Russian Federation. 2023. Pp. 275-280, DOl: 10.1109/Smartlndus-tryCon57312.2023.10110772

4. Mishra /ОС, Kumar S., Singh S.K. MmLwThV framework: A masked face periocular recognition system using thermo-visible fusion H Applied Intelligence. 2023. No. 53. Pp. 2471-2487. DOl: 10.1007/s 10489-022-03517-0

5. Белое Н.И. Алгоритм биометрической аутентификации пользователя по термограмме лица на базе нейросете-вой архитектуры // Защита информации. Инсайд. 2023. Na 2 (110). С. 34-37.

6. Sehmff F., Kalenichenko D., Philbin J. FaceNet: A unified embedding for face recognition and clustering // IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2015. Pp. 815-823. URL: https://aniiv.org/ abs/1503.03832 (дата обращения: 22.03.2023).

7. Stein G. Falcon«: force-feedback approach for learning from coaching and observation using natural and experiential training: Dis. ... of Dr. Sci. (Philos.). Orlando, FL. University of Central Florida, 2009. URL: https://stars.library.ucf.edu/ cgi/viewcontem.cgi?article=4988&context=etd

8. Елистратова AA, Кукарцев ВВ. Технология идентификации личности DeepFace // Peru erne вс кие чтения.

2014. Т. 2. № 18. С. 186-187. URL: https://cyberleninka.ro/ article/n/tehnologiya-identifikatsii-lichnosti-deepface (дата обращения: 22.05.2023).

9. Vi Sun, Xiaogang Wang, Xiaoou Tang. Deeply learned face representations are sparse, selective, and robust // IEEE Con-ferenceon Computer Vision and Panem Recognition (CVPR),

2015. Pp. 2892-2900. DOl: 10.U09/CVPR.2015.7298907. URL: hnps://arxiv.orgtabs/1412.1265 (дата обращен!la: 17.03.2023).

10. Changxing Ding, Chang Xu, Dacheng Tao. Trunk-branch ensemble convolutional neural networks for video-based face recognition // IEEE Transactions on Pattern Analysis and Machine

ний лиц пользователей, наиболее высокие результаты эффективности показал алгоритм FaceNet.

В перспективе планируется провести тестирование различных методов биометрической идентификации в качестве основного метода и сравнить их результаты с результатами, полученными в данном исследовании. Также планируется совершенствование предложенного алгоритма, построенного на основе сверточной нейронной сети, путем расширения набора обучающих данных и дообучения алгоритма на новых данных; рассматривается возможность расширения требований к данным, что позволит алгоритму учитывать большее количество изменяемых параметров, характерных для термограмм лиц.

References

1. Chatterjee S., Safta D., Sen S. et al. Moth-flame optimization based deep feature selection for facial expression recognition using thermal images. Multimedia Tbo/s and Applications. Published: 28 June 2023. DOl: https://doi.orgil0.1007/ s11042-023-15861 -5

2. Paulraj В., Viisanr A.R. Liveliness detection using thermograph patterns in face recognition. Mathematical Statistician and Engineering Applications. 2023. Vol, 72. No. 1. Pp. 1196-1207. DOl: 10.17762/msea.v72i 1.2247

3. Kuzmina Y. Azovtseva A Perminova Д. Vulnerability of Biometric Protection. International Russian Smart industry Conference (SmartlndustryCon). Sochi, Russian Federation. 2023. Pp. 275-280, DOl: 10.1109/Smartlndustry Con57312.2023.10110772

4. Mishra N.K., KumarS., Singh S.K. MmLwThV framework: A masked face periocular recognition system using thermo-visible fusion. Applied Intelligence. 2023. No. 53. Pp. 2471-2487. DOl: 10.1007/s 10489-022-03517-0

5. Betov N.I. The algorithm of biometric authentication of the user by the thermogram of the face based on the neural network architecture. Zasirn informacii. Inside. 2023. №2(110). Pp. 34-37. (in Rus.)