Методы аутентификации человека по изображениям с камер, установленных на мобильном устройстве тема диссертации и автореферата по ВАК РФ 00.00.00, кандидат наук Соломатин Иван Андреевич

• Соломатин Иван Андреевич
• кандидат наук
• 2022

Оглавление диссертации кандидат наук Соломатин Иван Андреевич

Введение

Глава 1. История, проблемы и основные принципы биометрии

1.1 История развития систем биометрического распознавания человека

1.1.1 Бертильонаж

1.1.2 Распознавание по отпечаткам пальцев

1.1.3 Распознавание по радужной оболочке глаза

1.1.4 Распознавание по лицу

1.1.5 Распознавание по голосу

1.1.6 Распознавание по походке

1.1.7 Распознавание по форме ушной раковины

1.1.8 Тест ДНК

1.2 Проблемы биометрического распознавания человека

1.2.1 Фальсификация биометрических данных

1.2.2 Необратимость компрометации биометрических данных

1.3 История развития мобильной биометрии

1.4 Основные принципы автоматической биометрии

1.4.1 Захват изображения

1.4.2 Выделение области интереса

1.4.3 Выделение вектора биометрических признаков

1.4.4 Сравнение вектора признаков с базой данных

1.4.5 Обновление биометрического шаблона

1.4.6 Сравнение с порогом распознавания

1.5 Выводы к первой главе

Глава 2. Метод автоматического подбора параметров камер

2.1 Время реакции биометрической системы

2.2 Существующие методы автоэкспозиции

2.3 Предлагаемый алгоритм

2.3.1 Определение области интереса

2.3.2 Определение значения меры освещённости, оптимального

для распознавания

2.3.3 Быстрая оценка субоптимальных параметров камеры

2.3.4 Итеративный поиск оптимальных параметров камеры

2.4 Результаты экспериментов

2.5 Выводы ко второй главе

Глава 3. Высокопроизводительный метод выделения границ

радужной оболочки глаза

3.1 Методы выделения границ радужной оболочки глаза

3.2 Задача выделения границ радужной оболочки

3.2.1 Меры ошибок алгоритма

3.3 Выделение границ радужной оболочки с помощью нейронных

сетей

3.3.1 Аппроксимация внешней границы радужки

3.3.2 Аппроксимация внутренней границы радужки

3.3.3 Уточнение границы

3.4 Результаты экспериментов

3.4.1 База изображений

3.4.2 Результаты тестирования предлагаемого метода

3.5 Выводы к третьей главе

Глава 4. Выделение областей затенения радужки

классификатором локальных текстурных признаков

4.1 Постановка задачи

4.2 Метод решения

4.2.1 Переход к полярным координатам

4.2.2 Нахождение опорного множества

4.2.3 Расчёт признаков

4.2.4 Обучение классификатора

4.2.5 Классификация

4.2.6 Морфологическая постобработка

4.2.7 Удаление лакун

4.2.8 Возврат к декартовым координатам

4.3 Результаты экспериментов

4.3.1 Функция ошибки

4.3.2 Точность выделения затенений

4.3.3 Влияние алгоритма на точность распознавания

4.4 Выводы к четвёртой главе

Глава 5. Метод обновления биометрического шаблона при

помощи оценки качества исходных данных

5.1 Алгоритмы обновления шаблона

5.2 Постановка задачи обновления шаблона

5.3 Предлагаемый алгоритм обновления шаблона

5.3.1 Подготовка данных для обучения нейронной сети

5.4 Результаты экспериментов

5.4.1 Влияние алгоритма на точность распознавания

5.5 Выводы к пятой главе

Заключение

Список литературы

Список рисунков

Список таблиц

Введение диссертации (часть автореферата) на тему «Методы аутентификации человека по изображениям с камер, установленных на мобильном устройстве»

Введение

На протяжении всей истории задача распознавания человека была актуальной, однако в последние годы интерес к ней многократно возрос. В основном это вызвано появлением новых технических средств и всё более глубоким их проникновением в повседневную жизнь людей. Набор технических приёмов, применяемых для распознавания человека по физическим и поведенческим параметрам, в наше время принято называть биометрией, а параметры, по которым производится распознавание — биометрическими модальностями. Появившиеся технические возможности открывают новые методики и совершенно новые и неожиданные сферы применения биометрии. В современном виде биометрия стала применяться с конца XIX века в криминалистике и применяется в этой области до сих пор [67; 134]. В настоящее время слово «биометрия» у всех на слуху: биометрическое распознавание используется в смартфонах [62; 106; 121], в банковском деле [39; 139], в маркетинге [50; 115; 151], в сфере социального управления [15; 137].

Сама постановка задачи распознавания человека по каким-либо признакам имеет глубокие корни, уходящие далеко в прошлое. На самом деле, любой человек, не задумываясь, решает эту задачу каждый день по многу раз, когда узнаёт своих родных, друзей, коллег. Чаще всего при социальном взаимодействии человек выстраивает диалог и предпринимает те или иные действия, исходя из знания того, с кем именно он общается. Таким образом, распознавание лежит в основе социального взаимодействия людей, и именно поэтому задача распознавания настолько актуальна и обсуждаема.

Различные автоматические системы всё больше входят в нашу жизнь, и начинают активно взаимодействовать с человеком. Среди них — голосовые помощники, системы «умный дом», роботы-официанты, различные роботы-помощники. Для обеспечения наиболее естественного и персонализированного общения таким системам необходимо уметь идентифицировать своего пользователя или собеседника. Это можно сделать, и успешно делается, с помощью методов биометрии по признакам, доступным сенсорам автоматической системы.

Также в последнее время активно развиваются методы мобильной биометрии: биометрическое распознавание человека по данным с сенсоров, уста-

новленных на мобильном устройстве. Подобные приложения имеют широкое применение: от разблокировки мобильного телефона до верификации пользователя при оплате мобильным телефоном, например, с помощью сервисов Samsung Pay, Google Pay или Apple Pay. Популярность подобных сервисов и широкий спектр возможностей, к которым они предоставляют доступ, обуславливают высокие требования к точности и безопасности применяемых в них биометрических систем.

Главной отличительной чертой мобильных устройств от стационарных является ограниченность ресурсов — меньшая вычислительная мощность и ограниченный запас энергии. Другой особенностью является низкое качество изображений и непостоянство условий, в которых производится съёмка. Эти особенности определяют сложность задач мобильной биометрии.

В данной работе приведены результаты исследований, позволяющих улучшить характеристики биометрических систем на мобильных устройствах с целью удовлетворения требований по точности и безопасности, предъявляемых к биометрическим системам, при этом оставаясь в рамках ограничений, накладываемых мобильными устройствами.

Цель данной работы состоит в увеличении точности и скорости методов биометрического распознавания на мобильном устройстве.

Для достижения поставленной цели решены следующие задачи:

1. Разработать метод поиска параметров экспозиции, обеспечивающих изображение с оптимальной освещённостью области интереса биометрической системы.

2. Разработать высокопроизводительный метод выделения границ радужной оболочки глаза, устойчивый к низкому качеству входных изображений.

3. Разработать метод выделения областей затенения радужной оболочки глаза, не требующий обучения на базе изображений.

4. Разработать метод обновления и уточнения биометрического шаблона.

5. Создать программные средства для сбора данных, проведения вычислительных экспериментов, настройки и тестирования предложенных алгоритмов.

Научная новизна работы состоит в том, что в ней предлагаются методы, ранее не описываемые в литературе, и позволяющие улучшить основные характеристики биометрических систем на мобильном устройстве, а именно:

1. Для выбора параметров экспозиции камеры предложена мера освещённости участков изображения, важных для распознавания. Предложен автоматический метод поиска данных участков и значения предложенной меры, максимизирующего точность распознавания.

2. Предложен алгоритм выделения области интереса на изображении, использующий классифицирующую нейронную сеть.

3. Разработан новый метод уточнения области интереса, основанный на выделении опорного множества, и классификации участков изображения на основании локальных текстурных признаков.

4. Предложен метод обновления биометрического шаблона, развивающий идею классического алгоритма MDIST и использующий новую меру качества изображения.

Предложенные методы могут быть обобщены и использованы для распознавания по различным биометрическим модальностям, а так же для решения других задач, связанных с обработкой изображений.

Практическая значимость. Результаты, изложенные в диссертации, применяются в биометрических алгоритмах, поставляемых с мобильными устройствами, выпускаемыми компанией Samsung Electronics Co. Ltd. Среди устройств флагманские модели, выпускаемые компанией в период с 2018 по 2021 гг.: смартфоны Samsung Galaxy S8/S8+, Samsung Galaxy Note 8, Samsung Galaxy S9/S9+, Samsung Galaxy Note9, Samsung Galaxy S20/S20+/S20 Ultra, Samsung Galaxy Note20/Note20 Ultra.

Работа была поддержана и её результаты использованы в грантах:

— РФФИ 16-07-01171-а «Математические модели радужной оболочки глаза»;

— РФФИ 19-07-01231-а «Методы генерации точных ключей по биометрическим признакам»;

— РФФИ 19-31-90171-аспирант «Методы аутентификации человека по изображениям радужной оболочки глаза с ИК камеры, установленной на мобильном устройстве».

Методология и методы исследования. В работе использованы методы компьютерного зрения, анализа данных, машинного обучения и глубокого обучения.

Основные положения, выносимые на защиту:

1. Исследованы особенности алгоритмов автоэкспозиции применительно к биометрическому распознаванию человека. Разработан метод автоэкспозиции для алгоритма распознавания по радужной оболочке глаза, позволяющий существенно сократить время реакции системы и улучшить качество распознавания.

2. Исследованы методы выделения границ радужной оболочки глаза. Предложен высокопроизводительный метод, решающий данную задачу с помощью нейронной сети. Метод продемонстрировал качество, сравнимое с современными методами, представленными в литературе, и превзошёл существующие методы по скорости работы.

3. Исследованы методы выделения областей затенения на изображениях радужной оболочки глаза. Предложен метод классификации на основе опорного множества, и метод поиска данного опорного множества. Предложенный метод не требует размеченной базы изображений для обучения. Использование карт затенений, полученных данным алгоритмом, улучшает качество распознавания по радужной оболочке глаза.

4. Исследованы существующие методы и подходы обновления биометрического шаблона для различных биометрических модальностей. Предложен новый метод обновления биометрического шаблона, основанный на оценке качества входных данных с помощью нейронной сети. Метод протестирован на алгоритме распознавания по лицу и обеспечил значительный прирост качества распознавания по сравнению с классическим алгоритмом MDIST.

Достоверность и апробация результатов. Основные результаты работы докладывались на следующих конференциях:

— 13-я конференция «Интеллектуализация обработки информации», 8-11 декабря 2020;

— 11th International Conference on Electronics, Computers and Artificial Intelligence (ECAI). Pitesti, Romania, 27-29 June, 2019;

— XXI Международная научно-техническая конференция студентов, аспирантов и молодых ученых «Научная сессия ТУСУР», Томск, Россия, 25-27 Мая, 2016;

— 11th Conference on Intellectual Data Processing, Barcelona, Spain, 10-14 October, 2016;

— 58-я Всероссийская научная конференция МФТИ, Москва, Россия, Ноябрь, 2015;

— 17я конференция «Математические методы распознавания образов», Светлогорск, Россия, 19-25 Сентября, 2015.

Личный вклад. Подготовка результатов к публикации проводилась совместно с соавторами, причём вклад диссертанта был определяющим. Представленные в диссертации результаты за исключением отдельно оговоренных случаев получены лично автором.

Публикации. Основные результаты по теме диссертации изложены в 17 печатных изданиях, 7 из которых изданы в журналах, индексируемых системами Scopus и Web of Science [38; 52; 81; 104; 105; 129; 130], 9 — в тезисах докладов [5; 14; 52; 80; 103; 105; 126-128], 2 — являются патентами [8; 107].

Объем и структура работы. Диссертация состоит из введения, 5 глав, и заключения. Полный объём диссертации составляет 125 страниц, из них 103 страницы текста, включая 33 рисунка и 16 таблиц. Список литературы содержит 151 наименование.

Глава 1. История, проблемы и основные принципы биометрии

1.1 История развития систем биометрического распознавания

человека

Задача биометрического распознавания человека была актуальной испокон веков. До появления научного подхода к биометрии людям, как и сейчас, нужно было идентифицировать себя и подтверждать (аутентифицировать) свою личность. Для этого изобретались различные устройства и системы. Например, для подтверждения авторства писем ещё в конце IV века в Риме начали использовать сургучные печати. Печати используются для подтверждения подлинности документов и по сей день.

Больший же интерес для данной работы представляют системы именно биометрического распознавания, то есть распознавания по физическим и поведенческим параметрам. Существует множество параметров, по которым можно построить систему биометрического распознавания человека, такие параметры называются биометрическими модальностями. И, как следствие, существует множество разновидностей таких систем. В данном разделе описывается история развития систем распознавания по основным биометрическим модальностям, которые активно используются в наше время или активно использовались в прошлом.

1.1.1 Бертильонаж

Бертильонаж — система идентификации человека по антропометрическим данным. Названа в честь своего изобретателя — Альфонса Бертильона.

Работая писарем в полиции Парижа и переписывая карточки с описанием преступников, Альфонс Бертильон обратил внимание на то, что данные описания являются крайне поверхностными и нечёткими, например, «высокого роста», «плотного телосложения» и т.п. Бертильон предложил использовать для идентификации преступников точные измерения различных частей тела.

Проведя серию экспериментов, он предложил использовать для этого метода следующие параметры: длина головы, ширина головы, длина среднего пальца, длина левой ступни и длина локтя [135]. Впервые система была успешно использована создателем 20 февраля 1883 года, когда он опознал в одном из заключённых преступника, который уже был осуждён ранее и измерен. Но по-настоящему большую известность система получила 30 марта 1892, когда с её помощью удалось обнаружить и арестовать организатора серии террористических актов в Париже. Система с успехом применялась французской полицией до 1914 года — года смерти Бертильона. После его смерти место бертильонажа заняла дактилоскопия, или распознавание по отпечаткам пальцев.

1.1.2 Распознавание по отпечаткам пальцев

Распознавание по отпечаткам пальцев — первая научно обоснованная методика биометрического распознавания. Она базируется на уникальности рисунка на пальцах человека, называемого папиллярным узором. На рис. 1.1 изображены примеры этих узоров.

а) Петля б) Дуга в) Завиток

Рисунок 1.1 — Примеры папиллярных узоров различных типов

Первое упоминание об использовании отпечатков пальцев относится к древним временам. Уже в древнем Вавилоне и древнем Китае люди использовали эти уникальные узоры для подписи документов. Согласно [143], найдено свидетельство того, что в Китае уже в конце III века до нашей эры отпечатки пальцев использовались в криминалистике для идентификации преступников.

Впервые папиллярные узоры на пальцах человека были описаны итальянским биологом и врачом Марчелло Мальпиги [94], в 1669 году. Первое упоминание о том, что рисунок папиллярных линий пальца является уникальным для каждого человека, принадлежит Иоганну Кристофу Андреасу Майеру, который написал об этом в своей работе по анатомии [97], опубликованной в 1794 году.

В 1823 году чешский учёный Ян Эвангелиста Пуркинье опубликовал работу [116], в которой впервые предлагалась классификация папиллярных узоров, содержащая девять основных типов узоров, которая заложила фундамент современной дактилоскопии.

Одним из основоположников дактилоскопии является Уильям Хершел, который установил, что узор на пальцах не меняется на протяжении жизни человека, а также после его смерти. С 1858 года Хершел, работавший чиновником в Индии, начал использовать отпечатки пальцев для подтверждения подлинности документов. В 1877 г. он предложил использовать отпечатки пальцев для регистрации заключённых. Это был первый случай научно обоснованного практического использования дактилоскопии.

В наше время существует множество алгоритмов, позволяющих распознавать человека по отпечатку пальца в автоматическом режиме. Такие алгоритмы используются как в криминалистике, так и в повседневной жизни людей: в большинстве смартфонов, в персональных компьютерах, биометрических замках, и т.д.

1.1.3 Распознавание по радужной оболочке глаза

Радужка — передний отдел сосудистой оболочки глазного яблока, видимый через прозрачную роговицу [9]. Радужка обладает слабо меняющейся со временем структурой, которая содержит в себе одни из наиболее надёжных признаков для распознавания человека. Регистрацию изображения радужной оболочки можно произвести дистанционно и неинвазивно, с использованием не раздражающей направленной подсветки. На сегодняшний день данная биометрическая модальность считается самой точной из неинвазивных биометрических методов [54].

Первое упоминание об использовании радужной оболочки для распознавания личности принадлежит глазному хирургу Франке Бурше, и было сделано в 1936 году [83].

Рисунок 1.2 — Примеры изображений, используемых для распознавания человека по радужной оболочке глаза.

На основе его исследований офтальмологи Л. Флом и А. Сафир в 1987 г. запатентовали основные принципы распознавания по радужной оболочке [40]. Для разработки алгоритма А. Сафир и Л. Флом обратились за помощью к Джону Даугману, который, впоследствии, в 1994 г. запатентовал первую систему идентификации личности по изображению радужки [35] и считается родоначальником этого вида автоматического распознавания человека. Основными этапами работы алгоритма, запатентованного Даугманом, являются сегментация радужки, выделение признаков в этой области, их кодирование и классификация. Большинство систем распознавания по радужной оболочке используют изображения, полученные в ближнем инфракрасном диапазоне, поскольку подсветка в этом диапазоне не слепит пользователя, и позволяет избавиться от бликов и получить высококачественное изображение в широком диапазоне внешних условий [33]. Примеры изображений радужной оболочки приведены на рис. 1.2.

В настоящее время распознавание по радужной оболочке используется в мобильных устройствах [106], и в различных системах контроля доступа.

1.1.4 Распознавание по лицу

Распознавание человека по лицу — самый естественный метод биометрического распознавания, поскольку именно так мы привыкли узнавать друг друга в повседневной жизни. До появления ЭВМ узнать человека по фотографии или рисунку не составляло особого труда, поскольку любой человек умеет это делать от природы, и ему не требуются для этого какие-либо алгоритмы, но, с появлением ЭВМ, возник вопрос: как научить компьютер распознавать лица? Именно в направлении ответа на этот вопрос и велись исследования в области данной биометрической модальности.

Первой системой распознавания лиц была система [25], разработанная в 1968 году Вудро Бледсоу, американским учёным в области искусственного интеллекта. Система была полуавтоматической, то есть требовала участия человека. При пользовании этой системой человек должен был вручную отмечать отличительные характеристики лица на фотографии. Скорость обработки с помощью данной системы составляла около 40 лиц в час.

В задаче автоматического распознавания человека по лицу выделяют три основные задачи:

1. Обнаружение и грубая нормализация лица на изображении;

2. Выделение ключевых точек и других необходимых параметров и более точная нормализация лица;

3. Идентификация, верификация.

Дальнейшие исследования в области распознавания человека по лицу велись и до сих пор ведутся в направлении улучшения точности решения каждой из этих подзадач и уменьшения ограничений на входные данные. Например, первые системы распознавания требовали чётко выверенного положения лица на фотографии, однотонный фон, равномерное освещение. Современные системы всё более приближаются к человеческим способностям в области распознавания лиц, а во многом уже превосходят человека [92].

В последнее время возрастает популярность алгоритмов распознавания человека по 3Э модели лица [112]. Преимущество данного метода состоит в том, что 3-х мерные данные несут в себе гораздо больше информации, чем 2Э изображение, а значит, и точность такого распознавания выше.

В наше время распознавание лиц является очень популярным, поскольку метод получения данных для данной биометрической модальности очень прост — нужна только фотография лица. Простота получения данных влечёт за собой удобство, так как для использования системы распознавания не требуется дополнительных условий или действий, однако она же является проблемой, поскольку облегчает процесс компрометации биометрических данных и изготовления подделок с целью обмана биометрической системы.

В настоящее время, распознавание по лицу широко используется на мобильных устройствах [12; 138]

1.1.5 Распознавание по голосу

Голос и речь человека имеют ряд специфических особенностей, что позволяет нам безошибочно узнавать знакомых даже не видя их. Мы подсознательно выделяем ряд параметров и характеристик, которые могут быть технически зафиксированы и подвергнуты анализу.

Распознавание человека по голосу идёт рука об руку с распознаванием речи человека. Первые успешные эксперименты по распознаванию человеческой речи были сделаны в 50-х годах XX века в корпорации Bell Laboratories в США. Была разработана система, которая была названа AUDREY (Automatic Digit Recognizer) [36]. Система обеспечивала устойчивое распознавание цифр, произносимых человеком, на которого была настроена система. К началу 60-х годов технология позволила распознавать некоторые гласные буквы, произносимые разными людьми и различать людей, произносящих эти гласные буквы. Задачи распознавания речи и распознавания говорящих людей развивались параллельно. К началу 90-х с появлением искусственных нейронных сетей были достигнуты прорывные результаты и появились устройства, которые начали применяться в реальной жизни. Наиболее интенсивно развивалось применение голосовой идентификации в криминалистике и в сфере банковских услуг.

Сейчас некоторые банковские контакт-центры успешно применяют голосовые технологии. При обращении в банк по телефону, голос клиента автоматически фиксируется и анализируется, и если он хочет совершить какую-то операцию, для которой требуется верификация, то его личность проверяется

по его голосу. При этом клиенту даже не требуется называть никаких паролей. Первым объявил о доступности такой технологии британский банк HSBC [55].

В криминалистике задача, как правило, состоит в том, чтобы, имея запись речи, установить принадлежит ли голос на записи человеку, образец голоса которого доступен. Подобный анализ называется «Фоноскопическая экспертиза» и применяется достаточно давно. В нашей стране в середине 90-х годов был внедрён аппаратно-программный комплекс «Диалект» [10], который успешно применялся в министерстве внутренних дел.

Главным достоинством голосовой идентификации является высокая устойчивость к фальсификации. Человек может копировать чужую речь настолько точно, что окружающие люди не смогут ощутить подделку, но основные параметры, на которые опираются современные системы голосового распознавания, не доступны уху подражателя и окружающих, поэтому подделать их человек не может. При этом машинные алгоритмы синтеза речи развиваются бурными темпами. В 2018 году сразу две компании объявили о создании систем копирования речи людей. Китайские специалисты из компании Baidu создали нейросеть под названием Deep Voice [120], другая нейронная сеть имеет название Lyrebird и разработана одноимённой канадской компанией. Разработчики и того, и другого решения утверждают, что их системы, прослушивая голос человека в течение короткого промежутка времени, обучаются его имитировать. При этом точность имитации такова, что люди не могут отличить подделку от записи реального голоса. Вполне возможно, что столкновение зеркальных технологий — идентификации человека по голосу и имитации голоса человека превратится в новое соревнование брони и снаряда, что, конечно, является потенциальным недостатком идентификации человека по голосу. Вторым недостатком всегда была чувствительность к естественному изменению голоса в результате болезней и старения человека.

Распознавание по голосу может применяться и на смартфонах [73], поскольку запись голоса можно получать с встроенного микрофона, который является неотъемлемой частью любого смартфона.

1.1.6 Распознавание по походке

Большая медицинская энциклопедия описывает походку как «совокупность признаков, характеризующих ходьбу человека». Ряд двигательных компонентов походки имеет врожденный характер и включен в сложную координированную деятельность мышц и конечностей в процессе передвижения [9]. Походка отражает личностные особенности человека (характер, темперамент), что делает её совершенно уникальной. Для получения биометрических данных используются специальные платформы, фиксирующие положение и динамические параметры подошв обуви при прохождении по ним людей, или тоннели с многочисленными видеокамерами, которые позволяют создать 3Б модель перемещения ключевых точек фигуры человека.

Рисунок 1.3 — Примеры кадров из видеопоследовательности, используемой для

распознавания по походке [44].

На рис. 1.3 приведены примеры кадров из видеопоследовательности, используемой для распознавания по походке.

Важным достоинством данной биометрической модальности является невозможность фальсификации данных. Нельзя научить одного человека ходить в точности так, как ходит другой человек.

Привлекательность использования особенностей походки в целях идентификации человека обусловлена также простотой, ненавязчивостью и даже скрытностью получения данных. От человека требуется просто пройти некоторое расстояние своей обычной походкой. Кроме того, походку тяжело скрыть, как, например, лицо, или глаза. Если человек идёт по улице, он демонстрирует свою походку, по которой может быть идентифицирован. Именно эта простота и скрытность вызвала интерес со стороны всевозможных служб безопасности, в первую очередь в аэропортах [42].

Распознавание по походке не может быть применено на мобильном устройстве в вышеописанном виде, т.к. получение необходимых данных (видеопоследовательностей) не реализуемо в рамках удобных для пользователей сценариев. Однако, распознавание по походке на мобильном устройстве можно выполнять с помощью данных с акселерометра, называемого IMU-сенсором (Inertial Measurement Unit) [66]. Для распознавания может быть использован как IMU-сенсор самого смартфона, так и носимых устройств (умные часы, наушники и т.п.) [119].

1.1.7 Распознавание по форме ушной раковины

Впервые использовать анатомические особенности уха для идентификации человека предложил Альфонс Бертильон в 80-х годах XIX века. Он использовал измерения уха в качестве одного из признаков, по которым проводилась идентификация в методе бертильонажа, описанном в разделе 1.1.1.

Важной вехой в исследовании данной биометрической модальности было исследование Альфреда Янарелли, который в период с 1948-го по 1962 год собрал фотографии ушей нескольких тысяч человек и на основе их анализа предложил набор из 12 геометрических измерений уха (рис. 1.4) [11]. Он утверждал, что, используя этот набор измерений, можно достоверно идентифицировать человека, так как он является уникальным.

Распознавание по форме уха может работать и на мобильном устройстве, однако точность распознавания заметно уступает распознаванию по остальным модальностям, доступным на мобильном устройстве. Так в начале 2015 года в Yahoo Labs предложили идентифицировать владельца смартфона по его ушным раковинам. Предложенный алгоритм был назван Bodyprint [ ]. Авторы предлагают проводить верификацию владельца в момент соприкосновения уха с сенсорным экраном смартфона в процессе звонка. Инженеры Yahoo Labs предложили также модифицировать процедуру ответа на звонок: инициировать начало разговора при соприкосновении смартфона с ухом вместо нажатия на кнопку приема.

Список литературы диссертационного исследования кандидат наук Соломатин Иван Андреевич, 2022 год

Список литературы

1. ГОСТ, Р ИСО/МЭК 19794-6 2006. Автоматическая идентификация. Идентификация биометрическая. Форматы обмена биометрическими данными. Часть 6. Данные изображения радужной оболочки глаза.

2. ГОСТ, Р ИСО/МЭК 19795-1-2007. Автоматическая идентификация. Идентификация биометрическая. Эксплуатационные испытания и протоколы испытаний в биометрии. Часть 1. Принципы и структура.

3. Ганькин K. A., Гнеушев А. Н., Матвеев И. А. Сегментация изображения радужки глаза, основанная на приближенных методах с последующими уточнениями // Известия РАН. Теория и системы управления. 2014. № 2. С. 80-94.

4. Гнеушев А. Н., Ковков Д. В., Матвеев И. А., Новик В. П. Оптимизация выбора биометрического эталона из последовательности // Известия Российской академии наук. Теория и системы управления. 2015. № 3. С. 72-72.

5. Ефимов Ю. С., Соломатин И. А., Одиноких Г. А. Поиск границ радужной оболочки при помощи свёрточных нейронных сетей. // Тезисы докладов 13-й конференции «Интеллектуализация Обработки Информации». Москва. Декабрь 2020.

6. Ефимов Ю. С., Матвеев И. А.. Выделение точных границ радужки на изображении глаза // Information technologies. 2017. Vol. 23, no. 4. P. 300.

7. Матвеев Иван Алексеевич. Методы и алгоритмы автоматической обработки изображений радужной оболочки глаза // М.:Вычислительный центр им. АА Дородницына РАН. 2014.

8. Одиноких Г. А., Соломатин И. А., Фартуков А. М. [и др.] Способ биометрической аутентификации пользователя и вычислительное устройство, реализующее упомянутый способ. —. 2019. Патент RU 2697646 C1.

9. Петровский Борис Васильевич. Большая медицинская энциклопедия // Медицина. 1974. Т. 21.

10. Попов Н. Ф., Линьков А. Н., Кураченкова Н. Б., Байчаров Н. В. Идентификация лиц по фонограммам русской речи на автоматизированной системе «Диалект» // М.: Войсковая часть 34435. 1996.

11. Росс А., Абаза А. Биометрическое распознавание по ушам // Открытые системы. СУБД. 2011. №10. С. 40-40.

12. Сведения о передовой технологии Face ID. https://support.apple.com/ ru-ru/HT208108

13. Соломатин И. A., Матвеев И. А. Определение видимой области радужки классификатором локальных текстурных признаков. // Машинное обучение и анализ данных. 2015. Т. 1, № 14. С. 1919-1929.

14. Соломатин И. А. Выделение областей затенения радужки классификатором локальных текстурных признаков. // Тезисы докладов 58-й научной конференции МФТИ. Москва. Ноябрь 2015.

15. Уведомление Государственного совета о выпуске Плана строительства системы социального кредитования. http://www.gov.cn/zhengce/content/ 2014-06/27/content_8913.htm

16. Agarwal Rohit, Jalal Anand Singh. Presentation attack detection system for fake Iris: a review // Multimedia Tools and Applications. 2021. Vol. 80, no. 10. Pp. 15193-15214.

17. Ahmed Khudhur Nsaif, Sawal Hamid Md Ali, Khider Nassif Jassim [et al.] FRCNN-GNB: Cascade faster R-CNN with gabor filters and naive Bayes for enhanced eye detection // IEEE Access. 2021. Vol. 9. Pp. 15708-15719.

18. Ahmed N., Natarajan T., Rio K. Discrete Cosine Transform // IEEE Transactions on Computer. 1974. Vol. C-23. Pp. 90-93.

19. Ajian Liu, Xuan Li, Jun Wan [et al.] Cross-ethnicity face anti-spoofing recognition challenge: A review // IET Biometrics. 2021. Vol. 10, no. 1. Pp. 24-43.

20. Akhtar Naveed, Mian Ajmal. Threat of adversarial attacks on deep learning in computer vision: A survey // Ieee Access. 2018. Vol. 6. Pp. 14410-14430.

21. Alvin Martin, George Doddington, Terri Kamm [et al.] The DET Curve in Assessment of Detection Task Performance // Proc. Eurospeech '97. Rhodes, Greece: 1997. Pp. 1895-1898.

22. Andrew G Howard, Menglong Zhu, Bo Chen [et al.] Mobilenets: Efficient involutional neural networks for mobile vision applications // arXiv preprint arXiv:1704.04861. 2017.

23. Anna Matas, Michael G Sowa, Geoff Taylor, Henry H Mantsch. Melanin as a confounding factor in near infrared spectroscopy of skin // Vibrational spectroscopy. 2002. Vol. 28, no. 1. Pp. 45-52.

24. Battiato Sebastiano, Messina Giuseppe, Castorina Alfio. Exposure correction for imaging devices: an overview // Single-Sensor Imaging. 2018. Pp. 343-370.

25. Bledsoe Woodrow. Semiautomatic facial recognition // Technical report sri project 6693, Stanford Research Institute, Menlo Park, California. 1968.

26. Bobeldyk Denton, Ross Arun. Predicting eye color from near infrared iris images // 2018 International Conference on Biometrics (ICB). IEEE. 2018. Pp. 104-110.

27. Bowyer Kevin W., Hollingsworth Karen P., Flynn Patrick J. A Survey of Iris Biometrics Research: 2008-2010 // Handbook of Iris Recognition /. edited byMark J. Burge, Kevin W. Bowyer. Springer London, 2013. Advances in Computer Vision and Pattern Recognition. Pp. 15-54. https://www3.nd.edu/ ~kwb/BowyerEtAl_2012.pdf

28. Canny John. A computational approach to edge detection // IEEE Transactions on pattern analysis and machine intelligence. 1986. no. 6. Pp. 679-698.

29. Celik Anil, Arica Nafiz. Enhancing face pose normalization with deep learning // Turkish Journal of Electrical Engineering and Computer Sciences. 2019. Vol. 27, no. 5. Pp. 3699-3712.

30. Chinese Academy of Sciences Institute of Automation. CASIA-IrisV3: CASI-A-Iris-Lamp image database. http://www.cbsr.ia.ac.cn/IrisDatabase.htm

31. Czajka Adam. Template Ageing in Iris Recognition. // BioSignals. 2013. Pp. 70-78.

32. Daugman J. G. High confidence visual recognition of persons by a test of statistical independence // IEEE Transactions on Pattern Analysis and Machine Intelligence. 1993. Nov. Vol. 15, no. 11. Pp. 1148-1161.

33. Daugman John. How iris recognition works // ICIP (1). 2002. Pp. 33-36.

34. Daugman John. New Methods in Iris Recognition // IEEE Trans. Systems, Man and Cybernetics. 2007. Vol. 37, no. 5. Pp. 1167-1175.

35. Daugman John G. Biometric personal identification system based on iris analysis. 1994. US Patent 5,291,560.

36. David E. E. Ears for computers // Scientific American.

37. Dunstone Ted, Yager Neil. Biometric system and data analysis: Design, evaluation, and data mining. Springer, 2009.

38. Efimov Y. S., Leonov V. Y., Odinokikh G. A., Solomatin I. A. Finding the Iris Using Convolutional Neural Networks // Journal of Computer and Systems Sciences International. 2021. Vol. 60, no. 1. Pp. 108-117.

39. Fatima Amtul. E-Banking Security Issues-Is There A Solution in Biometrics? // Journal of Internet Banking and Commerce. 2011. Vol. 16, no. 2. P. 1.

40. Flom Leonard, Safir Aran. Iris recognition system. 1987. US Patent 4,641,349.

41. Freni Biagio, Marcialis Gian Luca, Roli Fabio. Replacement algorithms for fingerprint template update // International Conference Image Analysis and Recognition /. Springer. 2008. Pp. 884-893.

42. Sun J. Wang Y., Li J., et al. Gait recognition //. Motion Tracking and Gesture Recognition. Rijeka : InTech 2017.

43. Galbally Javier, Gomez-Barrero Marta. A review of iris anti-spoofing // 2016 4th international conference on biometrics and forensics (IWBF) /. IEEE. 2016. Pp. 1-6.

44. Galina V Veres, Mark S Nixon, Lee Middleton, John N Carter. Fusion of dynamic and static features for gait recognition over time // 2005 7th International Conference on Information Fusion. /. IEEE. Vol. 2. 2005. Pp. 7-pp.

45. Gang Pan Weixun Lin Zhaohui Wu, Yang Yingchun. Eye detection system based on SVM filter. 2002. https://doi.Org/.10.1117/.12.481605.

46. Gaurav Goswami, Samarth Bharadwaj, Mayank Vatsa, Richa Singh. On RG-B-D face recognition using Kinect // 2013 IEEE Sixth International Conference on Biometrics: Theory, Applications and Systems (BTAS) /. IEEE. 2013. Pp. 1-6.

47. General Data Protection Regulation. https://eur-lex.europa.eu/legal-content/ EN/TXT/?uri=CELEX:32016R0679

48. Georghiades Athinodoros S., Belhumeur Peter N., Kriegman David J. From few to many: Illumination cone models for face recognition under variable lighting and pose // IEEE transactions on pattern analysis and machine intelligence. 2001. Vol. 23, no. 6. Pp. 643-660.

49. Gill Peter, Jeffreys Alec J, Werrett David J. Forensic application of DNA 'fingerprints' // Nature. 1985. Vol. 318, no. 6046. Pp. 577-579.

50. Gilmore William, Erdem S Altan [et al.] The future of online internet marketing: A solution to behavioral marketing using biometrics // Journal of Business & Economics Research (JBER). 2008. Vol. 6, no. 2.

51. Giuseppe Messina, Alfio Castorina, Sebastiano Battiato, Angelo Bosco. Image quality improvement by adaptive exposure correction techniques // 2003 International Conference on Multimedia and Expo. ICME'03. Proceedings (Cat. No. 03TH8698) /. IEEE. Vol. 1. 2003. Pp. I-549.

52. Gnatyuk V., Zavalishin S., Petrova X., et al. Fast automatic exposure adjustment method for iris recognition system // 2019 11th International Conference on Electronics, Computers and Artificial Intelligence (ECAI) / IEEE. 2019. Pp. 1-6.

53. Guo Yishi, Wünsche Burkhard C. Comparison of face detection algorithms on mobile devices // 2020 35th International Conference on Image and Vision Computing New Zealand (IVCNZ) /. IEEE. 2020. Pp. 1-6.

54. Gupta Sachin, Kant Chander. Iris Recognition: The Safest Biometrics. 2011.

55. HSBC Voice ID. https://www.hsbc.com.hk/ways-to-bank/phone/voice-id

56. Hartigan John A, Wong Manchek A. Algorithm AS 136: A k-means clustering algorithm // Journal of the royal statistical society. series c (applied statistics). 1979. Vol. 28, no. 1. Pp. 100-108.

57. Hasse Georg, Wolf Andreas. Data quality, interoperability, biometrics fusion, and template ageing: Challenges for ePassports // Proceedings of the The Biometric Consortium Conference 2005. 2005.

58. Hollingsworth Karen P, Bowyer Kevin W, Flynn Patrick J. Image averaging for improved iris recognition // International Conference on Biometrics /. Springer. 2009. Pp. 1112-1121.

59. Holz Christian, Buthpitiya Senaka, Knaust Marius. Bodyprint: Biometric user identification on mobile devices using the capacitive touchscreen to scan body parts // Proceedings of the 33rd annual ACM conference on human factors in computing systems /. ACM. 2015. Pp. 3011-3014.

60. Hough Paul VC. Method and means for recognizing complex patterns. 1962. 18. US Patent 3,069,654.

61. Huan Yang, Baoyuan Wang, Noranart Vesdapunt [et al.] Personalized exposure control using adaptive metering and reinforcement learning // IEEE transactions on visualization and computer graphics. 2018. Vol. 25, no. 10. Pp. 2953-2968.

62. Hwang Seong-seob, Cho Sungzoon, Park Sunghoon. Keystroke dynamics-based authentication for mobile devices // Computers & Security. 2009. Vol. 28, no. 1-2. Pp. 85-93.

63. ICE database. http://www.nist.gov/itl/iad/ig/ice.cfm

64. ISO 5-4:2009. Photography and graphic technology — Density measurements — Part 4: Geometric conditions for reflection density.

65. ISO/IEC 19795-1:2006. Information technology - Biometric performance testing and reporting - Part 1: Principles and framework.

66. Gadaleta M., Rossi M. Idnet: Smartphone-based gait recognition with convo-lutional neural networks //. Pattern Recognition. 2018. Vol. 74. Pp. 25-37.

67. Imed Bouchrika, Michaela Goffredo, John Carter, Mark Nixon. On using gait in forensic biometrics // Journal of forensic sciences. 2011. Vol. 56, no. 4. Pp. 882-889. http://www.univ-soukahras.dz/.eprints/.2011-1-d10e6.pdf.

68. InsightFace: 2D and 3D Face Analysis Project. 2021. https://github.com/ deepinsight/insightface

69. Inwook Shim, Tae-Hyun Oh, Joon-Young Lee [et al.] Gradient-based camera exposure control for outdoor mobile platforms // IEEE Transactions on Circuits and Systems for Video Technology. 2018. Vol. 29, no. 6. Pp. 1569-1583.

70. Iryna Korshunova, Wenzhe Shi, Joni Dambre, Lucas Theis. Fast face-swap using convolutional neural networks // Proceedings of the IEEE international conference on computer vision. 2017. Pp. 3677-3685.

71. Jerry Chi Ling Lam, Eizenman Moshe. Convolutional neural networks for eye detection in remote gaze estimation systems // Proceedings of the International MultiConference of Engineers and Computer Scientists /. Citeseer. Vol. 1. 2008.

72. Jiankang Deng, Jia Guo, Niannan Xue, Stefanos Zafeiriou. Arcface: Additive angular margin loss for deep face recognition // Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 2019. Pp. 4690-4699.

73. Johnson R. C., Scheirer W. J., Boult T. E. Secure voice-based authentication for mobile devices: vaulted voice verification // Biometric and Surveillance Technology for Human and Activity Identification X. /. SPIE. 2013. Vol. 8712. Pp. 164-176.

74. John Carls, Richard Raines, Michael Grimaila, Steven Rogers. Biometric Security Enhancements Through Template Aging Matching Score Analysis // Proceedings of the 3rd International Conference on Information Warfare and Security, Omaha, NE. 2008.

75. Joshi N. P., Shah C. P., Kaul K. A novel approach implementation of eyelid detection in biometric applications // 2012 Nirma University International Conference on Engineering (NUiCONE). 2012. Dec. Pp. 1-6.

76. Kingma Diederik P, Ba Jimmy. Adam: A method for stochastic optimization // arXiv preprint arXiv:1412.6980. 2014.

77. Kirby Michael, Sirovich Lawrence. Application of the Karhunen-Loeve procedure for the characterization of human faces // IEEE Transactions on Pattern analysis and Machine intelligence. 1990. Vol. 12, no. 1. Pp. 103-108.

78. Kirchgasser Simon, Uhl Andreas. Template ageing in non-minutiae fingerprint recognition // 2017 5th International Workshop on Biometrics and Forensics (IWBF) /. IEEE. 2017. Pp. 1-6.

79. Kirkland Earl J. Bilinear interpolation // Advanced Computing in Electron Microscopy. Springer, 2010. Pp. 261-263.

80. Korobkin M., Odinokikh G., Efimov Y., Solomatin I., Matveev I. Iris Segmentation in Challenging Conditions. // Proceedings of ICPRAI 2018. Montreal, Canada. 14-17 May. 2018.

81. Korobkin M., Odinokikh G., Efimov Yu. [et al.] Iris segmentation in challenging conditions // Pattern Recognition and Image Analysis. 2018. Vol. 28, no. 4. Pp. 652-657.

82. Krichen E., Garcia-Salicetti S., Dorizzi B. A new probabilistic Iris Quality Measure for comprehensive noise detection // 2007 First IEEE International Conference on Biometrics: Theory, Applications, and Systems. 2007. Sept. Pp. 1-6.

83. Krzysztof Misztal, Emil Saeed, Jacek Tabor, Khalid Saeed. Iris pattern recognition with a new mathematical model to its rotation detection // Biometrics and Kansei Engineering. Springer, 2012. Pp. 43-65.

84. Kumar Nitin [et al.] Cancelable biometrics: a comprehensive survey // Artificial Intelligence Review. 2020. Vol. 53, no. 5. Pp. 3403-3446.

85. Lanitis Andreas. A survey of the effects of aging on biometric identity verification // International Journal of Biometrics. 2010. Vol. 2, no. 1. Pp. 34-52.

86. Liang JiaYi, Qin YaJie, Hong ZhiLiang. An auto-exposure algorithm for detecting high contrast lighting conditions // 2007 7th International Conference on ASIC /. IEEE. 2007. Pp. 725-728.

87. Li Chuang, Ding Xiao-Qing, Wu You-Shou. Revised AdaBoost algorithm- AD AdaBoost. // Jisuanji Xuebao/ Chinese Journal of Computers. 2007. Vol. 30, no. 1. Pp. 103-109.

88. Li Ma, Tieniu Tan, Yunhong Wang, Dexin Zhang. Efficient iris recognition by characterizing key local variations // IEEE Transactions on Image processing. 2004. Vol. 13, no. 6. Pp. 739-750.

89. Li Y. H., Savvides Marios. A pixel-wise, learning-based approach for occlusion estimation of iris images in polar domain // ICASSP. IEEE, 2009. Pp. 1357-1360.

90. Loeffler C., Ligtenberg A., G. Moschytz. Practical Fast 1-D DCT Algorithms with 11 Multiplications // Int'l. Conf. on Acoustics, Speech, and Signal Processing (ICASSP '89). 1989. P. 988—991.

91. Lovisotto Giulio, Eberz Simon, Martinovic Ivan. Biometric backdoors: A poisoning attack against unsupervised template updating // 2020 IEEE European Symposium on Security and Privacy (EuroS&P) /. IEEE. 2020. Pp. 184-197.

92. Lu Chaochao, Tang Xiaoou. Surpassing human-level face verification performance on LFW with GaussianFace // Twenty-ninth AAAI conference on artificial intelligence. 2015.

93. Mahalanobis Prasanta Chandra. On the generalised distance in statistics // Proceedings of the National Institute of Sciences of India. Vol. 2. 1936. P. 49-55.

94. Malpighi M. Opera Omnia, London, 1686 // Collected works. Vol. 1669.

95. Marcialis Gian Luca, Rattani Ajita, Roli Fabio. Biometric template update: an experimental investigation on the relationship between update errors and performance degradation in face verification // Joint IAPR International Workshops on Statistical Techniques in Pattern Recognition (SPR) and Structural and Syntactic Pattern Recognition (SSPR) /. Springer. 2008. Pp. 684-693.

96. Masek Libor, Kovesi Peter. MATLAB Source Code for a Biometric Identification System Based on Iris Patterns. 2003.

97. Mayer Johann Christoph Andreas. Anatomische Kupfertafeln nebst dazu gehörigen Erklarungen: Neun Kupfertafeln, welche das große und kleine Gehirn, das Rückmark, die allgemeine Verbindung der Nerven, die Nerven des Kopfes, die Nerven des inneren Ohres und die Nerven der oberen und unteren Glied-maaßen darstellen. Fünftes Heft. // Bey Heinrich August Rottmann, Konigl. Hofbuchhandler. 1794. Vol. 5.

98. Meers Simon, Ward Koren. Face recognition using a time-of-flight camera // 2009 Sixth International Conference on Computer Graphics, Imaging and Visualization /. IEEE. 2009. Pp. 377-382.

99. Min Tae-Hong, Park R. H. Comparison of eyelid and eyelash detection algorithms for performance improvement of iris recognition // 2008 15th IEEE International Conference on Image Processing. 2008. Oct. Pp. 257-260.

100. Miyazawa Kazuyuki, Koichi Ito, Takafumi Aoki [et al.] An effective approach for iris recognition using phase-based image matching // IEEE transactions on pattern analysis and machine intelligence. 2008. Vol. 30, no. 10. Pp. 1741-1756.

101. Muhammad Sajjad, Salman Khan, Tanveer Hussain [et al.] CNN-based an-ti-spoofing two-tier multi-factor authentication system // Pattern Recognition Letters. 2018.

102. Nourani-Vatani Navid, Roberts Jonathan. Automatic camera exposure control // Proceedings of the Australasian Conference on Robotics and Automation 2007 /. Australian Robotics and Automation Association (ARAA). 2007. Pp. 1-6.

103. Odinokikh G., Efimov Y., Solomatin I., Korobkin M., Matveev I. Iris An-ti-spoofing Solution for Mobile Biometric Applications. // Proceedings of ICPRAI 2018. Montreal, Canada. 14-17 May. 2018.

104. Odinokikh G. Efimov I., Solomatin I. [et al.] Iris Anti-Spoofing Solution for Mobile Biometric Applications // Pattern Recognition and Image Analysis. 2018. Vol. 28, no. 4. Pp. 670-675.

105. Odinokikh G., Korobkin M., Solomatin I. [et al.] Iris feature extraction and matching method for mobile biometric applications // 2019 International Conference on Biometrics (ICB) / IEEE. 2019. Pp. 1-6.

106. Odinokikh G. A., Fartukov A. M., Eremeev V. A. [et al.] High-Performance Iris Recognition for Mobile Platforms // Pattern Recognition and Image Analysis. 2018. Vol. 28, no. 3. Pp. 516-524.

107. Odinokikh G. A., Solomatin I. A., Fartukov A. M. [et al.] Biometrics-based user authentication method and device. 2021. US Patent App. 17/288,256.

108. Olegs Nikisins, Kamal Nasrollahi, Modris Greitans, Thomas B Moeslund. RG-B-DT based face recognition // 2014 22nd International Conference on Pattern Recognition /. IEEE. 2014. Pp. 1716-1721.

109. OpenCV v.2.4.10. http://opencv.org

110. Otsu N. A threshold selection method from gray level histograms // IEEE Trans. Systems, Man and Cybernetics. 1979. Vol. 9. Pp. 62-66. minimize intra and inter class variance.

111. P. Wang, M. B. Green, Q. A. Ji, J. L. Wayman. Automatic Eye Detection and Its Validation // Workshop on Face Recognition Grand Challenge Experiments. 2005. Pp. III: 164-164. http://dx.doi.org/10.1109/CVPR.2005.570

112. Pascal Paysan, Reinhard Knothe, Brian Amberg [et al.] A 3D face model for pose and illumination invariant face recognition // 2009 sixth IEEE international conference on advanced video and signal based surveillance. 2009. Pp. 296-301.

113. Patel Vishal M, Ratha Nalini K, Chellappa Rama. Cancelable biometrics: A review // IEEE signal processing magazine. 2015. Vol. 32, no. 5. Pp. 54-65.

114. Peixoto Helton Maia, Guerreiro Ana Maria G., Neto Adriao D. D. Image processing for eye detection and classification of the gaze direction // IJCNN. IEEE Computer Society, 2009. Pp. 2475-2480. http://ieeexplore.ieee.org/xpl/ mostRecentIssue.jsp?punumber=5161636

115. Peter Jones, Peter Williams, David Hillier, Daphne Comfort. Biometrics in retailing // International Journal of Retail & Distribution Management. 2007.

116. Purkine J. E. Dissertation on Physical Examination of the Organ of Sight Breslau 1823 // Archiwum Historii i Filozofii Medycyny. 2013. Vol. 76. Pp. 34-51.

117. Ramanathan Narayanan, Chellappa Rama. Face verification across age progression // IEEE Transactions on Image Processing. 2006. Vol. 15, no. 11. Pp. 3349-3361.

118. Rattani Ajita, Marcialis Gian Luca, Roli Fabio. Biometric template update using the graph mincut algorithm: A case study in face verification // 2008 Biometrics Symposium /. IEEE. 2008. Pp. 23-28.

119. Liu J., Song W., Shen L., et al. Secure User Verification and Continuous Authentication Via Earphone IMU //. IEEE Transactions on Mobile Computing. 2022.

120. Sercan Arik O, Mike Chrzanowski, Adam Coates, [et al.] Deep voice: Realtime neural text-to-speech // International Conference on Machine Learning /. PMLR. 2017. Vol. 192, no. 2. Pp. 195-204.

121. Sezan Muhammed Ibrahim, Bartnik David C, Burns David William [et al.] User authentication biometrics in mobile devices. 2014. US Patent App. 14/178,156. https://patentimages.storage.googleapis.com/67/c8/ 75/430e01e7fae6d2/US20140359757A1 .pdf

122. Sheng Chen, Yang Liu, Xiang Gao, Zhen Han. Mobilefacenets: Efficient cnns for accurate real-time face verification on mobile devices // Chinese Conference on Biometric Recognition /. Springer. 2018. Pp. 428-438.

123. Sheng Chen, Yang Liu, Xiang Gao, Zhen Han. Mobilefacenets: Efficient cnns for accurate real-time face verification on mobile devices // Chinese Conference on Biometric Recognition /. Springer. 2018. Pp. 428-438.

124. Shifeng Zhang, Xiangyu Zhu, Zhen Lei [et al.] S3fd: Single shot scale-invariant face detector // Proceedings of the IEEE international conference on computer vision. 2017. Pp. 192-201.

125. Sirovich Lawrence, Kirby Michael. Low-dimensional procedure for the characterization of human faces // Josa a. 1987. Vol. 4, no. 3. Pp. 519-524.

126. Solomatin I., Matveev I. Detecting visible areas of iris by qualifier of local textural features. // Тезисы докладов международной конференции «Научная сессия ТУСУР-2016» ТУСУР. Томск. 25-27 May. 2016.

127. Solomatin I., Matveev I., Novik V. Detecting visible areas of iris by classifier of textures with basic set. // Proceedings of 11th Conference on Intellectual Data Processing. Barcelona, Spain. 10-14 October. 2016.

128. Solomatin I., Matveev I. Detecting visible areas of iris by qualifier of local textural features. // Тезисы докладов 19-й Всероссийской конференции с международным участием «Математические методы распознавания образов». Светлогорск. 19-25 сентября. 2015.

129. Solomatin I. A., Kubentaeva S. B., Matveev I. A. Updating the Biometric Template by Assessing the Quality of the Original Data // Journal of Computer and Systems Sciences International. 2022. Vol. 61, no. 3. Pp. 413-420.

130. Solomatin I. A., Matveev I. A., Novik V. P. Locating the visible part of the iris with a texture classifier with a support set // Automation and Remote Control. 2018. Vol. 79, no. 3. Pp. 492-505.

131. Stylianos Asteriadis, Nikolaos Nikolaidis, Andras Hajdu, Ioannis Pitas. A novel eye detection algorithm utilizing edge-related geometrical information // EU-SIPCO. IEEE, 2006. Pp. 1-5. http://ieeexplore.ieee.org/xpl/mostRecentIssue. jsp?punumber=7065145

132. Su Yuanhang, Kuo C-C Jay. Fast and robust camera's auto exposure control using convex or concave model // 2015 IEEE International Conference on Consumer Electronics (ICCE) /. IEEE. 2015. Pp. 13-14.

133. Terrence Chen, Wotao Yin, Xiang Sean Zhou [et al.] Illumination normalization for face recognition and uneven background correction using total variation based image models // 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'05) /. IEEE. Vol. 2. 2005. Pp. 532-539.

134. Tistarelli Massimo, Grosso Enrico, Meuwly Didier. Biometrics in forensic science: challenges, lessons and new technologies / / International Workshop on Biometric Authentication /. Springer. 2014. Pp. 153-164. https://www.researchgate.net/profile/Massimo_Tistarelli/ publication/290206905_Biometrics_in_Forensic_Science_Challenges_ Lessons_and_New_Technologies/links/569e1d7e08ae16fdf07bda37/ Biometrics-in-Forensic-Science-Challenges-Lessons-and-New-Technologies.pdf

135. U.S. National Library of Medicine website. https://www.nlm.nih.gov/ visibleproofs / galleries / technologies/bertillon.html

136. Uludag Umut, Ross Arun, Jain Anil. Biometric template selection and update: a case study in fingerprints // Pattern recognition. 2004. Vol. 37, no. 7. Pp. 1533-1542.

137. Unique Identification Authority of India: What is Aadhaar. https://uidai.gov. in / my- aadhaar/about-your- aadhaar.html

138. Use Facial recognition security on your Galaxy phone. https://www.samsung. com/us/support/answer/ANS00062630

139. Venkatraman Sitalakshmi, Delpachitra Indika. Biometrics in banking security: a case study // Information Management & Computer Security. 2008. Vol. 16, no. 4. Pp. 415-430.

140. Viola Paul, Jones Michael J. Robust real-time face detection // International journal of computer vision. 2004. Vol. 57, no. 2. Pp. 137-154.

141. W. Sankowski, K. Grabowski, M. Napieralska, M. Zubert. Eyelids Localization Method Designed for Iris Recognition System // 2007 14th International Conference on Mixed Design of Integrated Circuits and Systems. 2007. June. Pp. 622-627.

142. Wildes R. P. Iris Recognition: An Emerging Biometric Technology // Proceedings of IEEE. 1997. Vol. 85, no. 9. Pp. 1348-1363.

143. Xiang-Xin Zhao, Chun-Ge Liu. The historical application of hand prints in Chinese litigation // Journal of Forensic Identification. 1988. Vol. 38, no. 6. Pp. 277-284.

144. Xiang Benke, Cheng Xiaoping. Eye detection based on improved ad AdaBoost algorithm // Signal Processing Systems (ICSPS), 2010 2nd International Conference on /. IEEE. Vol. 2. 2010. Pp. V2-617.

145. Yanjia Zhu, Hongxiang Cai, Shuhan Zhang [et al.] Tinaface: Strong but simple baseline for face detection // arXiv preprint arXiv:2011.13183. 2020.

146. Yann LeCun, Bernhard Boser, John Denker [et al.] Handwritten digit recognition with a back-propagation network // Advances in neural information processing systems. 1989. Vol. 2.

147. Zhang D., Monro D. M., Rakshit S. Eyelash Removal Method for Human Iris Recognition // ICIP. 2006. Pp. 285-288.

148. Zhaofeng He, Tieniu Tan, Zhenan Sun, Xianchao Qiu. Robust eyelid, eyelash and shadow localization for iris recognition // 2008 15th IEEE International Conference on Image Processing. 2008. Oct. Pp. 265-268.

149. Zhaofeng He, Tieniu Tan, Zhenan Sun, Xianchao Qiu. Toward Accurate and Fast Iris Segmentation for Iris Biometrics // IEEE Trans. Pattern Analysis and Machine Intelligence. 2009. Vol. 31, no. 9. Pp. 1670-1684.

150. Zuheng Ming, Muriel Visani, Muhammad Muzzamil Luqman, Jean-Christophe Burie. A survey on anti-spoofing methods for facial recognition with rgb cameras of generic consumer devices // Journal of Imaging. 2020. Vol. 6, no. 12. P. 139.

151. Zurawicki Leon. Applying neuroscience and biometrics to the practice of marketing // Neuromarketing. Springer, 2010. Pp. 211-242.

Список рисунков

1.1 Примеры папиллярных узоров различных типов............ 11

1.2 Примеры изображений, используемых для распознавания человека

по радужной оболочке глаза........................ 13

1.3 Примеры кадров из видеопоследовательности, используемой для распознавания по походке [44]....................... 17

1.4 Набор из 12 геометрических измерений уха по А. Янарелли..... 19

1.5 Принципиальная схема работы биометрической системы, выполняющей верификацию человека.................. 25

1.6 Оптическая плотность отражения кожи человека: светлой (пунктирная линия) и тёмной (сплошная линия). [23]......... 26

1.7 Сравнение изображений радужной оболочки глаза в видимом и ИК диапазоне [26]................................ 27

1.8 Зависимость FAR и FRR от порога 0.................. 33

1.9 Пример DET кривой............................ 34

2.1 Пример входного изображения I, области F и экспериментально посчитанной матрицы W.......................... 43

2.2 Анализ зависимости расстояния Хемминга р от ц............ 46

2.3 Зависимость меры освещённости MSV от времени экспозиции Е

при различных условиях освещения........................................47

2.4 Блок-схема первого этапа алгоритма......................................49

2.5 Блок-схема второго этапа алгоритма......................................51

2.6 График поиска оптимального времени экспозиции разными

методами в помещении при нормальном освещении........... 53

3.1 Пример изображений, используемых для обучения классификатора

^............................................................................64

3.2 Схема работы первых двух шагов предлагаемого метода................67

3.3 Установка для съёмки базы RAS..........................................69

3.4 Примеры изображений радужной оболочки глаза из различных наборов данных..............................................................71

4.1 Основные шаги алгоритма......................... 79

4.2 Схема преобразования в полярные координаты............. 80

4.3 Нахождение S' на изображении с границей верхнего века, пересекающей внутреннюю границу радужки (S' выделен тёмным). . 82

4.4 Распределение коэффициентов эксцесса и выбранный S' (выделен тёмным). ....................................................................82

4.5 Используемые коэффициенты дискретного косинусного преобразования..............................................................83

4.6 Пример изображений I, I', J и J' для изображения из CASIA..........86

4.7 Морфологическая постобработка маски J' для изображения из

CASIA........................................................................87

4.8 Постобработка маски J' для изображения из CASIA....................89

4.9 Распределение функционала ошибки......................................91

4.10 Примеры некорректной работы............................................92

4.11 DET-кривые для алгоритма [96]............................................93

5.1 Схема действий биометрической системы................................96

5.2 Примеры изображений с различными d из базы данных .......101

5.3 Распределения попарных расстояний при распознавании шаблона, полученного различными алгоритмами обновления......................106

Список таблиц

1 Пример оптимизации освещённости ОИ для распознавания по радужной оболочке..........................................................38

2 Кол-во кадров до достижения целевого МЗУ с ошибкой не более 1% 52

3 Визуализация поиска оптимального времени экспозиции разными методами в помещении при нормальном освещении......................54

4 Кол-во кадров до достижения различных значений МЗУ с

ошибкой не более 1% ......................................................54

5 Исследование влияния предлагаемого алгоритма на точность и

время реакции распознавания по радужной оболочке глаза............55

6 Строение блока МСВ(М,в) ..............................................64

7 Строение нейронной сети для аппроксимации границ радужки .... 65

8 Состав базы изображений..................................................70

9 Качество моделей на валидационной и тестовой выборках............70

10 Результаты применения комбинации моделей............................72

11 Результаты сравнения с существующими методами....................72

12 Результаты тестирования разных модификаций алгоритма......91

13 Результаты работы алгоритма [96] с различными масками ВРТБ. . . 93

14 Архитектура нейронной сети для оценки расстояния ё........102

15 Результаты тестирования сети на тестовом и валидационном наборе данных ......................................................................104

16 Ошибка алгоритма распознавания по лицу с использованием различных алгоритмов обновления шаблона ............................105