Методы и алгоритмы штрихового кодирования для задач лицевой биометрии тема диссертации и автореферата по ВАК РФ 05.13.17, кандидат наук Казиева Назым

• Казиева Назым
• кандидат наук
• 2020

Оглавление диссертации кандидат наук Казиева Назым

РЕФЕРАТ

SYNOPSIS

ВВЕДЕНИЕ

ГЛАВА 1. АНАЛИЗ ПРЕДМЕТНОЙ ОБЛАСТИ, ПОСТАНОВКА ЦЕЛИ И ЗАДАЧ ИССЛЕДОВАНИЙ

1.1. Штриховое кодирование и биометрия в современной жизни людей

1.2. Обзор решений штрихового кодирования в биометрии

1.3. Развитие идей штрихового кодирования в приложении к биометрии

1.4. Изображение лица: основная информация, ее виды и дополнения

1.5. Выводы по главе и постановка задач исследований

ГЛАВА 2. ТЕХНОЛОГИЯ ШТРИХОВОГО КОДИРОВАНИЯ ДЛЯ ЗАДАЧ ЛИЦЕВОЙ БИОМЕТРИИ

2.1. Алгоритмы формирования цветных BIO QR-кодов для задач лицевой биометрии

2.2. Технология штрихового кодирования для задач лицевой биометрии

2.3. Применение BIO QR-кодов в прикладных сценариях

2.4. Выводы по Главе

ГЛАВА 3. ВСТРАИВАНИЕ БИОМЕТРИЧЕСКОЙ ИНФОРМАЦИИ В ЦВЕТНЫЕ ИЗОБРАЖЕНИЯ ЛИЦ И ЦВЕТНЫЕ BIO QR-КОДЫ

3.1. Алгоритм доступа к бинарным слоям цветных изображений

3.2. Алгоритм встраивания QR-кодов в цветные изображения лиц и цветные BIO QR-коды

3.3. Алгоритм встраивания биометрической информации в цветное изображение лица и в цветной BIO QR-код (в детальном представлении)

3.4. Выводы по главе

ГЛАВА 4. ЭКСПЕРИМЕНТАЛЬНЫЕ ИССЛЕДОВАНИЯ

4.1. Исследовательский комплекс программ

4.2. Программа онлайн-генерации QR-кода c координатами антропометрических

точек изображения лица

4.3. Программы распознавания изображение лица по характеристикам лицевой биометрии, хранимыми в QR-кодах

4.4. Распознавания лиц футбольных фанатов

4.5 Выводы по главе

ЗАКЛЮЧЕНИЕ

СПИСОК СОКРАЩЕНИЙ И УСЛОВНЫХ ОБОЗНАЧЕНИЙ

СПИСОК ЛИТЕРАТУРЫ

СПИСОК РИСУНКОВ

СПИСОК ТАБЛИЦ

Приложения А

Приложения Б

РЕФЕРАТ

Введение диссертации (часть автореферата) на тему «Методы и алгоритмы штрихового кодирования для задач лицевой биометрии»

Общая характеристика работы

Актуальность темы диссертации. Технологии штрихового кодирования в логистических потоках товаров, почтовых отправлений и контейнерных грузов, широко и бесповоротно вошли в повседневную жизнь человека. Кроме материальных потоков штриховое кодирование используется также в финансовых потоках, потоке документооборота, потоках сферы услуг.

Однако наибольшее впечатление среди новых логистических потоков создают "потоки пассажиров" в аэропортах и вокзалах. В общем случае, технология штрихового кодирования используется здесь для регистрации и идентификации пассажиров, удостоверения их личности (проверки их аутентичности).

Необходимо обратить внимание на потоки мигрантов, возникшие в новейшей истории Европы и России. Среди мигрантов встречаются наемники и террористы, разыскиваемые правоохранительными органами России и Интерпола. На фоне непрерывных потоков миграции, возникает повышенный интерес к биометрическим технологиям распознавания людей и совмещенными с ними технологиям штрихового кодирования. При этом, биометрические технологии реализуют регистрацию и проверку аутентичности мигрантов при трансграничном контроле. Технологии штрихового кодирования обеспечат автоматизацию биометрических процессов, унификацию и каталогизацию документов - удостоверений личности, быструю проверку их аутентичности и безошибочный обмен данными о мигрантах по универсальным стандартам и международным каналам и т.д.

Среди биометрических технологий особенно привлекательны технологии, основанные на распознавания изображений лиц. Решением здесь могло бы быть "онлайн" формирование штрих-кода по лицу человека. В этом случае идентификацию людей можно производить "в потоке" и "на расстоянии". В

декабре 2017 года Государственная Дума Российской Федерации (РФ) приняла законопроект1, который направлен на создание механизма удаленной идентификации клиентов банков — физических лиц с использованием их биометрических данных (изображение лица, голос). В рамках реализации нацпроектов РФ, эта идентификация коснется и всех людей. В конце 2019 года «Ростелеком» вместе со Сбербанком провели первую покупку с использованием процедуры лицевой биометрии.

С учетом изложенного, применение и развитие штрихового кодирования в лицевой биометрии и связанных с ней задачах, становится актуальной проблемой, требующей безотлагательных решений.

Степень разработанности темы. В настоящее время штриховые коды используются в сопроводительных и регистрационных документах потоков пассажиров и туристов, пациентов медицинских учреждений, клиентов банков и пользователей личных кабинетов в клиентских сервисах, в реестре уникальных идентификаторов ученых (ORCID), в бейджах с кодами для "поиска дороги домой" и даже в чеках покупки товаров и продуктов. Эти примеры связаны с мобильностью людей, их профессиональной деятельностью и текущим делами, а косвенно - с идентификацией людей в их повседневной жизни.

Первое применение штрих-кода для идентификации человека в момент выполнения им электронной транзакции было представлено в 1999 году в патенте 5878155. Используемый для этого линейный штрих-код был нанесен на руку человека, но по факту, являясь татуировкой, не был идентификатором конкретного человека, и не являлся его "биометрической характеристикой".

Обзор решений, по применению штрих-кодов в модальностях биометрии показывает, что за прошедшие 20 лет в лицевой биометрии штриховое кодирование не используется. Причина этого состоит в том, что в рамках существующих символик штриховых кодов нельзя передать требуемый объем "графической информации о цветном изображение лица", поскольку в биометрии

1 иКЬ: https://ria.ru/20171220/1511317763.html

стандартным является размер изображения лица в 320 на 240 пикселей, или 320x240 24-битных слов.

При этом штрих-коды стремительно развиваются. Простые линейные штрих-коды вначале трансформировались в композитные (составленные из нескольких линейных), потом в 2D штрих-коды (читаемые в любых направлениях), а в настоящее время появились цветные трехслойные и многослойные 2D штрих-коды.

Анализ характеристик 2D штрих-кодов, показывает, что особый интерес вызывают QR-коды (Quick Response). Они обеспечивают наивысшую емкость записи информации из символов ASCII и кириллицы и позволяют восстанавливать до 30% утраченной информации. QR-коды характеризуются простотой их генерации по сообщениям, а также простым способом считывания этих сообщений через различные мобильные устройства. Цветные QR-коды, состоящие из трех QR-кодов, имеют емкость для записи информации в три раза выше, чем один QR-код. Кроме того, использование QR-кодов не облагается никакими лицензионными отчислениями, а сами QR-коды описаны и опубликованы в качестве стандартов ISO.

Не смотря на эти уникальные характеристики, предложений по развитию на основе QR-кодов технологий штрихового кодирования для биометрии нет. Отдаленным примером таких технологий является платформа "The Barcode of Life Data System", хранящая базу ДНК видов живых организмов и растительного мира, а также инструменты анализа экспериментальных данных и проверку бар-кодов ДНК. Тестовая информация о ДНК передается пользователям в QR-кодах и широко используется в биологии и геномике для идентификации видов.

Нерешенными в рамках QR-кодов оказались следующие вопросы: как и какую биометрическую информацию о изображение лица необходимо собирать и в каком объеме; как кодировать эту информацию и как записывать ее в QR-код, в какой форме передавать и считывать; в каких форматах записывать в память QR-код с вложенной в него информацией и как извлечь всю эту информацию, а также как передавать, защищать и применять QR-коды в биометрии и ее приложениях.

Главный вопрос: как сохранить в рамках QR-кодов (стандартных или цветных) необходимый объем графической информации о изображение лица с тем, чтобы можно было его передать по каналам связи и полностью восстановить цветное изображение лица на приемном конце с возможностью его дальнейшего использования.

При этом полный комплект лицевой информации - переданное цветное изображение лица и вся биометрическая и документальная информация о нем должна быть представлена в такой унифицированной форме - формате, объеме и качестве, чтобы можно было ее использовать не только в биометрии, но и в ее приложениях.

Решению этих вопросов посвящена настоящая диссертация, а предложенные в диссертации базовые решения основаны на ассоциации с «цифровыми водяными знаками», встраиваемыми в изображения-контейнеры.

Целью диссертации является развитие технологии штрихового кодирования2 на базе QR-кодов для задач лицевой биометрии, обеспечивающей повышение объемов записи в QR-кодах лицевой биометрической информации, передачу ее без потерь в обменных операциях с памятью и защиту от прямого доступа к ней.

Для достижения поставленной цели были решены следующие задачи:

1. Уточнение состава и объема информации, используемой в лицевой биометрии.

2. Разработка методов представления лицевой биометрической и документальной информации в рамках бинарных QR-кодов.

3. Разработка алгоритмов формирования базовых вариантов цветных биометрических QR-кодов (цветных BIO QR-кодов), оценка их характеристик и возможностей использования в практике.

2 Развития технологии штрихового кодирования соответствуют формуле специальности 05.13.17 о создании научных основ современных информационных технологий на базе использования средств вычислительной техники, а QR-коды относятся к штриховому кодированию в соответствии с гостами по информационным технологиям: Р18004-2015, Р 15426-2-2016, Р16480-2017, Р 56042-2014.

4. Разработка анимационных биометрических QR-кодов, оценка возможности их программной реализации и применения в мобильных устройствах.

5. Описание и представление графических и информационных моделей для всех типов QR-кодов, созданных в рамках технологии штрихового кодирования в лицевой биометрии.

6. Разработка алгоритмов встраивания QR-кодов в цветные графические объекты-контейнеры: цветные изображения лиц и цветные BIO QR-коды.

7. Разработка комплекса программных средств для целей апробации методов получения, записи, хранения, обработки, передачи и использования лицевой биометрической информации, в рамках технологии штрихового кодирования в на базе QR-кодов.

Объектами исследования является цветные графические объекты - цветные изображения лиц и цветные BIO QR-коды, предназначенные для хранения, передачи и защиты лицевой биометрической и документальной информации.

Предметами исследования являются методы и алгоритмы получения лицевой биометрической и документальной информации, записи ее и хранения в бинарных QR-кодах, а также методы встраивания бинарных QR-кодов в цветные графические объекты и методы чтения информации из них.

Научная новизна работы состоит в следующем:

1. Впервые решен вопрос совместного представления в QR-кодах лицевой биометрической информации, включающей: цветное изображение лица, биометрическую и документальную информации о лице. Это решение стало ключевым в создании технологии штрихового кодирования для задач лицевой биометрии.

2. Представлен метод вычисления лицевых биометрических характеристик на основе ключевых точек лица и привязанных к ним фенотипа и карты глубин лица, что позволяет свести к минимуму объем лицевых биометрических данных.

3. Созданы два новых графических объекта-контейнера: цветное изображение лица и цветной биометрический QR-код, в том числе с анимацией, с

встроенными в них рЯ-кодами. Для этих контейнеров разработаны информационная и графическая модели, что позволяет легко конструировать другие объекты-контейнеры по моделям, однозначно их интерпретировать, автоматически генерировать по этим моделям и выполнять их объективное сравнение между собой.

4. Предложен матричный алгоритм вычисления цветных ЬББ-срезов цветных объектов-контейнеров и алгоритм встраивания в них цветных рЯ-кодов.

Новизна решений подтверждена двумя патентами на изобретения, зарегистрированными под № Яи 2713762 и № Яи 2714741.

Положения, выносимые на защиту.

1. Технология штрихового кодирования для задач лицевой биометрии, включающая методы и алгоритмы обработки лицевой информации, методы ее записи, хранения и передачи в рамках рЯ-кодов, что обеспечивает защиту лицевой информации от прямого доступа к ней, обмен лицевой информацией по универсальным стандартам и международным каналам, и создает условия использования этой технологии в приложениях лицевой биометрии.

2. Компактный набор из трех биометрических характеристик, обладающий свойством инвариантности к повороту изображение лица на плоскости, изменению размера и укрытию лица масками или гримом и цветной раскраской.

3. Метод и алгоритмы формирования цветных графических объектов-контейнеров, содержащих графическую, биометрическую и документальную информацию о лице, а также способ их описания в форме графических и информационных моделей, представляющих структуру объектов-контейнеров, их компоненты и размеры.

4. Алгоритмы встраивания бинарных и цветных рЯ-кодов в цветные изображения лиц и цветные биометрические РЯ-коды.

Методология исследования базируются на методах лицевой биометрии, методах цифровой обработки изображений и распознавания образов, а также математического аппарата матричной алгебры. Экспериментальные исследования

выполнены в среде пакета "MATLAB" и языка программирования "Python" с поддержкой библиотек OPENCV и DLIB.

Обоснованность и достоверность полученных результатов обеспечивается строгостью выполненных экспериментов и наложенных ограничений на использование QR-кодов (в соответствии со стандартом ISO), способах формирования по ним цветных графических объектов, а также поддерживается результатами комплексных исследований с использованием компьютерного моделирования.

Теоретическая значимость работы заключается в развитии технологии штрихового кодирования на базе QR-кодов для задач лицевой биометрии, включающей совокупность средств и методов автоматизированного получения и обработки лицевой биометрической информации, ее записи, хранения и передачи в рамках QR-кодов.

Практическая значимость результатов исследования. Полученные результаты - информационные модели графических объектов и сами эти объекты, методы их создания и алгоритмы обработки биометрической информации, программные системы, методы отображения цветных графических объектов графическими моделями, сценарии применения технологии штрихового кодирования на базе QR-кодов - могут быть широко использованы для решения практических задач лицевой биометрии и ее приложений, а именно: в системах контроля доступа, системах видеонаблюдения, криминалистике, интерактивных системах человек-компьютер, в медицине и биологии.

Внедрение результатов работы

Результаты диссертационной работы использовались при проведении прикладных научных исследований:

- НИР «Методы, модели и технологии искусственного интеллекта в биоинформатике, социальных медиа, киберфизических, биометрических и речевых системах» (проект 5-100) № 718574

- НИР «Создание гибридной системы диалогового взаимодействия на естественном языке, способной к самообучению, самостоятельному принятию

решений и прогнозированию, на основе обработки больших данных, глубоких нейронных сетей и искусственного интеллекта» соглашение № 14.575.21.0178 от 26.11.2018, № 380281.

Апробация результатов работы. Результаты диссертации обсуждались на внутривузовских, всероссийских и международных конференциях: XLVI, XLVII, XLVIII, XLIX научной и учебно-методической конференции Университета ИТМО (Санкт-Петербург, 2017-2020); VI, VII, VIII и IX всероссийском конгрессе молодых учёных (Санкт-Петербург, 2017-2020); XXI Международная конференция по мягким вычислениям и измерениям (SCM'2018) (Санкт-Петербург, 2018); International Conference on Computer Vision and Graphics (ICCVG) (Варшава, Польша, 2018).

Личный вклад автора диссертации. Автором лично выполнен обзор и анализ существующих решений и примеров использования штрихового кодирования в лицевой биометрии, при котором были выявлены и исследованы проблемы и недостатки этих решений. На основе этого предложены новые типы цветных QR-кодов для задач лицевой биометрии и, в том числе, цветные биометрические QR-коды. Автор также разработала и реализовала алгоритмы встраивания бинарных QR-кодов (с вложенной в них лицевой биометрической информацией) в цветные изображения и цветные биометрические QR-коды. Автор диссертации создала необходимые программные модули в среде пакета "MATLAB" и самостоятельно выполняла экспериментальные исследования. Все перечисленные выше результаты вошли в технологию штрихового кодирования для лицевой биометрии, в разработке которой автор принимала активное участие. Автор лично представляла все опубликованные материалы на конференциях.

Публикации. Результаты по теме диссертации изложены в 14 публикациях. Из них четыре статьи представлены в изданиях «Научно-технический вестник информационных технологий, механики и оптики» Университета ИТМО, рекомендованных ВАК. Две статьи опубликованы в изданиях, индексируемых в базе цитирования Scopus. Также получены 2 патента на изобретение и 4 свидетельства о государственной регистрации программ для ЭВМ.

Содержание работы

Во введении обосновывается актуальность темы диссертационной работы и формулируется научная проблема, определяются объект, предмет, методы, цель и задачи исследования, положения, выносимые на защиту, научная новизна и практическая значимость результатов исследования, приводятся другие сведения о работе.

В первой главе "Анализ предметной области, постановка цели и задач исследований" рассмотрена проблема использования технологий штрихового кодирования в биометрии. Выполнен обзор и анализ достижений по проблеме и оценены недостатки существующих решений. Отмечается, что в лицевой биометрии штриховое кодирование практически не используются и, как показывает обзор, за прошедшие 20 лет предложенные решения не применимы на практике.

Дальнейший обзор показал, что перспективными для задач лицевой биометрии могут оказаться цветные QR-коды. Также нерешенными в рамках QR-кодов оказались следующие вопросы: как и какую биометрическую информацию об изображение лица необходимо собирать и в каком объеме; как кодировать эту информацию и как записывать ее в QR-код, в какой форме передавать и считывать; в каких форматах записывать в память QR-код с вложенной в него информацией и как извлечь всю эту информацию, как передавать, защищать и применять QR-коды в биометрии и ее приложениях.

Главный вопрос: как сохранить в рамках QR-кодов (стандартных или цветных) необходимый объем "физической графической информации об изображение лица" с тем, чтобы можно было его передать по каналам связи и полностью восстановить цветное изображение лица на приемном конце с возможностью его дальнейшего использования.

В заключение отмечается, что новые решения нужно искать в рамках цветных штриховых QR-кодов, рассматриваемых как новые графические объекты, дополненные возможностью содержать как графическую информацию -

изображения лиц, так и разнообразную биометрическую информацию. Этот вывод вытекает из того факта, что существующие цветные QR-коды не приспособлены к записи и хранению в них графической информации, которая по структуре (байтовые компоненты "R", "G" и "B") и объемам 320x240x3, соответствует стандартам биометрии. С другой стороны, цветные изображения лиц содержат графическую информацию, но буквенно-цифровую информацию могут содержать только в виде встроенных в них цифровых водяных знаков, представляющих бинарные изображения и/или идентификационные номера.

С учетом изложенного, необходимо исследовать возможность создания новых видов электронных графических объектов (на базе цветных изображений лиц и цветных QR-кодов) для совместного представления изображений лиц и связанной с ними лицевой биометрической и документальной информацией.

В заключении определена постановка цели диссертации и задач исследований.

Вторая глава "Технология штрихового кодирования для задач лицевой биометрии" состоит из трех разделов:

2.1. Алгоритмы формирования цветных BIO QR-кодов.

2.2. Технология штрихового кодирования для задач лицевой биометрии.

2.3. Применение BIO QR-кодов в прикладных сценариях.

В разделе 2.1 рассматриваются новые цветные графические объекты -

цветные BIO QR-коды, способы их формирования и модификации. Формирование цветного BIO QR-кода реализуется на основе двух видов объектов - полутоновых QR-кодов и полутоновых изображений лиц (Photo). Три выбранных объекта из них размещаются на местах компонент «R», «G» и «B» формируемого цветного BIO QR-кода. При этом документальную (INFO) информацию об изображение лица содержит QR-код, замещающий компоненту «G».

В этом случае получаем BIO QR-код типа "PIP" - Photo/INFO/Photo, который является "пустым контейнером" - BIO QR-код "EMPTY". QR-коды "ANTRO" и "PHENO" встраиваются в BIO QR-код "EMPTY" на следующих этапах. Получаем при этом цветные BIO QR-коды "FULL".

Блок-схема алгоритма формирования, реализующего эти идеи, показана на

рисунке 1.

Рисунок 1 - Блок-схема алгоритма формирования цветных BIO QR-кодов

На вход 1 поступает цветное изображение лица. На вход 2 поступает документальная информация об изображение лица. На выходе получаем цветной BIO QR-код типа "PIP". Назначение блоков 1-5 соответствуют их названию. Пунктиром показан канал передачи QR-кодов "ANTRO" и "PHENO" для реализации их встраивания в BIO QR-код. Модификация BIO QR-код в другие типы BIO QR-кодов приведена на рисунке 2. Здесь показаны графические модели, которым соответствуют следующие информационные модели: "PIP"-{Photo/INFO/Photo}, "PIS"-{Photo/INFO/Sketeh}, "PIT"- {Photo/INFO/Tattoo}.

В главе представлены и другие типы цветных BIO QR-кодов с различной гаммой цветов, зависящей от входящих в них компонент и порядка их следования в информационной модели. Также в главе представлены оценки затрат на сохранение цветных BIO QR-кодов и других предложенных в диссертации графических объектов в форматах JPG и PNG. Показано, что запись QR-кода в формате PNG занимает меньше места в памяти, чем запись в формате JPG. Показано также, что при записи любых типов QR-кодов в формате JPG

происходит "разрушение острых граней" на границах перехода от значений "1" к значениям "0". Это разрушение напоминает "оплавление восковой свечи": шум разрушений становится заметным на всех областях рЯ-кодов.

Рисунок 2 - Графические модели разных типов цветных BIO QR-кодов

В разделе 2.2 представлена технология штрихового кодирования в лицевой биометрии, под которой будем понимать совокупность средств и методов автоматизированного получения, записи, хранения, обработки, передачи и использования лицевой биометрической информации, закодированной с помощью штриховых кодов.

В рамках технологии штрихового кодирования в лицевой биометрии в диссертации рассматриваются исходные цветные изображения лиц (как главный объект лицевой биометрии) и типы QR-кодов. Базовые типы QR-кодов представлены ниже:

1. Бинарный QR-код - как результат его генерации по сообщению.

2. Байтовый QR-код, который получается преобразованием бинарного QR-кода в байтовый формат. Другой способ его получения связан со считыванием

QR-кода из памяти компьютера, поскольку запись сгенерированного QR-кода в память осуществляется в байтовом формате.

3. Цветной QR-код, представленный тремя компонентами "R", "G" и "B", где каждая компонента представлена отдельным QR-кодом.

4. Цветной BIO QR-код, получаемый путем размещения в исходном изображение лица вместо его компоненты "G" байтового QR-кода с вложенной в него документальной информацией. В этом случае получается цветной BIO QR-код "EMPTY", который рассматривается как пустой контейнер.

5. Цветной BIO QR-код "FULL", представляет собой цветной BIO QR-код "EMPTY", в который встроены один, два или три QR-кода, содержащих вложенную в них документальную и биометрическую информацию.

6. Бинарный MICRO QR-код, создаваемый для представления индекса (поиска) исходного изображения лица и цветных BIO QR-кодов (EMPTY и FULL).

Рисунок 3 представляет 4 типа (1, 3, 4, 6) QR-кодов.

Бинарный QR-код Цветной QR-код Цветной BIO QR-код Цветной BIO QR-код

177 177 177 177 3 177 177 3 177 177 3

Рисунке 3 - Типы QR-кодов

Далее рассматриваются графические и информационные модели цветных BIO QR-кодов, которые частично были представлены выше. Информационные модели цветных BIO QR-кодов "FULL" строятся по следующей (сематической) модели:

PIP(FULL) ^ {Photo(QR1)/INFO(QR2)/Photo(QR3)}, где: QR1, QR2 и QR3 - QR-коды встроенные в соответствующие компоненты.

Для биометрических характеристик, рассмотренных выше, конкретная информационная модель принимает, например, следующий вид:

PIP(FULL)^(Photo(QR ANTRO)/INFO(QR INFOLAB)/Photo(QR PHENO)}.

Такая модель может быть дополнена спецификацией, представляющей, например, размер QR-кодов, структуру вложенных в них сообщений, способ кодирования.

Последним предложенным типом цветных BIO QR-кодов являются анимационные цветные BIO QR-коды, представляющие композицию цветного BIO QR-кода "EMPTY" и графических объектов из набора: цветное изображение лица, цветной Sketch (фоторобот), цветной QR-код и любой из простых QR-кодов. Типы (символика) анимационных цветных BIO QR-кодов со структурой PIP, PIS и PIT и соответствующими графическими моделями показаны на рисунке 2, если учесть, что все объекты, входящие в модель, являются цветными изображениями.

При этом, всю информацию анимационного цветного биометрического QR-кода можно видеть и/или прочитать в процессе его анимации, а входящие в него объекты могут быть выделены, напечатаны, отображены на мониторе и представлены как отдельные изображения в электронной форме (что, возможно, потребует сохранения карты цвета).

Далее рассматриваются сценарии "онлайн и офлайн" генерации бинарных QR-кодов с документальными данными и биометрической информацией. Пример сценария "онлайн" формирования QR-кода (см. рисунок 4) с антропометрическими точками изображения лица реализуются следующие задачи: диалог с пользователем программы и созданием информации (NAME) о пользователе; онлайн детекция области лица в последовательности от 2 до 10 кадров с использованием веб камеры компьютера; определение координат антропометрических точек лица в каждом кадре; усреднение координат антропометрических точек лица по нескольким кадрам; создание сообщения, включающего усреднённые координаты антропометрических точек и информацию NAME; запись сообщения в QR-код стандартного типа; запись QR-кода в памяти компьютера; контрольное чтение QR-кода из памяти компьютера

и декодирование сообщения из него; отображение записанного и считанного сообщения и их сравнение.

Далее в главе 2 представлены детали "онлайн и офлайн" сценариев генерации цветных BIO QR-кодов "EMPTY" и "FULL", а также все этапы обработки исходных данных и процессы создания цветных BIO QR-кодов. Полные алгоритмы реализации этих сценариев и процессов представлены в главе 3.

QRcode

Input Image Face and 68 fiducial # APD/Nazy m Kaziyeva

Рисунке 4 - Онлайн формирование QR-кода с АТП изображения лица

В разделе 2.3 рассмотрены вопросы применения технологии штрихового кодирования для задач лицевой биометрии в прикладных сценариях: создание новых баз задач лицевой биометрии и ее приложений; регистрация людей при проходе через пограничный пункт; цифровой лицевой портрет человека и "Интернет вещей". Приведены также отдельные примеры и области применения разработанных BIO QR-кодов. Заканчивается глава выводами из шести пунктов, а также следующим заключением:

Список литературы диссертационного исследования кандидат наук Казиева Назым, 2020 год

Литература

1. Кухарев Г.А. Поиск изображений лиц в больших базах данных // Мир измерений. 2009. № 4(98). С. 22-30.

2. Портякова Н., Коцур В. Судьба общей биометрической базы ЕС решится к маю [Электронный ресурс]. Режим доступа: https://iz.ru/news/671446, свободный. Яз. рус. (дата обращения 22.03.2017).

3. Heeter T.W. Method for verifying human identity during electronic sale transactions. Patent US5878155. Filling date: 05.09.96. Publication date: 02.03.99.

4. Soldek J. et al. Image analysis and pattern recognition in biometric technologies // Proc. Int. Conf. on the Biometrics: Fraud Prevention, Enhanced Service. Las Vegas, USA, 1997. P. 270-286.

References

1. Kukharev G.A. Search of faces images in large databases. Mir Izmerenii, 2009, no. 4, pp. 22-30. (In Russian)

2. Portyakova N., Kotsur V. The fate of the EU's common biometric base will be decided by May. Available at: https://iz.ru/news/671446 (accessed 22.03.2017).

3. Heeter T.W. Method for verifying human identity during electronic sale transactions. Patent US5878155, 1999.

4. Soldek J. et al. Image analysis and pattern recognition in biometric technologies. Proc. Int. Conf. on the Biometrics: Fraud Prevention, Enhanced Service. Las Vegas, USA, 1997, pp. 270-286.

5. Jung E., Kim J., Woo S., Kim S. Simplification of face image using feature points. Proc. 5th Int. Conf. on Soft Computing

5. Jung E., Kim J., Woo S., Kim S. Simplification of face image using feature points // Proc. 5th Int. Conf. on Soft Computing and Intelligent Systems (SCIS&ISIS). Okayama, Japan, 2010. P. 1071-1073.

6. Grillo A., Lentini A., Querini M., Italiano G.F. High capacity colored two dimensional codes // Proc. Int. Multiconference on Computer Science and Information Technology (IMCSIT 2010). 2010. P. 709-716.

7. Querini M., Grillo A., Lentini A., Italiano G.F. 2D color barcodes for mobile phones // International Journal of Computer Science and Applications. 2011. V. 8. N 1. P. 136-155.

8. Querini M., Italiano G.F. Facial biometrics for 2D barcodes // Proc. of the Federated Conference on Computer Science and Information Systems (FedCSIS 2012). Wroclaw, Poland, 2012. Art. 6354334. P. 755-762.

9. Querini M., Italiano G.F. Facial recognition with 2D color barcodes // International Journal of Computer Science and Application. 2013. V. 10. N 1. P. 78-97.

10. Кухарев Г.А., Матвеев Ю.Н., Щеголева Н.Л. Формирование штрих-кода по изображениям лиц на основе градиентов яркости // Научно-технический вестник информационных технологий механики и оптики. 2014. № 3(91). С. 88-95.

11. Кухарев Г.А., Матвеев Ю.Н., Щеголева Н.Л. Экспресс-метод формирования штрих-кода по изображениям лиц // Научно-технический вестник информационных технологий механики и оптики. 2014. № 2(90). С. 99-106.

12. Wilkinson C. Facial reconstruction - anatomical art or artistic anatomy? // Journal of Anatomy. 2010. V. 216. N 2. P. 235-250. doi: 10.1111/j.1469-7580.2009.01182.x

13. Шнеер В.С. ДНК-штрихкодирование видов животных и растений - способ их молекулярной идентификации и изучения биоразнообразия // Журнал общей биологии. 2009. Т. 9. № 4. С. 296-315.

14. Гарафутдинов Р.Р., Чебукова О.В., Сахабутдинова А.Р., Вахитов В.А., Черемис А.В. Генетическое штрихкодирование как подход к идентификации личности на примере популяции русских Республики Башкортостан // Вестник биотехнологии и физико-химической биологии им. Ю.А. Овчинникова . 2012. Т. 8. № 3. С. 19-25.

15. Kazemi V., Sullivan J. One millisecond face alignment with an ensemble of regression trees // Proc. IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Columbus, USA, 2014. P. 1867-1874.

16. CUHK Face Sketch Database (CUFS) [Электронный ресурс]. Режим доступа: http://mmlab.ie.cuhk.edu.hk/archive/facesketch.html. свободный. Яз. анг. (дата обращения 27.03.2017).

17. Кухарев Г.А., Каменская Е.И., Матвеев Ю.Н., Щеголева Н.Л. Методы обработки и распознавания изображений лиц в задачах биометрии / под ред. М.В. Хитрова. СПб.: Политехника, 2013. 388 с.

18. Востриков А.А., Сергеев А.М. Штриховое кодирование. СПб.: ГУАП, 2010. 56 с.

19. Dakin S.C., Watt R.J. Biological «bar codes» in human faces // Journal of Vision. 2009. V. 9. N 4. P. 1-10.

20. Barcode Comparison Chart [Электронный ресурс]. Режим доступа: www.makebarcode.com/specs/barcodechart.html свободный. Яз. анг. (дата обращения 25.09.2017).

21. Nesson C. Encoding multi-layered data into QR codes for increased capacity and security. South Dakota School of Mines and Technology, 2013. 22 p.

22. Duda J. Embedding grayscale halftone pictures in QR codes using correction trees // arXiv:1211.1572v3. 2012. 16 p.

23. Garateguy G.J., Arce G.R., Lau D.L., Villarreal O.P. QR images: optimized image embedding in QR codes // IEEE Transactions on Image Processing. 2014. V. 23. N 7. P. 28422853. doi: 10.1109/TIP.2014.2321501

24. Yang Z., Xu H., Deng J., Loy C.C., Lau W.C. Robust and fast decoding of high-capacity color QR codes for mobile applications // arXiv:1704.06447v1. 2017. 13 p.

25. Цымбал Д.А., Чепурной К.В. Метод распознавания размытых штрих-кодов на мобильных устройствах без автофокусировки // Всероссийская конференция «Математические методы распознавания образов» (ММРО-15). Петрозаводск, 2011. С. 1-5.

and Intelligent Systems, SCIS&ISIS. Okayama, Japan, 2010, pp. 1071-1073.

6. Grillo A., Lentini A., Querini M., Italiano G.F. High capacity colored two dimensional codes. Proc. Int. Multiconference on Computer Science and Information Technology, IMCSIT, 2010, pp. 709-716.

7. Querini M., Grillo A., Lentini A., Italiano G.F. 2D color barcodes for mobile phones. International Journal of Computer Science and Applications, 2011, vol. 8, no. 1, pp. 136-155.

8. Querini M., Italiano G.F. Facial biometrics for 2D barcodes. Proc. of the Federated Conference on Computer Science and Information Systems, FedCSIS 2012. Wroclaw, Poland, 2012, art. 6354334, pp. 755-762.

9. Querini M., Italiano G.F. Facial recognition with 2D color barcodes. International Journal of Computer Science and Application, 2013, vol. 10, no. 1, pp. 78-97.

10. Kukharev G.A., Matveev Y.N., Shchegoleva N.L. Creating of barcodes for facial images based on intensity gradients. Scientific and Technical Journal of Information Technologies, Mechanics and Optics, 2014, no. 3, pp. 88-95. (In Russian)

11. Kukharev G.A., Matveev Y.N., Shchegoleva N.L. Express method of barcode generation from facial images. Scientific and Technical Journal of Information Technologies, Mechanics and Optics, 2014, no. 2, pp. 99-106. (In Russian)

12. Wilkinson C. Facial reconstruction - anatomical art or artistic anatomy? Journal of Anatomy, 2010, vol. 216, no. 2, pp. 235-250. doi: 10.1111/j.1469-7580.2009.01182.x

13. Shneyer V.S. DNA barcoding of animal and plant species as an approach for their molecular identification and describing of diversity. Zhurnal Obshchei Biologii, 2009, vol. 9, no. 4, pp. 296-315. (In Russian)

14. Garafutdinov R.R., Chubukova O.V., Sahabutdinova A.R., Vakhitov V.A., Chemeris A.V. Genetic barcoding approach as to the identification of the person on the example of Russians of the Republic of Bashkortostan. Yu.A. Ovchinnikov Bulletin of Biotechnology and Physical and Chemical Biology, 2012, vol. 8, no. 3, pp. 19-25. (In Russian)

15. Kazemi V., Sullivan J. One millisecond face alignment with an ensemble of regression trees. Proc. IEEE Conference on Computer Vision and Pattern Recognition, CVPR. Columbus, USA, 2014, pp. 1867-1874.

16. CUHK Face Sketch Database. Available at: http://mmlab.ie.cuhk.edu.hk/facesketch.html (accessed 27.03.2017).

17. Kukharev G.A., Kamenskaya E.I., Matveev Y.N., Shchegoleva N.L. Methods for Face Image Processing and Recognition in Biometric Applications. Ed. M.V. Khitrov. St. Petersburg, Politekhnika Publ., 2013, 388 p. (In Russian)

18. Vostrikov A.A., Sergeev A.M. Bar Coding. St. Petersburg, SUAI Publ., 2010, 56 p. (In Russian)

19. Dakin S.C., Watt R.J. Biological "bar codes" in human faces. Journal of Vision, 2009, vol. 9, no. 4, pp. 1-10.

20. Barcode Comparison Chart. Available at: www.makebarcode.com/specs/barcodechart.html (accessed 25.09.2017).

21. Nesson C. Encoding multi-layered data into QR codes for increased capacity and security. South Dakota School of Mines and Technology, 2013, 22 p.

22. Duda J. Embedding grayscale halftone pictures in QR codes using correction trees. arXiv:1211.1572v3, 2012, 16 p.

23. Garateguy G.J., Arce G.R., Lau D.L., Villarreal O.P. QR images: optimized image embedding in QR codes. IEEE Transactions on Image Processing, 2014, vol. 23, no. 7, pp. 2842-2853. doi: 10.1109/TIP.2014.2321501

24. Yang Z., Xu H., Deng J., Loy C.C., Lau W.C. Robust and fast decoding of high-capacity color QR codes for mobile applications. arXiv:1704.06447v1, 2017, 13 p.

25. Tsymbal D.A., Chepurnoi K.V. Method of recognizing blurred barcodes on mobile devices without autofocusing. All-Russian Conf. on Mathematical Methods of Pattern Recognition. Petrozavodsk, Russia, 2011, 5 p. (In Russian)

Авторы

Кухарев Георгий Александрович - доктор технических наук, профессор; профессор, Западно-поморский Технологический университет в Щецине, Щецин, 320588161, Польша; профессор, Санкт-Петербургский государственный электротехнический университет (ЛЭТИ), Санкт-Петербург, 197376, Российская Федерация, Scopus ID: 18037842200, [e-mail] Казиева Назым - инженер, аспирант, Университет ИТМО, Санкт-Петербург, 197101, Российская Федерация, ORCID ID: 0000-0002-7559-1795, [e-mail]

Цымбал Дмитрий Александрович - кандидат технических наук, генеральный директор, Антарес Софтвер, Великий Новгород, 173015, Российская Федерация,

[e-mail]

Authors

Georgy A. Kukharev - D.Sc., Full Professor, West Pomeranian University of Technology, Szczecin, 320588161, Poland; Professor, Saint Petersburg State Electrotechnical University "LETI", Saint Petersburg, 197376, Russian Federation, Scopus ID: 18037842200, [e-mail]

Nazym Kaziyeva - engineer, postgraduate, ITMO University, Saint Petersburg, 197101, Russian Federation, ORCID ID: 00000002-7559-1795, [e-mail]

Dmitry A. Tsymbal - PhD, CEO, Antares Software, Veliky Novgorod, 173015, Russian Federation, Dmitry. [e-mail]

НАУЧНО-ТЕХНИЧЕСКИИ ВЕСТНИК ИНФОРМАЦИОННЫХ ТЕХНОЛОГИИ, МЕХАНИКИ И ОПТИКИ март-апрель 2019 Том 19 № 2 ISSN 2226-1494 http://ntv.ifmo.ru/

SCIENTIFIC AND TECHNICAL JOURNAL OF INFORMATION TECHNOLOGIES, MECHANICS AND OPTICS

March-April 2019

Vol. 19 No 2 ISSN 2226-1494

http://ntv.ifmo.ru/en

УДК 612.087.1

ПРИМЕНЕНИЕ ЦИФРОВОЙ ЛИЦЕВОЙ АНТРОПОМЕТРИИ

(Обзорная статья) Г.А. Кухарев", Н. Казиеваb

a Санкт-Петербургский государственный электротехнический университет (ЛЭТИ), Санкт-Петербург, 197376, Российская Федерация b Университет ИТМО, Санкт-Петербург, 197101, Российская Федерация Адрес для переписки: [e-mail] Информация о статье

Поступила в редакцию 17.01.19, принята к печати 25.02.19 doi: 10.17586/2226-1494-2019-19-2-255-270 Язык статьи - русский

Ссылка для цитирования: Кухарев Г.А., Казиева Н. Применение цифровой лицевой антропометрии // Научно-технический вестник информационных технологий, механики и оптики. 2019. Т. 19. № 2. С. 255-270. doi: 10.17586/2226-1494-2019-19-2-255-270

Аннотация

Представлен аналитический обзор применения методов цифровой лицевой антропометрии в научных и практических задачах. Исследование включает краткую историю появления антропометрии (как описательной и сравнительной науки, предметом исследования которой является человек) и ее трансформацию в современные компьютерные методы. Рассмотрены особенности применения цифровой лицевой антропометрии. Рассмотрены: понятия морфотипа и фенотипа лица; задачи морфологии и морфометрии как базовых средств цифровой лицевой антропометрии; методы количественной и качественной оценки характеристик и параметров лиц; задачи поиска ассоциаций между наборами генов в геноме и чертами лица человека; задачи оценки привлекательности лиц; связь лицевой антропометрии с «лицами Чернова» и когнитивной компьютерной графикой, используемой в практической медицине; проблема определения эмоций, пола и психотипа человека; особые случаи задач распознавания изображений лиц, способы их решения в рамках цифровой лицевой антропометрии и примеры их решения. Определен прогноз тесной связи цифровой лицевой антропометрии и интернета вещей в современном мире. Ключевые слова

цифровая лицевая антропометрия, оценка характеристик и параметров лица человека, привлекательность и красота лица, поиск ассоциаций с геномами (GWA), «лица Чернова», когнитивная компьютерная графика, распознавание изображений лиц, интернет вещей

APPLICATION OF DIGITAL FACIAL ANTHROPOMETRY

(Review paper) G.A. Kukharev", N. Kaziyevab

aSt. Petersburg State Electrotechnical University "LETI", Saint Petersburg, 197376, Russian Federation bITMO University, Saint Petersburg, 197101, Russian Federation Corresponding author: [e-mail] Article info

Received 17.01.19, accepted 25.02.19 doi: 10.17586/2226-1494-2019-19-2-255-270 Article in Russian

For citation: Kukharev G.A., Kaziyeva N. Application of digital facial anthropometry. Scientific and Technical Journal of Information Technologies, Mechanics and Optics, 2019, vol. 19, no. 2, pp. 255-270 (in Russian). doi: 10.17586/2226-1494-2019-19-2-255-270

Abstract

An analytical review of the digital facial anthropometry application in the scientific and practical problems of the contemporary human world is presented. The research includes a brief history of anthropometry emergence (as a descriptive and comparative science, the subject of which is human) and its transformation into contemporary computer methods of digital anthropometry. We have considered the application features of digital facial anthropometry. They are: the concepts of the morphotype and phenotype of the face, problems of morphology and morphometry, as the basic means of digital facial anthropometry, methods of quantitative and qualitative assessment of the characteristics and parameters of individuals, the task of finding associations between gene sets in the genome and human facial features, the task of assessing the attractiveness and beauty of individuals, the relationship of facial anthropometry with "Chernoff Faces" and cognitive computer graphics used in practical medicine, the phenomenon of the human face and the problem of determining the emotions, sex and psycho-type of a person, special cases of face image recognition tasks, methods for solving them within the framework of digital facial anthropometry and examples of their solution. We have determined the prognosis for the close connection of digital facial anthropometry and the Internet of things in the contemporary world.

Keywords

digital facial anthropometry, evaluation of person's face characteristics and parameters, face attractiveness and beauty, search for associations with genomes (GWA), "Chernoff Faces", cognitive computer graphics, face image recognition, Internet of things

Введение

Заметным шагом в развитии физической антропологии стали революционные идеи Альфонса Бертильона (1853-1914), создавшего систему идентификации преступников по антропометрическим данным [1]. Эти идеи включали: антропометрическую регистрацию (и последующую идентификацию) преступника по размерам основных частей тела (включая длину и ширину головы, а также форму правого уха); словесный портрет преступника, включающий описание форм головы и лица; сигналетическую фотосъемку (точное фотографирование с получением трех портретов - фото в профиль и анфас, а также фото во весь рост). Идентификация преступников по их антропометрическим данным использовалась до 1914 г. Однако уже в середине ХХ века стали интенсивно развиваться методы реконструкции облика человека на краниологической основе [2]. При этом одним из основных инструментов измерений и исследований здесь является лицевая антропометрия, позволяющая получить представление об индивидуальных чертах человека и реконструировать по ним этот облик.

Уникальность лица каждого человека определяется его качественными и количественными характеристиками.

Основная часть качественных характеристик лица представляется морфотипом: общей геометрической формы лица (квадратная, круглая, овальная...); частей лица (орбитальной, носовой, губной и ушной); формы примитивов лица (бровей, глаз, носа, рта... ) и фенотипа - формы и цвета волос, цвета кожи лица, цвета глаз и губ.

Морфометрия лица позволяет описать количественные характеристики: размер лица, величину и параметры его примитивов, их расположение и размеры. На основе сравнительного анализа этих характеристик формируются (или устанавливаются) расовые, половые, возрастные и другие особенности людей. Традиционно такая оценка выполнялась прямыми физическими измерениями лица с помощью специальных инструментов [3]. Например, для измерения головы и лица, а равно и при краниометрических исследованиях использовались циркули системы Мартина1. Но уже в конце XIX века, с развитием рентгенографии, эти измерения выполнялись в рамках задач антропометрии, основанной на координатах ключевых точек, определяемых «вручную» на рентгенограмме.

В настоящее время интенсивно развиваются компьютерные методы цифровой черепно-лицевой антропометрии. Как отмечено в [4], термин «цифровая антропометрия» введен для того, чтобы отделить (или выделить) «цифровые методы» от обычных ручных измерений в антропометрии, поскольку антропометрия традиционно используется в качестве инструмента исследования. При этом методы цифровой антропометрии могут быть использованы в нескольких дисциплинах как неинвазивный инструмент для количественной оценки морфологии лиц.

Цифровая лицевая антропометрия включает: автоматическое определение координат ключевых антропометрических точек (АПТ) на изображениях лиц (ИЛ), томографических сканах головы или черепа; оценку всех базовых (габаритных) размеров лица и его частей по расположению координат АПТ; оценку координат АПТ и границ примитивов лица; вычисление соотношений между выбранными координатами АПТ; составление сводных таблиц по этим соотношениям; проведение специальных статистических (сравнительных) исследований по ним и поиск закономерностей их изменений (например, для возрастных, половых и расовых групп людей и их популяций).

При этом именно координаты АПТ на лице (или черепе) каждого человека отображают его индивидуальность, представленную на обобщенной координатной сетке АПТ, в рамках которой производятся все морфометрические измерения.

В [5] рассмотрены проблема использования технологий штрихового кодирования в лицевой биометрии, состав и объем используемых данных (в том числе и координат АПТ). В настоящей статье рассмотрены особенности применения цифровой лицевой антропометрии в научных и практических задачах.

АПТ лиц и способы их представления и получения

Первое согласованное расположение ключевых точек на области лица было принято на Международном конгрессе антропологов в 1884 г. А в 1906 г. принято соглашение об унификации краниометрических обозначений (точек на черепе), согласованных с соответствующими точками лица. В настоящее время в антропометрических исследованиях используются две системы условных обозначений - цифровая и буквенная. Цифровая основана на идеях немецкого антрополога Рудольфа Мартина - создателя

1 Каталог антропологические инструменты GPM. Лабораторное оборудование [Электронный ресурс]. Режим доступа: http://antropolog-instrument.ru/?an=catalog, свободный. Яз. рус. (дата обращения 15.12.2018).

современной методики антропологических измерений. Буквенная система обозначений основана также немецким антропологом (краниологом) Германом Велькером.

Размеры лица и черепа принято обозначать начальными буквами соответствующих немецких слов: L - Lange (длина), В - Breite (ширина), Н - Hohe (высота), СН - Gesichts Hohe (высота лица), GB -Gesichts Breite (ширина лица). Краниометрические точки на черепе и антропометрические точки лица обозначаются малыми латинскими буквами. Эти же обозначения приняты для АПТ в зарубежных публикациях по антропометрии [6-8]. В стандарте2 используются два термина - «контрольные точки лица» и «антропометрические точки лица». Эти точки записаны как в цифровой, так и в буквенной форме, а соответствия описаний этих точек между собой показаны в [7, таблица 9а]. Примеры буквенной записи антропометрических точек, приведены на рис. 1, а. Примеры цифровой записи контрольных точек в стандарте по биометрии показаны на рис. 1, б.

Рис. 1. Примеры записи антропометрических точек

Отметим, что в технической литературе по цифровой лицевой антропометрии, наряду с понятиями «ключевые» и «антропометрические» точки используются: опорные точки (fiducial points), особые (характерные, главные) точки лица и т.д.

Для научных антропометрических исследований ИЛ в режиме офлайн используются базы ИЛ с наборами опорных точек для них. Наиболее часто используемые базы: Base IMM (Face Images and Points Annotation) - Technical University of Denmark [9]; The Texas 3D Face Recognition Database [10, 11]; CUHK Face Sketch Database (CUFS) [12]; AR data set, XM2VTS data set и CUHK Face Sketch FERET Database (CUFSF) [13, 14].

Для научных и экспериментальных антропометрических исследований ИЛ в режиме онлайн используются профессиональные пакеты, включающие программы автоматического вычисления координат АПТ по заданным ИЛ (например, пакеты Luxand FaceSDK [15] и Portret Client 5.0 [16]). Однако наибольшей популярностью пользуются доступные программные средства из библиотек OpenCV и библиотеки машинного обучения Dlib. Эти библиотеки содержат программы детектирования лиц [17] и программы поиска координат3' 4 68 АПТ на лицах [18].

Задачи, решаемые в рамках цифровой лицевой антропометрии

Первый атлас измерений головы и лица в медицине опубликован в 1981 г., пересмотрен в 1994 г. и представлен в [7] как «Система черепно-лицевой антропометрии» Фаркаса. Эта система определяет исходный набор АПТ на ИЛ и 6 групп измерений, включающих антропометрику черепа, лица (Cranial, Facial) и четырех его частей: орбитальной, носовой, губной и ушной (Orbital, Nasal, Labial, Auricular). Современная лицевая морфометрия также опирается на систему антропометрии Фаркаса [10, 11].

Для задач, решаемых в рамках цифровой лицевой антропометрии, координаты АПТ {X, Y, Z} представляют первый уровень исходной информации по ИЛ. Расстояния между координатами составляют второй уровень информации по ИЛ, а отношения между расстояниями - третий.

2 ГОСТ Р ИСО/МЭК 19794-5-2006. Автоматическая идентификация. Идентификация биометрическая. Форматы обмена биометрическими данными. Часть 5. Данные изображения лица. М.: Стандартинформ, 2006. 42 с.

3 https://opencv.org/license.html

4 http://dlib.net/license.html

Например, базовые размеры головы, черепа и лица относятся ко второму уровню информации. На рис. 2 приведены пять базовых размеров головы и лица, соответствующие соглашению [19] об унификации краниометрических обозначений.

Рис. 2. Базовые размеры головы: область черепа и область лица [19]

При плоскопараллельном переносе ИЛ в поле сцены изменяется первый уровень информации, а второй и третий уровни информации полностью соответствуют друг другу.

Для одних и тех же изображений, имеющих разные линейные размеры, соответствующие расстояния будут разными, а соотношения между ними - одинаковыми. Параметром, нормирующим расстояния, в этом случае может служить отношение горизонтальных диаметров радужных оболочек глаз, и такая нормировка особенно важна в задачах лицевой и реконструктивной хирургии [20]. Если вычислить диаметр радужных оболочек глаз не представляется возможным, параметром нормировки для второго уровня может служить отношение расстояний между центрами глаз. На практике этот вариант параметра нормировки используется наиболее часто в задачах распознавания ИЛ.

Перечислим задачи, основанные на антропометрическом анализе лиц:

- изучение популяций, этнических групп, рас людей с оценкой статистических параметров по вариациям связанных координат АПТ [21-24];

- оценка параметров гендерного различия лиц в выделенных расах;

- количественная оценка изменений в лицах, предсказание и поиск закономерностей в этом изменении; оценка возраста и пола, моделирование закономерностей возрастных изменений [25-27];

- защита изображений лиц от машинного узнавания [28, 29];

- методы построения контурных (ASM), текстурных (ААМ) и 3D-моделей лиц [6, 11, 30-36];

- оценка меры привлекательности лиц [37-44];

- идентификация сигналов о болезнях по лицу, обнаружение синдромов Дауна и заячьей губы, исследование апноэ сна перед пластическими операциями [26, 45-54];

- поиск ассоциаций генов с морфологией лиц, их изменениями и параметрами;

- оценка стандартных параметров изображений лиц людей для дизайна конструкций, носимых на лице (маски, респираторы, шлемы) [55-57];

- сравнение изображений лиц между собой;

- распознавание эмоций по примитивам лица (бровей, глаз и рта), анализ эмоционального состояния, психотипа и пола человека [58, 59].

На рис. 3 показан пример АПТ, используемых для оценки привлекательности лиц мужчин [39]. Для решения этой задачи в табл. 2 приведены необходимые морфометрические параметры. Исходной предпосылкой являлось утверждение, что от маскулинности и симметрии лиц мужчины зависит привлекательность. Для проверки этого утверждения использовалось 13 метрических параметров и 11 параметров симметрии лиц. На их основе рассчитывалась параметрическая оценка, которая сравнивалась с визуальной, полученной от экспертов. В результате оказалось, что симметрия лица является определяющим фактором в привлекательности мужского лица.

Рис. 3. Антропометрические точки, по которым оценивалась привлекательность мужского лица [39]

В табл. 1 приведены унифицированные для краниометрии и лицевой биометрии обозначения ключевых точек лица.

Таблица 1. Параметры для оценки привлекательности мужского лица

Номера точек Наименование точек

1-2 Eye length

3-4 Inclination of eyes

5-6 Nostril width

7-8 Stomion-cheilion distance

9-10 Subnasal angle

11-12 Eye separation angle

13-14 Cheilion-stomion angle

15-16 Lower face area

17-18 Lower face perimeter

19-20 Pupil-medial facial distance

21-22 Pupil-subnasal height

Заметим также, что по АПТ и параметрам, приведенным на рис. 3 и в табл. 1, можно распознавать лица, поскольку они определяют индивидуальные характеристики, а также различать лица мужчин и женщин.

Морфотип, фенотип, гены и черты лица человека

Наследственные признаки проявляются в морфотипе и фенотипе человека. Фенотип формируется на базе генотипа, претерпевающего мутации под воздействием среды, в которой формируется люди. При этом межличностные изменения морфотипа лиц людей являются одним из наиболее заметных проявлений генетического регулирования.

Однако формализовать эту взаимосвязь не так просто: точно указать, какой конкретно ген влияет на конкретное изменение форм и примитивов лица, представляется достаточно сложной задачей. Поэтому связи между наборами генов в геноме и наборами изменений морфотипа лица рассматриваются путем поиска наиболее вероятных ассоциаций (GWA, Genome-wide Association) между этими явлениями. При этом изменения морфотипа лица можно фиксировать с помощью изменения координат АПТ лиц, а количественно оценивать их расстояниями между координатами АПТ. Границы, формы и размеры примитивов каждого отдельного лица описываются координатами АПТ и расстояниями между соответствующими координатами АПТ. И все эти исследования обычно выполняются на популяциях людей (расовых, этнических, региональных, возрастных...), что ускоряет поиск этих ассоциаций.

В работах [60-65] приведены наборы координат АПТ и расстояний между ними, используемые в поиске GWA. Так, в статье [60] исследуется влияние вариаций генов на нормальное изменение лица человека. Исходные данные морфотипа представлены 22 АПТ и 54 измерениями (расстояниями) между ними. Названия выбранных точек и весь набор расстояний приведен в табл. 2.

Объектом исследования была морфология лиц 15-летних подростков, для которых с помощью лазерных сканеров были построены 3D-модели их лиц. На 3Б-моделях лиц были выделены 22 АПТ с координатами {X, Y, Z} и оценены 54 расстояния между координатами АПТ в парах XY, XZ, YZ. Эти 54 расстояния для каждого лица составили набор анализируемых морфологических данных. Далее был выполнен анализ главных компонент для данных, а выбранные 14 главных компонент, описывающих 82 % изменчивости исходных данных, были затем ассоциированы с искомыми геномами. В статье показано, какие из исследуемых генов наиболее сильно связаны с координатами АПТ (или расстояниями) и, следовательно, наиболее сильно влияют на морфотип лица. И в 2012 году был выявлен ряд GWA между наборами генов и морфотипом лица, и представлены гены, влияющие на форму человеческого лица. При этом были идентифицированы пять независимых генетических локусов (местоположений

определенного гена), связанных с различными чертами лица. И далее было подтверждено предположение об участии пяти генов (PRDM16, РАХ3, ТР63, С5ой50 и COL17A1) в формировании человеческого лица. Эти исследования, опубликованы в статье [61]. А полученные результаты стали первым серьезным шагом на пути к реконструкции лица по генетическому коду человека [62].

Таблица 2. Пример выбранных АПТ и 54 вычисленных расстояний по ним [60]

Точка Наименование точки Лоб и глаза Губы и рот Нос

g Glabella 1-22 g-men 12- -15 sn-ls 2-22 n-men

n Nasion 1-2 g-n 15- -16 ls-li 12-22 sn-men

enL Left endocanthion 3-4 enL-enR 16- -21 li-pg 2-11 n-pm

enR Right endocanthion 5-6 exL-exR 15- -21 ls-pg 2-12 n-sn

exL Left exocanthion 7-8 psL-psR 15- -17 ls-cphL 2-13 n-alL

exR Right exocanthion 9-10 piL-piR 15- -18 ls-cphR 2-14 n-alR

psL Left palpebrale superius 3-5 enL-exL 17- -18 cphL-cphR 13-14 alL-alR

psR Right palpebrale superius 4-6 enR-exR 19- -20 chL-chR 11-12 pm-sn

piL Left palpebrale inferius 7-9 psL-piL 19- -17 chL-cphL 11-13 pm-alL

piR Right palpebrale inferius 8-10 psR-piL 19- -16 chL-li 11-14 pm-alR

pm Pronasale 5-XZ exL-xz 20- -18 chR-cphR 12-13 sn-alL

sn Subnasale 6-XZ exR-xz 20- -16 chR-li 12-14 sn-alR

alL Left alare 5-XY exL-xy 15- -22 ls-men

alL Right alare 6-XY exR-xy 16- -22 li-men

ls Labiale superius 5-YZ exL-yz

li Labiale inferius 6-YZ exR-yz Подбородок

cphL Left crista philtra 3-XZ enL-xz 21-22 pg-men

cphR Right crista philtri 4-XZ enR-xz 21-1 pg-g

chL Left cheilion 3-XY enL-xy 21-2 pg-n

chR Right cheilion 4-XY enR-xy 21-12 pg-sn

Pg Pogonion 3-YZ enL-yz 21-19 pg-chL

men Mid-endocanthion point 4-YZ enR-yz 21-20 pg-chR

Работа выполнялась исследователями из различных областей медицины, генетики и функциональной геномики, судебной молекулярной биологии, радиологии, нейрологии и ряда других смежных дисциплин.

В работе [63] рассматривалось, как изменение в конкретных частях генома соотносится с отличительными чертами лица. Например, размер и форма носа или то, как далеко разнесены глаза. Набор координат АПТ и расстояния между ними, используемые в экспериментах, представлены на рис. 4. Процесс поиска ОША в [63] включал: общий анализ генома 3118 людей без выраженных отклонений; вычисление 20 расстояний лица по 3Б-моделям лиц этих людей. Далее изучались связи между генетическими вариантами во всем геноме и набором измерений лицевой формы. В результате выполненных исследований обнаружены и представлены доказательства существования ОША с параметрами челюстно-лицевых измерений.

На сегодняшний день учеными представлены 15 генов, влияющих на форму человеческого лица. Затем были определены 7 локусов генов, отвечающих за формирование носа человека. Эти результаты были представлены в работах [64, 65]. В целом, как показали выполненные исследования, от генов зависел охват головы и размеры скул и носовых мышц, однако для всех исследуемых популяций людей, гены больше всего влияют на области вокруг губ, форму кончика носа, уголки глаз (расстояния между глазами).

Рис. 4. Координаты антропометрических точек и 20 расстояний, используемых в поиске ассоциации генов и черт лица [63]: 1 - расстояние от козелка уха до самой высокой точки переносицы; 2 - высота носа; 3 - ширина лица (черепа); 4 - расстояние между глазами; 5 - ширина носа

Для уменьшения исходного объема данных и исключения экспериментального и информационного шума были использованы методы редукции размерности исходного признакового пространства - от анализа главных компонент (PCA, Principal Component Analysis) до канонического корреляционного анализа (CCA, Canonical Correlation Analysis). PCA реализует редукцию размерности одного общего набора данных и их аппроксимацию с минимумом информационных потерь в данных. Метод CCA позволяет выполнить: редукцию размерности двух наборов исходных данных и выявить корреляцию между слабосвязанными данными - геномами и изменением форм и примитивов лица. Рекомендации по решению этих проблем в задачах GWA можно найти в работе [66], а в задачах обработки изображений, сопутствующим задачам GWA, - в [67]. Подобные задачи рассматриваются и решаются также в рамках «многомерной биологии» и «многомерной медицины» [68].

«Лица Чернова» и когнитивная компьютерная графика

Люди хорошо распознают друг друга по лицам и легко замечают даже небольшие изменения в них. Эту способность людей использовал американский ученый в области прикладной математики -Герман Чернов. В 1973 г. он опубликовал статью [69], в которой показал возможность применения изображений лиц для визуализации многомерных данных. Суть идеи состоит в следующем: примитивы «лиц Чернова» (нос, глаза, рот и т.д.) ассоциированы с определенными переменными исходных данных, а их значения (или изменение) определяет размер и положение соответствующих примитивов на области лица. Кроме примитивов лиц используются также его характеристики, например, размер (длина носа, угол между примитивами, ширина лица), форма, симметрия. «лица Чернова» широко используются в технике и науке, а сами модели «лиц Чернова» улучшаются [70].

В последнее время к идеям визуализации [69] проявили интерес и в медицине, где «лица Чернова» используются для визуализации наблюдений за пациентами [71, 72].

В медицине объектом исследования и наблюдения являются физические и физиологические данные пациентов. Автоматическое представление таких данных в виде «лиц Чернова» позволяет врачу мгновенно оценить или определить текущее состояние пациента или результат его лечения. Например, для сравнения состояния пациентов левая сторона «лица Чернова» строится по значениям параметров «до лечения», а правая - «после лечения».

В табл. 3 приведены некоторые морфометрические параметры, предназначенные для описания формы «лиц Чернова» и ее изменения.

Таблица 3. Параметры «лиц Чернова» и варианты их отображения [71, 72]

Морфометрические параметры лица пациента

Координаты центра лица

Высота бровей

Ширина лица

Наклон бровей

Лицевая полувысота

Длина бровей

Длина глаза

Длина носа

Высота глазного центра

Ширина носа

Расстояние между глазами

Длина рта

Наклон глаз

Уровень уха

Эксцентриситет глаз

Радиус уха

Положение зрачка

Наклон волос

Значения наблюдаемых параметров лица

нормальные значения (пациент здоров)

худшие значения (пациент болен)

При этом новые, более совершенные модели «лиц Чернова» описываются уже десятками параметров, в них используется цветовая гамма и плавно меняющаяся динамика лиц и границы примитивов лица [73]. Пример таких лиц приведен на рис. 5.

Из [73] следует, что автоматизация процессов синтеза «лиц Чернова» и управления ими может быть основана и реализована на методах цифровой лицевой антропометрии!

Рис. 5. «Лица Чернова» с цветовой гаммой и динамикой лиц [73]

Феномен человеческого лица - эмоции, пол и психотип человека

В книге [74] автор утверждает, что главные элементы лица человека: брови, глаза и рот, принимая четыре образа, строго соотносятся с двоичным кодом, который изображают посредством целых и прерванных (разделенных) черточек в гексаграммах И Цзин [75, 76]. Поскольку гексаграмма содержит шесть черточек, расположенных вертикально одна над другой и считываемых снизу-вверх, то каждое эмоциональное состояние человека можно записать бинарной последовательностью, состоящей из 6 битов.

Так, на рис. 6 показаны брови, глаза и рот, принимающие по четыре разных образа. Каждому образу соответствует две черточки гексаграммы и соответствующее им число битов [74].

Запись в

Брови Глаза Губы гексаграмме и в бИТс

0 п

__ — о.

шш 1

0

ш 0

шш ш 1

иш м 1

1

Рис. 6. Образы примитивов лица человека и соответствующие им формы гексаграмм И Цзин и число битов

На рис. 7 представлены четыре ИЛ в различном эмоциональном состоянии - от спокойно-нейтрального (а), до восторженного (г). Под ИЛ показаны гексаграммы и двоичные коды, соответствующие их эмоциональным состояниям, а под ними - порядковые номера этих эмоциональных состояний.

£2

№ 1

№ 22 :

№ 43:

№ 64 :

оооооо

101010

010101

пин

б

Рис. 7. Изображения лиц в различном эмоциональном состоянии и соответствующие им гексаграммы И Цзин [74]

64 эмоциональных состояния можно представить линейной шкалой, пронумеровав, что может быть удобно при поиске соответствий их описаний в процессе решения задач распознавании эмоций на лицах. А на основе этих результатов можно представить и психотип человека [74].

Используя методы цифровой лицевой антропометрии, можно определить границы областей бровей, глаз и рта на ИЛ и представить образ соответствующим двоичным кодом. Дальше надо перейти к десятичному номеру эмоционального состояния и обратиться к «линейной шкале» его индекса.

На рис. 8 приведен пример автоматического определения координат АПТ для разных эмоциональных состояний на ИЛ.

Рис. 8. Пример определения координат антропометрических точек для разных эмоциональных состояний

а

в

г

На рис. 8 видно, что границы формы бровей, глаз и области рта определены достаточно точно для узнавания образов-состояний этих примитивов лица. Результат получен авторами настоящей статьи в среде пакета МАТЬАБ (реализован метод [18]), а исходные ИЛ взяты из книги [74]. И, как видно, проанализировав АПТ и оценив состояние и движение бровей, глаз и рта можно распознавать эмоций людей по ИЛ.

А по динамике улыбки человека и движению скуловых мышц можно узнать и пол человека [77, 78]. Для этого необходимо определить на лице 49 координат АПТ, главным образом - вокруг глаз, носа и рта. Области интересов на лице, АПТ лица и триангуляционная модель губ, использованные в [77], представлены на рис. 9. Исходная предпосылка исследования: лицо значительно изменяется в момент, когда человек начинает улыбаться. При этом динамика и амплитуда движения мышц в выделенных областях лица будут разными для мужчин и женщин. В этом и состоит ключ к распознаванию пола улыбающегося человека.

Рис. 9. Области лица, антропометрических точек и триангуляционная модель губ, используемые в задаче распознавания пола человека по улыбке [77]

Особые случаи распознавания изображений лиц

С помощью лицевой антропометрии и динамики выражения лица можно распознать и/или предсказать психотип человека, в частности, с применением алгоритмов искусственного интеллекта, реализованных в проектах глубокого обучения Convolutional Neural Network (CNN) и Deep Neural Network (Deep NN). Так, нейронные сети научили определять по лицу психотип людей, а по ним - черты характера и эмоциональное состояние [78-81]. При этом исходными данными, на которых обучалась Deep NN, были и ИЛ, и координаты АПТ лиц людей.

Однако существуют особые случаи представления ИЛ на входах систем глубокого обучения. В этих случаях (рис. 10) для нахождения областей ИЛ на исходных сценах и для представления ИЛ в признаковом подпространстве используются методы цифровой лицевой антропометрии. Так, метод [18] позволяет найти все АПТ лиц для всех случаев. Координаты АПТ по осям X и Y на сценах определяют границы интересующих областей ИЛ. Также можно использовать традиционные методы [82-84] и методы глубокого обучения. Следует отметить, что методы распознавания ИЛ с использованием глубокого обучения основаны на комплексировании Deep NN и детерминистических методов, что позволяет существенно сократить число слоев Deep NN, сократить время обучения.

Как бы ни были хороши результаты, получаемые системами глубокого обучения, они обычно позволяют выполнять распознавание ИЛ в видимом свете и практически непригодны в особых случаях представления ИЛ (см. рис. 10):

а) распознавание ИЛ в условиях нестабильного освещения - бликов, локальных и глобальных теней [82]. В таких условиях из-за наложения бликов и локальных теней возникает искажение пропорций лиц и границ примитивов на них, а также полностью отсутствует информация о части лица из-за полного затемнения;

б) поиск людей по фотороботам в условиях полного отсутствия текстуры у них [83, 84] или несоответствия текстур в парах фоторобот/фото. При этом условии полностью отсутствует информация о фенотипе лица, которое представляет фоторобот;

в) поиск лиц футбольных фанатов в сценах со стадионов и фан-клубов, когда лица закрашены или скрыты под масками. Такие ИЛ характеризуются полным отсутствием информации о фенотипе, а также потерей информации о примитивах и их границах, что прежде всего затрудняет детекцию лиц из исходных сцен и/или полную возможность их распознавания.

Рис. 10. Использование цифровой лицевой антропометрии в задачах представления изображения лиц в особых случаях

Приведенные выше примеры ИЛ из бенчмарковых баз The Yale Face Database B, CUFS [13] и базы «Фанаты в масках», собранной авторами настоящей статьи из фото- и видеоматериалов Чемпионата Мира по футболу в России в 2018 году.

Цифровая лицевая антропометрия и интернет вещей

В статье [5] отмечалось, что технологии штрихового кодирования в XXI веке стали использоваться в повседневной жизни. Типичный пример - интерактивный процесс регистрации, в котором человек выступает как покупатель (заказываемого товара или билета...), как пассажир (аэропорта или вокзала), как пациент медучреждения, как турист при переходе через пограничный пункт пропуска, как пользователь системы контроля доступа к информационным или материальным ресурсам. При этом каждое такое действие или состояние человека сопровождается созданием (генерацией), получением, чтением и/или контролем штрихкода, ассоциированного только с конкретным человеком.

Биометрический штриховой код [5] содержит необходимую текстовую информацию о нем (ФИО, год и место рождения, адрес...), его изображение лица анфас, координаты АПТ для этого лица, и, возможно, силуэт лица в профиль. В качестве дополнительной информации биометрический штриховой код может содержать и характеристику фенотипа. В рамках задач лицевой биометрии и ее приложений это можно рассматривать как цифровой портрет (паспорт). Не выходя из дома/офиса (или находясь в пути), возможно проходить онлайн-регистрацию, используя находящийся в Общем банке биометрических штриховых кодов (BIO QR-код) цифровой лицевой портрет.

На рис. 11 проиллюстрированы возможности интерактивного контакта человека с различными системами (банковскими, медицинскими, архивными, музейными и библиотечными), встречающимися в интернете вещей [85], а также со специальными службами и госорганами. Цифровой портрет может быть сформирован самим человеком или получен из госорганов.

Транзакции

Доступ к ресурсам ■

Онлайн-банкинг

I

Краниометрия -реконструкция облика людей,

поиск преступников

Криминалистика

Морфология и морфометрия лиц

Оценка возрастных изменений лиц

Поиск Genome-wide Association

e

Лицевая биометрия

II Ж

; V

Хирургия

Челюстно-лицевая Пластическая

Телемедицина

Диагностика заболеваний

I

m

Рис. 11. Интернет вещей и возможности интерактивного контакта человека

Заключение

Представлен аналитический обзор применения цифровой лицевой антропометрии в научных и практических задачах. Рассмотрены понятия морфотипа и фенотипа лица; задачи морфологии и морфо-метрии как базовых средств цифровой лицевой антропометрии; задачи поиска ассоциаций между наборами генов в геноме и чертами лица человека; задачи оценки привлекательности лиц; связь лицевой антропометрии с «лицами Чернова» и когнитивной компьютерной графикой, используемой в практической медицине; феномен человеческого лица и проблема определения эмоций, пола и психотипа; особые случаи задач распознавания изображений лиц, способы их решения в рамках цифровой лицевой антропометрии и примеры их решения. Кроме этого, отмечается связь цифровой лицевой антропометрии и интернета вещей как современного мира человека ХХ1 века.

Литература

1. Бертильонаж - искусство идентификации [Электронный ресурс]. Режим доступа: http://krimmahsty.ru/stati/istorija-kriminaHstiki/bertilyonaj.html, свободный. Яз. рус. (дата обращения 10.12.2018).

2. Герасимов М.М. Основы восстановления лица по черепу. М.: Советская наука, 1949. 190 с.

3. Мареев О.В., Николенко В.Н., Алешина О.Ю. Компьютерная краниометрия с помощью современных технологий в медицинской краниологии // Морфологические ведомости. 2015. № 1. С. 49-54.

4. Jayaratne Y., Zwahlen R. Application of digital anthropometry for craniofacial assessment // Craniomaxillofacial Trauma and Reconstruction. 2014. V. 7. N 2. Р. 101-107. doi: 10.1055/s-0034-1371540

5. Кухарев Г.А., Казиева Н., Цымбал Д.А. Технологии штрихового кодирования для задач лицевой биометрии: современное состояние и новые решения // Научно-технический вестник информационных технологий, механики и оптики. 2018. Т. 18. № 1. С. 72-86. doi: 10.17586/2226-1494-2018-18-1-72-86

6. DeCarlo D., Metaxas D., Stone M. An anthropometric face model using variational techniques // Proc. 25th Annual Conf. on Computer Graphics and Interactive Techniques. New York, USA, 1998. P. 67-74. doi: 10.1145/280814.280823

7. Deutsch C.K., Shell A.R., Francis R.W., Birs B.D. The Farkas system of craniofacial anthropometry: methodology and

References

1. Bertilonazh - the art of identification. Available at: // kriminalisty.ru/stati/istorija-kriminalistiki/bertilyonaj.html (accessed: 10.12.2018).

2. Gerasimov M.M. Basis of Facial Reconstruction on the Skull. Moscow, Sovetskaya Nauka Publ., 1949, 190 p. (in Russian)

3. Mareev O.V., Nikolenko V.N., Aleshkina O.U. Computer craniometry with the help of modern technology in medical craniology. Morphological Newsletter, 2015, no. 1, pp. 49-54. (in Russian)

4. Jayaratne Y., Zwahlen R. Application of digital anthropometry for craniofacial assessment. Craniomaxillofacial Trauma and Reconstruction, 2014, vol. 7, no. 2, pp. 101-107. doi: 10.1055/s-0034-1371540

5. Kukharev G.A., Kaziyeva N., Tsymbal D.A. Barcoding technologies for facial biometrics: current status and new solutions. Scientific and Technical Journal of Information Technologies, Mechanics and Optics, 2018, vol. 18, no. 1, pp. 72-86 (in Russian). doi: 10.17586/2226-1494-2018-18-1-72-86

6. DeCarlo D., Metaxas D., Stone M. An anthropometric face model using variational techniques. Proc. 25th Annual Conf. on Computer Graphics and Interactive Techniques. New York, USA, 1998, pp. 67-74. doi: 10.1145/280814.280823

7. Deutsch C.K., Shell A.R., Francis R.W., Birs B.D. The Farkas system of craniofacial anthropometry: methodology and normative databases. In Handbook of Anthropometry. Springer, 2012, pp. 561-573. doi 10.1007/978-1-4419-1788-1_29

normative databases / In: Handbook of Anthropometry. Springer, 2012. P. 561-573. doi 10.1007/978-1-4419-1788-1_29

8. Aynechia N., Larson B.E., Leon-Salazar V., Beiraghi S. Accuracy and precision of a 3D anthropometric facial analysis with and without landmark labeling before image acquisition // Angle Orthodontist. 2011. V. 81. N 2. P. 245-252. doi: 10.2319/041810-210.1

9. Stegmann M.B. Analysis and Segmentation of Face Images using Point Annotations and Linear Subspace Techniques // Technical report. 2002. 25 p. [Электронный ресурс]. Режим доступа:

http://www2.imm.dtu.dk/pubdb/views/edoc_download.php/ 922/pdf/imm922.pdf, свободный. Яз. анг. (дата обращения: 02.01.2019).

10. Gupta S., Castleman K.R., Markey M.K., Bovik A.C. Texas 3D face recognition database // Proc. IEEE Southwest Symposium on Image Analysis and Interpretation. Austin, USA, 2010. P. 97-100. doi: 10.1109/SSIAI.2010.5483908

11. Gupta S., Markey M.K., Bovik A.C. Anthropometric 3D face recognition // International Journal of Computer Vision. 2010. V. 90. N 3. Р. 331-349. doi: 10.1007/s11263-010-0360-8

12. CUHK Face Sketch Database (CUFS) [Электронный ресурс]. Режим доступа: http://mmlab.ie.cuhk.edu.hk/archive/ facesketch.html, свободный. Яз. анг. (дата обращения 03.01.2019).

13. CUHK Face Sketch FERET Database (CUFSF) [Электронный ресурс]. Режим доступа: http://mmlab.ie.cuhk.edu.hk/archive/cufsf/, свободный. Яз. анг. (дата обращения: 03.01.2019).

14. Wang X., Tang X. Face photo-sketch synthesis and recognition // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2009. V. 31. N 11. P. 1955-1967. doi: 10.1109/TPAMI.2008.222

15. Luxand - Face Recognition, Face Detection and Facial Feature Detection Technologies [Электронный ресурс]. Режим доступа: http://www.luxand.com, свободный. Яз. анг. (дата обращения: 04.01.2019).

16. Пакет «Portret Client 5.0». Системы «Портрет-Поиск» [Электронный ресурс]. Режим доступа: http://www.portret.tomsk.ru/index.php?page=products. свободный. Яз. рус. (дата обращения: 04.01.2019).

17. Viola P., Jones M.I. Robust real-time face detection // International Journal of Computer Vision. 2004. V. 57. N 2. Р. 137-154. doi: 10.1023/B:VISI.0000013087.49260.fb

18. Kazemi V., Sullivan J. One millisecond face alignment with an ensemble of regression trees // Proc. 27th IEEE Conference on Computer Vision and Pattern Recognition. Columbus, USA, 2014. Р. 1867-1874. doi: 10.1109/CVPR.2014.241

19. Torres-Restrepo A.M. et al. Agreement between cranial and facial classification through clinical observation and anthropometric measurement among envigado school children // BMC Oral Health. 2014. V. 14. N 1. Р. 50-57. doi: 10.1186/1472-6831-14-50

20. Driessen P.J., Vuyk H., Borgstein J. New insights into facial anthropometry in digital photographs using iris dependent calibration // International Journal of Pediatric Otorhinolaryngology. 2011. V. 75. N 4. Р. 579-584. doi: 10.1016/j.ijporl.2011.01.023

21. Farkas L.G., Katic M.J., Forrest C.R. et al. International anthropometric study of facial morphology in various ethnic groups/races // Journal of Craniofacial Surgery. 2005. V. 16. N 4. P. 615-646. doi: 10.1097/01.scs.0000171847.58031.9e

22. Ramires R.R. et al. Proposal for facial type determination based on anthropometry // Jornal Da Sociedade Brasileira De Fonoaudiologia. 2011. V. 23. N 3. P. 195-200. doi: 10.1590/S2179-64912011000300003

23. Arapovic-Savic M. et al. Linear measurements of facial morphology using automatic aproach // Serbian Dental Journal. 2016. V. 63. N 2. doi: 10.1515/sdj-2016-0007

24. Mackenzie S., Wilkinson C. Morphological and morphometric changes in the faces of female-to-male (FtM) transsexual people // International Journal of Transgenderism. 2017. V. 18. N 2. P. 172-181. doi: 10.1080/15532739.2017.1279581

25. Ramanathan N., Chellappa R. Modeling age progression in young faces // IEEE Computer Society Conference on Computer Vision and Pattern Recognition. New York, 2006.

8. Aynechia N., Larson B.E., Leon-Salazar V., Beiraghi S. Accuracy and precision of a 3D anthropometric facial analysis with and without landmark labeling before image acquisition. Angle Orthodontist, 2011, vol. 81, no. 2, pp. 245-252. doi: 10.2319/041810-210.1

9. Stegmann M.B. Analysis and Segmentation of Face Images using Point Annotations and Linear Subspace Techniques. Technical report, 2002, 25 p. Available at: http://www2.imm.dtu.dk/pubdb/views/edoc_download.php/922/ pdf/imm922.pdf (accessed: 02.01.2019).

10. Gupta S., Castleman K.R., Markey M.K., Bovik A.C. Texas 3D face recognition database. Proc. IEEE Southwest Symposium on Image Analysis and Interpretation. Austin, USA, 2010, pp. 97-100. doi: 10.1109/SSIAI.2010.5483908

11. Gupta S., Markey M.K., Bovik A.C. Anthropometric 3D face recognition. International Journal of Computer Vision, 2010, vol. 90, no. 3, pp. 331-349. doi: 10.1007/s11263-010-0360-8

12. CUHK Face Sketch Database. Available at: http://mmlab.ie.cuhk.edu.hk/facesketch.html (accessed 03.01.2019).

13. CUHK Face Sketch FERET Database (CUFSF). Available at: http://mmlab.ie.cuhk.edu.hk/archive/cufsf/ (accessed: 03.01.2019).

14. Wang X., Tang X. Face photo-sketch synthesis and recognition. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2009, vol. 31, no. 11, pp. 1955-1967. doi: 10.1109/TPAMI. 2008.222

15. Luxand - Face Recognition, Face Detection and Facial Feature Detection Technologies. Available at: http://www.luxand.com (accessed: 04.01.2019).

16. Software "Portret Client 5.0". System "Portrait-Search". Available at: http://www.portret.tomsk.ru/index.php?page=products (accessed: 04.01.2019).

17. Viola P., Jones M.I. Robust real-time face detection. International Journal of Computer Vision, 2004, vol. 57, no. 2, pp. 137-154. doi: 10.1023/B:VISI.0000013087.49260.fb

18. Kazemi V., Sullivan J. One millisecond face alignment with an ensemble of regression trees. Proc. 27th IEEE Conference on Computer Vision and Pattern Recognition. Columbus, USA, 2014, pp. 1867-1874. doi: 10.1109/CVPR.2014.241

19. Torres-Restrepo A.M. et al. Agreement between cranial and facial classification through clinical observation and anthropometric measurement among envigado school children. BMC Oral Health, 2014, vol. 14, no. 1, pp. 50-57. doi: 10.1186/1472-6831-14-50

20. Driessen P.J., Vuyk H., Borgstein J. New insights into facial anthropometry in digital photographs using iris dependent calibration. International Journal of Pediatric Otorhinolaryngology, 2011, vol. 75, no. 4, pp. 579-584. doi: 10.1016/j.ijporl.2011.01.023

21. Farkas L.G., Katic M.J., Forrest C.R. et al. International anthropometric study of facial morphology in various ethnic groups/races. Journal of Craniofacial Surgery, 2005, vol. 16, no. 4, pp. 615-646. doi: 10.1097/01.scs.0000171847.58031.9e

22. Ramires R.R. et al. Proposal for facial type determination based on anthropometry. Jornal Da Sociedade Brasileira De Fonoaudiologia, 2011, vol. 23, no. 3, pp. 195-200. doi: 10.1590/S2179-64912011000300003

23. Arapovic-Savic M. et al. Linear measurements of facial morphology using automatic aproach. Serbian Dental Journal, 2016, vol. 63, no. 2. doi: 10.1515/sdj-2016-0007

24. Mackenzie S., Wilkinson C. Morphological and morphometric changes in the faces of female-to-male (FtM) transsexual people. International Journal of Transgenderism, 2017, vol. 18, no. 2, pp. 172-181. doi: 10.1080/15532739.2017.1279581

25. Ramanathan N., Chellappa R. Modeling age progression in young faces. IEEE Computer Society Conference on Computer Vision and Pattern Recognition. New York, 2006. doi: 10.1109/cvpr.2006.187

26. Sforza C., Grandi G., Menezes M. et al. Age- and sex-related changes in the normal human external nose. Forensic Science International, 2010, vol. 204, no. 1-3, pp. 205.e1-205.e9. doi: 10.1016/j .forsciint. 2010.07.027

27. Kumar S., Ranjitha S., Suresh H.N. An active age estimation of facial image using anthropometric model and fast ICA. Journal of Engineering Science and Technology Review, 2017, vol. 10, no. 1, pp. 100-106. doi: 10.25103/jestr.101.14

28. Du L. et al. GARP-Face: balancing privacy protection and utility

doi: 10.1109/cvpr.2006.187

26. Sforza C., Grandi G., Menezes M. et al. Age- and sex-related changes in the normal human external nose // Forensic Science International. 2010. V. 204. N 1-3. P. 205.e1-205.e9. doi: 10.1016/j.forsciint.2010.07.027

27. Kumar S., Ranjitha S., Suresh H.N. An active age estimation of facial image using anthropometric model and fast ICA // Journal of Engineering Science and Technology Review. 2017. V. 10. N 1. P. 100-106. doi: 10.25103/jestr.101.14

28. Du L. et al. GARP-Face: balancing privacy protection and utility preservation in face de-identification // IEEE International Joint Conference on Biometrics. Clearwater, USA, 2014. doi: 10.1109/BTAS.2014.6996249

29. De la Torre F., Cohn J.F., Huang D. System and Method for Processing Video to Provide Facial De-Identification. Patent US 9799096 B1. 2017.

30. Lanitis A., Taylor C.J., Cootes T.F. Automatic interpretation and coding of face images using flexible models // IEEE Transactions on Pattern Analysis and Machine Intelligence. 1997. V. 19. N 7. P. 743-756. doi: 10.1109/34.598231

31. Cootes T.F., Edwards G.J., Taylor C.J. Active appearance models // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2001. V. 23. N 6. P. 681-685. doi: 10.1109/34.927467

32. Sucontphunt T., Neumann U. 3D facial surface and texture synthesis using 2D landmarks from a single face sketch // Proc. 2nd Int. Conf. on 3D Imaging, Modeling, Processing, Visualization and Transmission. 2012. P. 152-159. doi: 10.1109/3DIMPVT.2012.65

33. Sforza C. et al. Three-dimensional facial morphometry: from anthropometry to digital morphology / In: Handbook of Anthropometry: Physical Measures of Human Form in Health and Disease. Springer, 2012. P. 611-624. doi: 10.1007/978-1-4419-1788-1_32

34. Krutikova O., Glaz A. Development of a new method for adapting a 3D model from a minimum number of 2D images // Technologies of Computer Control. 2013. V. 14. P. 12-17.

35. Truong P.H., Park C.W., Lee M. et al. Rapid implementation of 3D facial reconstruction from a single image on an android mobile device // KSII Transactions on Internet and Information Systems. 2014. V. 8. N 5. P. 1690-1710. doi: 10.3837/tiis.2014.05.011

36. Sforza C., Ferrario V.F. Soft-tissue facial anthropometry in three dimensions: from anatomical landmarks to digital morphology in research, clinics and forensic anthropology // Journal of Anthropological Sciences. 2006. V. 84. P. 97-124.

37. Schmid K., Marx D., Samal A. Computation of a face atractiveness index based on neoclassical canons, symmetry, and golden ratios // Pattern Recognition. 2008. V. 41. N 8. P. 2710-2717. doi: 10.1016/j.patcog.2007.11.022

38. Pallett P.M., Link S., Lee K. New "golden" ratios for facial beauty // Vision Research. 2010. V. 50. N 2. P. 149-154. doi: 10.1016/j.visres.2009.11.003

39. Soler C. et al. Male facial anthropometry and attractiveness // Perception. 2012. V. 41. N 10. Р. 1234-1245. doi: 10.1068/p7214

40. Milutinovic J., Zelic K., Nedeljkovic N. Evaluation of facial beauty using anthropometric proportions // The Scientific World Journal. 2014. V. 2014. doi: 10.1155/2014/428250

41. Alam M.K., Mohd Noor N.F., Basri R., Yew T.F., Wen T.H. Multiracial facial golden ratio and evaluation of facial appearance // PLoS ONE. 2015. V. 10. N 11. Art. e0142914 doi: 10.1371/journal.pone.0142914

42. Zhang. D., Chen F., Xu Y. Typical facial beauty analysis / In: Computer Models for Facial Beauty Analysis. Springer, 2016. P. 19-31. doi: 10.1007/978-3-319-32598-9_2

43. Prendergast P.M. Facial proportions / In: Advanced Surgical Facial Rejuvenation: Art and Clinical Practice. Springer, 2012. P. 15-22. doi: 10.1007/978-3-642-17838-2_2

44. Искорнев А. Гармонизация лица // Эстетическая медицина. 2017. Т. 16. № 3. С. 265-271.

45. Bagic I., Verzak Z. Craniofacial anthropometric analysis in Down's syndrome patients // Collegium Antropologicum. 2003. V. 27. N 2. Р. 23-30.

46. Ferrario V.F., Dellavia C., Colombo A., Sforza C. Three-dimensional assessment of nose and lip morphology in

preservation in face de-identification. IEEE International Joint Conference on Biometrics. Clearwater, USA, 2014. doi: 10.1109/BTAS.2014.6996249

29. De la Torre F., Cohn J.F., Huang D. System and Method for Processing Video to Provide Facial De-Identification. Patent US 9799096 B1, 2017.

30. Lanitis A., Taylor C.J., Cootes T.F. Automatic interpretation and coding of face images using flexible models. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1997, vol. 19, no. 7, pp. 743-756. doi: 10.1109/34.598231

31. Cootes T.F., Edwards G.J., Taylor C.J. Active appearance models. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2001, vol. 23, no. 6, pp. 681-685. doi: 10.1109/34.927467

32. Sucontphunt T., Neumann U. 3D facial surface and texture synthesis using 2D landmarks from a single face sketch. Proc. 2nd Int. Conf. on 3D Imaging, Modeling, Processing, Visualization and Transmission, 2012, pp. 152-159. doi: 10.1109/3DIMPVT.2012.65

33. Sforza C. et al. Three-dimensional facial morphometry: from anthropometry to digital morphology. In Handbook of Anthropometry: Physical Measures of Human Form in Health and Disease. Springer, 2012, pp. 611-624. doi: 10.1007/978-1-4419-1788-1_32

34. Krutikova O., Glaz A. Development of a new method for adapting a 3D model from a minimum number of 2D images. Technologies of Computer Control, 2013, vol. 14, pp. 12-17.

35. Truong P.H., Park C.W., Lee M. et al. Rapid implementation of 3D facial reconstruction from a single image on an android mobile device. KSII Transactions on Internet and Information Systems, 2014, vol. 8, no. 5, pp. 1690-1710. doi: 10.3837/tiis.2014.05.011

36. Sforza C., Ferrario V.F. Soft-tissue facial anthropometry in three dimensions: from anatomical landmarks to digital morphology in research, clinics and forensic anthropology. Journal of Anthropological Sciences, 2006, vol. 84, pp. 97-124.

37. Schmid K., Marx D., Samal A. Computation of a face atractiveness index based on neoclassical canons, symmetry, and golden ratios. Pattern Recognition, 2008, vol. 41, no. 8, pp. 2710-2717. doi: 10.1016/j.patcog.2007.11.022

38. Pallett P.M., Link S., Lee K. New "golden" ratios for facial beauty. Vision Research, 2010, vol. 50, no. 2, pp. 149-154. doi: 10.1016/j.visres.2009.11.003

39. Soler C. et al. Male facial anthropometry and attractiveness. Perception, 2012, vol. 41, no. 10, pp. 1234-1245. doi: 10.1068/p7214

40. Milutinovic J., Zelic K., Nedeljkovic N. Evaluation of facial beauty using anthropometric proportions. The Scientific World Journal, 2014, vol. 2014. doi: 10.1155/2014/428250

41. Alam M.K., Mohd Noor N.F., Basri R., Yew T.F., Wen T.H. Multiracial facial golden ratio and evaluation of facial appearance. PLoS ONE, 2015, vol. 10, no. 11, art. e0142914 doi: 10.1371/journal.pone.0142914

42. Zhang. D., Chen F., Xu Y. Typical facial beauty analysis. In Computer Models for Facial Beauty Analysis. Springer, 2016, pp. 19-31. doi: 10.1007/978-3-319-32598-9_2

43. Prendergast P.M. Facial proportions. In Advanced Surgical Facial Rejuvenation: Art and Clinical Practice. Springer, 2012, pp. 15-22. doi: 10.1007/978-3-642-17838-2_2

44. Iskornev A. Face harmonization. Esteticheskaya Meditzina, 2017, vol. 16, no. 3, pp. 265-271. (in Russian)

45. Bagic I., Verzak Z. Craniofacial anthropometric analysis in Down's syndrome patients. Collegium Antropologicum, 2003, vol. 27, no. 2, pp. 23-30.

46. Ferrario V.F., Dellavia C., Colombo A., Sforza C. Three-dimensional assessment of nose and lip morphology in subjects with Down syndrome. Annals of Plastic Surgery, 2004, vol. 53, no. 6, pp. 577-583. doi: 10.1097/01.sap.0000130702.51499.6b

47. Starbuck J., Reeves R.H., Richtsmeier J. Morphological integration of soft-tissue facial morphology in Down syndrome and siblings. American Journal of Physical Anthropology, 2011, vol. 146, no. 4, pp. 560-568. doi: 10.1002/ajpa.21583

48. Jayaratne Y.S.N. et al. The facial morphology in Down syndrome: a 3D comparison of patients with and without obstructive sleep apnea. American Journal of Medical Genetics Part A, 2017, vol. 173, no. 11, pp. 3013-3021. doi:

subjects with Down syndrome // Annals of Plastic Surgery. 2004. V. 53. N 6. P. 577-583. doi: 10.1097/01.sap.0000130702.51499.6b

47. Starbuck J., Reeves R.H., Richtsmeier J. Morphological integration of soft-tissue facial morphology in Down syndrome and siblings // American Journal of Physical Anthropology. 2011. V. 146. N 4. P. 560-568. doi: 10.1002/ajpa.21583

48. Jayaratne Y.S.N. et al. The facial morphology in Down syndrome: a 3D comparison of patients with and without obstructive sleep apnea // American Journal of Medical Genetics Part A. 2017. V. 173. N 11. P. 3013-3021. doi: 10.1002/ajmg.a.38399

49. Yilmaz A., Akcaalan M. What can anthropometric measurements tell us about obstructive sleep apnoea? // Folia Morphologica. 2017. V. 76. N 2. P. 301-306. doi: 10.5603/FM.a2016.0058

50. Dering L.M. et al. Evaluation of anthropometric facial landmarks in woman with blepharophimosis, ptosis, and epicanthus inversus syndrome // RSBO. 2017. V. 14. N 3. P. 147-151.

51. Axelsson J. et al. Identification of acutely sick people and facial cues of sickness // Proceedings of the Royal Society B: Biological Sciences. 2018. V. 285. N 1870. doi: 10.1098/rspb.2017.2430

52. Naimi A.J. et al. Investigating the relationship between major thalassemia diseases with anthropometric sizes of head and facial soft tissue // Bioscience Biotechnology Research Communications. 2017. V. 10. N 2. P. 233-240. doi: 10.21786/bbrc/10.2/40

53. Farkas L.G., Katic M.J., Hreczko T.A. et al. Anthropometric proportions in the upper lip-lower lip-chin area of the lower face in young white adults // American Journal of Orthodontics. 1984. V. 86. N 1. P. 52-60. doi: 10.1016/0002-9416(84)90276-8

54. Etöz A. Anthropometric analysis of the nose / In: Rhinoplasty. Ed. M. Brenner. In Tech, 2011. P. 3-10. doi: 10.5772/27218

55. Marcio F. Catapan, et al. Anthropometric analysis of human head to identification of height in proper use of ballistic helmets // Proc. 5th Int. Conf. on Applied Human Factors and Ergonomics. 2014. 12 p.

56. Goto L., et al. Analysis of a 3D anthropometric data set of children for design application // Proc. 19th Triennial Congress of the IEA. Melbourne, Australia, 2015.

57. Fenlon R. Facial respirator shape analysis using 3D anthropometric data // NIST Interagency. Internal Report. 2007. 18 p.

58. Jarkiewicz J., kocielnic R., Marasek K. Anthropometric facial emotion recognition // Lecture Notes in Computer Science. 2009. V. 5611. P. 188-197. doi: 10.1007/978-3-642-02577-8_21

59. Loconsole C. et al. Real-time emotion recognition: novel method for geometrical facial features extraction // Proc. Int. Conf. on Computer Vision Theory and Applications. 2014. P. 378-385.