Вычислительный метод и алгоритмы нейро-нечеткого распознавания людей, транспортных средств и ситуаций на основе видеонаблюдения тема диссертации и автореферата по ВАК РФ 05.13.18, кандидат наук Жиганов Сергей Викторович

• Жиганов Сергей Викторович
• кандидат наук
• 2019

Оглавление диссертации кандидат наук Жиганов Сергей Викторович

ВВЕДЕНИЕ

ГЛАВА 1. АНАЛИЗ СИСТЕМ КОНТРОЛЯ И УПРАВЛЕНИЯ ДОСТУПОМ И МАТЕМАТИЧЕСКАЯ МОДЕЛЬ

1.1. Анализ систем контроля и управления доступом физических и технических объектов и ситуаций

1.2. Технические средства для получения признаков объектов в системах контроля и управления доступом

1.3. Критический обзор систем контроля и управления доступом

1.4. Математическая модель системы контроля и управления доступом

1.5. Анализ существующих подходов к построению классификаторов в системах компьютерного зрения

1.5.1. Подходы к построению классификаторов при помощи обучения без учителя

1.5.2. Подходы к построению классификаторов при помощи обучения с учителем

1.5.3. Подходы к построению классификаторов при помощи глубокого обучения

1.6. Нерешенные задачи систем распознавания образов

Выводы по первой главе

ГЛАВА 2 ВЫЧИСЛИТЕЛЬНЫЙ МЕТОД РАСПОЗНАВАНИЯ ЛЮДЕЙ, ТРАНСПОРТНЫХ СРЕДСТВ НА КАДРАХ ВИДЕОПОТОКА

2.1. Математическая формулировка задачи распознавания образов

2.2. Решение задачи обнаружения и классификации объектов и ситуаций

2.3. Адаптированные архитектуры искусственных нейронных сетей для вычислительного метода

2.4. Характеристика точности для вычислительного метода

2.5. Применение вычислительного метода для распознавания номерного знака транспортного средства с использованием глубоких нейросетей

2.5.1. Особенности этапов вычислительного метода применительно к задаче распознавания номерного знака транспортного средства

2.5.2. Эксперимент для оценки качества алгоритма распознавания номерного знака транспортного средства

2.6. Применение вычислительного метода для распознавания лица человека с использованием глубоких нейросетей

2.6.1. Особенности этапов вычислительного метода применительно к задаче распознавания лиц

2.6.2. Эксперимент для оценки качества алгоритма для распознавания лица человека

2.6.3. Модификация реализации вычислительного метода для распознавания лица человек при отсутствии графического вычислительного устройства

Выводы по второй главе

ГЛАВА 3. ПРИМЕНЕНИЕ ВЫЧИСЛИТЕЛЬНОГО МЕТОДА ДЛЯ ОБНАРУЖЕНИЯ И РАСПОЗНАВАНИЯ НЕШТАТНЫХ СИТУАЦИЙ В ВИДЕОПОТОКЕ

3.1. Постановка задачи обнаружения и распознавания нештатных ситуаций

в видеопотоке

3.2. Особенности этапов вычислительного метода применительно к задаче обнаружения и распознавания нештатных ситуаций в видеопотоке

3.3. Эксперимент для оценки качества алгоритма обнаружения и распознавания нештатных ситуаций в видеопотоке

3.4. Применение вычислительного метода для различных предметных

областей

Выводы по третьей главе

ГЛАВА 4. РЕАЛИЗАЦИЯ ИНТЕЛЛЕКТУАЛЬНОЙ СИСТЕМЫ КОНТРОЛЯ

И УПРАВЛЕНИЯ ДОСТУПОМ

4.1. Технические требования к системе контроля и управления доступом

4.2. Выбор средств разработки системы контроля и управления доступом

4.3. Архитектура системы контроля и управления доступом

4.3.1. Подсистема серверной стороны

4.3.2. Подсистема клиентской стороны

4.3.3. Подсистема оповещения пользователя

4.3.4. Подсистема интеллектуальной видеоаналитики

4.4. Принцип работы системы

Выводы по четвертой главе

ЗАКЛЮЧЕНИЕ

СПИСОК СОКРАЩЕНИЙ И УСЛОВНЫХ ОБОЗНАЧЕНИЙ

СПИСОК ЛИТЕРАТУРЫ

ПРИЛОЖЕНИЕ А. Охранные документы на результаты интеллектуальной

деятельности

ПРИЛОЖЕНИЕ Б. Акты о внедрении

Введение диссертации (часть автореферата) на тему «Вычислительный метод и алгоритмы нейро-нечеткого распознавания людей, транспортных средств и ситуаций на основе видеонаблюдения»

ВВЕДЕНИЕ

Актуальность темы. Современная система видеонаблюдения, используемая в системе контроля и управления доступом (СКУД) содержит множество камер, установленных на территории охраняемого объекта. В большинстве случаев за событиями следит человек, который через 12 минут непрерывного наблюдения начинает пропускать до 45% событий, а после 22 минут наблюдения - до 95% потенциально тревожных ситуаций. Задача интеллектуальной системы видеонаблюдения - снизить нагрузку на оператора при помощи автоматического обнаружения нештатных ситуаций. Это позволит своевременно уведомить оператора о необходимости обратить внимание на потенциально тревожное событие.

На кадрах видеопотока могут фиксироваться образы физических и технических объектов, а также ситуации, происходящие с их участием. Для каждого объекта или ситуации набор свойств различный. Примеры свойств, которыми обладают технические объекты - транспортные средства (ТС): тип, номер, цвет и т.д.; физические объекты - люди: пол, возраст и т.д. Свойствами ситуаций являются: протяженность во времени; взаимосвязи между динамическими объектами в ситуации.

Основной задачей алгоритмов компьютерного зрения является поиск образов на изображении и выделение их ключевых признаков, характеризующих свойства объектов и ситуации, их распознавание для последующего принятия решений или управления.

Большой вклад в разработку теоретических и практических основ в области распознавания образов внесли такие советские и российские ученые как Анисимов Б. В. [9], Вапник В. Н. и Червоненкис А. Я. [11], Гашников М. В. [14], Горелик А. Л. [16], Журавлев Ю. И. [22], Загоруйко Н. Г. [23, 24], Местецкий Л. М. [32], Рудакова К. В. [116, 117] , Симанков В. С. [39], Сойфер А. В. [41], Цыпкина Я. З. [128], Щеголева Н. Л. [49] и др.; в области распознавания видеоизображений - Катаев М. Ю. [26] , Фаворская М. Н. [45, 46] и др.; в области систем контроля и управления доступом - Вороны В. А.

и Тихонова В. А [12], Куделькин В. А. [29] и др.; в области машинного обучения - Воронцов К. В [13] и др. Среди зарубежных авторов необходимо отметить работы Andrej Karpathy [92], Andrew G. Howard [85], Christian Szegedy [126, 127], François Chollet [94], Navneet Dalal и Bill Triggs [73], Paul Viola и Michael Jones [130], Rafael Gonzalez и Richard Woods [15], Sepp Hochreiter и Jürgen Schmidhuber [84], Yann LeCun [97, 98] и др.

Алгоритмы компьютерного зрения способны помочь ограничить доступ физических лиц и технических объектов на некоторую территорию. При таком подходе под нештатной ситуацией понимают появление объекта из «черного списка» или объекта без идентификационного признака. Однако такой подход не позволяет обнаружить нештатные ситуации, особенностью которых является протяженность во времени.

Работа посвящена повышению эффективности распознавания людей, транспортных средств и ситуаций на основе видеонаблюдения посредством использования новых алгоритмов, основанных на применении искусственных нейронных сетей (НС) и нечеткой логике, способных описать происходящее в видеопотоке.

Целью работы является разработка эффективного по быстродействию и точности вычислительного метода распознавания людей, ТС и ситуаций на основе видеонаблюдения для систем контроля и управления доступом.

Для достижения поставленной цели необходимо решить следующие задачи:

1. Провести анализ построения СКУД физических и технических объектов.

2. Разработать математическую модель СКУД физических и технических объектов, учитывающую описание штатных и нештатных ситуаций.

3. Провести анализ существующих подходов к построению классификаторов в системах компьютерного зрения.

4. Разработать вычислительный метод распознавания образов в непрерывном видеопотоке.

5. Разработать алгоритмы локализации и распознавания физических и технических объектов.

6. Разработать алгоритм обнаружения и классификации нештатных ситуаций в непрерывном видеопотоке системы видеонаблюдения.

7. Реализовать комплексы программных модулей для СКУД с использованием предложенных алгоритмов.

Объект исследования - СКУД на базе видеонаблюдения.

Предмет исследования - нейросетевые и нечёткие алгоритмы распознавания образов в системах компьютерного зрения.

Методы исследования основаны на общей методологии математического моделирования исследуемых процессов, объектно-ориентированном программировании. При решении задач были использованы теория систем, теория нечетких множеств, искусственные нейронные сети. Применялись интегрированные среды для языков программирования: C# (Visual Studio), Python (PyCharm, Spyder) и пакеты прикладного программного обеспечения. Проведены экспериментальные апробации разработанных алгоритмов в различных предметных областях.

Научная новизна работы:

1. Предложена математическая модель интеллектуальной СКУД на основе кибернетического подхода для задач доступа транспортных средств на территорию организации и физических лиц в помещение повышенной опасности. Отличительной особенностью математической модели является возможность учитывать и распознавать штатные и нештатные ситуации на охраняемом объекте и вырабатывать управляющие воздействия.

2. Предложен вычислительный метод распознавания образов в непрерывном видеопотоке с использованием глубоких НС, отличительной особенностью которого является использование композиции традиционных методов обработки изображений, глубоких НС, алгоритмов нечеткой логики для классификации объектов и ситуаций.

3. Предложены адаптированные архитектуры НС: оригинальная дуальная сеть для идентификации человека по изображению лица, которая в

отличие от классической сиамской сети позволяет использовать большее количество признаков; модифицированная архитектура сверточной нейронной сети MobileNet для распознавания номерных знаков, отличающаяся возможностью работать в реальном времени (РВ) за счет использования глубокой и поточечной свертки; оригинальная архитектура глубокой нейросети для задачи классификации событий в видеопотоке, построенная комбинациями слоев свертки и независимых рекуррентных слоев. Предложенные адаптации позволяют при низких вычислительных затратах с высокой точностью распознавать ситуацию в режиме РВ.

4. Предложены алгоритмы: идентификации человека по изображению лица, распознавания номерных знаков, обнаружения и распознавания нештатных ситуаций в видеопотоке на основе вычислительного метода для интеллектуальной СКУД, отличающиеся возможностью применения в сложных условиях в режиме РВ.

5. Предложен подход для локализации человека в кадре видеопотока с помощью алгоритма растущего нейронного газа и признакового описания на основе гистограмм ориентированных градиентов (ОКО-Р18), а также модификация алгоритма GNG-FIS, отличающаяся использованием двухпроходного обучения с нечеткой перемаркировкой классов и построением тепловой карты.

Практическая значимость. Предложенные в работе алгоритмы могут быть использованы: для распознавания номерных знаков транспортных средств (ТС) при помощи алгоритмов глубоких НС; локализации тела человека при помощи нейро-нечеткой модели растущего нейронного газа, обучаемой с подкреплением; текстового описания происходящего на кадрах видеопотока; идентификации человека по лицу; обнаружения в видеофрагментах нештатных ситуаций.

По результатам работы получено 4 свидетельства о государственной регистрации программ для ЭВМ: № 2016663283, № 2018610776, № 2019610487, № 2019610486. Результаты диссертационной работы

внедрены в ФГБОУ ВО «КнАГУ» для распознавания номерных знаков транспортных средств и идентификации человека по лицу.

Работа выполнена при поддержке Минобрнауки России научного проекта - госзадания в рамках проектной части № 2.1898.2017/ПЧ «Создание математического и алгоритмического обеспечения интеллектуальной информационно-телекоммуникационной системы безопасности вуза».

Апробация работы. Результаты работы докладывались и получили одобрение:

- на второй международной конференции по новым данным и промышленности 4.0 (EDI40), Бельгия, г. Лювен, 2019;

- научном семинаре «Современные модели нейронных сетей и их приложения», АО «Концерн «ЦНИИ «Электроприбор», г. Санкт-Петербург, 11.04.2019;

- международном симпозиуме «INTELS' 2016», г. Москва, 2016 и «INTELS' 2018», г. Санкт-Петербург, 2018;

- международной мультидисциплинарной конференции по промышленному инжинирингу и современным технологиям «Far East Con-2018», г. Владивосток, 2018;

- международной Второй Российско-Тихоокеанской конференции по компьютерным технологиям и приложениям (RPC 2017), г. Владивосток, 2017;

- молодежной инновационной конференции в рамках весенней школы Открытого университета Сколково - 2017, г. Владивосток, 2017;

- ежегодной научно-технической конференции студентов и аспирантов ФГБОУ ВО «КнАГУ», г. Комсомольск-на-Амуре (2016 - 2018);

- региональном конкурсе «УМНИК-2016», победитель программы по теме «Разработка интеллектуального сервиса семантического анализа видео», госконтракт № 11538р/2100, г. Хабаровск, 2016.

Основные положения, выносимые на защиту:

1. Математическая модель интеллектуальной СКУД на основе кибернетического подхода для задач доступа транспортных средств на

территорию организации и физических лиц в помещение повышенной опасности.

2. Вычислительный метод распознавания образов в непрерывном видеопотоке с использованием глубоких НС.

3. Алгоритмы на основе композиции традиционных методов обработки изображений и глубоких НС для интеллектуальной СКУД, реализованные в соответствии с шагами вычислительного метода.

4. Алгоритм локализации человека в кадре видеопотока с помощью растущего нейронного газа, нечеткого вывода и признакового описания на основе гистограмм ориентированных градиентов и его модификация, отличающаяся использованием двухпроходного обучения с нечеткой перемаркировкой классов и построением тепловой карты.

5. Программные комплексы для интеллектуальной СКУД.

Достоверность полученных результатов, научных положений,

выводов, изложенных в диссертации, подтверждается результатами экспериментов с применением общепризнанных метрик оценки классификаторов в оптическом распознавании образов, а также использованием информационных данных для натурных экспериментов, полученных из открытых источников и путем экспериментов в ФГБОУ ВО «КнАГУ».

Публикации. Основные результаты работы изложены в 12 печатных работах [2, 3, 4, 5, 19, 20, 21, 55, 57, 58, 59, 60]: в изданиях, входящих в перечень ВАК, - 3 [2, 3, 5], одна из которых [5] индексируется в базах Web of Science и Scopus с квартилем 2; в изданиях, индексируемых в базах Scopus и Web of Science, - 5 [55, 57, 58, 59, 60]; свидетельства о регистрации программы для ЭВМ - 4 [35, 36, 37, 38].

Структура и объем диссертационной работы. Диссертация состоит из введения, четырех глав, заключения, списка сокращений и условных обозначений, списка литературы из 131 наименования, приложения. Полный объем составляет 154 страницы, 47 рисунков, 23 таблицы.

В первой главе приведено описание построения СКУД физических и технических объектов. Технических средств для получения идентификационных данных в СКУД. Проведен анализ СКУД. Разработана математическая модель интеллектуальной СКУД, учитывающая описание штатных и нештатных ситуаций. Рассмотрены существующие подходы к построению классификаторов в системах компьютерного зрения. Приведены нерешенные задачи систем распознавания образов.

Во второй главе приведена математическая формулировка задачи обнаружения и классификации объектов. Предложен вычислительный метод нейро-нечеткого распознавания людей, транспортных средств и ситуаций на основе видеонаблюдения на кадрах видеопотока. Представлены характеристики точности для вычислительного метода. Описаны адаптированные архитектуры искусственных нейронных сетей для вычислительного метода. Для решения задач интеллектуальной СКУД разработаны алгоритмы на основе композиции традиционных методов обработки изображений и глубоких НС. Приведены результаты натурных экспериментов, доказана эффективность и возможность применения предложенных алгоритмов в режиме РВ.

В третьей главе описывается применение вычислительного метода к задаче распознавания нештатных ситуаций в непрерывном видеопотоке. Продемонстрирована возможность применения вычислительного метода для распознавания образов в различных предметных областях в РВ.

В четвертой главе описывается интеллектуальная система, построенная на базе разработанных алгоритмов. Сформулированы технические и функциональные требования к интеллектуальной системе. Обоснован выбор средств разработки и описана программная реализация разработанной системы.

В заключении приводятся основные результаты диссертационной работы.

ГЛАВА 1. АНАЛИЗ СИСТЕМ КОНТРОЛЯ И УПРАВЛЕНИЯ ДОСТУПОМ И МАТЕМАТИЧЕСКАЯ МОДЕЛЬ

1.1. Анализ систем контроля и управления доступом физических и технических объектов и ситуаций

Одним из наиболее эффективных подходов для организации комплексной безопасности объектов различных форм собственности является использование СКУД.

Под СКУД понимается совокупность программно-аппаратных технических средств безопасности, функцией которых является ограничение и регистрация входа-выхода физических или технических объектов на заданную территорию через «точки прохода» (двери, ворота, контрольно-пропускные пункты) [12].

Территориальный контроль доступа может осуществляться персоналом или же устройством наподобие турникетов. Возможно использование заборов во избежание обхода системы доступа. Аналогом систем контроля доступа в прямом смысле (физический доступ лиц) являются пропускные пункты.

Организация СКУД на предприятии позволяет противодействовать ситуациям связанными: с промышленным шпионажем; воровством; саботажем; нападением; умышленным повреждением материальных ценностей. При этом СКУД способствует: учету рабочего времени; защите конфиденциальности информации; контролю въезда и выезда транспорта.

СКУД разделяются по способу управления:

• на автономные (система работает независимо, без участия оператора и без передачи данных на управляющий сервер);

• централизованные (система обменивается данными с центральным пультом управления, на котором уже и принимается решение о предоставлении доступа);

• универсальные (система совмещает в себе функциональные особенности как автономных, так и централизованных систем: в стандартном режиме работает как централизованная система, однако при возникновении различных аварийных ситуаций имеет возможность перехода в автономный режим).

Ключевыми компонентами СКУД являются:

• идентификатор пользователя - физическое устройство или биометрический признак, по которому определяется пользователь;

• устройство идентификации - техническое средство, позволяющее считать уникальный признак объекта;

• вычислительное устройство - устройство, для идентификации по уникальным признакам, и передачи сигнала на выполнения действия.

• контроллер - устройство, получающее сигнал о выполнении действия и приводящее в действие исполнительное устройство;

• исполнительное устройство - устройство, контролирующее допуск на территорию.

Пример организации компонентов СКУД изображен на рисунке 1.1.

Рисунок 1.1 - Абстрактная СКУД

Основными задачами СКУД [12] являются выявление уникальных признаков объекта доступа (идентификация) и предоставление прав на выполнение определенных действий (авторизация).

Для выявления уникальных атрибутных и/или биометрических идентификационных признаков применяются различные считыватели:

• с ручным вводом - ввод осуществляется с помощью нажатия клавиш, поворотов переключателей или других подобных элементов;

• контактные - ввод происходит при непосредственном, в том числе электрическом, контакте между считывателем и идентификатором;

• бесконтактные - считывание кода происходит при поднесении идентификатора на определенное расстояние к считывателю;

• комбинированные.

При атрибутных способах идентификации используются следующие автономные носители:

• карты доступа, использующие штрих-код, QR-код и другие геометрические оптические метки, наносимые на поверхность карты;

• карты доступа, использующие магнитные полосы, в которых хранится идентифицирующая информация;

• RFID-карты, RFID-маячок (англ. Radio Frequency IDentification, радиочастотная идентификация) - атрибут, содержащий радиометку, которая проводит идентификацию объекта посредством считывания радиосигналов [107, 101];

• смарт-карты - пластиковые карты со встроенной микросхемой;

• ключ-брелок - металлическая таблетка, внутри которой расположен чип постоянного запоминающего устройства (ПЗУ).

При биометрических методах идентификации предполагается использование системы идентификации по одной или нескольким физическим чертам человека. Основными методами биометрической идентификации являются:

1. Идентификация по рисунку папиллярных линий [76] -распознавание отпечатка пальца; основана на анализе распределения особых точек (концевых и точек разветвления папиллярных линий), местоположение которых задается в декартовой системе координат.

2. Идентификация по радужной оболочке глаза [52] -видеоизображения глаза преобразуются в уникальный идентификационный двоичный поток, получаемый в результате определения позиции радужки, ее границы и выполнения других математических операций для описания текстуры радужки в виде последовательности чередования фаз, похожей на штрих-код.

3. Идентификация по геометрии лица [118] - существует множество методов распознавания по геометрии лица, основанных на индивидуальности черт лица и формы черепа каждого человека.

4. Идентификация по геометрии кисти руки [121] - основана на получении геометрических характеристик рук: длины пальцев, ширины ладони и т.д.

5. Идентификация по почерку и динамике подписи [51] - основана на уникальности биометрических характеристик движения человеческой руки во время письма. Обычно выделяют два способа обработки данных о подписи: простое сравнение с образцом и динамическую верификацию. Первый способ ненадежен, так как основан на обычном сравнении введенной подписи с хранящимися в базе данных графическими образцами. Так как подпись не может быть всегда одинаковой, этот метод дает большой процент ошибок. Способ динамической верификации требует намного более сложных вычислений и позволяет в РВ фиксировать параметры процесса подписи: скорость движения руки на разных участках, силу давления и длительность различных этапов подписи.

6. Идентификация по ритму работы на клавиатуре [111] - по данным современных исследований клавиатурный почерк пользователя обладает некоторой закономерностью, что позволяет идентифицировать пользователя. Применяются статистические методы обработки исходных данных и формирования выходного вектора, являющегося идентификатором данного пользователя. В качестве признакового описания используют временные интервалы между нажатием клавиш на клавиатуре и время их удержания.

При этом временные интервалы между нажатием клавиш характеризуют темп работы, а время удержания клавиш характеризует стиль работы с клавиатурой - резкий удар или плавное нажатие.

7. Идентификация по голосу и особенностям речи [91] - подход, связанный с идентификацией голоса, удобен в применении. Однако основным и определяющим недостатком этого подхода является низкая точность идентификации. Например, человек с простудой или ларингитом может испытывать трудности при использовании данных систем.

8. Другие методы идентификации, требующие специального оборудования: маркеров дезоксирибонуклеиновой кислоты (ДНК), биологических признаков и т.д.

1.2. Технические средства для получения признаков объектов в системах

контроля и управления доступом

При организации СКУД наиболее распространёнными средствами для получения признаков являются [40]:

1. Сканер отпечатка пальца - идентификация происходит при помощи считывания отпечатка пальца. Все существующие сканеры отпечатков пальцев можно разделить на три группы: оптические, полупроводниковые и ультразвуковые.

2. Сканер геометрии ладони - идентификация происходит при помощи построения трёхмерного образа кисти руки. Сканер состоит из камеры и подсвечивающих диодов (при сканировании кисти руки диоды включаются по очереди, что позволяет получить различные проекции руки).

3. Сканер радужной оболочки глаза - идентификация происходит при помощи получения индивидуальной записи о радужной оболочке глаза.

4. Сканер капилляров сетчатки глаза - идентификация выполняется при помощи сканирования глазного дна источником инфракрасного излучения, безопасного для глаз (бинокулярным объективом). Устройство подсвечивает

сетчатку глаза и получает отраженный сигнал, фиксируемый специальной камерой.

5. Микрофон - электроакустический прибор, преобразующий акустические колебания в электрический сигнал. Идентификация происходит при помощи получения уникального тембра голоса.

6. Я^ГО считыватели - устройство получающие идентификационный признак при помощи радиосигналов хранимых в Я^ГО-метках. Применяется для идентификации физических и технических объектов по их RFID-меткам для допуска на некоторую территорию.

7. Считыватель смарт-карт - устройство, предназначенное, для считывания информации со смарт-карты и/или для записи информации на смарт-карту. Хранимая информация на смарт-карте предназначена для идентификации владельца.

При всем разнообразии технических средств получения идентификационных данных в СКУД необходимо признать, что они не позволяют гарантировать абсолютную безопасность охраняемой территории, так как могут применяться только на проходных.

Одним из лучших решений для обеспечения комплексной безопасности охраняемой территории является построение централизованной интеллектуальной СКУД на основе системы видеонаблюдения [70] с использованием современных методов компьютерного зрения, которые позволяют:

• классифицировать физические и технические объекты (машины, людей, велосипеды и т.д.) и идентифицировать их по уникальным признакам (лица, номера и т.д.);

• производить слежение за объектами;

• обнаруживать (распознавать) штатные и нештатные ситуации -нестандартное поведение людей (хулиганство, грабеж, потасовку, праздношатание, бег), появление в кадре посторонних предметов.

1.3. Критический обзор систем контроля и управления доступом

Современная СКУД должна обеспечивать идентификацию объектов и ограничение доступа на охраняемую территорию, а также иметь возможность распознать и определить тип ситуации с участием объектов.

Для физических объектов доступа в работе [25] предлагалось проведение процесса идентификации посетителей в местах массового пребывания людей посредством применения современных идентификационных признаков, таких как мобильные устройства, одноразовые пароли, рЯ-коды и №С-метки. Автором [18] предлагается идентификация пользователей информационных ресурсов, отличающаяся низкой вычислительной сложностью и не требующая дополнительного специализированного оборудования. В работе [43] разработаны методы и алгоритмы для построения СКУД на основе анализа антропо-биометрических параметров человека, увеличивающих достоверность распознавания лиц, имеющих право доступа в контролируемое помещение. Автором [31] разработаны модели, алгоритмы, методики повышения эффективности визуальной идентификации субъекта (персонала) в СКУД на строительных объектах.

Основной недостаток предлагаемых ранее систем в том, что они не позволяют учитывать наличии нештатных ситуаций и вырабатывать управляющие воздействия.

Для технических объектов доступа авторами в работе [104] описывается процесс детекции номерного знака, локализации символов и их распознавания. Автором [42] проведена разработка и анализ алгоритмов детектирования, сегментации и классификации символов для улучшения характеристик систем автоматического распознавания автомобильных номерных знаков на основе нейронных сетей в условиях помех и искажений. В работе [17] проведена разработка алгоритмов и программных средств, позволяющих повысить эффективность распознавания символов на сложном

фоне, подверженных шумовым, аффинным и проекционным искажениям. В работе [91] описана гибридная система для идентификации автомобиля.

Основной недостаток предлагаемых работ в том, что исследования в большей степени ориентированы на процесс получения идентификационного признака и в меньшей на взаимодействие со СКУД.

Для анализа ситуаций в работе [95] использовался набор Sports-1M, не содержащий нештатные ситуации из системы видеонаблюдения. Авторами [79] использовались сверточные нейронные сети совместно с SVM, однако под нештатной ситуацией авторами понимается нахождение автомобилей, мотоциклов, пешеходов. В работе [125] представлен алгоритм распознавания нештатных ситуаций и набор данных с камер видеонаблюдения. Несмотря на большое количество видеофрагментов, они обладают высокой межклассовой корреляцией и в целом набор данных требует серьезной доработки.

Основной недостаток предлагаемых работ в том, что исследования ориентированы на описание происходящего, без выработки управляющего воздействия.

Для создания интеллектуальной СКУД необходимо разработать математическую модель для формализованного описания возможных штатных и нештатных ситуаций с эффективными алгоритмами для локализации и идентификации физических и технических объектов по их уникальным признакам, а также иметь возможность распознать и определить тип ситуации с участием объектов. Применить разработанную модель для формализованного описания возможных штатных и нештатных ситуаций.

Список литературы диссертационного исследования кандидат наук Жиганов Сергей Викторович, 2019 год

СПИСОК ЛИТЕРАТУРЫ

1. Айвазян, С. А. Прикладная статистика: Классификация и снижение размерности. / С. А. Айвазян, В. М. Бухштабер, И. С. Енюков, Л. Д. Мешалкин // - М: Финансы и статистика, 1989. - 607 с.

2. Амосов, О. С. Вычислительный метод распознавания образов по видеоизображениям с использованием глубинных сверточных и рекуррентных нейронных сетей с приложениями для транспортных систем / О. С. Амосов, С. Г. Амосова, Ю. С. Иванов, С. В. Жиганов // Информатика и системы управления. - 2019. - Т. 59. - № 1. - С. 18-35.

3. Амосов, О. С. Моделирование интеллектуальной системы контроля и управления доступом транспортных средств с использованием глубоких нейронных сетей / О. С. Амосов, С. Г. Амосова, Ю. С. Иванов, С. В. Жиганов // Информационные технологии. - 2018. - Т. 25. - № 2. - С. 116-127.

4. Амосов, О. С. Модели и алгоритмы самоорганизующейся системы ситуационного управления / О. С. Амосов, С. В. Жиганов, Иванов Ю. С. // Материалы 46-й научно-технической конференции студентов и аспирантов (Комсомольск-на-Амуре, 2016). Комсомольск-на-Амуре ФГБОУ ВО «КнАГТУ». - 2016. - С. 193-196.

5. Амосов, О. С. Локализация человека в кадре видеопотока с использованием алгоритма на основе растущего нейронного газа и нечеткого вывода / О. С. Амосов, Ю. С. Иванов, С. В. Жиганов // Компьютерная оптика.

- 2017. - Т. 41. - № 1. - С. 46-58. (Scopus Q2, Web of Science)

6. Амосов, О. С. Нейросетевые и нечеткие методы оценивания стохастических систем: дис. ... доктора технических наук: 05.13.18 Амосов Олег Семенович. - Комсомольск-на-Амуре, 2004. - 352 с.

7. Амосов, О. С. Системы нечеткой логики для фильтрации марковских последовательностей / О. С. Амосов // Информационные технологии. -2004.

- Т. 11. - С. 16-22.

8. Амосов, О. С. Фильтрация марковских последовательностей на основе байесовского, нейросетевого подходов и систем нечеткой логики при обработке навигационной информации / О. С. Амосов // Известия РАН. Теория и системы управления. - 2004. - Т. 43. - № 4. - С. 61-69.

9. Анисимов Б. В. Распознавание и цифровая обработка изображений / Б. В. Анисимов, В. Д. Курганов, В. К. Злобин. - М.: Высшая школа, 1983. -295 с.

10. Библиотека компьютерного зрения OpenCV: [сайт]. URL: https:// github.com/opencv/opencv (дата обращения: 15.09.2017).

11. Вапник В. Н. Теория распознавания образов / В. Н. Вапник, А. Я. Червоненкис. - М: Наука, 1974. - 416 с.

12. Ворона, В. А. Системы контроля и управления доступом / В. А. Ворона, В. А. Тихонов. - М: Горячая Линия-Телеком, 2010. - 272 с.

13. Воронцов К.В. Математические методы обучения по прецедентам (теория обучения машин) : [сайт]. URL: http://www.machinelearning.ru/wiki/ images/ 6/6d/Voron-ML- 1.pdf (дата обращения: 21.10.2016).

14. Гашников М.В. Методы компьютерной обработки изображений 2-е издание / М. В. Гашников - М: ФИЗМАТЛИТ, 2003. - 784 с.

15. Гонсалес, Р. Цифровая обработка изображений. 3-е изд. / Р. Гонсалес, Р. Вудс. - М: Техносфера, 2012. - 1104 с.

16. Горелик А.Л. Методы распознавания. / А. Л. Горелик - М: Высшая школа, 1977. - 222 с.

17. Друки А.А. Алгоритмы нейросетевого детектирования и распознавания символов на сложном фоне: дис.. канд. техн. наук : 05.13.01 Друки Алексей Алексеевич. - Томск, 2015. - 216 с.

18. Ефимов И. Н. Математическое моделирование и комплексы программ в системах контроля доступа к информационным ресурсам: дис. ... канд. техн. наук : 05.13.19 Ефимов Илья Николаевич. - Самара, 2016. - 125 с.

19. Жиганов, С. В. Алгоритмы переноса знаний в задаче многоклассовой классификации / С. В. Жиганов, Д. А. Зверев // Научно-техническое творчество аспирантов и студентов: материалы 47-й научно-технической конференции студентов и аспирантов. - Комсомольск-на-Амуре ФГБОУ ВО «КнАГТУ», 2017. - С. 393-396.

20. Жиганов, С. В. Разработка алгоритма анализа и классификации событий в видеофрагменте / С. В. Жиганов, Д. А. Зверев // Материалы 48-й научно-технической конференции студентов и аспирантов (Комсомольск-на-Амуре, 2018). - Комсомольск-на-Амуре ФГБОУ ВО «КнАГУ». - 2018. -С. 277-280.

21. Жиганов, С. В. Разработка нейро-нечёткого алгоритма предобработки изображений для системы контроля и управления доступом транспортных средств / С. В. Жиганов, Д. А. Зверев // Материалы 48-й научно-технической конференции студентов и аспирантов (Комсомольск-на-Амуре, 2018). Комсомольск-на-Амуре ФГБОУ ВО «КнАГУ». - 2018. - С. 287-289.

22. Журавлев Ю. И. Распознавание. Математические методы. Программная система. Практические применения. / Ю. И. Журавлев, В. В. Рязанов, О. В. Сенько. - М: ФАЗИС, 2006. - 176 с.

23. Загоруйко Н.Г. Методы распознавания и их применение. / Н. Г. Загоруйко. - М.: Сов.радио, 1972. - 208 с.

24. Загоруйко Н.Г. Прикладные методы анализа данных и знаний / Н. Г. Загоруйко. Новосибирск: ИМ СО РАН, 1999. - 270 с.

25. Исхаков А. Ю. Методическое и программно-алгоритмическое обеспечение процесса идентификации посетителей в местах массового пребывания людей: дис. ... канд. техн. наук : 05.13.19 Исхаков Андрей Юнусович. - Томск, 2016. - 140 с.

26. Катаев М. Ю. Обработка видео и исследование особенностей походки человека / М. Ю. Катаев, Е. В. Рудова // Информационные

технологии в науке, управлении, социальной сфере и медицине. Сборник научных трудов V Международной научной конференции: в 2 частях. - 2019. - С. 313-317.

27. Колосовский М. А. Модельно-алгоритмическое обеспечение интеллектуальной системы видеонаблюдения за нерегулируемыми пешеходными переходами: дис. ... канд. техн. наук : 05.13.01 Колосовский, Максим Александрович. - Новосибирск, 2015. - 122 с.

28. Кохонен Т. Самоорганизующиеся карты. пер. с англ. / Т. Кохонен. -М.: БИНОМ. Лаборатория знаний. 2008. - 655 с.

29. Куделькин В.А. Особенности обработки данных в интеллектуальной интегрированной системе безопасности объектов и территорий / В. А. Куделькин, И. М. Янников // Интеллектуальные системы в производстве, - Т. 15. - № 4. - 2017. - С. 94-101.

30. Курилкин А. В. Математическое моделирование городской мобильности с использованием данных видеонаблюдения: дис. ... канд. техн. наук : 05.13.18 Курилкин Алексей Владимирович. - Санкт-Петербург, 2017. -125 с.

31. Лысанов И. Ю. Автоматизация процесса идентификации персонала в системе контроля и управления доступом на строительных объектах: дис. ... канд. техн. наук : 05.13.06 Лысанов Иван Юрьевич. Орел, 2016. - 244 с.

32. Местецкий Л.М. Математические методы распознавания образов / Л. М. Местецкий. - М.: МГУ, ВМиК, 2002. - 85 с.

33. Муравьев, А. С. Модифицированный алгоритм растущего нейронного газа применительно к задаче классификации / А. С. Муравьев, А. А. Белоусов // Вестник науки Сибири. - 2014. - Т. 14. - № 4. - С. 105-111.

34. Пастушков А. В. Метод и алгоритмы поиска объекта в видеопотоке: дис. ... канд. техн. наук : 05.13.17 Пастушков Александр Викторович. Томск, 2017. - 135 с.

35. Свидетельство о государственной регистрации программы для ЭВМ № 2019610486 от 11.01.2019. Программа контроля и управления доступом физических лиц на охраняемую территорию по лицу. // О. С. Амосов, Ю. С. Иванов, С. В. Жиганов, С. Г Амосова; заявитель и правообладатель ФГБОУ ВО «КнАГУ».

36. Свидетельство о государственной регистрации программы для ЭВМ №2016663283 от 02.12.2016. Нейро-нечеткая модель растущего нейронного газа для локализации тела человека (GNG-FIS). // О. С. Амосов, Ю. С. Иванов, С. В Жиганов; заявитель и правообладатель ФГБОУ ВО «КнАГТУ».

37. Свидетельство о государственной регистрации программы для ЭВМ №2018610776 от 17.01.2018. Программа контроля и учета доступа автотранспортных средств на охраняемую территорию по номерным знакам. // О. С. Амосов, Ю. С. Иванов, С. В. Жиганов, С. Г Баена, Д. А. Зверев; заявитель и правообладатель ФГБОУ ВО «КнАГУ».

38. Свидетельство о государственной регистрации программы для ЭВМ №2019610487 от 11.01.2019. Программа для классификации и аннотирования ситуаций в непрерывном видеопотоке. // О. С. Амосов, Ю. С. Иванов, С. В. Жиганов, С.Г Амосова; заявитель и правообладатель ФГБОУ ВО «КнАГУ».

39. Симанков В. С. Адаптивное управление сложными системами на основе распознавания образов / Симанков В. С., Луценко Е. В. Краснодар: Техн. ун-т Кубан. гос. технол. ун-та, 1999. - 318 с.

40. Современные биометрические методы идентификации : [сайт]. URL: https://habrahabr.ru/post/126144/ (дата обращения: 01.08.2017).

41. Сойфер В.А. Теоретические основы цифровой обработки изображений: Учебное пособие / В. А. Сойфер, В. В. Сергеев, С. Б. Попов, В. В. Мясников - Самара: СГАУ, 2000. - 256 с.

42. Трапезников И.Н. Разработка и анализ системы распознавания автомобильных регистрационных знаков: дис.. канд. техн. наук : 05.12.04 Трапезников Илья Николаевич. - Ярославль, 2014. 130 с.

43. Тхет Н.В. Системы контроля и управления доступом с применением алгоритмов пространственно-временного анализа изображений: дис. ... канд. техн. наук : 05.13.01 Тхет Наинг Вин. - Москва, 2018. - 151 с.

44. Уоссермен Ф. Нейрокомпьютерная техника: Теория и практика. пер. с англ. / Ф. Уоссермен. - М: МИР, 1992. - 240 с.

45. Фаворская М. Н. Применение параллельных вычислений при расчете признаков в системах автоматического аннотирования изображений / М. Н. Фаворская, А. В. Проскурин, А. Г. Зотин, М. В. Дамов // Телекоммуникации. - № 4. - 2015. - С. 41-47.

46. Фаворская М. Н. Модель фона при детектировании дыма по видеопоследовательностям на открытых пространствах / М. Н. Фаворская, А. В. Пятаева // Информационно-управляющие системы. - Т. 83, - № 4, - 2016. - С. 44-50.

47. Хайкин С. Нейронные сети: Полный курс. пер. с англ. / С. Хайкин -М.: Вильямс, 2008. - 1103 с.

48. Шальнов Е.В. Исследование и разработка методов сопровождения людей и частей их тела в видеопоследовательности: дис. ... канд. физ.-мат. наук. наук : 05.13.17 Шальнов Евгений Вадимович. - Москва, 2018. - 115 с.

49. Щеголева Н. Л., Кухарев Г. А. методы двумерной проекции цифровых изображений в собственные подпространства: особенности реализации и применение / Н. Л. Щеголева, Г. А. Кухарев // Компьютерная оптика. - Т. 42. - № 4. - 2018. - С. 637-656.

50. Aarathi, K. S. Vehicle color recognition using deep learning for hazy images / K. S. Aarathi, A. Abraham // ICICCT. - 2017. - P. 335-339.

51. Adak, C. Writer Identification and Verification from Intra-variable Individual / C. Adak, B. B. Chaudhuri, M. Blumenstein // arXiv preprint. - 2017. URL: https://arxiv.org/abs/1708.03361 (дата обращения: 10.02.2018).

52. Adnan, A. K. Fast Subsequent Color Iris Matching in large Database / A.

K. Adnan, S. Soomro, I. Hyder // arXiv preprint. - 2012. URL: https://arxiv.org/ abs/1207.2861 (дата обращения: 10.01.2018).

53. Agoston, M. K. Computer Graphics and Geometric Modeling: Implementation and Algorithms / M. K. Agoston. - London: Springer, - 2005. -P 907.

54. Amos, B. OpenFace: A general-purpose face recognition library with mobile applications / B. Amos, B. Ludwiczuk, M. Satyanarayanan // CMU-CS-16-118, CMU School of Computer Science, Tech. Rep. - 2016. URL: https:// www.cs.cmu.edu/~satya/docdir/CMU-CS-16-118.pdf (дата обращения: 20.08.2018).

55. Amosov, O. S. Using the Ensemble of Deep Neural Networks for Normal and Abnormal Situations Detection and Recognition in the Continuous Video Stream of the Security System / O. S. Amosov, S. G. Amosova, Y. S. Ivanov, S. V. Zhiganov // Journal Procedia Computer Science. - 2019. - Vol. 150. - P. 532-539. (Scopus)

56. Amosov, O. S. Roadway Gate Automatic Control System with the Use of Fuzzy Inference and Computer Vision Technologies / O. S. Amosov, S. G. Baena, Y. S. Ivanov, H. Soe // 2017 12th IEEE Conference on Industrial Electronics and Applications (ICIEA), Siem Reap. - 2017. - P. 706-711.

57. Amosov, O. S. Abnormal situations recognition in the continuous video stream of information and telecommunication systems / O. S. Amosov, Y. S. Ivanov, S. V. Zhiganov // 2018 International Multi-Conference on Industrial Engineering and Modern Technologies. - 2018. - P. 1-6. (Scopus, Web of Science)

58. Amosov, O.S. Human Localization in the Video Stream Using the Algorithm Based on Growing Neural Gas and Fuzzy Inference / O. S. Amosov, Y. S. Ivanov, S. V. Zhiganov // Journal Procedia Computer Science. - 2017. - Vol. 103, - P. 403-409. (Scopus, Web of Science)

59. Amosov, O. S. Semantic Video Segmentation with Using Ensemble of

Particular Classifiers and a Deep Neural Network for Systems of Detecting Abnormal Situations / O. S. Amosov, Y. S. Ivanov, S. V. Zhiganov // Journal IT in Industry. - 2018. - Vol. 6. - P. 14-19. (Web of Science)

60. Amosov, O.S. Deep Neural Network Method of Recognizing the Critical Situations for Transport Systems by Video Images / F. F. Pashchenko, O. S. Amosov, S. G. Amosova, Y. S. Ivanov, S. V. Zhiganov // Journal Procedia Computer Science, - 2019, - Vol. 151, - P. 675-682. (Scopus)

61. An open source machine learning library for research and production : [сайт]. URL: https://www.tensorflow.org/ (дата обращения: 20.01.2019).

62. Beyer, O. Online labelling strategies for growing neural gas / O. Beyer, P. Cimiano // In Intelligent Data Engineering and Automated Learning-IDEAL, Springer. - 2011. - P. 76-83.

63. Beyer, O. Online semi-supervised growing neural gas / O. Beyer, P. Cimiano // International journal of neural systems. - 2012. - Vol. 22. - No. 5. - P. 425-435.

64. Binary classification performances measure cheat sheet : [сайт]. URL: https://kaggle2.blob.core.windows.net/forum-message-attachments/144412/5346/ modelperfcheatsheet.pdf (дата обращения: 20.12.2017).

65. Caltech Pedestrian Detection Benchmark : [сайт]. URL: http:// www.vision.caltech.edu/Image_Datasets/Caltech Pedestrians/ (дата обращения: 10.01.2018).

66. Canny, J. A Computational Approach to Edge Detection / J. Canny // IEEE transactions on pattern analysis and machine intelligence. - 1986. - Vol. 8. -No. 6, - P. 679-697.

67. Cazzolato, M. FiSmo: A Compilation of Datasets from Emergency Situations for Fire and Smoke Analysis / M. Cazzolato, L. Avalhais, D. Chino, J. Ramos, J. Souza, J. Rodrigues, A. Taina // SBBD2017 - SBBD Proceedings of Satellite Events of the 32nd Brazilian Symposium on Databases - DSW (Dataset Showcase Workshop), - 2017. - P. 213-223.

68. Chen, S. MobileFaceNets: Efficient CNNs for Accurate Real-Time Face Verification on Mobile Devices / S. Chen, Y. Liu, X. Gao, Z. Han // arXiv preprint. - 2018. URL: https://arxiv.org/abs/1804.07573 (дата обращения: 2018.09.20)

69. Chuanqi, T. A. Survey on Deep Transfer Learning / T. Chuanqi, S. Fuchun, K. Tao, Z. Wenchang, Y. Chao, L. Chunfang // arXiv preprint. - 2018. URL: https://arxiv.org/abs/1808.01974 (дата обращения: 01.08.2018).

70. Chung, Y. N. Applying Image Recognition Technology to Intelligent Security Management Systems / Y. N. Chung, T. C. Lu, Y. X. Huang, C. T. Lin, C. C. Yu, C. K. Li // Part of series: AISR. - 2015. - Vol. 123, - P. 117-120.

71. COCO dataset : [сайт^ШЬ: http://mscoco.org/ (дата обращения: 10.01.2018).

72. Cristianini, N. An Introduction to Support Vector Machines and Other Kernel-based Learning Methods / N. Cristianini, J. Shawe-Taylor. - Cambridge: University Press, 2000. - 189 pp.

73. Dalal, N. Histograms of oriented gradients for human detection / N. Dalal, B. Triggs // 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'05). - 2005. - Vol. 1. - P. 886-893.

74. Dollar, P. Pedestrian Detection: An Evaluation of the State of the Art / P. Dollar, C. Wojek, P. Perona // IEEE PAMI. - 2012. - Vol. 34. - No. 4. - P. 743761.

75. Dong, Y. Learning Face Representation from Scratch / Y. Dong, L. Zhen, L. Shengcai, Z. L. Stan // arXiv preprint. - 2014. URL: https://arxiv.org/pdf/ 1411.7923.pdf (дата обращения: 31.08.2018).

76. Drahansky, M. Liveness Detection for Biometric Systems Based on Papillary Lines / M. Drahansky, D. Lodrova // International Conference on Information Security and Assurance (ISA 2008). - 2008. - P. 439-444.

77. Garland, M. Parallel computing with CUDA / M. Garland // 2010 IEEE International Symposium on Parallel & Distributed Processing. - 2010. - P. 1.

78. Goto, Y. CS-HOG: Color similarity-based HOG / Y. Goto, Y. Yamauchi, H. Fujiyoshi // Frontiers of Computer Vision, (FCV), 2013 19th KoreaJapan Joint Workshop on. - 2013. - P. 266-271.

79. Gutoski, M. Detection of Video Anomalies Using Convolutional Autoencoders and One-Class Support Vector Machines / M. Gutoski, N. M. R. Aquino, M. Ribeiro,E. A. Lazzaretti, S. H. Lopes // XIII Brazilian Congress on Computational Intelligence. - 2017. URL: http://cbic2017.org/papers/cbic-paper-49.pdf

80. He, K. Deep residual learning for image recognition / K. He, X. Zhang, S. Ren, J. Sun // arXiv preprint. - 2015. URL: https://arxiv.org/abs/1512.03385 (дата обращения: 05.10.2017).

81. Hermans, A. In Defense of the Triplet Loss for Person Re-Identification / A. Hermans, L. Beyer, B. Leibe // arXiv preprint. - 2017. URL: https://arxiv.org/ abs/1703.07737 (дата обращения: 03.09.2018).

82. Hinami, R. Joint Detection and Recounting of Abnormal Events by Learning Deep Generic Knowledge / R. Hinami, T. Mei, S. Satoh // arXiv preprint. - 2017. URL: https://arxiv.org/abs/1709.09121 (дата обращения: 10.03.2018)

83. Ho, D. Neuro-Fuzzy Algorithmic (NFA) Models and Tools for Estimation / D. Ho, L. F. Capretz, X. Huang, J. Ren // arXiv preprint. - 2015. URL: https://arxiv.org/abs/1508.00037 (дата обращения: 21.12.2017).

84. Hochreiter, S. Long short-term memory / S. Hochreiter, J. Schmidhuber // Neural Computation. - 1997. - Vol. 9, - No. 8, - P. 1735-1780.

85. Howard, A. G. MobileNets: Efficient Convolutional Neural Networks for Mobile Vision / A. G. Howard, M. Zhu, B. Chen, D. Kalenichenko, W. Wang, T. Weyand, M. Andreetto, H. Adam // arXiv preprint. - 2017. URL: https://arxiv.org/pdf/1704.04861.pdf

86. ImageNet: [сайт]. URL: http://www.image-net.org/ (дата обращения: 15.12.2017).

87. INRIA Person Dataset: [сайт]. URL: http://pascal.inrialpes.fr/data/ human/ (дата обращения: 10.01.2018).

88. Intersection over Union (IoU) for object detection: [сайт]. URL: https:// www.pyimagesearch.com/2016/11/07/intersection-over-union-iou-for-object-detection/ (дата обращения: 20.10.2017).

89. Ioffe, S. Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift / S. Ioffe, C. Szegedy // arXiv preprint. - 2015. URL: https://arxiv.org/abs/1502.03167 (дата обращения: 27.10.2017).

90. Jang, J.-S.R. ANFIS: adaptive-network-based fuzzy inference system / J.-S.R. Jang // IEEE Transactions on Systems, Man and Cybernetics. - 1993. -Vol. 23, - No. 3. - P. 665-685.

91. Kanrar S. Speaker Identification by GMM based i Vector / S. Kanrar // arXiv preprint. - 2017. URL: https://arxiv.org/abs/1704.03939 (дата обращения: 01.12.2017).

92. Karpathy A. Deep Visual-Semantic Alignments for Generating Image Descriptions / A. Karpathy, L. Fei-Fei // arXiv preprint. 2014. URL: https:// arxiv.org/abs/1412.2306 (дата обращения: 03.10.2018).

93. Kendall, A. Bayesian SegNet: Model Uncertainty in Deep Convolutional Encoder-Decoder Architectures for Scene Understanding. / A. Kendall, V. Badrinarayanan, R. Cipolla // arXiv preprint. - 2015. URL: http://arxiv.org/abs/ 1511.02680 (дата обращения: 01.02.2018).

94. Keras: The Python Deep Learning library: [сайт]. URL: https://keras.io/ (дата обращения: 10.03.2019).

95. Krishna, R. Dense-Captioning Events in Videos / R. Krishna, K. Hata, F. Ren, L. Fei-Fei, J. Niebles // arXiv preprint. - 2017. URL: https://arxiv.org/abs/ 1705.00754 (дата обращения: 15.03.2018).

96. Labeled Faces in the Wild: [сайт]. URL: http://vis-www.cs.umass.edu/ lfw/ (дата обращения: 15.10.2018).

97. LeCun, Y. Backpropagation Applied to Handwritten Zip Code Recognition / Y. LeCun, B. Boser, J. S. Denker, D. Henderson, R. E. Howard, W. Hubbard, L. D. Jackel // Neural Computation. - 1989. - Vol. 1. - No. 4. - P. 541551.

98. LeCun, Y. Gradient-based learning applied to document recognition / Y. LeCun, L. Bottou, Y. Bengio, P. Haffner // Proceedings of the IEEE. -1998. - Vol. 86. -No. 11. - P. 2278-2324.

99. Li, H. Reading Car License Plates Using Deep Convolutional Neural Networks and LSTM / H. Li, C. Shen // arXiv preprint. - 2016. URL: https:// arxiv.org/abs/1601.05610 (дата обращения: 20.06.2018).

100. Li, S. Independently Recurrent Neural Network (IndRNN): Building A Longer and Deeper RNN / S. Li, W. Li, C. Cook, C. Zhu, Y. Gao // arXiv preprint. - 2018. URL: https://arxiv.org/abs/1803.04831 (дата обращения: 10.05.2018)

101. Li, X. Online People Tracking and Identification with RFID and Kinect / X. Li, Y. Zhang, I. Marsic, R. S. Burd // arXiv preprint. - 2017. URL: https:// arxiv.org/pdf/1704.04861.pdf (дата обращения: 21.12.2017).

102. Liu, W. SSD: Single Shot MultiBox Detector / W. Liu, D. Anguelov, D. Erhan, C. Szegedy, S. Reed, C. Fu, A. C. Berg // arXiv preprint. 2016. URL: https://arxiv.org/abs/1512.02325 (дата обращения: 05.08.2018).

103. Martinetz, M. "Neural-gas" network for vector quan-tization and its application to time series prediction / M. Martinetz, S. Berkovich, K. Schulten // Trans. Neural Networks. -1993. - Vol 40. - No. 4. - P. 558-569.

104. Masood, S. Z. License Plate Detection and Recognition Using Deeply Learned Convolutional Neural Networks / S. Z. Masood, G. Shu, A. Dehghan, E. G. Ortiz // arXiv preprint. - 2017. URL: https://arxiv.org/abs/1703.07330 (дата обращения: 10.06.2018).

105. Matas, J. Robust wide baseline stereo from maximally stable extremal regions / J. Matas, O. Chum, M. Urban, T. Pajdla // Proc. of British Machine Vision Conference. - 2002. - P. 384-396.

106. Sandler, M. MobileNetV2: Inverted Residuals and Linear Bottlenecks / M. Sandler, A. Howard, M. Zhu, A. Zhmoginov, L.-C. Chen // arXiv preprint. -2018. URL: https://arxiv.org/abs/1801.04381 (дата обращения: 05.09.2018).

107. Mohandes, M. An Intelligent System for Vehicle Access Control using RFID and ALPR Technologies / M. Mohandes, M. Deriche, H. Ahmadi // Arabian Journal for Science and Engineering. - 2016. - Vol. 41. - No. 9. - P. 3521-3530.

108. Ng, J. Beyond Short Snippets: Deep Networks for Video Classification / J. Ng, M. Hausknecht, S. Vijayanarasimhan, O. Vinyals, R. Monga, G. Toderici // CVPR. - 2015. - P. 4694-4702.

109. Papineni, K. BLEU: a method for automatic evaluation of machine translation / K. Papineni, S. Roukos, T. Ward, W. J. Zhu // ACL-2002: 40th Annual meeting of the Association for Computational Linguistics. - 2002. - P. 311-318.

110. Park, Y. M. A self organising fuzzy logic controller for dynamic systems using a fuzzy auto regressive moving average model / Y. M. Park, U. C. Moon, K. Y. Lee // IEEE Trans. Fuzzy Syst. - 1995. - Vol. 3. - P. 75-82.

111. Patil, R. A. Keystroke Dynamics for User Authentication and Identification by using Typing Rhythm / R. A. Patil, A. L. Renke // International Journal of Computer Applications. - 2016. - Vol. 144. - No. 9. - P. 27-33.

112. Pizer, S. M. Adaptive Histogram Equalization and Its Variations / S. M. Pizer, E. P. Amburn, J. D. Austin // Computer Vision, Graphics, and Image Processing. - 1987. - Vol. 39. - P. 355-368.

113. Qin, A. Robust growing neural gas algorithm with application in cluster analysis / A. Qin, P. K. Suganthan // Neural Netw. - 2004. - Vol. 17. - No. 8. - P. 1135-1148.

114. Redmon, J. You Only Look Once: Unified, Real-Time Object Detection / J. Redmon, S. K. Divvala, R. B. Girshick, A. Farhadi // arXiv preprint. - 2015.

115. Rosebrock, A. Face Alignment with OpenCV and Python / A. Rosebrock // pyimagesearch. - 2017. URL: https://www.pyimagesearch.com/2017/ 05/22/face-alignment-with-opencv-and-python/ (дата обращения: 02.09.2018).

116. Rudakov K.V., Torshin I.Y. Combinatorial analysis of the solvability properties of the problems of recognition and completeness of algorithmic models. Part 1: factorization approach / K. V. Rudakov, I. Y. Torshin // Pattern Recognition and Image Analysis (Advances in Mathematical Theory and Applications). - Vol. 27. - No. 1. - 2017. - P. 16-28.

117. Rudakov K.V., Torshin I.Y. Combinatorial analysis of the solvability properties of the problems of recognition and completeness of algorithmic models. Part 2: Metric approach within the framework of the theory of classification of feature values // Pattern Recognition and Image Analysis (Advances in Mathematical Theory and Applications). - Vol. 27. - No. 2. - 2017. - P. 184-199.

118. Schroff, F. A unified embedding for face recognition and clustering / F. Schroff, D. Kalenichenko, J. Philbin // In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. - 2015. - Vol. 1. - P. 815-823.

119. Schroff, F. FaceNet: A Unified Embedding for Face Recognition and Clustering / F. Schroff, D. Kalenichenko, J. Philbin // arXiv preprint. - 2018. URL: https://arxiv.org/abs/1503.03832 (дата обращения: 05.09.2018).

120. Shaoqing, R. Face Alignment at 3000 FPS via Regressing Local Binary Features / R. Shaoqing, C. Xudong, W. Yichen, S. Jian // The IEEE Conference on Computer Vision and Pattern Recognition. - 2014. - P. 1685-1692.

121. Sharma, S. Identity verification using shape and geometry of human hands / S. Sharma, S. R. Dubey, S. K. Singh, K. S. Rajat, Saxena // Expert Systems with Applications. - 2015. - Vol. 42. - No. 2. - P. 821-832.

122. Simonyan, K. Very Deep Convolutional Networks for Large-Scale Image Recognition / K. Simonyan, A. Zisserman // arXiv preprint. - 2014. URL: https://arxiv.org/abs/1409.1556 (дата обращения: 03.01.2019).

123. Sobel, I. A 3x3 Isotropic Gradient Operator for Image Processing / I.

Sobel, G. Feldman // Presentation at Stanford A.I. Project. - 1968. - P. 5.

124. Steinhaus, H. Sur la division des corps materiels en parties / H. Steinhaus // Bull. Acad. Polon. Sci. - 1956. - Vol. 4. - No. 12. - P. 801—804

125. Sultani, W. Real-world Anomaly Detection in Surveillance Videos / W. Sultani, C. Chen, M. Shah // arXiv preprint. - 2018. URL: https://arxiv.org/abs/ 1801.04264 (дата обращения: 01.04.2018).

126. Szegedy, C. Going deeper with convolutions. Technical Report / C. Szegedy, W. Liu, Y. Jia, P. Sermanet, S. Reed, D. Anguelov, D. Erhan, V. Vanhoucke, A. Rabinovich // arXiv preprint. - 2014. URL: https://arxiv.org/pdf/ 1704.04861.pdf (дата обращения: 21.08.2018).

127. Szegedy, C. Rethinking the Inception Architecture for Computer Vision / C. Szegedy, V. Vanhoucke, S. Ioffe, J. Shlens, Z. Wojna // arXiv preprint. 2015. URL: https://arxiv.org/abs/1512.00567 (дата обращения: 21.12.2017).

128. Tsypkin Y.Z. Neural networks for identification of nonlinear systems under random piecewise polynomial disturbances / Y. Z. Tsypkin, J. D. Mason, D. Avedyan, K. Warwick, I. K. Levin // IEEE Transactions on Neural Networks. -No. 10. - P. 303-312.

129. Vapnik, V. N. An Overview of Statistical Learning Theory / V. N. Vapnik // Trans. Neur. Netw. - 1999. - Vol. 10, - No. 5. - P. 988-999.

130. Viola, P. J. Detecting Pedestrians Using Patterns of Motion and Appearance / P. J. Viola, D. Snow // Int. J. Comput. Vision. - 2005. - Vol. 63. -No. 2. - P. 153-161.

131. Yadav, G. Contrast limited adaptive histogram equalization based enhancement for real time video system / G. Yadav, S. Maheshwari, A. Agarwal // ICACCI. -2014. - P. 2392-2397.

ПРИЛОЖЕНИЕ А. Охранные документы на результаты интеллектуальной

деятельности

ПРИЛОЖЕНИЕ Б. Акты о внедрении

Министерство образования и науки Российской Федерации

Федеральное государственное бюджетное образовательное учреждение высшего образования « К оме ом о л ьский- н а-А му ре государетвенный университет»

УТВЕРЖДАЮ ■Р ектор у н и вере иуг га

Дмитриев Э.А.

2017 г

приемки к внедрению программного модуля

«Программа контроля и учета доступа автотранспортных средств на охраняемую территорию по номерным знакам»

Комиссия в составе: Представи тел ей Университета;

• Проректор по науке и инновационной работе, Белых С.В.

• Директор технопарка, Ри Д.X.

• Начальник службы комплексной безопасности, Оарзеев B.C. Разработчиков:

• Руководитель НИР, главный научный сотрудник, Амосов О.С.

• Старший научный сотрудник, Иванов Ю,С.

• Старший научный сотрудник, Баена С.Г.

• Инженер-проектировщик, 3 вере в Д. А.

• Младший научный сотрудник, Жиганов С В. Составила акт о нижеследующем:

«Разработчики» передают программный модуль «Программа контроля и учета доступа автотранспортных средств на охраняемую территорию по номерным знакам», н составе:

• исходные коды программы на твердотельном носителе;

• руководство администратора к программному модулю.

Программный модуль «Программа контроля и учета доступа автотранспортных средств на охраняемую территорию по номерным знакам» прошел тестирование на базе контрольно-пропускного пункта транспортных средств Ф1 БОУ ВО КнАГУ «¿*» 2017г.

Результаты тестирования показывают применимость разработанного профаммного модуля для эксплуатации и передаются ФГБОУ ВО КнАГУ для дальнейшего внедрения в систему комплексной безопасности.

В ходе тестирования апробированы все режимы функционирования такие как:

• управления ИК подсветкой;

• управление поворотной платформой;

• работоспособность модуля распознавания;

• работоспособность модуля авторизации;

• работоспособность модуля управления пользователем;

• работоспособность модуля регистрации событий;

• работоспособность модуля нечеткой логики.

В результате тестирования модуля распознавания номерных знаков качество распознавания составляет 96% согласно Протоколу испытаний №1 от «¿Ъ миЛ^ 2017 г.

Представители Университета: Проректор по науке и инновационной работе Директор технопарка

Начальник службы комплексной безопасности

11редставитель Разработчиков: Руководитель НИР

С. Фарзеев

О.С. Амосов

Федеральное государственное бюджетное образовательное учреждение высшего образования «Комсомольс кий-ни-Амуре государственный университет»

АКТ ПРЕДВАРИТЕЛЬНЫХ ИСПЫТАНИЙ

В соответствии с заданием № 2,1898.2017/114 на выполнение проекта по теме «Создание математического и алгоритмического обеспечения интеллекту^ ]ъноЙ информационно-те лекоммуни кацио нной систе мы безопасности вуза» проьедены предварительные испытания.

Комиссия в составе:

ЦрсдсеДйтеля хоикссин:

Проректор по науке и инновационной работе, Ьелых С.В.

Членов комиссий:

• Руководитель НИР, Амосов О С.

» Директор технопарка, Ри Д,Х.

• Начальник службы комплексной безо г гас и ости, Ф;|рзеев В. С,

• Старший научный сотрудник НИР, Иванов Ю.С.

Провела предварительные испытания алгоритма, реализованного к «Программе контроля в учета доступа автотранспортных средств на охраняемую территорию по номерным знакам», разработанного при выполнении НИР - гоезадания к рамках проектной части № 2,1898.2017/ПЧ

«Создание математического и алгоритмического обеспечения интеллектуальной информационно-телекоммуникационной системы безопасности вуза».

Для испытаний использовались видеофрагменты, полученные с камеры наблюдения системы охранного телевидения ФГБОУ ВО КнАГУ.

1. Объект испытаний

«Программа контроля и учета доступа автотранспортных средств на охраняемую территорию по номерным знакам».

2. Цель испытаний

Определить качество распознавания номерных знаков транспортных средств (далее ТС) на видеопоследовательностях, полученных с камеры наблюдения системы охранного телевидения ФГБОУ ВО КнАГУ (далее Университет). Обосновать возможность применения исследуемого алгоритма в системе комплексной безопасности Университета.

3. Результаты испытаний

3.1. Предварительные испытания «Программы контроля и учета доступа автотранспортных средств на охраняемую территорию по номерным знакам» проведены в соответствии с Программой и методикой испытаний. Результаты проверок оформлены Протоколами испытаний № 1.

3.2. При испытаниях установлено, что «Программа контроля и учета доступа автотранспортных средств на охраняемую территорию по номерным знакам» может быть применена в качестве модуля распознавания в системе комплексной безопасности Университета.

4. Выводы комиссии

4.1. Предварительные испытания проведены и зафиксированы в Протоколе испытаний №1 «Исследование эффективности алгоритма распознавания номерных знаков транспортных средств» от «» нСаЫ^ 2017 г.

4.2. Качество распознавания и скорость работы алгоритмов позволяет применять их в системе комплексной безопасности Университета.

4.3. Предложенный программный модуль может быть прият к внедрению в систему комплексной безопасности Университета.

ПРИЛОЖЕНИЯ:

1. Протокол испытаний № 1 на 17 стр.

Председатель комиссии, Проректор по науке

и инновационной работе

С.В. Белых

Члены комиссии:

Директор технопарка

Руководитель НИР

Д.Х. Ри

О.С. Амосов

Начальник службы комплексной безопасности

В.С. Фарзеев

Старший научный сотрудник НИР

Ю.С. Иванов

Федеральное государственное бюджетное образовательное учреждение высшего образования «Комсомольский-на-Амуре государственный университет»

приемки к внедрению программно-аппаратного

комплекса

«Контроль и учет доступа физических лиц на охраняемую территорию»

Комиссия в составе: Представителей Университета:

• Проректор по науке и инновационной работе, Евстигнеев А.И.

• Директор технопарка, Ри Д.Х.

• Начальник службы комплексной безопасности, Фарзеев B.C. Разработчиков:

• Руководитель НИР, главный научный сотрудник, Амосов О.С.

• Старший научный сотрудник, Иванов Ю.С.

• Старший научный сотрудник, Амосова С.Г.

• Младший научный сотрудник, Жиганов C.B.

• Инженер-проектировщик, Зверев Д.А.

• аспирант, Со Хтайк. Составила акт о нижеследующем:

«Разработчики» передают программно-аппаратный комплекс (ПАК) «Контроль и учет доступа физических лиц на охраняемую территорию», в составе:

• исходные коды программы на твердотельном носителе;

• руководство администратора к программно-аппаратному комплексу.

ПАК «Контроль и учет доступа физических лиц на охраняемую территорию» прошел тестирование на базе контрольно-пропускного пункта физических лиц ФГБОУ ВО КнАГУ и аудитории с ограниченным доступом ФГБОУ ВО КнАГУ » 2018г.

Результаты тестирования показывают применимость разработанного программно-аппаратного комплекса для эксплуатации и передаются ФГБОУ ВО КнАГУ для дальнейшего внедрения в систему комплексной безопасности.

В ходе тестирования апробированы все режимы функционирования:

• работоспособность модуля управления подсветкой;

• работоспособность модуля распознавания;

• работоспособность модуля управления преграждающим устройством;

• работоспособность модуля получения информации с датчиков;

• работоспособность модуля нечеткой логики.

В результате тестирования:

• модуль нечеткой логики отрабатывает все возникшие ситуации согласно Протоколу испытаний №2 от « » 2018

• точность алгоритма, используемого в модуле распознавания лиц составляет 96% согласно Протоколу испытаний №3 от <и* » 2018 г.

Представители Университета: Проректор по науке и инновационной работе Директор технопарка Начальник службы комплексной безопасности Представитель Разработчиков: Руководитель НИР

/-Д.И. Евстигеев " Д.Х. Ри В.С. Фарзеев

О.С. Амосов

Федеральное государственное бюджетное образовательное учреждение высшего образования «Комсомольский-на-Амуре государственный университет»

УТВЕРЖДАЮ ниверситета

-нтриев Э.А. -. 2018 г.

АКТ ПРЕДВАРИТЕЛЬНЫХ ИСПЫТАНИИ

В соответствии с заданием № 2.1898.2017/ПЧ на выполнение проекта по теме «Создание математического и алгоритмического обеспечения интеллектуальной информационно-телекоммуникационной системы безопасности вуза» проведены предварительные испытания.

Комиссия в составе:

Председателя комиссии:

Проректор по науке и инновационной работе, Евстигнеев А.И.

Членов комиссии:

• Руководитель НИР, Амосов О.С.

• Директор технопарка, Ри Д.Х.

• Начальник службы комплексной безопасности, Фарзеев B.C.

• Старший научный сотрудник НИР, Иванов Ю.С.

Провела предварительные испытания:

1. Работоспособности интеллектуальной системы контроля и управления доступом физических лиц (далее СКУД) в условиях, максимально

приближенных к условиям реальной эксплуатации: функциональная оценка, проверка корректности выполнения правил.

2. Алгоритма распознавания лиц, реализованного в программно-аппаратном комплексе «Контроль и учет доступа физических лиц на охраняемую территорию» и зарегистрированного в ФГБУ ФИПС как «Программа контроля и управления доступом физических лиц на охраняемую территорию по лицу», разработанного при выполнении НИР - госзадания в рамках проектной части № 2.1898.2017/ПЧ «Создание математического и алгоритмического обеспечения интеллектуальной информационно-телекоммуникационной системы безопасности вуза».

Для испытаний использовались:

1) видеопоток, полученный с камеры наблюдения интеллектуальной СКУД установленной в ауд. 24/3 ФГБОУ ВО КнАГУ (далее Университет);

2) открытая база данных лиц ЬБ\У и видеофрагменты с видеокамеры контрольно- пропускного пункта первого корпуса ФГБОУ ВО КнАГУ.

1. Объект испытаний

Программно-аппаратный комплекс «Контроль и учет доступа физических лиц на охраняемую территорию», состоящий из

1) интеллектуальной системы контроля и управления доступом физических лиц (далее СКУД);

2) программы контроля и управления доступом физических лиц на охраняемую территорию по лицу.

2. Цель испытаний

2.1. Проверить и подтвердить работоспособность интеллектуальной системы контроля и управления доступом физических лиц (далее СКУД) в условиях, максимально приближенных к условиям реальной эксплуатации.

2.2. Определить качество распознавания лиц людей на видеопоследовательностях, полученных с камеры наблюдения системы охранного телевидения ФГБОУ ВО КнАГУ. Обосновать возможность

применения исследуемого алгоритма в системе комплексной безопасности Университета.

3. Результаты испытаний

3.1. Предварительные испытания Программно-аппаратного комплекса «Контроль и учет доступа физических лиц на охраняемую территорию» проведены в соответствии с Программой и методикой испытаний. Результаты проверок оформлены Протоколом испытаний № 2 и Протоколом испытаний №3.

3.2. При испытаниях установлено, что Программно-аппаратный комплекс «Контроль и учет доступа физических лиц на охраняемую территорию» может быть применен в качестве модуля распознавания в системе комплексной безопасности Университета.

4. Выводы комиссии

4.1. Предварительные испытания проведены и зафиксированы в Протоколе испытаний №2 «Исследование эффективности интеллектуальной системы контроля и управления доступом физических лиц» от « у »2018 г и Протоколе испытаний №3 «Исследование эффективности алгоритма распознавания лиц людей» от « * » 2018

4.2. Качество распознавания и скорость работы алгоритмов позволяет применять их в системе комплексной безопасности Университета.

4.3. Предложенный программный модуль может быть прият к внедрению в систему комплексной безопасности Университета.

ПРИЛОЖЕНИЯ:

1. Протокол испытаний № 2 на 14 стр.

2. Протокол испытаний № 3 на 5 стр.