Разработка бесконтактного интегрального интерфейса оператора диспетчерского пульта дефектоскопии на непрерывной производственной линии тема диссертации и автореферата по ВАК РФ 05.13.06, кандидат технических наук Акимов, Дмитрий Александрович

• Акимов, Дмитрий Александрович
• кандидат технических наук
• 2013

Оглавление диссертации кандидат технических наук Акимов, Дмитрий Александрович

Оглавление

Введение

Глава 1. Анализ проблемы и постановка задачи создания бесконтактного интеллектуального интерфейса оператора диспетчерского пункта дефектоскопии на непрерывной производственной линии

1.1. Анализ информационных технологий автоматизированных систем управления

1.2. Особенности деятельности оператора в автоматизированных системах управления

1.3 Анализ работы оператора диспетчерского пульта дефектоскопии на непрерывной производственной линии

1.4 Анализ существующих методов компьютерного зрения для создания бесконтактного интегрального интерфейса оператора диспетчерского пульта дефектоскопии на непрерывной производственной линии

1.5 Общее описание методов моделирования изображения глаз для создания бесконтактного интегрального интерфейса оператора диспетчерского пульта дефектоскопии на непрерывной производственной линии

1.6 Аппаратные и программные средства компьютерного зрения

1.7 Постановка задачи создания компьютерного зрения для оператора диспетчерского пульта дефектоскопии на непрерывной производственной линии

1.8 Выводы

4.4 Программное обеспечение бесконтактного интегрального интерфейса оператора диспетчерского пульта дефектоскопии на непрерывной производственной линии

4.5 Апробация бесконтактного интегрального интерфейса оператора диспетчерского пульта дефектоскопии на непрерывной производственной линии

4.6 Выводы

Заключение

Список используемых источников

Приложение А. Свидетельство о государственной регистрации программы для ЭВМ

Приложение Б. Акты внедрения

Введение диссертации (часть автореферата) на тему «Разработка бесконтактного интегрального интерфейса оператора диспетчерского пульта дефектоскопии на непрерывной производственной линии»

Введение

Актуальность работы.

Необходимость автоматизации управления привела к появлению широкого класса человеко-машинных АСУ различного назначения, без которых невозможно представить современное промышленное производство. Дальнейшее повышение организационной и технической гибкости управления различными технологическими процессами при решении конкретных задач связано с возрастанием роли человека в современных системах, что обуславливается интеллектуализацией АСУ ТП и возрастанием сложности решаемых задач.

Исследования различных происшествий на промышленных предприятиях, анализ брака в процессе изготовления различной продукции, указывают, что основным источником возникновения нештатных ситуаций является человеческий фактор и человек

Существует ряд профессий, предъявляющих к своим работникам -«операторам» специальные требования. Это, в первую очередь, способность переработки значительных объемов поливариантной информации, поступающей от разнородных источников по независимым каналам, мгновенного принятия решения на основе полученных данных и совершения в крайне короткий промежуток времени значительного числа операций с электронной техникой (компьютером) преимущественно манипулятивного характера.

Автоматизация производства и управления с использованием ЭВМ непосредственно связано с решением задач по организации эффективного взаимодействия машины и человека и создания наилучших условий работы на основе современных научных методов и подходов.

Разработка и реализация современных АСУ требует организации взаимодействия человека и ЭВМ. Структура взаимодействия оператора и

ЭВМ при решении задач оперативного управления в зависимости от сложности решаемых задач, квалификации операторов, уровня автоматизации процессов управления может быть достаточно гибкой.

Основными характеристиками оператора являются безошибочность, быстродействие, точность, надежность. Оценкой быстродействия оператора является время решения задачи, которое, вместе с аналогичными показателями информационно-программно-технической части, определяет быстродействие всей системы "человек-машина".

Эффективность работы всей системы зависит от того, как будет организовано участие человека в процессе управления.

В современных АСУ одними из наиболее важных и наименее проработанных вопросов являются вопросы организации диалога, в том числе представления необходимой оператору информации в удобной форме, так как интерфейс взаимодействия между пользователем и компьютером значительно влияет на эффективность управления различными технологическими процессами.

Данное диссертационное исследование посвящено решению научно-технической задачи разработки моделей, способов и инструментария для оценки влияния бесконтактного интерфейса на деятельность оператора диспетчерского пункта дефектоскопии на напряженность и эффективность выполнения действий на непрерывной производственной линии и непосредственно базируется на результатах исследований следующих ученых:

- в области информационных технологий и автоматизированных систем управления: Николаев А.Б. (МАДИ), Строганов В.Ю. (МГТУ им. Баумана), Советов Б.Я., Цехановский В.В. (ЛЭТИ), Рыбина Г.В. (МИФИ), Афанасьев А.П. (МФТИ), Фомичев В.В., Ильин A.B. (МГУ), и др.;

- в области теории бесконтактного управления: Архангельский В.И., Каплан А.Я., Визильтер Ю.В., Каратеев C.JL, Бекетова И.В. Зарубежные

ученые: Масатоси Исикава (Masatoshi Ishikawa) (Токийский университет), Такаси Комуро (Takashi Komuro) (Токийский университет), Тим Кутес, Крис Тейлор и др.

Актуальность тематики подтверждается исследованиями таких крупных российских компаний как НПК «ТЕКО», Компании "Амфилада" (Россия); научных организаций: Институт системного анализа РАН, институт проблем информатики РАН; ведущих ВУЗов страны МГУ, МАДИ, ФИМИ, ЛЭТИ, МФТИ; зарубежных компаний: Компания Tobii (Швеция), Компания Lenovo (Китай), Компания Microsoft (США), Компания Google (США), Компания Apple (США), Фраунгоферский институт (Германия), Elliptic Labs (Норвегия), Sony Corporation (Япония), Samsung Group (Южная Корея), Ethertouch (США) совместно с фирмами Nokia, Bang&Olufsen и Microsoft.

Крупные мировые ведомства NASA и DARPA так же ведут исследования и разработки в данной области. Эксперты этих научных центров и компаний оценили направление создания бесконтактных интерфейсов как одно из приоритетных.

На конвейерных линиях часто применяются многоуровневые системы дефектоскопии, в том числе и рентгеновской. На оператора ложится большая информационная нагрузка, при этом оператор должен отслеживать информацию на нескольких дисплеях с несколькими диалоговыми окнами. Часть действий по контролю, возможно, переложить на систему управления с помощью глаз, в том числе действия переключения между окнами и управления информационными потоками.

Вместе с тем проблемой, остается отсутствие интеллектуальной системы, интегрирующей разнородную информацию об окружающей обстановке в реальном масштабе времени. Решение указанных проблем возможно с применением универсальных бесконтактных интерфейсов, не

требующих использования устройств ввода для рук и любых контактирующих элементов.

Рассмотренные аспекты организации бесконтактного управления подтверждают актуальность диссертации. Данная тематика так же соответствует Указу Президента Российской Федерации от 7 июля 2011 г. № 899 «Об утверждении приоритетных направлений развития науки, технологий и техники в Российской Федерации». В частности, развития информационно-телекоммуникационных систем и систем управления.

Задача разработки бесконтактного управления непрерывным технологическим процессом (НТП) является своевременной и актуальной.

Целью настоящей работы является повышение качества проектирования и организации функционирования НТП за счет создания и внедрения бесконтактного интегрального интерфейса.

В работе решались следующие основные задачи:

1. Анализ методов и средств компьютерного зрения, используемых при управлении НТП.

2. Разработка алгоритма идентификации и направления взгляда для бесконтактного управления в НТП, который состоит из двух частей: тренировка активной модели внешнего вида области глаз; применение активной модели внешнего вида области глаз и оценка направления взгляда.

3. Разработка алгоритма слежения за взглядом на основе анализа данных о положении глазного яблока, обрабатываемых подсистемой плавного слежения и подсистемой саккад.

4. Определение групп переменных для математической модели выделения команд управления НТП.

5. Разработка модели нечеткого нейросетевого классификатора компьютерного зрения.

6. Разработка, программная реализация и апробация интегрального интерфейса для бесконтактного управления НТП.

Объектом исследования является деятельность оператора диспетчерского пункта дефектоскопии НТП. Научная новизна работы.

1. Алгоритм идентификации взгляда, который состоит из двух частей: тренировка активной модели внешнего вида области глаз; применение активной модели внешнего вида области глаз и оценка направления взгляда.

2. Метод решения задачи нормализации положения изображения лица на основе Прокрустова анализа, для компенсации различия в масштабе, наклоне и смещении лица. Использование Прокрустова анализа для обработки компьютерных изображений дал начало новому направлению в биометрии.

3. Метод решения задачи динамической идентификации компьютерного изображения глазного яблока, в котором для исключения ошибочно обнаруженных точек идентификации применялось преобразование Хафа, используемое для выделения главных осей точек правой и левой (относительно центра зрачка) половины контура глаза.

4. Продукционная модель выделения классов команд управления специальной программно-технической системой на основе нечеткой геперрезолюции.

Положения, выносимые на защиту.

1. Алгоритм и пользовательский интерфейс для применения системы компьютерного зрения (стереозрения) и интеллектуальные методы его обработки для отслеживания положений глаз, при различном положении головы (без фиксации головы), что позволяет оператору диспетчерского пульта дефектоскопии производственным процессом без использования рук с помощью глаз или движением головы.

2. Метод для создания интеллектуального ядра принятия решений на основе нечёткой нейронной сети.

3. Модели и программное обеспечение нечеткого нейросетевого классификатора компьютерного зрения для специальных программно-технический систем.

Теоретическая значимость исследования обоснована тем, что:

- доказана возможность осуществления обнаружения не всего контура, а нескольких основных точек контура глаза - уголки глаза, границы зрачка, обеспечивающая стабильность и устойчивость алгоритму обнаружения для построения алгоритма управления НТП;

- проведена модернизация существующих деформируемых контурных моделей, позволяющая обеспечить решение задачи оптимизации (определение локальных минимумов) и использование системы правил и ограничений на возможные значения каждого из параметров контура;

- доказано наличие прямого соответствия между элементами структуры нейронной сети и компонентами нечеткой модели, что распространяет свойство интерпретируемости, присущее нечетким системам, на нейросетевую нечеткую модель и дает возможность представить результат обучения в форме гибких логических конструкций - лингвистических правил.

Применительно к проблематике диссертации результативно использован комплекс существующих базовых методов исследования, в т.ч. вероятностно-статистических методов, активной модели внешнего вида, элементов теории распознавания образов, искусственных нейронных сетей, современных технологий разработки алгоритмов и программного обеспечения, объектно-ориентированного программирования.

Значение полученных результатов исследования для практики подтверждается тем, что:

- разработан и внедрен в промышленную эксплуатацию пакет прикладных программ, использование которого позволило внедрить бесконтактное управление НТП;

- определены пределы и описаны перспективы применения предлагаемых методов бесконтактного управления НТП;

- даны методические рекомендации по совершенствованию и модернизации построения ЗЭ-модели лица и системы управления данными на её основе, а также отслеживания жестов на основе использования активных моделей внешнего вида (АсЙуеАрреагапсеМосЫз, ААМ);

- проведена апробация предлагаемой системы бесконтактного управления, которая дает точность локализации области глаз с точностью 1 см.

Оценка достоверности результатов исследования выявила:

- экспериментальные результаты получены с использованием лицензионного программного обеспечения с применением разработанного программного модуля на различных аппаратных платформах;

- теоретические изыскания построены на известных методах теории распознавания образов, методов стереозрения, оптимизации, Прокрустова анализа, искусственных нейронных сетей;

- идея базируется на проведенном анализе практики и обобщении передового опыта построения информационно-управляющих систем;

- использованы современные средства и методики проведения исследований, доказывающие обоснованность применения разработанного метода бесконтактного управления ввиду согласованности данных эксперимента и научных выводов.

Личный вклад автора состоит в: проведении анализа существующих способов разработки интегральных интерфейсов; создании математической модели бесконтактного управления НТП; непосредственной разработке алгоритма на основе метода деформируемых моделей для анализа данных при принятии решений при управлении НТП; разработке алгоритма формирования команд управления от человека; личном участии во внедрении

разработанного пакета прикладных программ в эксплуатацию в АСУ ТП; непосредственной подготовке основных публикаций по выполненной работе.

Реализация результатов. Разработанные программные средства входят в состав программного обеспечения модернизируемых информационно-управляющих систем, используемых для управления НТП.

Разработанные методы, алгоритмы и программное обеспечение для бесконтактного управления программно-техническими системами использованы:

- в учебном процессе кафедры «Управление и моделирование систем» ФГБОУ ВПО «Московский государственный университет приборостроения и информатики» при реализации образовательной программы по направлению подготовки (специальности) 230105 в дисциплинах «Человеко-машинное взаимодействие», «Интеллектуальные системы»;

- в ООО «НЕОКОМ» - при совершенствовании системы управления комплекса, предназначенного для радиоскопического контроля в реальном масштабе времени и рентгеновской микротомографии объектов, требующих высокого пространственного разрешения при дефектоскопии и исследовании внутренней структуры промышленной продукции, что позволило снизить нагрузку на оператора.

.Достоверность полученных результатов подтверждена:

- экспериментальными данными и математическим моделированием предложенных алгоритмов и методов повышения эффективности АСУ ТП;

- апробированием программных средств в АСУ ТП при внедрении бесконтактного управления.

Апробация работы. Наиболее важные результаты докладывались на международных конференциях «Перспективные инновации в науке, образовании, производстве и транспорте, 2012» (Украина, г. Одесса), XIV Всероссийской научно-технической конференции «Новые информационные технологии» (Москва, 18-20 апреля 2011г.),

XV Всероссийской научно-технической конференции «Новые информационные технологии» (Москва, 17-19 апреля 2012 г.).

Основные положения и результаты докладывались и обсуждались на научных семинарах кафедр «Автоматизированные системы управления и информационные технологии» и «Электротехника и электроника» ФГБОУ ВПО «Московский государственный университет приборостроения и информатики».

Публикации. По материалам диссертационной работы опубликовано одиннадцать научных работ, в том числе, пять - в научных рецензируемых изданиях, рекомендуемых ВАК.

Структура диссертации. Диссертация состоит из введения, четырех глав, заключения, списка литературы и четырех приложений.

Основная часть диссертации содержит 166 страниц машинописного текста, включая 45 рисунков и 10 таблиц.

Глава 1. Анализ проблемы и постановка задачи создания бесконтактного интеллектуального интерфейса оператора диспетчерского пункта дефектоскопии на непрерывной производственной линии.

1.1. Анализ информационных технологий автоматизированных систем управления.

Проектирование процессов и систем управления играет важную роль в современных технологических системах. Проектирование систем для автоматизированного управления технологическими процессами, предназначенными для обеспечения экономических, технических, экологических, социальных и других характеристик [55, 56, 58, 72, 76,], таких, например, как прибыльность, качество, безопасность и воздействие на окружающую среду, требуют тесного воздействия специалистов различных дисциплин.

Особенности автоматизированных систем управления

АСУ - это, как правило, система «человек-машина», призванная обеспечивать автоматизированный сбор и обработку информации, необходимый для оптимизации процесса управления [54, 56]. В отличие от автоматических систем, где человек полностью исключён из контура управления, АСУ предполагает активное участие человека в контуре управления, который обеспечивает необходимую гибкость и адаптивность АСУ [9, 44, 54].

На рисунке 1.1 представлена упрощённая структурная схема переработки данных в АСУ. Цифрами обозначены этапы переработки данных.

Рис. 1.1. Упрощённая схема переработки информации в АСУ

Из анализа схемы видно, что этапы 1, 2, 3, 4, 8, 9 в своём составе могут содержать много операций, которые не требуют творческого участия человека и, следовательно, могут быть реализованы программными и техническими средствами. Этапы же 5, 6, 7 требуют творческого подхода к решению поставленных задач, этап 7 вообще не может быть осуществлён без участия человека, т.к. несёт в себе элемент правовой ответственности.

Поэтому следует говорить не о вытеснении человека из контура управления сложными системами, а о рациональном распределении функций управления между человеком-оператором и информационно-программно-техническими средствами [54, 55, 92], освобождающем человека от решения рутинных задач и возлагающем на него задачи, решение которых требует нестандартного подхода.

Существенными признаками современных АСУ является наличие больших потоков информации, сложной информационной структуры, достаточно сложных алгоритмов переработки информации. Общими свойствами и отличительными особенностями современных АСУ, как сложных человеко-машинных систем различного назначения, являются следующие:

• наличие большого числа взаимосвязанных и взаимодействующих элементов, причём изменение в характере функционирования какого-либо из элементов может отразиться как на характере функционирования другого элемента, так и на функционировании всей системы в целом;

• система и входящие в неё разнообразные элементы в подавляющем большинстве являются многофункциональными;

• взаимодействие элементов в системе может происходить по каналам обмена информацией и др.;

• наличие у всей системы общей цели, общего назначения, определяющего единство сложности и организованности, несмотря на всё разнообразие входящих в неё элементов;

• переменность структуры (связей и состава системы), обеспечивающей многорежимный характер функционирования;

• взаимодействие элементов в системе и с внешней средой в большинстве случаев носит стохастический характер;

• широкое применение средств автоматики и вычислительной техники для гибкого управления и механизации умственного и ручного труда человека, работающего в системе;

• управление в подавляющем большинстве систем носит иерархический характер, предусматривающий сочетание централизованного управления или контроля с автономностью её частей.

1.2. Особенности деятельности оператора в автоматизированных системах управления.

С развитием автоматизации управления современными сложными системами на основании информационной модели, т.е. с появлением операторской деятельности, возникла необходимость учитывать психологические и другие особенности оператора, участвующего в процессе управления.

Система "человек-машина" есть система, состоящая из оператора (группы операторов) и машины (комплекса технических устройств и информационных технологий), посредством которой оператор осуществляет трудовую деятельность.

С внедрением АСУ существенным образом изменился характер труда оператора. Преобладающими теперь стали не энергетические, а информационные его функции, т.е. функции управления и контроля технологических (производственных) процессов. Изменение характера трудовой деятельности по-иному поставило проблему взаимодействия оператора и техники [88, 92]. Возможности оператора расширились благодаря развитию техники, но техника в свою очередь стала настолько сложной, что человеку уже трудно управлять ею [80]. Возникла задача согласования конструкций машин с психологическими и физиологическими возможностями оператора.

На сегодняшний день для оптимизации условий сложной трудовой деятельности уже недостаточно использовать частные рекомендации, необходимо облегчить труд оператора и определить принципиально новый подход к деятельности оператора.

1.3 Анализ работы оператора диспетчерского пульта дефектоскопии на непрерывной производственной линии.

На конвейерных линиях часто применяются многоуровневые системы

I

дефектоскопии в том числе и рентгеновской. На оператора ложится большая информационная нагрузка, при этом оператор должен отслеживать информацию на нескольких дисплеях с несколькими диалоговыми окнами. Часть действий по контролю возможно переложить на систему управления с помощью глаз, в том числе действия переключения между окнами и управления информационными потоками.

Большая информационная нагрузка ложиться на оператора при работе с комплексом, предназначенным для радиоскопического контроля в реальном времени и рентгеновской микротомографии объектов, требующих высокого пространственного разрешения при дефектоскопии и исследовании внутренней структуры промышленной продукции

Микрофокусная система рентгеновского контроля с функцией компьютерной томографии FILIN СТ-300/225 представлена на рисунке 1.2.

Система является автоматизированной системой с развитыми средствами отображения информации, в которых основными функциями человека-оператора является контроль за работой системы и принятие решений в самых сложных и непредвиденных ситуациях. Система имеет иерархическую структуру и характеризуется наличием многочисленных информационных потоков, как между уровнями, так и между элементами одного уровня. В рамках единой информационной структуры системы выделены две информационно-вычислительные подсистемы, обеспечивающие необходимой информацией все вычислительные процессы в ходе решения задач контроля и диагностики.

щшштшт

Рис. 1.3. Восстановленные ЗО изображения

Рис. 1.4. 3О прозрачность

Рис. 1.5 - Виртуальные разрезы в ЗО моделях

информация подается на вход блока диагностирования технического состояния комплекса, активизируемого по результатам допускового контроля. В этом же блоке переданная информация с объекта дополняется информацией о значениях технологических параметров для двоичного вектора состояния. Результаты решения задачи в этом блоке передаются на верхний уровень для представления оператору в текстовой форме, видео и снимках. Каждые две секунды оперативная информация с блока допускового контроля передается в блок контроля стабильности процесса реформирования, где сравнивается с поступающими из информационной базы данными, записанными восемь циклов назад. Вычисленные показатели стабильности технологического процесса проверяются на допустимость. В случае выявлений факта дестабилизации оператор оповещается звуковой индикацией и ему предоставляется информация об изменениях в ходе технологического процесса. В случае нарушения стабильности необходимые сведения о дефектах передаются на вышестоящий уровень в блок диагностирования, в котором реализован алгоритм диагностирования. Для работы алгоритма в блок диагностирования вызывается априорная экспертная информация. Она, как и другие необходимые данные, записывается предварительно в память. Обмен информацией между блоками технологического диагностирования и оператором осуществляется в диалоговом режиме. У оператора запрашивается необходимая информация о его действиях по управлению технологическим процессом. В зависимости от ответа выбирается та или иная ветвь алгоритма в соответствии с выбранной стратегией диагностирования. Ввиду наибольшей ответственности за принимаемое системой решение верхний уровень отведен оператору-технологу, которому принадлежит наивысший приоритет в системе. Оператор может прекратить или возобновить работу системы. Ему предоставлена возможность инициировать прерывание работы в течение цикла опроса для перехода в диалоговый режим. Кроме того, он может

изменить режим работы системы, исключив отдельные технические и программные блоки системы. Предусмотрена возможность корректировки массивов информации.

Для реализации информационных связей в соответствии с описанной структурой и обеспечения необходимых видов обработки и отображения информации был создан комплекс технических средств, основу которого составила ПЭВМ.

Постоянная статическая информация для выполнения функций ЦГТ хранится на внешнем запоминающем устройстве (ВЗУ) - магнитном диске. Динамическая информация поступает из оперативной памяти (ОЗУ). В качестве системной консоли использован дисплей монитора.

Структура программного обеспечения такова. В системе одновременно может работать до четырех дисплеев. Дисплеи дифференцируются по выполняемым функциям. Один из них является главным и с него могут быть выполнены все процедуры, специфицированные в данной диалоговой задаче.

1.4 Анализ существующих методов компьютерного зрения для создания бесконтактного интегрального интерфейса оператора диспетчерского пульта дефектоскопии на непрерывной производственной линии

1.4.1 Методы эмпирического распознавания

Общее описание методов эмпирического распознавания

Исследователи, использующие подход [1] эмпирического распознавания, стараются определить условия и признаки, по которым человек выносит решение, является ли данное изображение глазом или нет. При этом формируется ряд эвристик, на основе наличия и взаимного соответствия которых можно определить факт присутствия глаза на изображении с использованием автоматической системы [2].

Основными достоинствами методов эмпирического распознавания глаз являются: относительная простота подходов и алгоритмов, высокая степень быстродействия, хорошие результаты при ограниченных, априорных условиях. Основные недостатки этих методов являются следствием самой их концепции - опоры на эмпирические наблюдения.

Качество работы методов эмпирического распознавания напрямую зависит от способов формализации процессов, происходящих в мозге человека, а также степени изобретательности и интуиции конкретного исследователя, реализующего подобный алгоритм. При выборе слишком жестких условий проверки значительное число лиц окажется необнаруженным, а в случае слишком мягких условий будет выявлено значительное количество ложных обнаружений. Кроме того, ручной выбор определенных признаков и эвристик зачастую в значительной мере уступает машинной обработке, использующей аппарат математической статистики. Также использование априорных знаний об условиях освещенности, количестве лиц на изображении, угле наклона лица в значительной мере снижает возможность повторного использования подобных методов для решения задачи обнаружения лица в других, измененных условиях.

Шаблонные методы

Среди методов эвристического поиска человеческих глаз на лицах стали подходы, основанные на шаблонах [8]. Одна из вариаций подхода на шаблонах работает следующим образом. На основании большой выборки составляется некоторый эталонный образ изображения глаза на лице, которое затем сравнивается с изображением, подлежащим анализу.

Другим вариантом этого подхода является использование отдельных шаблонов для крупных черт глаза, таких как глазное яблоко. При использовании этого подхода проверяется наличие на анализируемом изображении элементов глаза, близких к эталонным, а также проверяется соотношение размеров и положения обнаруженных элементов.

Методы, основанные на шаблонах, можно отнести к классу методов "сверху-вниз". Как правило, глаза и нос относятся к объектам, для которых можно задать шаблон наиболее жестким образом.

Методы распознавания "сверху-вниз" означают построение некоторого набора правил, которым должен отвечать фрагмент изображения для того, чтобы быть признанным человеческим глазом или лицом. Этот набор правил является попыткой формализовать эмпирические знания о том, как именно выглядит глаз на изображениях и чем руководствуется человек при принятии решения - глаз он видит, или нет.

Довольно легко построить набор простых и очевидных (как кажется) свойств изображения лица. Например: глаз обычно симметричен; черты глаза (зрачок, радужная оболочка, ресницы) отличаются от кожи по яркости (обычно им также соответствуют области резкого изменения яркости); черты газа расположены вполне определенным образом. Опираясь на перечисленные свойства, можно построить алгоритм, проверяющий их наличие на фрагменте изображения лица.

К этому же семейству методик можно также отнести распознавание с помощью шаблонов, заданных разработчиком (ргеёейпескетрЫегпа^Ь^). Шаблоны задают некий стандартный образ изображения глаза, например, путем описания свойств отдельных областей глазного яблока и их возможного взаимного расположения.

Признаковые методы

Теперь рассмотрим методы, основанные на признаках, которые используют знания о наличии на изображении лица определенных признаков глаза. К числу таких признаков относятся: глазное яблоко обладает определенным белым оттенком цвета с пятном зрачка на нём; глаз зачастую симметричен относительно вертикальной оси; черты глаз имеют строго определенные отношения размеров и взаимное положение[49].

Исследователи, разрабатывающие подходы, основанные на признаках [3] в основном предлагают следующую последовательность обнаружения лица и глаз. Вначале с использованием различных эвристик производится сегментация изображения, и выделяются области кожи. Найденные области проверяются на степень "округлости" и на отношение линейных размеров. Далее предлагаются различные авторские алгоритмы определения различных областей глаза, как то: глазное яблоко, зрачок, ресницы, области век и др. С использованием этих алгоритмов обрабатываются области кожи, белков и зрачков, полученные на этапе сегментации. Полученные результаты объединяются и обрабатываются с использованием алгоритмов, анализирующих взаимное положение и относительные размеры каждой из присутствующих элементов глаза.

Подход, использующий признаки, относится к методом класса "снизу-вверх". Используются инвариантные свойства изображений лиц, опираясь на предположение, что раз человек может без усилий распознать лицо на изображении независимо от его ориентации, условий освещения и индивидуальных особенностей, то должны существовать некоторые признаки присутствия лиц на изображении, инвариантные относительно условий съемки.

Методы на основе контуров

В данных методах распознавание производится на основе сравнения контуров лица. Контуры обычно извлекаются для линий глазных областей, бровей, век, зрачков. Контуры представлены ключевыми точками, а положение промежуточных точек, принадлежащих контуру, вычисляется интерполированием.

Для локализации контуров в различных методах используется как априорная информация, так и информация, полученная в результате анализа тренировочного набора. Обычно ключевые точки размещаются вручную на наборе тренировочных изображений. При поиске контуров нового глаза

используется метод симуляции отжига с целевой функцией из двух составляющих. Для первой из них ищется максимум при соответствии яркостей пикселей, извлеченных на перпендикулярной контуру линии аналогичным пикселям из тренировочной выборки, для второй - при совпадении контура с формой контуров тренировочных примеров.

Результатом применения таких контуров является набор линий на изображении, с высокой вероятностью относящихся к чертам глаза. Для сравнения изображений используются значения главных компонент, вычисленные на наборе векторов на точках, представляющих собой координаты ключевых точек контура. Главной задачей при распознавании по контурам является правильное выделение этих контуров. В общем виде эта задача является сложной и неоднозначной ввиду того, что для изображения не существует однозначно правильного способа выделения контуров. Существуют значительные сложности при неравномерном освещении глаза, что приводит к разрыву и потере линий контуров.

Методы с использованием цветовой сегментации

При обнаружении глаз с использованием цветовой сегментации используют априорные данные о цвете глазного яблока и зрачка. Такие методы получили широкое распространение ввиду следующих преимуществ: высокая скорость обработки; устойчивость к изменению направления взгляда и перекрытию части лица другими объектами; простота реализации; инвариантность к положению и размеру.

Глаз человека на цифровых изображениях имеет выделяющийся белый, с его оттенкам, цвет глазных яблок и контрастно чёрный зрачок. Радужная оболочка имеет разные оттенки [1]. Существует множество параметрических и непараметрических методов выделения цвета белков. В общем случае, наиболее подходящим цветовым пространством для выделения пикселей, характерных для глаз цвета, является пространство HSV. Основным преимуществом этого пространства перед другими является разделение

оттеночной (Н) и яркостной (V) составляющих. При различных условиях освещения яркостная составляющая пикселей может существенно меняться. При этом оттеночная составляющая имеет достаточно узкий диапазон значений.

Методы обнаружения глаз, основанные на контрастных цветах относительно цвета "кожи", работают в три этапа: сначала выделяются пиксели, имеющие цвет близкий к цвету "кожи"; затем пиксели группируются в области; далее области анализируются с использованием априорных знаний о структуре и форме лица. Затем алгоритм применяется к контрастным частям лица, в их числе и глаза.

Обычно в качестве ограничений при анализе областей пикселей цвета "кожи" выбираются знания об эллиптической форме лица и об отношении линейных размеров большей и меньшей осей эллипсов.

1.5 Общее описание методов моделирования изображения глаз для создания бесконтактного интегрального интерфейса оператора диспетчерского пульта дефектоскопии на непрерывной производственной линии

Методы этой категории опираются на инструментарий распознавания образов, рассматривая задачу обнаружения лица, как частный случай задачи распознавания. Изображению (или его фрагменту) ставится в соответствие некоторым образом вычисленный вектор признаков, который используется для классификации изображений на два класса - лицо/не лицо.

При классификации происходит разбиение множества объектов на классы в соответствии с выбранными критериями. Объекты в пределах одного класса считаются эквивалентными с точки зрения критерия разбиения. Сами классы часто бывают неизвестны заранее и могут формироваться динамически.

Для определения принадлежности изображения к одному из классов используется вектор признаков, являющийся отображением анализируемого изображения в пространство более высокой, чем исходная, размерности. Наиболее распространенный способ состоит в том, что каждому пикселю изображения или каждой его прямоугольной подобласти ставится в соответствие определенный компонент вектора Я" в пространстве признаков, где п - общее количество признаков. Ввиду того, что общее количество признаков очень велико, используются различные процедуры сокращения размерности и выделения наиболее значимых признаков. Так большинство методов данной категории используют две стадии: стадию обучения (с учителем или без него) и стадию классификации. На стадии обучения из всего набора признаков выделяется сокращенный набор существенных признаков, также определяются пороговые значения признаков, используемые для принятия решения об отнесении изображения к тому или иному классу. Вычисление значений признаков для конкретного проверяемого изображения и определение принадлежности изображения к классу происходит на стадии классификации (рисунок 1.8). Стадия обучения и выбора наиболее значимых признаков не требует вмешательства человека, поэтому результаты методов моделирования изображения лица в значительной степени превосходят результаты эмпирических методов обнаружения.

Задача классификации может быть рассмотрена так [1]: предположим, что существует проблема распознавания (^-классов объектов в 2-0 пространстве. Каждый класс состоит из экземпляров, которые представляют этот класс. В начале необходимо описать экземпляры класса в виде вектора признаков X. Затем для каждого класса я> Я ~ строится моделькласса я-Когда неизвестный объект (положение глаза) должен быть распознан, то сравнивается представление объекта с каждой моделью я путем определения

меры схожести. Неизвестный объект считается распознанным в том случае, когда он принадлежит классу с наивысшей мерой схожести.

Рис. 1.8. Блочная диаграмма классификатора

Таким образом, чтобы классифицировать произвольный объект х Е X, нужно построить алгоритм X -> ().

Основа методов первой категории - эмпирика, является одновременно их сильной и слабой стороной. Большая изменчивость объекта распознавания, зависимость вида лица на изображении от условий съемки и освещения позволяют отнести обнаружение лица на изображении к задачам высокой сложности. Применение эмпирических правил позволяет построить некоторую модель изображения лица и свести задачу к выполнению некоторого количества относительно простых проверок. Однако, несмотря на безусловно разумную посылку - попытаться использовать и повторить уже успешно функционирующий инструмент распознавания - человеческое зрение, методы первой категории пока далеки по эффективности от своего прообраза. Во-первых, процессы, происходящие в мозге во время решения задачи распознавания изображений, изучены далеко не полностью, и тот набор эмпирических знаний о человеческом лице, которые доступны исследователям на "сознательном уровне", далеко не исчерпывает инструментарий, используемый мозгом "подсознательно". Во-вторых, трудно эффективно перевести неформальный человеческий опыт и знания в набор формальных правил, поскольку чересчур жесткие рамки правил приведут к тому, что в ряде случаев лица не будут обнаружены, и напротив, слишком

общие правила приведут к большому количеству случаев ложного обнаружения.

Методы второй категории, строящие модель лица по тренировочным изображениям, обладают следующими недостатками [49]:

1. Высокая степень зависимости от ориентации и масштаба лица.

Большинство классификаторов не являются инвариантными к повороту лица в плоскости изображения и изменению его размера.

2. Неявный способ определения признаков для распознавания лица таит в

себе потенциальную опасность: классификатор, обладающий недостаточно репрезентативным набором изображений лиц, теоретически может выделить вторичные или ложные признаки в качестве важных.

3. Высокая вычислительная сложность. Это делает невозможным

использование некоторых методов в системах реального времени (например, отслеживания перемещения лица в видеопотоке). На основе вышесказанного можно сделать вывод, что эмпирические методы являются быстрыми, достаточно простыми в реализации и настройке, но демонстрируют обычно высокий процент ложного обнаружения на больших наборах изображений. Методы, основанные на построении модели лица, достаточно трудоемки в реализации и тренировке, имеют высокую вычислительную сложность и могут испытывать серьезные проблемы при изменении условий освещения и повороте лиц в плоскости изображения, однако показывают сравнительно высокие показатели распознавания на больших коллекциях изображений с потенциально большим количеством лиц.

Таблица 1.1- Сравнительный анализ подходов к обнаружению лица

человека

Подход Истинные Ложные Время

обнаружения обнаружения обработки1

Байесовская сеть 90% 0.4% 600

Метод опорных векторов 72% 0.6% 100-500

Нейронные сети 92% 1.3% 15-100

Viola-Jones 94% 10>о 1

1.6 Аппаратные и программные средства компьютерного зрения 1.6.1 Аппаратные средства

В системах компьютерного зрения (СКЗ) одной из основных задач является обеспечение ввода зрительных данных в память компьютера -формирование цифровых изображений. В процессе ввода совместно функционируют аппаратные и программные средства СТЗ. Основным аппаратным устройством для решения задачи ввода служат специализированные аналого-цифровые преобразователи (АЦП) устройства ввода зрительных данных (УВЗД), к которым подключаются1 источники зрительных данных, генерирующие видеосигнал телевизионного стандарта (телевизионные камеры, видеомагнитофоны и др.). В последнее время наблюдается распространение УВЗД, обеспечивающих формирование цифровых изображений без использования АЦП как самостоятельного устройства. Примерами являются видеокамеры для цифровых шин USB и FireWire.

Управление УВЗД обычно осуществляется с помощью программных компонент СКЗ - драйверов, вызываемых из основного цикла обработки СКЗ. В рассматриваемых СКЗ цикл обработки реального времени состоит из этапов "ввод изображения", "обработка изображения", "использование результатов обработки". Из этих трех этапов наиболее зависимым от аппаратных особенностей и операционной системы является первый этап -"ввод изображения" [30].

Покажем свойства, которые желательны для построения СТЗ реального времени:

1) передача цифровых изображений из буфера УВЗД в оперативную память с минимальной загрузкой процессора с использованием режима работы системной шины PCI;

2) ввод полукадров заданной четности и кадров целиком, с генерацией программного прерывания по завершению съема изображения.

Генерация программного прерывания после завершения съема изображения является ключевой возможностью, позволяющей организовать ввод изображений параллельно с основным циклом обработки изображений в СТЗ. Следует отметить, что при этом возникает неопределенность при создании временной метки ввода изображения. Она возникает за счет задержки планировщика многозадачной ОС. Оценка этой задержки может быть получена как среднеквадратическое отклонение длительности операций съема изображений одного размера.

Для ввода видеоизображений обычно используют специальные цифровые видеокамеры или обычные web-камеры. Принципы работы у них одинаковые. Рассмотрим более детально устройство web-камеры (рис. 1.9).

Рис. 1.9. Схема цифровой камеры

В качестве фотоприемника в большинстве web-камер применяется ЗС-матрица (ПЗС, CCD - прибор с зарядовой связью) - прямоугольная светочувствительная полупроводниковая пластинка с отношением сторон 3:4, которая преобразует падающий на нее свет в электрический сигнал. ПЗС-матрица состоит из большого числа светочувствительных ячеек. Для того чтобы повысить световую чувствительность ПЗС-матрицы, нередко формируют структуру, которая создает микролинзу перед каждой из ячеек. В технических параметрах web-камеры обычно указывают формат ПЗС-матрицы (длина диагонали матрицы в дюймах), число эффективных пикселей, тип развертки (построчная или чересстрочная) и чувствительность.

Фоточувствительные матрицы на основе ПЗС (см. рис. 1.10) функционируют следующим образом. Фоточувствительные приборы с зарядовой связью (ПЗС) представляют собой, как известно, матрицы близко расположенных друг к другу МОП-конденсаторов (металл-окисел-полупроводник) [12]. Сигнальный заряд, генерированный светом, генерируется и хранится в матрице МОП-конденсаторов. Образованные таким образом зарядовые пакеты могут храниться под электродами матрицы и контролируемым образом перемещаться вдоль поверхности кристалла, перетекая из-под одних электродов матрицы к соседним электродам.

благодаря чему монохромные web-камеры имеют более высокую чувствительность.

Плата видеозахвата web-камеры (блок оцифровки) осуществляет преобразование аналогового электрического сигнала, сформированного ПЗС-матрицей, в цифровой формат. Процесс преобразования сигнала состоит из трех этапов:

• Дискретизация,

• Квантование,

• Кодирование.

Дискретизация - считывание амплитуды электрического сигнала через равные промежутки времени (период). Этот этап преобразования сигнала характеризуется частотой дискретизации.

Квантование - это процесс представления результатов дискретизации в цифровой форме. Изменение уровня электрического сигнала за период дискретизации представляется в виде кодового слова из 8, 10 или 12 бит, которые дают соответственно 256, 1024 и 4096 уровней квантования. От числа уровней квантования зависит точность представления сигнала в цифровой форме.

Кодирование. Помимо информации об изменении уровня сигнала, полученной на предыдущем этапе, в процессе кодирования формируются биты, сообщающие о конце синхроимпульса и начале нового кадра, а также дополнительные биты защиты от ошибок.

Блок компрессии web-камеры выполняет сжатие оцифрованного видеосигнала в один из форматов сжатия (JPEG, MJPEG, MPEG-1/2/4, Wavelet). Благодаря сжатию, сокращается размер видеокадра. Это необходимо для хранения и передачи видеоизображения по сети. Если локальная сеть, к которой подсоединена web-камера, имеет ограниченную полосу пропускания, то во избежание переполнения сетевого трафика целесообразно сокращать объем передаваемой информации, снизив либо

ОЗУ служит для хранения временных данных, которые генерируются при выполнении управляющих программ и пользовательских скриптов. Многие камеры имеют так называемый видеобуфер. Это часть ОЗУ, зарезервированная для записи и временного хранения, снятых web-камерой видеокадров. Информация в видеобуфере обновляется циклически, т.е. новый кадр записывается вместо самого старого. Эта функция необходима, если web-камера выполняет охранное видеонаблюдение, поскольку позволяет восстанавливать события, предшествующие и следующие за сигналом тревоги с подключенных к web-камере охранных датчиков.

Тревожные входы/выходы служат для подключения к web-камере датчиков тревоги. При срабатывании одного из датчиков генерируется сигнал тревоги, в результате чего процессор web-камеры компонует набор кадров, записанных в видеобуфер до, после и в момент поступления сигнала тревоги. Этот набор кадров может отсылаться на заданный e-mail адрес или по FTP.

1.6.2 Программные средства

Приложения, выполняющие ввод и обработку зрительных данных, составляют относительно небольшую долю приложений, разрабатываемых для современных ОС.

По этой причине до последнего времени в ОС массового распространения для персональных компьютеров не было общепринятого стандарта на интерфейс прикладного программирования для ввода зрительных данных.

Инструментальные средства разработки SoftwareDevelopmentKit (SDK) для ввода зрительных данных - это программные средства, предоставляющие приложениям доступ к устройствам ввода зрительных данных и источникам зрительных данных (камерам).

SDK на основе DLL

SDK на базе DLL поставляются с документированным API и примерами приложений, обычно на языке С или С++. Для ОС, отличных от Windows, аналогом описываемых SDK являются статические библиотеки и драйверы, управляемые из приложений (например, через механизм DeviceloCtl).

Преимущества: возможность полного контроля над аппаратными ресурсами, предоставляемого разработчиками драйверов, входящих в комплект SDK; нет ограничений, налагаемых стандартными общесистемными механизмами.

Недостатки: разработчики должны владеть навыками программирования на Си; приложения получаются непереносимыми на другую аппаратную базу.

SDK на основе объектов ActiveX

Элементы управления (объекты) ActiveX являются средством обеспечения модульности программных компонент на уровне исполняемых файлов в среде Windows. Достаточно легко могут быть встроены в прикладную программу с помощью современных сред программирования VisualStudio, BorlandDelphi, С++ Builder и т.п.

Преимущества: легко использовать в средах быстрой разработки приложений VisualBasic, BorlandDelphi и т.п.; для написания достаточно сложных приложений требуется небольшое количество исходного текста.

Недостатки: большие накладные расходы на вызовы методов, связанные с использованием variant-совместимых типов данных в рамках технологии Windows СОМ.

Драйверы VFW

С помощью API VideoforWindows приложения могут использовать для получения изображений драйвер VFW.

Преимущества: широкое использование в существующих мультимедиа

приложениях и недорогих устройствах ввода (например, в Web-камерах).

Недостатки: ограниченные возможности управления аппаратурой, прекращение развития интерфейса VFW компанией Microsoft. Драйверы WDM

Современная модель драйверов для 32-битных PCI-устройств, устройств FireWire вроде цифровых видеокамер, устройств USB и др. Модель видеозахвата WDM была разработана для преодоления проблем, изначально присущих VFW. Главными преимуществами видеозахвата с использованием WDM являются:

-обеспечивается поддержка 32-разрядных драйверов для устройств с 32-разрядной архитектурой, таких, как платы PCI, устройства USB, камеры FireWire (IEEE 1394) и др;

-интеграция с DirectShow API (интерфейс программирования и макетирования ввода и программной обработки изображений);

-предусмотрена поддержка PlugandPlay, управление питанием и высокопроизводительный потоковый видеозахват;

-допускается наличие нескольких потоков данных (аудио, видео и др.); -обеспечивается ввод и отображение полукадров и отслеживание интервала обратного хода луча кадровой развертки;

-выполняется прямое взаимодействие с драйверами WDM режима ядра ОС;

-предусмотрена работа с коммутатором входных потоков данных. " Преимущества: 32-битный интерфейс для мультимедиа-приложений; естественная интеграция с концепцией графа фильтров Microsoft; доступность из приложений распространенных сред программирования семейства MS VisualStudio.

Недостатки: пока не для всех фреймграбберов есть соответствующие драйверы; аппаратная независимость в данной модели драйверов означает

наиболее подходящего варианта можно выбрать "SDK на основе DLL (или статической библиотеки)".

Несмотря на сложности применения готовых программных средств при реализации СТЗ, можно отметить возможность их использования при макетировании процесса обработки изображений. В качестве таких программных продуктов выделяются библиотеки с реализацией известных алгоритмов обработки изображений.

Библиотека HALCON [15] - это коммерческий вариант системы обработки изображений HORUS, разрабатывавшейся с 1988 по 1996 год для UNIX в рамках исследований в области интерактивной обработки изображений в Мюнхенском техническом университете. HALCON содержит более 900 функций. Библиотека предназначена для использования в Windows и в нескольких версиях UNIX (в т.ч. Linux, Solaris, IRIX). Для Windows есть вариант библиотеки с поддержкой СОМ-автоматизации для использования не из С++, например, из VisualBasic. Версия Parallel HALCON автоматически использует многопроцессорные возможности в соответствующих ОС и поддерживает написание программ для параллельной обработки изображений.

Для быстрого прототипирования систем обработки изображений поставляется программа HDevelop. Группы функций HALCON в основном такие же, как и в библиотеке MIL. Можно отметить поддержку большого количества фреймграбберов (более 30 моделей, можно добавить новую модель), возможности обработки цветных и многоканальных изображений, а также наличие функций корреляционного поиска по описанию формыобразов объектов.

Библиотека IntelOpenCV [21] представляет попытку разработки открытого стандарта в области инструментальных средств для задач машинного и технического зрения. Библиотека поставляется с исходными текстами, но для хранения изображений и низкоуровневой обработки

ОрепСУ использует библиотеку МеПгг^еРгосезБ^ЫЬгагу (1РЬ), которая поставляется в двоичном виде. В ОрепСУ нет функций для ввода зрительных данных, но есть группы функций, предназначенных для решения конкретных прикладных задач в постановке авторов библиотеки ОрепСУ, например, распознавание жестов и слежение за объектами на последовательности изображений (на примере слежения за лицом оператора ПК с помощью \veb-камеры). В качестве интересных особенностей ОрепСУ можно отметить реализацию набора алгоритмов для формирования контурных описаний бинарных изображений, алгоритм калибровки камеры и алгоритмы совмещения стереоизображений.

Функциональные возможности обработки изображений в перечисленных библиотеках довольно похожи. Коммерческие продукты (все, за исключением ОрепСУ, но которая тоже базируется на закрытом продукте 1РЬ) дороги (порядка 5000-10000$) и закрыты для модификации. Основной интерес, на наш взгляд, описанные библиотеки могут представлять на этапе проектирования и разработки прототипа СТЗ реального времени, поскольку дают возможность с относительно небольшими временными затратами изучить возможности применения известных алгоритмов для решения конкретной задачи. В случае найденных удачных решений может быть целесообразно перенести сформированный прототип на собственную алгоритмическую базу.

Среди проблем, возникающих при работе с библиотеками обработки изображений, можно отметить, что почти каждая библиотека предполагает использование собственного формата хранения изображений.

1.7 Постановка задачи создания компьютерного зрения для оператора диспетчерского пульта дефектоскопии на непрерывной производственной линии

Произведен сравнительный анализ существующих методов и средств применения компьютерного зрения в программно-технических системах, выявлены наиболее возможные варианты применения подходов компьютерного зрения в системах управления. В частности указаны общие недостатки методов моделирования изображения лица и глаза человека как источника управляющего воздействия. Сделан вывод о необходимости проведения исследования для модификации существующих и разработки новых более совершенных методик и алгоритмов обнаружения глаз человека.

В соответствии с результатами проведенного аналитического обзора целью работы является разработка и применение новых и модифицированных алгоритмов, обеспечивающих адекватную управляющую систему. В результате анализа методов и программно-аппаратных средств компьютерного зрения можно выделить основные задачи для разработки бесконтактного интегрального интерфейса оператора диспетчерского пульта дефектоскопии на непрерывной производственной линии

При использовании человеко-машинного интерфейса в системах управления наиболее значимыми целями являются:

• повышение процента обнаружения лица и глаз человека,

• снижение процента ложных распознанных команд управления,

• снижение времени обучения классификатора и времени обработки изображения по отношению к результатам существующих алгоритмов.

Для достижения данной цели актуальным является решение задач:

• разработать новые и модифицировать существующие алгоритмы для решения задачи обнаружения лица и глаз человека;

• разработать классификатор распознанных команд управления;

• реализовать предложенные алгоритмы в программном модуле системы управления на основе распознавания команд с лица и глаз человека;

• провести проверку работоспособности и эффективности модуля при решении тестовых задач с применением бесконтактного интегрального интерфейса оператора диспетчерского пульта дефектоскопии на непрерывной производственной линии.

1.8 Выводы

Проведенный анализ АСУ ТП, как интеллектуальной человеко-машинной системы, позволил выявить несоответствие возрастания требований к оператору и отсутствия методов и моделей, позволяющих учитывать влияние изменений показателей его деятельности, вызванных неудобным интерфейсом или неправильной (малоэффективной) организацией деятельности оператора, на эффективность функционирования АСУ ТП в целом.

Показано, что при разработке интерфейса, следует учитывать весь комплекс факторов, влияющих на оператора (субъективных и объективных), которые могут, вызывая напряженность деятельности оператора, негативно сказываться на эффективности функционирования АСУ ТП.

Проведен анализ комплекса моделей и методов описания и оценки качества деятельности оператора в информационных технологиях.

Рассмотрены методы и средства решения задачи создания бесконтактного управления: шаблонные методы, признаковые методы, методы на основе контуров, методы с использованием цветовой сегментации, алгоритмы классификации образов, Байесовские сети, метод опорных векторов, средства и алгоритмы нейросетевых технологий, классификатор Viola-Jones, деформируемые модели.

При классификации происходит разбиение множества объектов на классы в соответствии с выбранными критериями. Сами классы часто

бывают неизвестны заранее и могут формироваться динамически, что затрудняет распознавание и вносит ошибку.

Объект идентифицируется поиском идентичных векторов, т.е. заключается в полном переборе всех прямоугольных фрагментов изображения всевозможных размеров, что затрудняет программную реализацию модели.

В результате сравнительной оценки эффективности возможных направлений исследований в качестве базовой модели проектирования бесконтактного интерфейса выбраны активные модели внешнего вида.

Данная модель позволит моделировать два типа параметров: параметры, связанные с формой, и параметры, связанные со статистической моделью изображения. Использование интеллектуальных технологий позволяет модели обучаться на множестве заранее размеченных изображений, что дает возможность, в отличие от рассмотренных моделей, с большей точностью идентифицировать лицо человека. Разметка изображений производится с помощью алгоритма определения меток. Каждая метка имеет свой номер и определяет характерную точку, которую должна будет находить модель во время адаптации к новому изображению.

Применение активной модели внешнего вида позволит минимизировать ошибку идентификации, оптимизировать вычислительный процесс, тем самым обеспечить работу программы в режиме реального времени.

На основании сделанного выше анализа можно заключить, что основными проблемами, с которыми сталкиваются методы, использующие компьютерное зрение в системах управления, являются: невысокая скорость интеллектуальной обработки информации в видео потоке необходимого качества; некоторые методы и программно-аппаратные средства ограниченно применимы в системах реального времени.

В результате исследования способов применения человеко-машинного интерфейса в системах управления на основе компьютерного зрения можно отметить эффективное применение биометрических данных лица человека как основу управляющей информации.

Из рассмотренных программно-аппаратных средств компьютерного зрения можно выделить комплекс получения видеоинформации с применением цифровых камер высокого разрешения и обработки видео с применением DLL при высокоуровневой обработке на основе библиотек OpenCV.

Рассмотренные средства компьютерного зрения адекватны поставленным задачам. При разработке бесконтактного интегрального интерфейса оператора диспетчерского пульта дефектоскопии на непрерывной производственной линии необходимо максимально учесть системные недостатки существующих, такие, как возможность работы в системах реального времени, надёжность распознавания и др.

Заключение диссертации по теме «Автоматизация и управление технологическими процессами и производствами (по отраслям)», Акимов, Дмитрий Александрович

3.4 Выводы

Разработана модель нечеткого нейросетевого классификатора компьютерного зрения.

Создан алгоритм детекции фиксаций, базирующийся на определении дисперсии и продолжительности фиксации.

Определены группы переменных математической модели выделения команд для оператора диспетчерского пункта дефектоскопии на непрерыной технологической линии.

При анализе движений глаза выделены основные параметры, оценка которых необходима и является основой для систем управления. Для определения команд использована система нечеткого вывода. Применение данного метода диктуется нечеткой природой определения характеристик положения глаза.

Для ввода логических операций над переменными, которые были определены в данном разделе, необходимо выполнено шкалирование и задано множество числовых значений, которые могут принимать переменные, входящие в характеристику модели глаза.

Создана продукционная модель выделения классов команд управления специальной программно-технической системой на основе нечеткой геперрезолюции. Для построения продукционной модели на основе нечёткой гиперрезолюции определены лингвистические переменные.

Разработана система распознавания (детектирования и идентификации) команд управления на основе нечеткого нейросетевого классификатора с применением таких алгоритмов нечеткого вывода как алгоритм Мамдани и алгоритм Сугено.

Рис. 4.1. Биометрические данные возвращаемые РасеТгаск^АР1

На данном рисунке обозначены следующие биометрические параметры: синим цветом - внутренние точки; зеленым цветом - точки границы; оранжевым цветом - точки особенностей;

Группы точек:

00-99 опорные;

100-199 внешний контур губ;

200-299 внутренний контур губ;

300-399 правая бровь;

400-499 левая бровь; 500-599 контур носа; 600-699 правый глаз; 700-799 левый глаз; 800-899 границы; 900-999 очки.

Листинг настройки и инициализации FaceTrackingAPI: usingnamespacestd; using namespace sm::faceapi::samplecode; Функция для создания и настройки камеры smCameraHandlecreateFirstCamera() smCameralnfoListinfolist; smCameraCreatelnfoList(&infolist); if (mfolist. numcameras == 0) throwruntimeerror("No cameras were detected"); } else { cout« "Последовательность определенных камер: " <Инициализация и настройка механизма распознавания в // зависимости от лицензии // Созданиемеханизмаотслеживания smEngineCreate(SMAPIENGINELATESTHEADTRACKER, &enginehandle); cout<< "------------------------------------" «endl; cout<< "Нажать 'г' для рестарта отслеживания" <

Sleep(frameperiodms); }

Удаление механизма отслеживания и окна видеовывода smEngineDestroy(&enginehandle); smVideoDisplayDestroy(&videodisplayhandle); Л

Это основные функции для инициализации библиотеки FaceTrackingAPI. Параметры для последующей обработки передаются через функцию обратного вызова.

Листинг функции обратного вызова: Callback function for head-pose void STDCALL receiveHeadPose(void *,smEngineHeadPoseDataheadpose, smCameraVideoFramevideoframe) { Захват мютекса для исключения изменения данных Locklock(gmutex); Структура для получения видео данных smlmageInfovideoframeimageinfо; Функция дляполучение видео информации о текущем кадре отслеживания smlmageGetlnfо(videoframe.imagehandle, &videoframeimageinfo); if (gdoheadposeprinting) { cout<

Данные о положении в 3D измерении передаются через структуру: smEngineHeadPoseData.

Определение структуры smEngineHeadPoseData описывающей положения головы в 3D пространстве: typedef struct smEngineHeadPoseData { smPos3f headpos; /*! Позиция головы относительно камеры. */ smPos3flefteyepos; /*! Позиция левого глаза относительно камеры. */ smPos3frighteyepos;/*! Позиция правого глаза относительно камеры. */ smRotEulerheadrot; /*! Эйлровы углы поворота головы вокруг осей X,Y и Z в указанном порядке. */ floatconfidence; /*! Достоверность координат позиции головы, лежит в диапазоне [0.1]. Значение 0 показывает измерение не достоверны, и полученные измерения не определенные значения. */ smEngineHeadPoseData;

Функция для преобразования из пространственных координат в координаты на изображении испольэуетса функция smCoordFaceToPixel для каждого объекта, для этого надо откалибровать камеру и получить файл калибровки камеры.

Определение структуры smCameraLensParams описывающей поправки камеры: typedefstructsmCameraLensParams { smCoord2dfocallen; smCoord2dprincipalpoint; doubleskew; doublekl; doublek2; doublek3; doublek4; doublekb; smSize2icalibres; } smCameraLensParams;

Для тестового использования можно использовать стандартную калибровку камеры. Ее можно получить, используя функцию smCameraGetLensParams.

Определение функции получения структуры калибровки камеры: smCameraGetLensParams (smCameraHandle camerahandle, smCameraLensParams* lensparams)

Определение функции преобразования пространственных координат в координаты на изображении: smCoordFaceToPixel(const smEngineHeadPoseData* headpose data, const smCameraLensParams* lensparams, const smFaceCoord* face coord, smPixel* pixelcoord );

Координаты и изображение лица, полученные в процессе отслеживания головы, передаются для обнаружения и отслеживания взгляда.

Для реализации метода активных контуров применена библиотека AAMLibrary версии 2.0. Данная библиотека распространяется бесплатно и в виде исходных текстов. В ней реализованы методы классической и обратной композиции активных контуров, которые можно применить в реализации части обнаружения составных частей области глаз. Она основана на библиотеке компьютерного зрения OpenCV, которая может быть конфигурирована как необходимо для разработчика. В OpenCV реализованы функции по работе с видеоизображениями и математический аппарат для работы с видеоданными. Есть встроенная интеграция с Intef'IntegratedPerformancePrimitives (IPP), и встроенная возможность параллелирования потоков обработки данных[52].

Программные зависимости AAMLibrary: OpenCV версии 1.0, MicrosoftWindowsSDKv6.0A, jasper версии 2.0, zlib версии 1.2.2, LIBTIFF версии 3.7.2, libpng версии 1.2.8, jpeglib версии 62

Диаграмма классов библиотеки AAMLibrary показана на рисунке 4.2

Для конечной обработки векторов данных используется нечеткая нейронная сеть, обученная в режиме обучения системы. Подобный метод не имеет аналогов применения в данной области.

Особая интеграция всех компонентов системы позволяет использовать её для управления в реальном режиме времени многомерными массивами данных.

Положение головы учитывается при управлении курсором мыши в режиме жесткой привязки к положению головы и в режиме джойстика.

Функциональная схема программной системы показана на рисунке 4.9. О

Процедуры контроля отклонений от норм О

Команда управления

Рис 4.9. Функциональная схема программной системы

Координаты и изображение лица, полученные в процессе отслеживания головы, передаются для обнаружения и отслеживания взгляда.

Есть встроенная интеграция с IntefшIntegratedPerformancePrimitives (1РР), и встроенная возможность параллелирования потоков обработки данных.

Программные зависимости: OpenCV версии 1.0, MicrosoftWindowsSDKv6.0A, jasper версии 2.0, zlib версии 1.2.2, LIBTIFF версии 3.7.2, libpng версии 1.2.8, jpeglib версии 62. Используемые методы

Active Appearance Models - захват лица и его тренинг. 3DHead - вычисление динамических характеристик в трёхмерном представлении.

Shell - запуск внешнего приложения с параметрами командной строки, в свернутом состоянии. Вызов и загрузка

Загрузка и запуск программы осуществляется способами, детальные сведения о которых изложены в Руководстве пользователя операционной системы.

Языки программирования, на которых написана программа

Для программной реализации проекта была выбрана платформа Microsoft.NET Framework 4.0, на языке программирования С++. Среда разработки Microsoft Visual Studio 2010.

Дополнительные библиотеки: Intef Integrated Performance Primitives (IPP), Microsoft Visual С++ 2005 Service Pack 1 Redistributable Package ATL Security Update Version 8.0, Qt4.X.

Входные данные: видеопоток с частотой 30 кадр/с. Выходные данные: положение курсора мыши, код команды управления, конечное состояние информации.

Условия применения: Компьютеру необходим выход в Интернет.

Расстояние от камеры до лица должно быть не более 1 м для команд глазами, и не более 1,8 м для команд головой (норма для мониторов 0,7-0,8 м). При использовании одной камеры команды головой должны быть с отклонением не более 40 градусов от центральной оси. Требование полностью адекватно обычному пользователю, сидящему за компьютером. Максимальный поворот головы составляет 60 градусов. Так как используются видеокамеры, существуют требования к освещению лица и требования к освещению фона (работа против солнечного и яркого искусственного света существенно затруднена).

Объём данных программной системы равен 421 МБ.

4.3 Структура Базы Данных бесконтактного интегрального интерфейса оператора диспетчерского пульта дефектоскопии на непрерывной производственной линии

В разрабатываемой системе в роли решателя выступает ^ЕВ-сервис, расположенный на сервере приложений. Данный \¥ЕВ-сервис отвечает за перебор правил, представленных в базе знаний, а также вывод из последовательности знаний заключения - искомой команды управления, которая должна быть передана на сторону клиента.

На вход решателя подаётся команда, являющаяся результатом первичного распознавания команды интеллектуального ввода на стороне клиента. Работа решателя основана на использовании последовательности программных блоков 1Р-ЕЬ8Е, в совокупности с базой знаний образующих продукционную систему. Данная продукционная система предполагает стратегию обработки информации «от данных к цели».

При этой стратегии образцом для поиска служит набор условий, передаваемых со стороны клиентской части системы. Процесс поиска решения оканчивается, если в базу данных поступает утверждение, являющееся решением, или выполняется продукционное правило, предписывающее прекращение поиска.

База знаний в системе основана на базе данных, состоящей из нескольких связанных между собой таблиц и системы логического вывода,

Список литературы диссертационного исследования кандидат технических наук Акимов, Дмитрий Александрович, 2013 год

Список используемых источников

1. Amit Y., Geman D. A computational model for visual selection. Neural Computation, 11, p. 1691-1715, 1999.

2. Asada: Т., Ishikawa T. Time and Space in Economics Springer// Springer, 2007,314 р.

3. Axelrod R. The Structure of Decision: Cognitive Maps of Political Elites. - Princeton. University Press, 1976. -342 p.

4. Baker S., Gross R., Matthews I. Lucas-Kanade 20 years on: A unifying framework: Part3. Technical Report CMU-RI-TR-03-35, Carnegie Mellon University Robotics Institute, 2003.

5. Baker S., Gross R. and Matthews I. Lucas-Kanade 20 years on: A unifying framework: Part 1. Technical Report CMU-RI-TR-02-16, Carnegie Mellon University Robotics Institute, 2002.

6. Baker S., Gross R., and Matthews I.. Lucas-Kanade 20 years on: A unifying framework: Part 2. Technical Report CMU-RI-TR-03-01, Carnegie Mellon University Robotics Institute, 2003.

7. Boskovitz V., Guterman H. An Adaptive Neuro-Fuzzy System for Automatic Image Segmentation and Edge Detection // IEEE TRANSACTION ON FUZZY SYSTEM, VOL. 10, N0.2, APRIL 2002.

8. Brunelli R., Poggio T. Template Matching: Matched spatial filters and beyond. Pattern Recognition 30(5), p. 751-768, 1997.

9. Capture SDKs for Grabbers. [Электронныйресурс]// The Imaging Source Europe GmbH, 2001. -Режимдоступа: http:\\www.theimagingsource.com\prod\soft\sdkcapintro_capturesdkgrab.htm

19. Kosko В. Fuzzy systems as universal approximators 11 IEEE Transactions on Computers, vol. 43, No. 11, November 1994.-p. 1329-1333.

20. Lotfi A. Zadeh. Foreword - Recognition Technology and Fuzzy Logic // IEEE TRANSACTION ON FUZZY SYSTEM, VOL.9, NO.l, FEBRUARY 2001.

21. OpenCV Library User Guide. Intel Research Lab, 2000, 420 p.

22. Robertson G., Mackinlay J., CardS. Information visualization using 3D interactive animation // Communications of the ACM. 1993. V. 36. N 4. P. 57-71.

23. Salvucci, D., Goldberg, J. Identifying fixations and saccades in eye-tracking protocols. // Proceedings of the Eye Tracking Research and Applications Symposium. New York: ACM Press, 2000, P. 71 - 81.

24. Schneiderman H. Learning a restricted bayesian network for object detection. [Электронный ресурс]// H.Schneiderman . - Режим доступа: http://doi.ieeecomputersocietv.Org/10.l 109/C VPR.2004.141 -12.04.06.

25. Senso Motoric Instruments. -Режимдоступа: http://www.smivision.com/en/gaze-and-eve-tracking-systems/home.html

26. Stegmann M.B. Analysis and Segmentation of Face Images using Point Annotations and Linear Subspace Techniques.Technical report IMM-REP-2002-22, Informatics and Mathematical Modelling, Technical University of Denmark, 2002.

27. Team C. A language and environment for statistical computing. Foundation for Statistical Computing, Vienna, Austria. ISBN 3-900051-07-0, URL. 2008. -Режим доступа: http://www.R-project.org.

28. Tobii Independence an Eya. -Режимдоступа:

http://www.tobii.com/en/assistive-technology/global/hidden-pages/rehab-sci/benefits-of-eyegaze/sci-recreation/.

29. Vezhnevets V. Face and facial feature tracking for natural HumanComputer Interface // Proceedings Graphicon - 2002, September 16 - September 21, 2002, pp. 86-90.

30. WDM Video Capture Overview. MSDN Library, Microsoft Corporation,

1998.

31. Yang M.H., Kriegman D.J. and Ahuja N. Detecting faces in images: A survey // IEEE Trans. Pattern Analysis and Machine Intelligence. Jan. 2002. Vol. 24. № l.P. 34-58.

32. Yang G. and T.S. Huang Human Face Detection in Complex Background // Pattern Recognition. 1994. Vol. 27. №1. P. 53-63.

33. Акимов Д.А. Применение компьютерного зрения в работе операторов управления на промышленных объектах.// Промышленные АСУ и контроллеры. Научтехлитиздат, 2011, №5, с. 1-6.

34. Капустин В.И. Акимов Д.А. Автоматизированная система управления параметрами сенситометрических и структурометрических свойств радиографических пленок "Спектра". // Промышленные АСУ и контроллеры. Научтехлитиздат, 2011, №3, с. 1-5.

35. Акимов Д.А., Работкин В. Д. Терёхин И. В. Редькин О. К. Представление знаний в распределенных информационных системах промышленных предприятий.// Промышленные АСУ и контроллеры. Научтехлитиздат, 2013, №1, С 33-38

36. Акимов Д.А., Морозова Т.Ю. К вопросу создания бесконтактных средств управления большими массивами данных в эргатических системах. // Авиакосмическое приборостроение, 2013, №5. С. 46-56.

37. Акимов Д.А. Бесконтактный интерфейс для операторов управления на промышленных системах контроля технологическим процессом. // Научно-технический вестник Поволжья, 2013, №2. С. 65-69.

38. Акимов Д.А., Терехин И.В., Морозова Т.Ю. Ситуационный анализ в промышленных системах человеко-машинного взаимодействия. // Materiäly IX mezinärodni vedecko - praktickä conference «Modern! vymozenosti vedy -2013».27 ledna - 05 ünora 2013 roku - Dil 67. Matematika:Praha. Publishing House «Education and Science» s.r.o. S. 35-38.

39.Акимов Д.А., Сумкин K.C., Морозова Т.Ю. Автоматизация использования стереозрения по методам выделения управляющих воздействий и нечеткой логики. // Материалы международной научно-практической конференции «Современные проблемы и пути их решения в науке, транспорте, производстве и образовании 2012». - Выпуск 4. Том 12. -Одесса: С. 60-66.

40. Алешин В.И., Афанасьев В.О., Макаров-Землянский Н.В Некоторые аспекты применения имитационных моделей с интерфейсом «Виртуальная реальность» [Текст] / В.И. Алешин, В.О. Афанасьев, Н.В. Макаров-Землянский Н.В //Вопросы кибернетики. -1995. -№ 181 - С. 78-95.

41. Алешин В.И., Афанасьев В.О. Система отображения состояния орбитального комплекса сложной структуры. [Текст] / В.И. Алеши, В.О. Афанасьев // Космонавтика и ракетостроение. -2001. -№ 25. - С.45-58.

42. Афанасьев В.О., Бровкин А.Г. Исследования и разработка системы интерактивного наблюдения индуцированной виртуальной среды (системы виртуального присутствия). [Текст] / В.О. Афанасьев, А.Г. Бровкин. // Космонавтика и ракетостроение. Вып. 16. М.: ЦНИИМаш, 1999. - С. 48-67.

43. Брилюк Д., Старовойтов В. Распознавание человека по изображению лица и нейросетевые методы. [Электронный ресурс]. - [2002]. -Режим доступа: http://librarv. graphicon.ru: 8080/catalog/183.

44. Биденко С.И. Моделирование технологических процессов и автоматизация управления измерениями на гидрографических судах: Монография. -СПб: Изд-во ГУНиО, 2007. - 139 с.

45. Баканов A.C. Проектирование пользовательского интерфейса: эргономических подход.. [Текст]/ A.C. Баканов, A.A. Обознов. - М.: Изд-во «Институт психологии РАН», 2009. -205 с.

46. Бондаровская, В. М. Эргономика периферийного оборудования для систем диалогового взаимодействия. [Текст] / В. М. Бондаровская // Приборы и системы. Управление. Контроль. Диагностика. -2009. -№3. -С. 34-42.

47. Вудсон У. Справочник по инженерной психологии для инженеров и художников-конструкторов [Текст] / У. Вудсон, Д. Коновер. - М.: Мир, 1968. -312 с.

48. Вежневец А.П. Методы классификации с обучением по прецедентам в задаче распознавания объектов на изображениях. [Электронный ресурс]. - [2006]. - Режим доступа: http://www.graphicon.ru/proceedings2006/papers/fr 10 34 VezhnevetsA.doc

49. Визильтер Ю.В., Каратеев С.Л., Бекетова И.В. Методы биометрической идентификации человека по изображениям его лица. / Визильтер Ю.В., Каратеев C.JL, Бекетова И.В. //Вестник компьютерных и информационных технологий. - 2005.

50. Войненко, В. М. Эргономические принципы конструирования [Текст] / В. М. Войненко, В. М. Мунипов. - Киев: Техника, 1988. - 289 с.

51. Визильтер Ю.В., Каратеев С. JL, Бекетова И. В. Методы биометрическое идентификации человека по изображениям его лица. [Текст] / Ю.В. Визильтер, C.JI. Каратеев , И.В. Бекетова //Вестник компьютерных и информационных технологий. - 2005-№5.-С.23-38.

52. Вапник, В.Н. Алгоритмы и программы восстановления зависимостей. [Текст]/ В.Н. Вапник -М.: ФИЗМАТЛИТ, 1984. -816 с.

53. Гаррет, Дж. Веб-дизайн: книга Джесса Гаррета. Элементы опыта взаимодействия [Текст] / Дж. Гарретт. - СПб: Символ-Плюс, 2008. -189 с.

54. Гвоздик М. И., Оптимизация организационно-технических систем: методы, алгоритмы, программы / М. И. Гвоздик, В. Г. Евграфов, Е. Б. Цой // ВВМУРЭ им. A.C. Попова. С.-Пб., 1996. - 300с.

55. Губинский, А. И. Эргономическое проектирование судовых систем управления. [Текст]/А И. Губинский, В. Г. Евграфов—JL: Судостроение, 1977.— 224с.

56. Гудвин Г.К., Гребе С.Ф., Сальдаго М.Э. «Проектирование систем управления»; пер. с англ. - М..БИНОМ, Лаборатория знаний, 2004. - 911 с.

57. Гмурман, В. Е. Теория вероятностей и математическая статистика. [Текст]/ В.Е. Гмурман — М.: Высшее образование, 2005. -284 с.

58. Горский Ю.М. Системно-информационный анализ процессов управления. -Новосибирск: Наука. Сиб. Отд-ние, 1988. —341с.

59. ГОСТ 12.2.032-75. ССБТ. Рабочее место при выполнении работы сидя. Общие эргономические требования. М.: Издательство стандартов, 1975.-20с.

60. ГОСТ 12.2.049-80. ССБТ. Оборудование производственное. Общие эргономические требования. М.: Издательство стандартов, 1980.-19с.

61. ГОСТ 21889-76. СЧМ. Кресло оператора. Общие эргономические требования. М.: Издательство стандартов, 1976.-23с.

62. ГОСТ 24750-81. Средства технические вычислительной техники. Общие требования технической эстетики. М.: Издательство стандартов, 1981.-23с.

63. ГОСТ 22269-76. СЧМ. Рабочее место оператора. Взаимное расположение элементов рабочего места. Общие эргономические требования. М.: Издательство стандартов, 1976.-18с.

64. ГОСТ 22614-77. СЧМ. Выключатели и переключатели клавишные и кнопочные. Общие эргономические требования. М.: Издательство стандартов, 1977.-17с.

65. ГОСТ 22613-77. СЧМ. Выключатели и переключатели поворотные. Общие эргономические требования. М.: Издательство стандартов, 1977.-21с.

66. ГОСТ 22615-77. СЧМ. Выключатели и переключатели типа «тумблер». Общие эргономические требования. М.: Издательство стандартов, 1977,-18с.

67. ГОСТ 23000-78. СЧМ. Пульты управления. Общие эргономические требования. М.: Издательство стандартов, 1978.-19с.

68. ГОСТ 22902-78. СЧМ. Отсчётные устройства индикаторов визуальных. Общие эргономические требования. М.: Издательство стандартов, 1978.-14с.

69. ГОСТ 21752-76. СЧМ. Маховики управления и штурвалы. Общие эргономические требования. М.: Издательство стандартов, 1976.-5с.

70. ГОСТ 12.2.033-78. ССБТ. Рабочее место стоя. Общие эргономические требования. М.: Издательство стандартов, 1978.-17с.

71. ГОСТ 21753-76. СЧМ. Рычаги управления. Общие эргономические требования. М.: Издательство стандартов, 1976.-19с.

72. Даниляк В. И. Эргодизайн, качество, конкурентоспособность [Текст]/ В. И. Даниляк, В. М. Мунипов, М. В. Федоров.- М.: Изд-во стандартов, 1990. - 200с.

73. Дружинин Г.В. Учет свойств человека в моделях технологий/ Дружинин Г.В.. -М.: МАИК "Наука/Интерпериодика", 2000. -327 е.: ил.. - В над-заг.: Моск. гос. ун-т путей сообщ.

74. Дегтярева А, Вежневец В. Методы идентификации личности по радужной оболочке глаза. [Текст] / Компьютерная графика и мультимедиа. -2004. - Вып. № 2 (6). - С. 12-24.

75. Евграфов В. Г. Особенности эргономического проектирования и экспертизы тренажерно-обучающих систем. - СПб.: Питер, 2007. - 224 с.

76. Евграфов В. Г. Психологические и эргономические основы проектирования систем управления качеством обучения - СПб: ВМИРЭ, 2004 - 202 с.

77. Желтое С.Ю, Визильтер Ю.В., Ососков М.В. Автоматическое выделение на цветных цифровых изображениях лица человека и его характерных черт. [Текст] / / С.Ю Желтое, Ю.В. Визильтер, М.В. Ососков //Вестник компьютерных и информационных технологий. - 2005. -№2-С.65-72.

78. Заде Л. Понятие лингвистической переменной и его применение к принятию приближенных решений. [Текст]/ - М.: Мир, 1976. -289 с.

79. Зинченко, Т.П. Опознание и кодирование. [Текст]/ Т.П. Зинченко. -Л.: Изд-во Ленингр. ун-та, 1981. -287 с.

80. Информационно-управляющие человеко-машинные системы. Исследование, проектирование, испытания: справочник. [Текст]/ А.Т.Ашеров,

161

А.И.Губинский, В. Г. Евграфов, Е. А. Лавров, П. И. Падерно, Е. Б. Цой. Под общ. ред. А. И. Губинского и В. Г. Евграфова.-М.: Машиностроение, 1993.-527с.

81. Использование индуцированной виртуальной среды для развития концепции управления с обратной связью . [Электронный ресурс] : электронный журнал «Исследовано в России»/ А.Ю. Подшивалов -Режим доступа: http://zhumal.ape.relam.ru/articles/2005/038.418 .html.

82. Иванов, А.И. Биометрическая идентификация личности по динамике подсознательных движений. [Текст]/ А.Н. Иванов- Пенза: Изд-во Пенз. гос. ун-та, 2000. - 188 с.

83. Кругл ob B.B. Интеллектуальные информационные системы: компьютерная поддержка систем нечеткой логики и нечеткого вывода. [Текст]/ В.В. Круглов - М.: Физматлит, 2002. -204 с.

84. Купер, А. Алан Купер об интерфейсе. Основы проектирования взаимодействия [Текст] / А. Купер, Р. Рейман, Д. Кронин. Пер. с англ. - СПб.: Символ-Плюс, 2009. -311 с

85 Леоненков A.B. Нечеткое моделирование в среде MATLAB и fuzzyTECH[TeKCT]/ A.B. Леоненков- СПб.:БХВ-Петербург, 2003. - 736 с.

86. Ломов Б.Ф., Петров В.И. Инженерная психология в применении к проектированию оборудования [Текст] / Б.Ф. Ломов и В.И. Петров. Пер. с англ. -М.: Машиностроение, 1971. -293 с.

87. Ломов, Б.Ф. Справочник по инженерной психологии [Текст]/ Б.Ф. Ломов. -М.: Машиностроение, 1982. -231 с.

88. Львов В. М. Человеко-компьютерное взаимодействие [Текст]/ В. М. Львов, В. Д. Магазанник: Учеб. пособие.- Тверь, 2005. - 199 с.

89. Масалович А. Нечеткая логика в бизнесе и финансах. 2012. Режим доступа: www.tora-centre.ru/library/fuzzy/fuzzy-.htm

90. Магазанник, В.Д. Человеко-компьютерное взаимодействие: Учебное пособие для вузов [Текст]/ В.Д. Магазанник, В. М. Львов. - Тверь: Триада, 2005.-217 с.

91. Методы классификации с обучением по прецедентам в задаче распознавания объектов на изображениях. [Электронный ресурс]// А.П. Вежневец А.П. -Режим доступа:

http://www.graphicon.ru/proceedings2006/papers/fr 10 34 VezhnevetsA.doc-03.11.06.

92. Мунипов В.М. Эргономика: человекоориентированное проектирование техники, программных средств и среды: Учеб. для студентов вузов / Мунипов В.М., Зинченко В.П.. -М.: Логос, 2001

93. Норманн, Д. А. Дизайн привычных вещей [Текст]/ Д. А. Норман. -М.: Вильяме, 2006. -194 с.

94. Падерно, П. И., Попечителев, Е. П. Надёжность и эргономика биотехнических систем [Текст] / под общ.ред. проф. Е. П. Попечителева-СПб.: ООО «Техномедиа» / Изд-во «Элмор», 2007. -284 с.

95. Подшивалов А.Ю. Использование индуцированной виртуальной среды для анализа взаиморасположения объектов. [Текст]: дис. ... канд. физ. - матем. наук: 15.13.11: защищена 12.02.05 : утв. 16.06.05 / Подшивалов Алексей Юрьевич. - М., 2005. - 115 с.

96. Раскин, Д. Интерфейс: новые направления в проектировании компьютерных систем [Текст]// Д. Раскин. - СПб.: Символ-Плюс, 2007. -228 с.

97. Распознавание человека по изображению лица и нейросетевые методы. [Электронный ресурс]// Д. Брилюк, В. Старовойтов- Режим доступа: http://librarv. graphicon.ru: 8080/catal о g/183-26.03.02

98. Рутковская Д., Пилиньский М., Рутковский Л. Нейронные сети, генетические алгоритмы и нечеткие системы. [Текст]/ Д. Рутковская, М. Пилиньский, Л. Рутковский. - М., 2004. -283 с.

99. Степанов A.A., Бахтина Т.Е., Свердлова Т.А., Желтов С.Ю. Обзор технических и программных средств систем виртуальной реальности[Текст]/ A.A. Степанов, Т.Е. Бахтина, Т.А. Свердлова , С.Ю.Желтов //Технологии виртуальной реальности. Состояние и тенденции развития. -1996-№5- С. 1556.

100. Сетевой журнал «Компьютерная графика и мультимедиа» [Электронный ресурс]// -Режим доступа: http://cgm.computergraphics.ru/content/view/75

101. Сергеев, С.Ф. Обучающие и профессиональные иммерсивные среды [Текст]/ С.Ф. Сергеев. - М.: Народное образование, 2009. -193 с.

102. Сергеев, С.Ф. Курс лекций по инженерной психологии и эргономике [Текст]/ С.Ф. Сергеев. - СПб.: Изд-во С.-Петерб. ун-та, 2008. -243 с.

103. Шмид М. Эргономические параметры. [Текст]/ М. Шмид. -М.: Мир, 1980.-262 с.

104. Ярушкина, Н.Г. Основы теории нечетких и гибридных систем [Текст] :учеб. пособие / Н.Г. Ярушкина. -. М.: Финансы и статистика, 2004. -320 с.

105. Ярбус А.Л. Роль движения глаз в процессе зрения. [Текст]/ А.Л. Ярбус -М.: Наука, 1965. -167 с.

Приложение А. Свидетельство о государственной регистрации программы для ЭВМ

шътйтш довджищзш

ш ш щ ш т

СВИДЕТЕЛЬСТВО

о госуларственмой регистрации программы лля ЭВМ

№ 2013612438

•«Бесконтактный интерфейс для управления многомерными массивами данных*

П ранообладателЦ л и)-. Акимов Дмитрий Александрович (Ш7), Терехин Игорь Владимирович (М)), Морозова Татьяна Юрьевна (Л1/), Страхов Валерий Леонидович (Ш/), Никонов Вячеслав Викторович (Н11)

Лвто|>(ы): Никонов Вячеслав Викторович (Я1/), Акимов Дмитрий Александрович (ЯП), Терехин Игорь Владимирович (ЯП), Морозова Татьяна Юрьевна (Ш1), Страхов Валерий Леонидович (НЬ')

2013610030

Дата поступления 10 января 2013 Г. Заре! истрировздю п Рмстре программ для ЭВМ 28 февраля 2013 г.

I'укотм)итель Федералжой службы по интеллектуальной собственности

В.П. Симонов