Исследование и разработка информационной системы с технологией интерактивной визуализации средствами дополненной реальности тема диссертации и автореферата по ВАК РФ 05.13.01, кандидат наук Кравцов Алексей Александрович

• Кравцов Алексей Александрович
• кандидат наук
• 2016

Оглавление диссертации кандидат наук Кравцов Алексей Александрович

ВВЕДЕНИЕ.......................................................................................................4

1 АНАЛИТИЧЕСКИЙ ОБЗОР СИСТЕМ, ИСПОЛЬЗУЮЩИХ ТЕХНОЛОГИЮ ДОПОЛНЕННОЙ РЕАЛЬНОСТИ.........................................11

1.1 Перспективы совершенствования пользовательских интерфейсов посредством дополненной реальности.................................................................11

1.2 Технология дополненной реальности...................................................13

1.3 Визуализация трёхмерных объектов.....................................................18

1.4 Предпосылки к массовому применению технологии дополненной реальности..............................................................................................................25

1.5 Анализ систем, использующих интерактивную визуализацию средствами дополненной реальности....................................................................31

1.6 Постановка задачи..................................................................................39

1.7 Выводы по первой главе........................................................................41

2 ТЕОРЕТИЧЕСКИЕ ОСНОВЫ ИССЛЕДОВАНИЯ..............................42

2.1 Разработки по тематике дополненной реальности...............................42

2.2 Методические и алгоритмические основы реализации процесса трекинга..................................................................................................................45

2.3 Основы трёхмерной визуализации........................................................55

2.4 Выбор среды разработки трёхмерной визуализации............................70

2.5 Выводы по второй главе.........................................................................71

3 РАЗРАБОТКА ИНФОРМАЦИОННОЙ СИСТЕМЫ С ТЕХНОЛОГИЕЙ ИНТЕРАКТИВНОЙ ВИЗУАЛИЗАЦИИ СРЕДСТВАМИ ДОПОЛНЕННОЙ РЕАЛЬНОСТИ........................................................................72

3.1 Структура системы.................................................................................72

3.2 Методики и алгоритмы интерактивной визуализации средствами дополненной реальности.......................................................................................76

3.3 Механизм манипуляции трёхмерными объектами дополненной реальности с использованием жестовых методов ввода......................................98

3.4 Особенности проектирования графического интерфейса пользователя при визуализации средствами дополненной реальности...................................105

3.5 Выводы по третьей главе.....................................................................114

4 ВНЕДРЕНИЕ РЕЗУЛЬТАТОВ ИССЛЕДОВАНИЯ.............................115

4.1 Сферы применения разработанной информационной системы........115

4.2 Процесс апробации результатов исследования на примере ООО «Ландшафт Лель».................................................................................................116

4.3 Модели взаимодействия с клиентами при использовании технологии дополненной реальности в торговле...................................................................132

4.4 Определение лояльности покупателей к применению дополненной реальности............................................................................................................137

4.5 Сравнительный анализ появившихся за последние годы на рынке программных продуктов, использующих визуализацию средствами дополненной реальности............................................................................................................141

4.6 Перспективы развития и использования систем визуализации средствами дополненной реальности..................................................................142

4.6 Выводы по четвертой главе.................................................................144

ЗАКЛЮЧЕНИЕ............................................................................................146

СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ................................148

ПРИЛОЖЕНИЕ А. ПРИМЕР КОДА МОДИФИЦИРОВАННОГО ПОВЕРХНОСТНОГО ШЕЙДЕРА, УЧИТЫВАЮЩЕГО НЕЗАВИСИМУЮ ТЕКСТУРУ ЗАТЕНЕНИЯ....................................................................................160

ПРИЛОЖЕНИЕ Б. ИЛЛЮСТРАЦИИ РАБОТЫ РАЗРАБОТАННОЙ ИНФОРМАЦИОННОЙ СИСТЕМЫ..................................................................161

ПРИЛОЖЕНИЕ В. АКТ ВНЕДРЕНИЯ....................................................166

ПРИЛОЖЕНИЕ Г. СВИДЕТЕЛЬСТВО О ГОСУДАРСТВЕННОЙ РЕГИСТРАЦИИ ПРОГРАММЫ ДЛЯ ЭВМ.....................................................167

ВВЕДЕНИЕ

Актуальность темы исследования. Человеко-компьютерное взаимодействие является динамично развивающейся областью науки. Постоянное совершенствование технологий приводит к возможности появления инновационных парадигм пользовательского интерфейса.

Глобализация виртуальной реальности привела к вводу в научный оборот нового термина «дополненная реальность». Если текущие технологии пользовательских интерфейсов сфокусированы в основном на взаимодействии человека и компьютера, то дополненная реальность при помощи компьютерных технологий предлагает совершенствование интерфейса человека и реального окружающего мира.

Современный этап исследований дополненной реальности начался в 1990-х годах. За рубежом было издано множество работ об актуальности и серьёзном потенциале данной темы. Тем не менее развитие потребительской электроники только сейчас достигло уровня, способного обеспечить массовое внедрение данной технологии.

В настоящий момент дополненная реальность является одним из самых актуальных объектов для исследования. Однако в России данной теме не уделяется должного внимания. Необходимо активизировать научные и практические исследования в данной сфере, особенно в связи со сложившейся политической ситуацией в мире.

Цель и задачи исследования. Целью настоящего исследования является создание информационной системы с технологией интерактивной визуализации трёхмерных объектов средствами дополненной реальности в реальном времени в реальном масштабе для массовых мобильных устройств.

В соответствии с поставленной целью в работе необходимо было решить следующие задачи:

1) проанализировать современное состояние в сфере исследований дополненной реальности, выявить недостатки современных систем дополненной реальности и предложить методы их решения;

2) провести поиск и анализ методологических, алгоритмических и программных средств для целей исследования;

3) разработать структуру информационной системы с технологией интерактивной визуализации средствами дополненной реальности;

4) предложить методики повышения реалистичности отображения трёхмерных объектов средствами дополненной реальности;

5) разработать подход к изменению параметров объектов дополненной реальности при визуализации в реальном времени;

6) разработать методику подготовки и хранения трёхмерных моделей для реалистичной визуализации на мобильных устройствах;

7) разработать механизм и алгоритм манипуляции виртуальными трёхмерными объектами в пространстве;

8) сформулировать рекомендации по проектированию интерфейса пользователя для визуализации средствами дополненной реальности;

9) реализовать информационную систему с технологией интерактивной визуализации средствами дополненной реальности в виде программно-алгоритмического комплекса.

Предмет и объект исследования. Объектом исследования в диссертационной работе являются компьютерные методы обработки информации. Предметом исследования является информационная система с технологией интерактивной визуализации средствами дополненной реальности.

Теоретической и методологической основой исследования являются исследования в области обработки и анализа изображений, компьютерной графики и человеко-компьютерного взаимодействия.

В ходе проведения исследований использовались труды отечественных и зарубежных ученых (Р. Азумы, М. Биллингхарста, О. Бимбера, Д. Вагнера, Б. Виктора, Ф. Кисино, Т. Кодела, А. Кэя, В.И. Лойко, С. Манна, П. Милграма,

Д. Мицела, Д. Раскина, И. Сазерленда, С. Силтанен, С. Файнера, Г. Фитцмориса, Д. Шмальштига, Д. Энгельбарта и др.), которые внесли значительный вклад в развитие теории информационных систем, развитие вопросов человеко-компьютерного взаимодействия, пользовательских интерфейсов и дополненной реальности.

Методы исследования. В процессе выполнения работы использовались методы компьютерной графики, алгоритмизации, моделирования. Экспериментальная часть работы проводилась с использованием набора средств разработки для трекинга Qualcomm Vuforia и средства разработки Unity.

Информационно-эмпирическая база. В работе использовались материалы научной периодической печати и интернет-ресурсов, доклады отечественных и зарубежных ученых на семинарах и конференциях, связанных с темой исследования.

Научная новизна и защищаемые положения заключаются в создании информационной системы с технологией интерактивной визуализации виртуальных трёхмерных объектов в реальной среде средствами дополненной реальности, отличающейся представлением объектов в реальном размере и в реальном времени для массовых мобильных устройств, в рамках которой:

1) разработаны методики повышения реалистичности при визуализации трёхмерных объектов средствами дополненной реальности, отличающиеся использованием комбинации статического и динамического освещения с предварительной визуализацией независимой текстуры затенения и статичной падающей тени объектов;

2) предложен подход к изменению параметров объектов дополненной реальности при визуализации, отличающийся введением блока обобщенного параметра, ускоряющего взаимодействие, включающий возможность изменения в реальном времени и обеспечивающий упрощение интерфейса пользователя;

3) разработана методика подготовки и хранения трёхмерных моделей виртуальных объектов для их реалистичной визуализации, отличающаяся структурой и форматом хранения данных;

4) предложен авторский механизм и алгоритм манипуляции виртуальными трёхмерными объектами в пространстве с использованием жестовых методов ввода, отличающиеся возможностью одновременного перемещения и вращения, а также скоростью и стабильностью работы;

5) реализована информационная система с технологией интерактивной визуализации средствами дополненной реальности в виде программно-алгоритмического комплекса.

Практическая значимость проведенного исследования состоит в возможности непосредственного применения разработанной информационной системы в реальных бизнес-процессах дизайн-проектирования, торговли и ряде других сфер.

Апробация исследования. Основные положения и результаты работы докладывались и обсуждались на международных, всероссийских, межрегиональных и общеуниверситетских научных и научно-практических конференциях, в том числе:

1. У11-й Всероссийской научно-практической конференции молодых ученых «Научное обеспечение агропромышленного комплекса» (г. Краснодар, 2013).

2. X Всероссийская научно-практическая конференция «Математические методы и информационно-технические средства» (г. Краснодар, 2014 г.).

3. XI Всероссийская научно-практическая конференция «Математические методы и информационно-технические средства» (г. Краснодар, 2015 г.).

4. Пятый научно-практический межкафедральный семинар «Проблемные вопросы функционирования предприятий и комплексов Крымского федерального округа и г. Севастополя» (г. Севастополь, 2015 г.).

Разработанные модели и методики апробированы и приняты к внедрению в ООО «Ландшафт Лель» г. Краснодара, о чем имеются соответствующие документы.

Публикации. Основные положения и выводы диссертации нашли отражение в 9 печатных работах, в том числе в изданиях, рекомендованных ВАК - 5 печатных работ. Получено свидетельство регистрации программы для ЭВМ.

Структура и объем работы. Диссертационная работа состоит из введения, четырех глав, заключения, списка использованных источников (содержит 116 наименований), приложений. Общий объем работы 167 страниц, включая 6 таблиц, 75 рисунков.

В первой главе производится аналитический обзор технологии дополненной реальности и потенциала её массового применения. В частности, кратко прослеживается история развития и текущее состояние пользовательских интерфейсов. Формулируется понятие и приводятся области применения дополненной реальности. Проанализированы применения технологии для визуализации трёхмерных объектов в реальной среде. Рассмотрены как более ранние исследования, так и современные системы для массовых устройств. Формулируются основные недостатки современных систем дополненной реальности. Рассматриваются предпосылки массового применения технологии дополненной реальности, обеспечивающиеся развитием и доступностью потребительских устройств, совершенствованием технологий трекинга и средств разработки. В завершении формулируется задача исследования.

Во второй главе проведён аналитический обзор доступных средств разработки дополненной реальности. Проведён поиск и анализ средств трекинга. Для этого были проанализированы подходы реализации трекинга на массовых устройствах. Был выбран оптический метод трекинга, основанный на распознавании маркеров. В качестве движка трекинга для использования в целях исследования была выбрана разработка Qualcomm Vuforia. Также был проведён поиск и анализ доступных средств трёхмерной визуализации. При этом были проанализированы современные методы компьютерной графики. В качестве основного инструмента для визуализации была выбрана среда разработки Unity.

В третьей главе описывается разработка информационной системы с технологией визуализации средствами дополненной реальности. Представлены разработанные методики и алгоритмы для совершенствования визуализации средствами дополненной реальности.

В первую очередь рассматриваются вопросы реалистичности визуализируемых объектов. Наряду с динамическим (т.е. освещением реального времени) для повышения реалистичности дополнительно используются средства статического (предварительно рассчитанного) освещения. Большое значение имеет возможность предварительного расчёта теней, образуемых в результате действия непрямого освещения. Разработана методика по созданию статичной падающей тени, отбрасываемой на плоскую поверхность, на которой располагаются виртуальные объекты.

Также предлагается подход к изменению параметров объекта при визуализации дополненной реальности на примере смены материалов. Он включает в себя смену параметров в реальном времени и упрощённый интерфейс пользователя, доступный для неспециалиста.

Имплементация предложенных методик по обеспечению реалистичности и смене материалов объектов потребовала разработку определённого процесса предварительной подготовки моделей, а также особой структуры хранения объектов.

С целью улучшения пользовательского взаимодействия был разработан механизм манипуляции трёхмерными объектами с использованием жестовых методов ввода.

В завершении предлагаются практические рекомендации по проектированию графического интерфейса пользователя для визуализации средствами дополненной реальности.

В четвертой главе описывается применение разработанной системы на примере областей ландшафтного дизайна и торговли. Показывается эффективность и преимущества, достигнутые в результате внедрения. Описываются модели взаимодействия производителя товаров с массовым потребителем при применении дополненной реальности. Проведено сравнение разработанной системы с существующими. Результаты сравнения иллюстрируют, что применение научного подхода при разработке позволило обеспечить ощутимый отрыв в показателях от

конкурентов. Также формулируются перспективы развития и использования систем визуализации средствами дополненной реальности.

В заключении отражены основные результаты исследования и подведен общий итог проведенной работы.

1 АНАЛИТИЧЕСКИЙ ОБЗОР СИСТЕМ, ИСПОЛЬЗУЮЩИХ ТЕХНОЛОГИЮ ДОПОЛНЕННОЙ РЕАЛЬНОСТИ

1.1 Перспективы совершенствования пользовательских интерфейсов посредством дополненной реальности

1.1.1 Обзор исторических этапов развития пользовательских интерфейсов

В развитии пользовательского интерфейса компьютерных систем выделяют три парадигмы: пакетная обработка, интерфейсы командной строки и графический интерфейс пользователя.

Пакетная обработка связана с вводом определенных данных в компьютер и ожиданием результата. При этом взаимодействие не является интерактивным. Так было с первыми электронно-вычислительными машинами, появившимися в середине ХХ века. Программы и данные набивались на перфокартах или перфолентах и передавались на обработку. Результат нужно было ждать до несколько часов или дней.

После присоединения к электронно-вычислительным машинам телетайпов стал возможен интерфейс командной строки. Интерфейс командной строки - это парадигма интерфейса, при которой пользователь взаимодействует с компьютером текстовыми командами.

Введение графического интерфейса пользователя на широкий рынок началось в середине 1980-ых, однако его создание - гораздо раньше.

Первым большим вкладом в исследования человеко-компьютерного взаимодействия в целом считается работа Ванневара Буша «Как бы мы думали» [51]. В ней он указывает на проблемы структурирования, хранения и доступа к информации и описывает устройство под названием «мемекс», призванное усовершенствовать эти процессы. «Мемекс - это устройство, в котором индивид

хранит все свои книги, записи и переписку, и которое механизировано так, что к нему можно обращаться предельно быстро и гибко».

Вдохновившись идеями Буша, другой выдающийся ученый Дуглас Энгельбарт начинает работу в этом направлении. В своей работе 1962 года он указывает, что использование компьютера в сочетании с новыми концепциями и методами является самым быстрым способом повысить интеллектуальную эффективность человека [58]. В 1968 году проходит его знаменитая презентация, где он и его команда показывают разработанные ими идеи: гипертекст, мышь, курсор и многое другое.

Компания Xerox в 1970 году организовывает исследовательский центр Xerox PARC [42]. В его рамках исследователи в качестве дополнения к лазерному принтеру реализуют систему Alto. Они впервые используют метафоры файла и папки и другие компоненты современного графического интерфейса пользователя.

Компания Apple Computer дорабатывает идеи PARC для операционной системы компьютера Apple Lisa, выпущенного в 1983 году. Графические интерфейсы стали появляться и в продуктах других компаний.

Действительную популярность графический интерфейс пользователя набирает после выхода операционной системы Windows 95.

1.1.2 Недостатки современных пользовательских интерфейсов и потенциал дополненной реальности для их совершенствования

Некоторые исследователи считают, что в том, как происходит развитие компьютерных систем и, в частности, пользовательских интерфейсов, имеются серьёзные недостатки (напр., Алан Кэй [60], Брет Виктор [109]). В основном это связывают с ранней коммерциализацией потребительских компьютерных систем. Начиная с выхода графических пользовательских интерфейсов на массовый рынок примерно 30 лет назад, взаимодействие с компьютером не претерпело существенных изменений. На этом фоне многообещающей выглядит концепция дополненной реальности. Как указано в [70], текущие технологии

пользовательских интерфейсов имеют фундаментальные ограничения и сфокусированы в основном на взаимодействии человека и компьютера. Технология дополненной реальности предлагает совершенствование интерфейса человека и реального окружающего мира. Она позволяет естественным образом внедрить компьютеры в деятельность человека, не отвлекая от сути решаемых задач.

1.2 Технология дополненной реальности

1.2.1 Понятие дополненной реальности

Дополненная реальность (ДР) (англ. Augmented Reality, AR) - это феномен пространственно-временного континуума, совмещающий в себе объективную и виртуальную реальности и обладающий рядом специфических качеств и свойств, недоступных в объективной и виртуальной реальности по отдельности [30].

В русском языке также используется термин «расширенная реальность», являющийся синонимом.

Более распространённый термин «виртуальная реальность» означает создание полностью искусственной среды, замещая человеку всю аудиовизуальную информацию, поступающую из окружающего мира. В случае c дополненной реальностью информация из окружающей действительности лишь частично дополняется неким виртуальным содержимым.

П. Милграм и Ф. Кисино в 1994 году описали «Континуум Реальность-Виртуальность» - пространство между реальностью и виртуальностью, между которыми расположена смешанная реальность, состоящая из дополненной реальности - ближе к реальности и дополненной виртуальности - ближе к виртуальности [82].

Рисунок 1.1 - Континуум Реальность-Виртуальность по Милграму-Кисино

СМЕШАННАЯ РЕАЛЬНОСТЬ

<

>

Введение диссертации (часть автореферата) на тему «Исследование и разработка информационной системы с технологией интерактивной визуализации средствами дополненной реальности»

РЕАЛЬНОСТЬ

ДОПОЛНЕННАЯ ДОПОЛНЕННАЯ ВИРТУАЛЬНАЯ

РЕАЛЬНОСТЬ(ДР) ВИРТУАЛЬНОСТЬ РЕАЛЬНОСТЬ

Говоря об определении дополненной реальности, нельзя также не обратиться к общепризнанной работе Рональда Азумы «Исследование дополненной реальности» (1997) [95], в которой им были сформулированы основные принципы, характерные для системы с дополненной реальностью:

- комбинирование реального и виртуального;

- взаимодействие в режиме реального времени;

- работа с трёхмерным пространством.

В более узком смысле, дополненную реальность можно определить, как технологию интеграции виртуальных объектов в реальный мир.

1.2.2 Возможности технологии дополненной реальности

Понятие дополненная реальность включает в себя несколько аспектов.

1. Визуализация.

2. Контекстные операции (триггеры).

3. Визуальные указания (ассистирование).

1.2.2.1 Визуализация

Дополненная реальность предлагает уникальные способы отображения визуальной информации, в частности визуализации трёхмерных объектов. Средствами ДР объект может быть визуализирован непосредственно в контексте его эксплуатации. Примером может служить предмет мебели, визуализированный в интерьере, растения на приусадебном участке, архитектурный объект на местности (рис. 1.2), коммуникации в стене здания, результаты ультразвукового сканирования, спроецированные на пациенте во время операции.

Концепция дополненной реальности предлагает более совершенный пользовательский интерфейс для визуализации за счёт совокупности способов управления (1) и визуализации (2). Управление ракурсом объекта осуществляется

естественными движениями головы пользователя или устройства и является понятным и эффективным. Способ визуализации трёхмерного объекта путём совмещения его изображения с окружающей обстановкой в соответствующем ракурсе позволяет лучше воспринимать объект, его размеры (при условии соответствия масштаба) и, в некоторых случаях, свойства материалов. При этом, в отличии от традиционных средств визуализации (ПО для 3ё-моделирования), для визуализации объектов средствами ДР не требуется моделирование окружения.

Рисунок 1.2 - Архитектурная визуализация средствами дополненной реальности

Визуализация средствами ДР может быть использована при принятии решений в ходе разработки, дизайна, при совершении покупки. Также возможно успешное применение в образовательных целях и других сферах.

1.2.2.2 Контекстные операции

В случае контекстных операций объекты реального мира, геопозиция или положение в пространстве используются пользователем как триггеры для вызова релевантной операции.

Например, пользователь, наведя взгляд на принтер, видит отображаемую средствами дополненной реальности информацию об оставшемся количестве

чернил в картридже. То есть системой было определено и соответствующим образом опрошено конкретное устройство (принтер) и согласно полученным данным была отображена соответствующая информация. Причём эта информация, например в виде двухмерного изображения, расположена в пространстве рядом с позицией принтера и воспринимается человеком как часть трёхмерной реальности, интерактивно изменяя перспективу в соответствии с его положением.

Предположим, что в поле зрения пользователя находится не один, а два принтера. В этом случае системой также будут определены устройства и также будет отображена релевантная информация. Важно, что позиция отображения информации будет способствовать пониманию пользователем, к какому именно устройству она относится.

Другим примером может служить просмотр туристом в незнакомом городе информации об окружающих его достопримечательностях и других объектах (рис. 1.3). При этом в существующих приложениях триггером чаще всего выступает геопозиция и направление взгляда пользователя, определённое при помощи магнитометра. Ещё один пример - просмотр информации о товарах на полках магазина.

Таким образом, дополненная реальность предоставляет уникальные средства и для вызова информации наряду с отображением.

Рисунок 1.3 - Получение информации об окружающих объектах

1.2.2.3 Визуальные указания (ассистирование)

Задачи, связанные с визуальными указаниями, чаще всего подразумевают какой-либо протекающий процесс, в ходе которого система оказывает контекстно зависимую информационную поддержку пользователю.

В этом случае система с ДР выступает как альтернатива или дополнение к всевозможным инструкциям. Примерами могут выступать такие операции, как процесс замены картриджа в принтере (рис. 1.5) [59], ремонт автомобиля (рис. 1.6), соединение телевизора и приставки кабельного телевидения и другие.

Рисунок 1.4 - Интерактивная инструкция для принтера

Рисунок 1.5 - Применение ДР при ремонте двигателя [100]

Средствами ДР может быть эффективно указано местоположение необходимого объекта и контекстно в трёхмерном пространстве проиллюстрированы операции, которые необходимо совершить.

Такие визуальные указания могут быть предназначены как для специалистов, так и для неподготовленных пользователей. Процесс может быть разбит по шагам.

Частным случаем визуальных указаний является навигация на местности или внутри помещений. Технология дополненной реальности позволяет естественным образом визуально отобразить маршрут до выбранного пользователем местоположения (например, отображая указатели непосредственно на дороге, как показано на рисунке 1.7). При этом пользователю не требуется отвлекаться на напечатанные карты или экран навигатора, что особенно ценно при управлении транспортным средством.

Рисунок 1.6 - Указания ОР8-навигатора визуализируются на дороге

1.3 Визуализация трёхмерных объектов

Визуализация является одним из ключевых компонентов дополненной реальности и была выбрана в качестве основного объекта исследования.

Визуализация средствами дополненной реальности может быть успешно применена в ряде областей, как было описано выше. Однако в качестве ориентиров были выбраны две основные области применения:

- визуализация объектов в интерьере,

- ландшафтный дизайн.

Были проанализированы предыдущие научные исследования по данной тематике.

Алерсом и др. из группы по пользовательскому взаимодействию и визуализации в Европейском компьютерном исследовательском центре (User Interaction and Visualization group at European Computer-Industry Research Centre GmbH) в качестве одной из областей исследования дополненной реальности была выбрана область дизайна интерьера. В исследовании 1995 года [44] ими была разработана система для коллективного дизайна (рис. 1.8). С её помощью несколько пользователей могли удаленно взаимодействовать с трёхмерными виртуальными предметами, встроенными в реальном времени в видеопоток, поступающий с камеры.

Scan Converter and Video Mixer

Рисунок 1.7 - Аппаратная архитектура и демонстрация работы системы [44] Система была создана для демонстрации подхода к разработке коллективного взаимодействия. Но также была показана эффективность дополненной реальности для задач дизайна интерьера.

Коллером и др. в работе 1997 года «Оптический трекинг камеры в реальном времени для применения к дополненной реальности» исследовалась проблема отслеживания точного трехмерного движения камеры в известном трехмерном окружении и динамического расчёта местоположения 3D-камеры [74]. Хотя на тот момент основной областью применения должна была стать визуализация трехмерных моделей зданий в видео, снятое на строительных площадках, быстрота

и точность подхода демонстрируется на примере приложения для дизайна интерьера (рис. 1.9).

Рисунок 1.8 - Демонстрация работы системы, описанной в [74]

Ясумуро и др. в 2003 году для целей дизайна интерьера был предложен подход интерактивного расположения и визуализации виртуальных объектов в реальном пространстве путем манипулирования физическими трехмерными маркерами [113]. При данном подходе для каждого виртуального объекта необходим индивидуальный маркер (рис. 1.10). К недостаткам может быть отнесено то, что процесс манипулирования маркерами в масштабе большем, чем поверхность стола (напр., комната) представляется трудоемким и неэффективным. Также применительно к домашнему использованию сложность составит доставка маркеров предложенного дизайна пользователям - это ограничивает широкое применение.

В статье Кука 2003 года представляется проект ARIS, целью которого является создание фотореалистичного встраивания искусственных цифровых объектов в фотографическое изображение [55]. Разработаны новые методики визуализации с реалистичным освещением, способные работать на интерактивных частотах на общедоступном оборудовании. В сочетании с тем, что система может быть встроена в веб-страницу, это позволяет распространение для действительно

широкого круга потребителей. Минусом является то, что интерьер может быть просмотрен только с заранее подготовленных и загруженных в систему ракурсов.

Рисунок 1.9 - Особые маркеры системы [113] позволяют восстановить информацию об условиях освещения В 2005 году было выпущено коммерческое приложение KPS Click&Design, разработанное компанией Metaio, также позволяющее встраивать виртуальные объекты мебели только в статическое изображение интерьера. Работа осуществлялась по следующему алгоритму. Пользователю необходимо было распечатать маркер и расположить его в помещении. Далее требовалось сделать несколько фотографий при помощи цифрового фотоаппарата и загрузить их в приложение. После успешного распознавания маркера на изображении, пользователь мог выбирать интересующие его модели мебели и добавлять их на изображение. Разумеется, так как были известны положение и размеры маркера, объекты мебели автоматически встраивались в правильном ракурсе и масштабе (рис. 1.11).

(мншв^

■ КР^.

Рисунок 1.10 - Интерфейс ПО KPS Qick&Design С. Силтанен и Ч. Вудворд в 2006 году опубликовали статью с описанием разработанной ими системы, функционирующей по такому же принципу [103]. По заявлению авторов, ими было добавлено больше функциональности в пользовательский интерфейс, а также сделаны другие усовершенствования, такие как функция стирания маркера из изображения и добавление света и теней. Источники света в данном случае добавляются и располагаются пользователем вручную, а тени генерируются автоматически. Недостатками системы являются работа только со статичными изображениями интерьера, долгий процесс занесения изображений в систему, низкая реалистичность моделей и сложный интерфейс пользователя (рис. 1.12).

Рисунок 1.11 - Пользовательский интерфейс и демонстрация системы [103]

Нобрега и Корейя в статье 2011 года описывают прототип системы, также позволяющей встраивать виртуальные объекты мебели в изображение интерьера пользователя [86]. Главным отличием от предыдущих работ является то, что здесь на изображении не требуется наличие маркера, а геометрические параметры сцены определяются при помощи алгоритмов обработки изображения. Это, безусловно, облегчает работу пользователя. Однако при такой системе масштаб сцены может быть определён только приблизительно.

Танака и др. на 21-ой международной конференции по искусственной реальности и телеприсутствию в ноябре 2011 года представили симулятор дизайна интерьера с использованием дополненной реальности, изначально спроектированный как веб-приложение [106].

Необходимо отметить, что в публикациях вплоть до 2010 года [93] встречается утверждение, что такое оборудование, как КПК или планшетные компьютеры, недоступно простому потребителю и в качестве альтернативы предлагается использовать ПК и веб-камеру. Как будет подробно описано далее, в настоящий момент ситуация серьезно изменилась.

Однако исследования, связанные с мобильной дополненной реальностью, также имели место [111, 85, 66]. Особо следует выделить работу Пасмана и др. 2004 года [91], посвященную конкретно просмотру больших трехмерных моделей с помощью дополненной реальности на карманном компьютере. Из-за ограничений КПК того времени, авторами была реализована оптимизированная клиент-серверная архитектура, при которой трекинг и трехмерная визуализация выполнялись на сервере, а съемка окружения и демонстрация конечного изображения - средствами КПК (рис. 1.13).

Авторы утверждают, что карманный компьютер во многих случаях является хорошей платформой для дополненной реальности. Также отмечается, что последнее поколение мобильных телефонов того времени имеет идентичные технические характеристики, что и КПК, который был использован в исследовании. Авторы приходят к выводу, что появление дополненной реальности на мобильных телефонах следует ожидать в ближайшем будущем.

Рисунок 1.12 - Архитектура системы [91]

Важно учитывать, что исследования по тематике дополненной реальности в основном проводились в научных центрах на мощных вычислительных машинах с использованием специальных дополнительных устройств, так как в 80-90-х гг для этих целей требовалось соответствующее оборудование и условия. Реализация технологии дополненной реальности являлась и является нетривиальной задачей, требующей немалых вычислительных мощностей для обработки входных данных, расчета трехмерной графики и вывода изображения на цветной дисплей. В ранних исследованиях речь часто шла о выводе на такое сложное и инновационное устройство, как головной дисплей, а изображение при этом должно было быть стереоскопическим. Технологии цифровых видеокамер также не были развиты. Данное оборудование не было доступно для массового потребителя.

Реализация мобильных решений с дополненной реальностью была связана с необходимостью для пользователя переносить большое количество специального оборудования: компьютер, элементы питания, камеры, дисплеи.

Таким образом выделяются два основных недостатка, присущих современным системам дополненной реальности:

- недоступность для массового потребителя,

- громоздкость мобильных решений.

Это обуславливает практически полное отсутствие полезных массовых применений дополненной реальности. Тогда как при решении данных недостатков ДР обладает большим потенциалом массового внедрения, предоставляя более естественные способы взаимодействия с компьютерными системами.

К настоящему моменту с развитием технологий и потребительской электроники наметились серьёзные предпосылки для изменения данной ситуации.

1.4 Предпосылки к массовому применению технологии дополненной реальности

1.4.1 Индивидуальные мобильные устройства: смартфоны и планшетные компьютеры

Одним из основных условий массового внедрения технологии дополненной реальности в повседневную жизнь человека является развитие потребительской техники, способной в том или ином виде обеспечивать её работу.

Дисплеи устройств для запуска программ с применением технологии дополненной реальности могут быть классифицированы по их положению между пользователем и реальной обстановкой на три основных типа (рис. 1.14) [48]:

- головные;

- ручные;

- пространственные.

Изначально применение дополненной реальности связывалось исследователями с использованием различных головных дисплеев, специальных очков и шлемов [99]. Но уровень развития технологий не позволял говорить о высокой мобильности решений и, тем более, рассчитывать на их массовое внедрение.

В 1994 году на рынок был выведен мобильный телефон IBM Simon, который считается первым смартфоном [101]. Смартфон (от англ. умный телефон) -мобильный телефон, дополненный функциональностью карманного

персонального компьютера: расширенным органайзером, офисными возможностями и другим. Также смартфон отличается тем, что его операционной системой предусмотрена установка приложений сторонних разработчиков. IBM Simon был оснащён сенсорным черно-белым экраном.

sVOl,

Головные Ручные Пространственные

Рисунок 1.13 - Классификация дисплеев по положению относительно

пользователя

Считается, что первый мобильный телефон с камерой был изобретён в 1997 году Филиппом Каном (Philippe Kahn). Первой моделью, доступной на рынке, считается Sharp J-SH04 (2000 год). Телефон был оснащен камерой с разрешением 0.1 мегапиксель.

В 2003 году Дэниел Вагнер (Daniel Wagner) и Дитер Шмальштиг (Dieter Schmalstieg) публикуют работу «Первые шаги к дополненной реальности на наладонных компьютерах» [54]. Им удалось создать функциональную систему навигации в помещении, основанную на распознавании маркеров, автономно

Рисунок 1.14 - Одно из первых приложений дополненной реальности на мобильном телефоне

работающую на КПК модели 2002 года (HP iPAQ 5450). Согласно публикации

[111], был использован самый мощный на тот момент коммерчески доступный КПК. Однако его характеристики были очень далеки даже от настольных компьютеров того времени. Также КПК не предоставлял акселерации трехмерной графики. Не было в устройстве и встроенной камеры - была подсоединена недорогая внешняя камера.

На потребительском мобильном телефоне дополненная реальность впервые была продемонстрирована в 2004 году в работе Матиаса Мёринга (Mathias Möhring) и коллег [85].

В 2005 году популярная библиотека для дополненной реальности ARToolkit была портирована на мобильную операционную систему Symbian [66] - самую распространённую на то время.

В целом типичный мобильный телефон этого периода представлял собой классический моноблок с физической клавиатурой. Отдельным классом на рынке являлся карманный персональный компьютер. Для него характерны такие особенности как сенсорный экран, обычно большей диагонали, чем у обычного телефона, а также большая вычислительная мощность. Сенсорный экран КПК обычно был выполнен по резистивной технологии, подразумевающей использование стилуса для ввода.

В январе 2007 года компания Apple анонсировала смартфон iPhone (вышел в продажу в июне 2007). С этого времени начинается переосмысление рынком того, что из себя должен представлять смартфон. Следуя тенденции, большинство производителей начинают отказываться от физической клавиатуры в новых моделях в пользу большого сенсорного экрана, занимающего всю лицевую панель устройств. Экраны производят уже по ёмкостной технологии, подходящей для работы пальцами и способной воспринимать более одного касания (так называемая, функция мультитач).

В середине 2008 года начал свою работу магазин приложений для устройств Apple App Store. Позже были открыты подобные сервисы Google, Microsoft и других компаний.

В апреле 2010 года в продажу вышла первая модель планшетного компьютера Apple iPad. Хотя планшетные компьютеры ранее присутствовали на рынке, iPad отличали меньшая толщина и вес, а также ёмкостный сенсорный экран, схожий по функциональности с экраном iPhone. Но ключевой особенностью являлось программное обеспечение, спроектированное специально для работы пальцами, а не мышью или пером. Новое программное обеспечение способствовало популяризации планшета. Другие производители стали также активно предлагать устройства данного форм-фактора.

В 2011 году был выпущен iPad 2. Новая модель была тоньше, легче, мощнее и включала камеру на задней панели, что сделало возможным запуск приложений с дополненной реальностью.

1.4.2 Развитие технологий трекинга и программных разработок

Трекинг - это сложный процесс, связанный с отслеживанием положения наблюдателя относительно окружающей обстановки. Он является одной из важнейших составляющих в реализации технологии дополненной реальности

[115].

Трекинг является обширной областью исследований. Совершенствованием трекинга занимаются исследователи в различных сферах, связанных с навигацией, робототехникой, а также в системах виртуального окружения (виртуальной реальности). Однако по сравнению с последними к трекингу для дополненной реальности предъявляются более серьёзные требования. В частности, необходим более высокий уровень точности, увеличенная дальность действия, а также работа с более широким многообразием входных данных [95]. Немаловажным является и то, что для реализации технологии дополненной реальности обычно необходим трекинг в режиме реального времени, что также усложняет поставленную задачу.

Для корректной визуализации объектов в трехмерном пространстве, необходим трекинг с шестью степенями свободы: три значения позиции (x, y, z) и

три угла (поворот вокруг соответствующих осей) для определения ориентации. Для решения этой задачи применяются различные подходы и типы сенсоров.

В 1968 году Сазерленд при создании первого головного дисплея опробовал два вида трекинга: механический и ультразвуковой [105]. В первом варианте дисплей был механически соединён с потолком, что, естественно, несло такие недостатки, как громоздкость и малую мобильность. При ультразвуковом трекинге были применены 3 передатчика, находящиеся на шлеме, и 4 приемника, расположенные по углам от пользователя. Данный способ трекинга находит свое применение до сих пор [108].

Около 10 лет спустя Фредериком Раабом и коллегами впервые были применены магнитные трекеры, измеряющие расстояние внутри электромагнитных полей [108, 96]. Данные приборы также применяются и сегодня и оказали большое влияние на исследования в области виртуальной и дополненной реальности [108].

Для широкого внедрения технологии дополненной реальности требуется корректная работа трекинга на распространённых потребительских устройствах. На настоящий момент для таких устройств характерен ограниченный вычислительный ресурс, экономия энергии и наличие чаще всего только одной RGB-камеры. Это ограничивает круг возможных подходов, применимых для реализации трекинга.

В этой связи стоит выделить оптический вид трекинга. Он получил большое развитие в исследованиях [115]. Оптический трекинг обладает потенциалом широкого применения на потребительском рынке, так как для его работы достаточно одной камеры без каких-либо специальных дополнительных внешних устройств.

Обычно когда говорится об оптическом трекинге, речь идет о системе дополненной реальности, в которой используется камера, и изображение, поступающее с камеры, используется как в качестве изображения объективной реальности, так и для обработки в целях трекинга. И в данном случае

осуществляется отслеживание положения непосредственно камеры как наблюдателя.

В 1996 году был представлен маркер для отслеживания в виде двухмерного штрих-кода [98], который стал очень широко применяться в работах по дополненной реальности. Это была одна из первых маркерных систем, позволявшая осуществлять трекинг с шестью степенями свободы с помощью камеры.

После выхода в 1999 году библиотеки для трекинга ARToolKit [73], выпущенной с открытым исходным кодом по лицензии GPL, такого рода маркеры стали ещё более популярными и применяются до сих пор.

Однако несмотря на все преимущества, такие как быстрота распознавания, простота создания и распространенность, система со штрих-кодами имеет и недостатки. Так, трекинг перестает функционировать при закрытии даже небольшой области маркера. Существуют также и другие недостатки, которые будут подробнее рассмотрены в главе 2.

Предлагались также и другие системы маркеров, не получившие распространения в подобной степени.

В целом трекинг на основе маркеров предоставляет баланс между доступностью для массового потребителя и функциональными возможностями (трекинг с шестью степенями свободы).

Но важным также является не только совершенствование технологий трекинга, но и удобство их интеграции в решения разработчиков дополненной реальности.

1.5 Анализ систем, использующих интерактивную визуализацию средствами дополненной реальности

1.5.1 Методика анализа

Описанные выше предпосылки массового внедрения технологии дополненной реальности обеспечили появление первых систем визуализации средствами дополненной реальности, предназначенных для массовых мобильных устройств: смартфонов и планшетных компьютеров. Был проведён анализ данных систем с целью выявления проблем и недостатков.

В первую очередь оценивалась реалистичность визуализации. Такие базовые параметры как количество полигонов на экране или разрешение текстур моделей для всех исследованных систем в среднем находятся на одном уровне, и поэтому не учитывались. Тем не менее системы имеют различные подходы к организации освещения трёхмерных объектов.

Как известно, визуальная информация из окружающего мира поступает в человеческий глаз посредством света. Фотоны, испускаемые источником освещения отражаются от объекта, попадают на сетчатку глаза и таким образом визуальная информация попадает в мозг - объект становится видимым. Такое освещение называют направленным или прямым. Однако помимо поступивших напрямую от источника света на объект попадают фотоны, отражённые от других объектов. Такое освещение называют рассеянным или глобальным. Именно моделирование глобального освещения существенно повышает реалистичность компьютерной визуализации. Исходя из этого, следует учесть, насколько качественно системами производится реализация затенения по алгоритмам глобального освещения.

Важно, что при реализации технологии дополненной реальности требуется не только реалистичная визуализация виртуальных объектов, но и их реалистичная интеграция в реальную среду. Такая реалистичность может быть существенно повышена за счёт использования падающей тени объектов, отбрасываемой на

Список литературы диссертационного исследования кандидат наук Кравцов Алексей Александрович, 2016 год

СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ

1. Агеев В. Н., Узилевский Г. Я. Человеко-компьютерное взаимодействие: концепции, процессы, модели. - 1995.

2. Афанасьева А. Основы синтеза фотореалистичных изображений [Электронный ресурс] // Курс: Основы синтеза фотореалистичных изображений. URL: https://courses.graphics.cs.msu.ru/course/view.php?id=11 (дата обращения: 10.10.2014).

3. Баранов А. А. Современные методы и устройства взаимодействия пользователя с информационными системами //APRIORI. Серия: Естественные и технические науки. - 2014. - №. 6.

4. Барановская Т. П. и др. Архитектура компьютерных систем и сетей //М.: Финансы и статистика. - 2003.

5. Барановская Т. П. и др. Информационные системы и технологии в экономике. - Финансы и статистика, 2003.

6. Башков Евгений Александрович, Зори Сергей Анатольевич. Реалистичная визуализация трехмерных объектов и сцен с использованием технологий объемного отображения // Известия ЮФУ. Технические науки . 2012. №5. С.133-137.

7. Благовещенский И. А., Демьянков Н. А. Технологии и алгоритмы для создания дополненной реальности //Моделирование и анализ информационных систем. - 2013. - Т. 20. - №. 2. - С. 129-138.

8. Визильтер Ю. В. и др. Обработка и анализ изображений в задачах машинного зрения: Курс лекций и практических занятий //М.: физматкнига. - 2010.

9. Волков Д. Технология «расширенной реальности». - 2010.

10. Галкин Д. В., Сербин В. А. ЭВОЛЮЦИЯ ПОЛЬЗОВАТЕЛЬСКИХ ИНТЕРФЕЙСОВ: ОТ ТЕРМИНАЛА К ДОПОЛНЕННОЙ РЕАЛЬНОСТИ.

11. Глобальный рынок Дополненной реальности 2014-2018 [Электронный ресурс] Режим доступа: http://www.technavio.com/report/global-augmented-reality-market-2014-2018 (дата обращения 25.01.2015).

12. Горбунов А., Нечаев Е., Теренци Г. Дополненная реальность в авиации. -Litres, 2014.

13. Дополненная реальность как фактор роста продаж компании [Электронный ресурс] Режим доступа: http://artjoker.ua/ru/blog/post-ot-gostya-dop-realnost/ (дата обращения 18.03.2015)

14. Иванов В. П., Батраков А. С., Полищук Г. М. Трехмерная компьютерная графика. - М. : Радио и связь, 1995.

15. Казанцев А. В. Основы компьютерной графики для программистов //Казань: КГУ. - 2005. - Т. 94.

16. Карпенко Г.А., Кравцов А.А. Потенциал технологии дополненной реальности для развития туристско-рекреационной деятельности на городище и хоре Национального заповедника Херсонес Таврический //Материалы Пятого научно-практического межкафедрального семинара «Проблемные вопросы функционирования предприятий и комплексов Крымского федерального округа и г. Севастополя», Севастополь, 2015, 6 стр.

17. Касатиков А. Д., Лейбов А. М., Осокина О. М. Современные информационные технологии в педагогическом процессе технологических факультетов педагогических вузов //Современное машиностроение. Наука и образование.-СПб.: Изд-во политехнического университета. - 2014. - С. 60-67.

18. Концепция воспринимаемой ценности [Электронный ресурс] Режим доступа: http://powerbranding.ru/osnovy-marketinga/vosprinimaemaya-cennost/ (дата обращения 20.04.2015)

19. Кравцов А. А. Применение технологии дополненной реальности в АПК. //Научное обеспечение агропромышленного комплекса: материалы Всерос. науч. -практ. конф. молодых ученых (26-28 ноября 2013 г. и 2-4 декабря 2014 г.).-Краснодар:КубГАУ, 2014. - 768 с.

20. Кравцов А. А., Лойко В.И. Актуальные подходы к разработке программного обеспечения пользовательского интерфейса с использованием технологии дополненной реальности //Математические методы и информационно-

технические средства: материалы X Всерос. науч.-практ. конф., 20-21 июня 2014 г. - Краснодар: Краснодар. ун-т МВД России, 2014. - 370 с.

21. Кравцов А. А., Лойко В.И. Манипуляция трехмерными объектами при визуализации средствами дополненной реальности //Математические методы и информационно-технические средства: материалы X Всерос. науч.-практ. конф., 19 июня 2015 г. - Краснодар: Краснодар. ун-т МВД России, 2015

22. Кравцов А.А. Использование технологии дополненной реальности для визуализации виртуального объекта в реальном интерьере / А.А. Кравцов // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2012. - №№10(084). С. 724 - 733. - IDA [article ID]: 0841210054. - Режим доступа: http://ej.kubagro.ru/2012/10/pdf/54.pdf, 0,625 у.п.л.

23. Кравцов А.А. Исследование и разработка методик и алгоритмов интерактивной визуализации средствами дополненной реальности / А.А.Кравцов // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2015. - №09(113). - IDA [article ID]: 1131509123. - Режим доступа: http://ej.kubagro.ru/2015/09/pdf/123.pdf, 1,125 у.п.л.

24. Кравцов А.А. Модели взаимодействия с клиентами при использовании технологии дополненной реальности в торговле / Кравцов А.А., Лойко В.И. // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2015. - №09(113). - IDA [article ID]: 1131509027. - Режим доступа: http://ej.kubagro.ru/2015/09/pdf/27.pdf, 0,688 у.п.л.

25. Кравцов А.А. Особенности реализации маркерного трекинга на массовых мобильных устройствах / Кравцов А.А., Лойко В.И. // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар:

КубГАУ, 2015. - №09(113). - IDA [article ID]: 1131509032. - Режим доступа: http://ej.kubagro.ru/2015/09/pdf/32.pdf, 1,000 у.п.л.

26. Кравцов А.А. Совершенствование пользовательского интерфейса визуализации трехмерных объектов при помощи технологии дополненной реальности / А.А. Кравцов, В.И. Лойко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2014. - №06(100). С. 1408 - 1420. - IDA [article ID]: 1001406091. - Режим доступа: http://ej.kubagro.ru/2014/06/pdf/91.pdf, 0,812 у.п.л.

27. Кулаков Ф. М. и др. Информационная технология добавления виртуального объекта в реальный мир. Часть 1 //Труды СПИИРАН. - 2004. - Т. 1.

- №. 2. - С. 236-256.

28. Кулаков Ф. М. и др. Информационная технология добавления виртуального объекта в реальный мир. Часть 2 //Труды СПИИРАН. - 2005. - Т. 2.

- №. 2. - С. 223-248.

29. Магазанник В. Человеко-компьютерное взаимодействие. - Litres, 2013.

30. Макеев С. Н., Макеев А. Н. ГЕНЕЗИС ПОНЯТИЯ РАСШИРЕННОЙ РЕАЛЬНОСТИ //Учебный эксперимент в образовании. - С. 8.

31. Островский А. М. Социально-философские основания гуманизации человеко-компьютерного взаимодействия (Опыт междисциплинарного исследования). - SociolStat, 2010.

32. Потребительская ценность товара [Электронный ресурс] Режим доступа: http://asmarketingwork.com/consumer-value/ (дата обращения 20.04.2015)

33. Пробуй до покупки: сервис размещения товаров в дополненной реальности ARTOUCHER [Электронный ресурс] //ARNext.ru — Всё о дополненной и виртуальной реальности. URL: http://arnext.ru/mterview/probuy-do-pokupki-servis-razmeshheniya-tovarov-v-dopolnennoy-realnosti-artoucher-15718 (дата обращения: 20.10.2015).

34. РБК «Экономика» [Электронный ресурс] Режим доступа: http://top.rbc.ru/economics/28/01/2014/901962.shtml (дата обращения 26.01.2015).

35. Руководство: Writing Surface Shaders [Электронный ресурс] // Unity [Офиц. сайт]. URL: http://docs.unity3d.com/ru/current/Manual/SL-SurfaceShaders.html (дата обращения: 18.06.2015).

36. Рынок дополненной реальности в России и в мире [Электронный ресурс] Режим доступа: http://www.json.ru/poleznye_materialy/free_market_watches/analytics/rynok_dopolnen noj_realnosti_i_geolokacionnyh_servisov_v_rossii_i_mire/ (дата обращения 26.01.2015).

37. СОКОЛОВА А. В., ЕФРЕМОВА О. А., ПАВЛОВ С. В. Формализованное описание пространственной информации в составе трехмерных моделей потенциально опасных объектов на основе теоретико-множественного подхода //Электротехнические и информационные комплексы и системы. - 2014. - Т. 10. -№. 1.

38. Чанг Б. Т. Т., Хоанг Ф. Н., Спицын В. Г. РАСПОЗНАВАНИЕ ЛИЦ НА ОСНОВЕ ПРИМЕНЕНИЯ МЕТОДА ВИОЛЫ-ДЖОНСА, ВЕЙВЛЕТ ПРЕОБРАЗОВАНИЯ И МЕТОДА ГЛАВНЫХ КОМПОНЕНТ //Известия Томского политехнического университета. - 2012. - Т. 320. - №. 5.

39. Чеботарева Е. Н., Аксёнов С. В. НАХОЖДЕНИЕ ЗАДАННОГО ОБЪЕКТА НА ВИДЕО С ПОМОЩЬЮ ПАРАЛЛЕЛЬНЫХ ВЫЧИСЛЕНИЙ.

40. Энджел Э. Интерактивная компьютерная графика. Вводный курс на базе OpenGL: пер. с англ //М.: Вильямс. - 2001. - Т. 2.

41. 3D models : requirements and limitations - Augment Help Center [Электронный ресурс] //Augmented Reality App - Augment. URL: http://www.augmentedev.com/help/requirements-and-limitations (дата обращения: 20.10.2015).

42. About PARC [Электронный ресурс] //PARC, a Xerox company [Офиц. сайт]. URL: https://www.parc.com/about/(дата обращения: 18.06.2015).

43. AdIndex.ru Тенденции [Электронный ресурс] Режим доступа: http://adindex.ru/news/tendencies/2014/04/11/109052.phtml (дата обращения 27.01.2015).

44. Ahlers K. H. et al. Distributed augmented reality for collaborative design applications //Computer Graphics Forum. - Blackwell Science Ltd, 1995. - Т. 14. - №. 3. - С. 3-14.

45. ARNext Дополненная и виртуальная реальность [Электронный ресурс] Режим доступа: http://arnext.ru/news/2018-ar-vr-6503 (дата обращения 27.01.2015).

46. Augmented Reality & Virtual Reality Market by Technology Types, Sensors (Accelerometer, Gyroscope, Haptics), Components (Camera, Controller, Gloves, HMD), Applications (Automotive, Education, Medical, Gaming, Military) & by Geography -Global Forecast and Analysis to 2013 - 2018 [Электронный ресурс] Режим доступа: http://www.marketsandmarkets.com/Market-Reports/augmented-reality-virtual-reality-market-1185.html (дата обращения 26.01.2015).

47. Bay H., Tuytelaars T., Van Gool L. Surf: Speeded up robust features //Computer vision-ECCV 2006. - Springer Berlin Heidelberg, 2006. - С. 404-417.

48. Bimber O., Raskar R. Modern approaches to augmented reality //ACM SIGGRAPH 2006 Courses. - ACM, 2006. - С. 1.

49. Bowman D. A. et al. New Directions in 3D User Interfaces //IJVR. - 2006. -Т. 5. - №. 2. - С. 3-14.

50. Burns J. B., Hanson A. R., Riseman E. M. Extracting straight lines //Pattern Analysis and Machine Intelligence, IEEE Transactions on. - 1986. - №. 4. - С. 425-455.

51. Bush V. et al. As we may think //The atlantic monthly. - 1945. - Т. 176. - №.

1. - С. 101-108.

52. Canny J. A computational approach to edge detection //Pattern Analysis and Machine Intelligence, IEEE Transactions on. - 1986. - №. 6. - С. 679-698.

53. Caudell T. P., Mizell D. W. Augmented reality: An application of heads-up display technology to manual manufacturing processes //System Sciences, 1992. Proceedings of the Twenty-Fifth Hawaii International Conference on. - IEEE, 1992. - Т.

2. - С. 659-669.

54. Cohen, M., Greenberg, D., Immel, D., Brock, P.: An Efficient Radiosity Approach for Realistic Image Synthesis. IEEE Computer Graphics and Applications 6 2, (1986)

55. Cook J. et al. Real-time photo-realistic augmented reality for interior design //ACM SIGGRAPH 2003 Sketches & Applications. - ACM, 2003. - С. 1-1.

56. Developers to Invest $2.5 Billion in Augmented Reality in 2018; Look for Enterprise to Drive Smart Glasses, Says ABI Research [Электронный ресурс] Режим доступа: http://www.marketwatch.com/story/developers-to-invest-25-billion-in-augmented-reality-in-2018-look-for-enterprise-to-drive-smart-glasses-says-abi-research-2013-07-03 (дата обращения 28.01.2015).

57. Eberly D. H. 3D game engine design: a practical approach to real-time computer graphics. - CRC Press, 2006.

58. Engelbart D. C. Augmenting human intellect: a conceptual framework (1962) //PACKER, Randall and JORDAN, Ken. Multimedia. From Wagner to Virtual Reality. New York: WW Norton & Company. - 2001. - С. 64-90.

59. Feiner S., Macintyre B., Seligmann D. Knowledge-based augmented reality //Communications of the ACM. - 1993. - Т. 36. - №. 7. - С. 53-62.

60. Feldman S., Kay A. C. A conversation with Alan Kay //ACM Queue. - 2004. - Т. 2. - №. 9. - С. 20-30.

61. Fitzmaurice G. W. Situated information spaces and spatially aware palmtop computers //Communications of the ACM. - 1993. - Т. 36. - №. 7. - С. 39-49.

62. Foley J. D. et al. Fundamentals of interactive computer graphics. - Reading, MA: Addison-Wesley, 1982. - Т. 2.

63. Goral C. M. et al. Modeling the interaction of light between diffuse surfaces //ACM SIGGRAPH Computer Graphics. - ACM, 1984. - Т. 18. - №. 3. - С. 213-222.

64. Handheld Augmented Reality [Электронный ресурс] // Christian Doppler Laboratory on Handheld Augmented Reality [Офиц. сайт]. URL: http://handheldar.icg.tugraz.at/ (дата обращения: 20.06.2015).

65. Heckbert P. S. Survey of texture mapping //Computer Graphics and Applications, IEEE. - 1986. - Т. 6. - №. 11. - С. 56-67.

66. Henrysson A., Billinghurst M., Ollila M. Face to face collaborative AR on mobile phones //Mixed and Augmented Reality, 2005. Proceedings. Fourth IEEE and ACM International Symposium on. - IEEE, 2005. - С. 80-89.

67. How should I define the sizes of my targets [Электронный ресурс] //Qualcomm Vuforia Developer Portal [Офиц. сайт]. URL: https://developer.vuforia.com/forum/faq/technical-how-should-i-define-sizes-my-targets (дата обращения: 17.03.2015).

68. Ibanez A. S., Figueras J. P. Vuforia v1. 5 SDK: Analysis and evaluation of capabilities : дис. - Master Thesis, Universitat Politecnica De Catalunya, 2013.

69. Immel D. S., Cohen M. F., Greenberg D. P. A radiosity method for non-diffuse environments //ACM SIGGRAPH Computer Graphics. - ACM, 1986. - Т. 20. - №. 4. -С.133-142.

70. J., Nagao K. The world through the computer: Computer augmented interaction with real world environments //Proceedings of the 8th annual ACM symposium on User interface and software technology. - ACM, 1995. - С. 29-36.

71. Kajiya J. T. The rendering equation //ACM Siggraph Computer Graphics. -ACM, 1986. - Т. 20. - №. 4. - С. 143-150.

72. Kanbara M., Yokoya N. Geometric and photometric registration for real-time augmented reality //Mixed and Augmented Reality, 2002. ISMAR 2002. Proceedings. International Symposium on. - IEEE, 2002. - С. 279-280.

73. Kato H., Billinghurst M. Marker tracking and hmd calibration for a video-based augmented reality conferencing system //Augmented Reality, 1999.(IWAR'99) Proceedings. 2nd IEEE and ACM International Workshop on. - IEEE, 1999. - С. 85-94.

74. Koller D. et al. Real-time vision-based camera tracking for augmented reality applications //Proceedings of the ACM symposium on Virtual reality software and technology. - ACM, 1997. - С. 87-94.

75. Kurz D., Benhimane S. Gravity-aware handheld augmented reality //Mixed and Augmented Reality (ISMAR), 2011 10th IEEE International Symposium on. - IEEE, 2011. - С. 111-120.

76. Landis H. Production-ready global illumination //Siggraph course notes. -2002. - Т. 16. - №. 2002. - С. 11.

77. Lee K. Augmented reality in education and training //TechTrends. - 2012. - Т. 56. - №. 2. - С. 13-21.

78. Lewis J. P. Fast template matching //Vision interface. - 1995. - Т. 95. - №. 120123. - С. 15-19.

79. Lowe D. G. Object recognition from local scale-invariant features //Computer vision, 1999. The proceedings of the seventh IEEE international conference on. - Ieee, 1999. - Т. 2. - С. 1150-1157.

80. Lyu M. R. et al. Arcade: Augmented reality computing arena for digital entertainment //Aerospace Conference, 2005 IEEE. - IEEE, 2005. - С. 1-9.

81. Makri A. et al. ULTRA: An Augmented Reality system for handheld platforms, targeting industrial maintenance applications //11th International Conference on Virtual Systems and Multimedia, Ghent, Belgium. - 2005.

82. Milgram P., Kishino F. A taxonomy of mixed reality visual displays //IEICE TRANSACTIONS on Information and Systems. - 1994. - Т. 77. - №. 12. - С. 13211329.

83. Mitchell M. An introduction to genetic algorithms. - MIT press, 1998.

84. Mobile Augmented Reality Users to Approach 200 Million Globally by 2018, finds Juniper Research [Электронный ресурс] Режим доступа: http://www.sourcewire.com/news/80387/mobile-augmented-reality-users-to-approach-million-globally-by-finds#.VMkGoCyM56g (дата обращения 27.01.2015).

85. Mohring M., Lessig C., Bimber O. Video see-through AR on consumer cellphones //Proceedings of the 3rd IEEE/ACM International Symposium on Mixed and Augmented Reality. - IEEE Computer Society, 2004. - С. 252-253.

86. Nobrega R., Correia N. Design your room: adding virtual objects to a real indoor scenario //CHI'11 Extended Abstracts on Human Factors in Computing Systems. - ACM, 2011. - С. 2143-2148.

87. Normand J. M., Servieres M., Moreau G. A new typology of augmented reality applications //Proceedings of the 3rd Augmented Human International Conference. -ACM, 2012. - С. 18.

88. Odell D., Chandrasekaran V. Enabling comfortable thumb interaction in tablet computers: a Windows 8 case study //Proceedings of the Human Factors and Ergonomics Society Annual Meeting. - SAGE Publications, 2012. - Т. 56. - №. 1. - С. 1907-1911.

89. Open C. V., Garage W. Open Computer Vision Library [Электронный ресурс] //URL: http://opencv.org/about.html - (дата обращения: 27.12.2013).

90. Park J., You S., Neumann U. Natural feature tracking for extendible robust augmented realities //Proc. Int. Workshop on Augmented Reality. - 1998.

91. Pasman W. et al. Augmented reality with large 3D models on a PDA: implementation, performance and use experiences //Proceedings of the 2004 ACM SIGGRAPH international conference on Virtual Reality continuum and its applications in industry. - ACM, 2004. - С. 344-351.

92. Pasman W., Woodward C. Implementation of an Augmented Reality System on a PDA //Proceedings of the 2nd IEEE/ACM International Symposium on Mixed and Augmented Reality. - IEEE Computer Society, 2003. - С. 276.

93. Phan V. T., Choo S. Y. Interior Design in Augmented Reality Environment //International Journal of Computer Applications (0975-8887) Volume. - 2010. - Т. 5.

94. PicksureIt with Masins [Электронный ресурс] // PicksureIt with Masins on the App Store on iTunes. URL: https://itunes.apple.com/us/app/picksureit-with-masins/id578848796?mt=8 (дата обращения: 29.06.2015).

95. R. Azuma, "A Survey of Augmented Reality," Presence: Teleoperators and Virtual Environments. vol. 6, no. 4, Aug. 1997, pp. 355-385.

96. Raab F. H. et al. Magnetic position and orientation tracking system //Aerospace and Electronic Systems, IEEE Transactions on. - 1979. - №. 5. - С. 709-718.

97. Ray N. et al. Generation of radiosity texture atlas for realistic real-time rendering //Eurographics 2003, Granada, Espagne. - 2003. - Т. 6.

98. Rekimoto J. Augmented Reality using the 2D matrix code //Interactive Systems and Software IV. Kindaikagaku-sha. - 1996. - С. 199-208.

99. Ronald Azuma, Yohan Baillot, Reinhold Behringer, Steven Feiner, Simon Julier, and Blair MacIntyre. 2001. Recent Advances in Augmented Reality. IEEE Comput. Graph. Appl. 21, 6 (November 2001), 34-47.

100. S. HENDERSON and S. FEINER, "Augmented Reality for Maintenance and Repair (ARMAR)," United States Air Force Research Lab, Technical Report 86500526647, 2007.

101. Sager I. Before IPhone and Android came Simon, the first smartphone //Bloomberg Businessweek. Bloomberg LP ISSN. - 2012.

102. Shirley P., Ashikhmin M., Marschner S. Fundamentals of computer graphics. - CRC Press, 2009.

103. Siltanen S., Woodward C. Augmented interiors with digital camera images //Proceedings of the 7th Australasian User interface conference-Volume 50. - Australian Computer Society, Inc., 2006. - С. 33-36.

104. Studierstube Natural Feature Tracker [Электронный ресурс] // Christian Doppler Laboratory on Handheld Augmented Reality [Офиц. сайт]. URL: http://handheldar.icg.tugraz.at/nft2_multitarget.php (дата обращения: 9.10.2015).

105. Sutherland I. E. A head-mounted three dimensional display //Proceedings of the December 9-11, 1968, fall joint computer conference, part I. - ACM, 1968. - С. 757764.

106. Tanaka T. et al. A Web Application for an Interior-Design Simulator using Augmented Reality //The 21st International Conference on Artificial Reality and Telexistence, Osaka, Japan, November 28-30, 2011, The Virtual Reality Society of Japan

107. Unity - Game Engine [Электронный ресурс] // Unity [Офиц. сайт]. URL: http://unity3d.com/ru/ (дата обращения: 18.06.2015).

108. Van Krevelen D. W. F., Poelman R. A survey of augmented reality technologies, applications and limitations //International Journal of Virtual Reality. -2010. - Т. 9. - №. 2. - С. 1.

109. Victor B. A brief rant on the future of interaction design [Электронный ресурс] //Worry Dream. com. URL: http://worrydream.com/#!/ABriefRantOnTheFutureOfInteractionDesign (дата обращения: 18.09.2015)

110. Vuforia Developer Portal [Электронный ресурс] // Vuforia SDK [Офиц. сайт]. URL: http://developer.vuforia.com (дата обращения: 27.12.2013).

111. Wagner D., Schmalstieg D. First steps towards handheld augmented reality //2012 16th International Symposium on Wearable Computers. - IEEE Computer Society, 2003. - С. 127-127.

112. Willmott A. J., Heckbert P. S. An empirical comparison of radiosity algorithms. - CARNEGIE-MELLON UNIV PITTSBURGH PA DEPT OF COMPUTER SCIENCE, 1997. - №. CMU-CS-97-115.

113. Yasumuro Y. et al. Consistent Presentation of Interactive Virtual Objects in Real Space with 3D Markers-Interactive Virtual Interior Design- //Digital Image Computing: Techniques and Applications, Proceedings of the VIIth Biennial Australian Pattern Recognition Society Conference. - 2003. - C. 653-662.

114. Yemez Y., Schmitt F. 3D reconstruction of real objects with high resolution shape and texture //Image and Vision computing. - 2004. - T. 22. - №. 13. - C. 11371153.

115. Zhou F., Duh H. B. L., Billinghurst M. Trends in augmented reality tracking, interaction and display: A review of ten years of ISMAR //Proceedings of the 7th IEEE/ACM International Symposium on Mixed and Augmented Reality. - IEEE Computer Society, 2008. - C. 193-202.

116. Zhukov S., Iones A., Kronin G. An ambient light illumination model //Rendering Techniques' 98. - Springer Vienna, 1998. - C. 45-55.

ПРИЛОЖЕНИЕ А. ПРИМЕР КОДА МОДИФИЦИРОВАННОГО ПОВЕРХНОСТНОГО ШЕЙДЕРА, УЧИТЫВАЮЩЕГО НЕЗАВИСИМУЮ

ТЕКСТУРУ ЗАТЕНЕНИЯ

Shader "Diffuse AO" {

Properties {

//оттенок цвета

_Color ("Main Color", Color) = (1,1,1,1) //основная текстура

_MainTex ("Base (RGB)", 2D) = "white" {}

//текстура затенения

_AO ("AO (RGB)", 2D) = "white" {}

}

SubShader {

Tags { "RenderType"="Opaque" } LOD 2 00

CGPROGRAM

#pragma surface surf Lambert

sampler2D _MainTex; sampler2D _AO;

fixed4 _Color;

struct Input {

float2 uv_MainTex; float2 uv_AO;

};

void surf (Input IN, inout SurfaceOutput o) {

fixed4 c = tex2D(_MainTex, IN.uv_MainTex) * _Color; o.Albedo = c.rgb;

o.Albedo *= tex2D (_AO, IN.uv_AO).rgb;

}

ENDCG

}

Fallback "VertexLit"

}

ПРИЛОЖЕНИЕ Б. ИЛЛЮСТРАЦИИ РАБОТЫ РАЗРАБОТАННОЙ ИНФОРМАЦИОННОЙ СИСТЕМЫ

Рис. Б.2 - Визуализация объектов при обустройстве спортивной зоны

Рис. Б.4 - Визуализация при обустройстве приусадебного участка

Рис. Б. 5 - Пример визуализации дерева в тёмное время суток

Рис. Б.6 - Визуализация предмета мебели с несколькими вариантами обивки

ПРИЛОЖЕНИЕ В. АКТ ВНЕДРЕНИЯ

"УТВЕРЖДАЮ" 1 «Ландшафт Лель»

к Зеленская Н.В.

/С.% 2016 г.

АКТ

о внедрении результатов кандидатской диссертационной работы Кравцова Алексея Александровича

Комиссия в составе: председатель Зеленская Н.В. - директор; члены комиссии: Зеленская С.И. - заместитель директора; Дружин А.П. - инженер-проектировщик,

составили акт в том, что результаты диссертационной работы «Исследование и разработка информационной системы с технологией интерактивной визуализации средствами дополненной реальности», представленной на соискание ученой степени кандидата наук, использованы в виде программно-алгоритмического комплекса для интерактивной визуализации средствами дополненной реальности при создании проектов ландшафтного дизайна в ООО «Ландшафт Лель».

Использование разработанного программно-алгоритмического комплекса позволило получить высокий технический, экономический и социальный эффект в процессах привлечения и обслуживания клиентов.

Члены комиссии

Председатель комиссии:

С.И. Зеленская

Н.В. Зеленская

А.П. Дружин

ПРИЛОЖЕНИЕ Г. СВИДЕТЕЛЬСТВО О ГОСУДАРСТВЕННОЙ РЕГИСТРАЦИИ ПРОГРАММЫ ДЛЯ ЭВМ