Разработка и исследование оптико-электронной системы измерения параметров движения в задачах биомеханики тема диссертации и автореферата по ВАК РФ 05.11.07, кандидат наук Зубов Андрей Александрович

• Зубов Андрей Александрович
• кандидат наук
• 2019

Оглавление диссертации кандидат наук Зубов Андрей Александрович

ВВЕДЕНИЕ

1. ОБЗОР БЕЗМАРКЕРНЫХ МЕТОДОВ ИЗМЕРЕНИЯ ПАРАМЕТРОВ ДВИЖЕНИЯ ЧЕЛОВЕКА

1.1 Обзор методов измерения параметров движения в задачах биомеханики (захвата движения)

1.2. Обзор методов кодирования проецируемых шаблонов структурированной подсветки

2. МОДЕЛЬ СИСТЕМЫ АВТОМАТИЧЕСКОГО УПРАВЛЕНИЯ. (САУ) МАСШТАБОМ ВИРТУАЛЬНОГО ШАБЛОНА

2.1. Функциональная схема оптико-электронной системы измерения параметров движения человека в задачах биомеханики

2.2 Обоснование и упрощение модели

2.3. Структурный анализ аналоговой части системы автоматического управления виртуальным масштабированием

2.4.Переход к описанию цифровой САУ изменения масштаба виртуального шаблона

2.5 Построение программы-симуляции системы автоматического регулирования масштаба виртуального шаблона

3. ОПТИКО-ЭЛЕКТРОННАЯ СИСТЕМА ИЗМЕРЕНИЯ ПАРАМЕТРОВ ДВИЖЕНИЯ В ЗАДАЧАХ БИОМЕХАНИКИ С ИСПОЛЬЗОВАНИЕМ СТРУКТУРИРОВАННОЙ ПОДСВЕТКИ С ВИРТУАЛЬНЫМ ШАБЛОНОМ

3.1 Общие требования для оптико-электронной системы измерения параметров движения человека со структурированной подсветкой с виртуальным шаблоном

3.2. Алгоритм изменения масштаба виртуального шаблона

3.3. Принципиальная оптическая схема ОЭС измерения параметров движения человека в задачах биомеханики со структурированной подсветкой

3.4. Габаритный расчет ОЭС измерения параметров движения

3.5. Энергетический расчет ОЭС измерения параметров движения человека

3.6. Расчет величины допустимой остаточной расфокусировки

3.7.Расчет теоретического разрешения ОЭС измерения параметров движения

3.8. Анализ составляющих погрешности измерения

4. ИССЛЕДОВАНИЕ РАБОТОСПОСОБНОСТИ ПРЕДЛАГАЕМОЙ ОЭС ИЗМЕРЕНИЯ ПАРАМЕТРОВ ДВИЖЕНИЯ ЧЕЛОВЕКА

4.1. Теоретический этап. Создание теоретического обоснования модели

4.2. Практический этап. Получение материала для обработки и анализа

4.3. Обработка полученных снимков, оценка работоспособности системы, оценка погрешности измерения расстояния до точки объекта

4.4. Сравнение полученных результатов с существующим образцом аналогичного устройства. Сравнение предлагаемой оптико-электронной системы с системой Кинект

ЗАКЛЮЧЕНИЕ

Основные результаты работы

СПИСОК ЛИТЕРАТУРЫ

ПРИЛОЖЕНИЕ А.-ТЕХНИЧЕСКИЕ СПЕЦИФИКАЦИИ ВЫБРАННЫХ КОМПОНЕНТОВ

ПРИЛОЖЕНИЕ Б-СРАВНЕНИЕ СКОРОСТИ ФОКУСИРОВКИ РАЗЛИЧНЫХ КАМЕР В РАЗНЫХ УСЛОВИЯХ СЪЕМКИ

ПРИЛОЖЕНИЕ В - РАСЧЕТ ГЛУБИНЫ РЕЗКО ИЗОБРАЖАЕМОГО ПРОСТРАНСТВА ПРИ РАЗНЫХ УСЛОВИЯХ

ПРИЛОЖЕНИЕ Г - ТЕХНИЧЕСКИЕ СПЕЦИФИКАЦИИ КОМПОНЕНТОВ КШЕСТ ХВ0Х360

ВВЕДЕНИЕ

Введение диссертации (часть автореферата) на тему «Разработка и исследование оптико-электронной системы измерения параметров движения в задачах биомеханики»

Актуальность темы диссертации

Спорт является важнейшей составляющей современной культуры. Достижения в этой сфере, в некотором роде, являются индикаторами степени развития стран. Для достижения преимущества стали широко использоваться технические средства. Развитие науки и техники позволило увеличить эффективность существующих тренировочных методов. Высокая конкуренция в мире спорта, обострившаяся в последние годы ясно указывает на необходимость разработки и внедрения новых технических средств, с помощью которых можно было бы повысить результативность тренировок. Контроль правильности движений спортсменов является ключевой задачей в этой области.

Один из путей для решения этой задачи состоит в создании систем измерения параметров движения человека (часто применяется термин «захват движения»). Результатом любого измерения параметров или захвата движения является построение трехмерной цифровой модели движения. Основой для построения такой модели является информация о местоположении определенного количества точек, принадлежащих объекту измерения в определенные промежутки времени. Цифровая модель конкретного движения спортсмена может в дальнейшем использоваться в спортивной практике для создания спортивных обучающих программ для анализа и сравнения с образцовым движением.

В настоящее время существуют программы такого типа. Компания Hawk eye innovation создала несколько программ для различных видов спорта (настольный теннис, футбол, теннис). Программа Smart couch, например, проводит статистический анализ движений футболистов и мяча. Для получения информации игра снимается несколькими камерами. Кроме этого, данная программа позволяет моделировать траекторию движений мяча и спортсменов [57].

Существуют обучающие программы, осуществляющие сравнение реальных движений спортсменов с идеальными. Таким образом, появляется возможность существенно повлиять на технику спортсмена [38]. На рисунке 1 можно видеть пример работы такой программы.

Рисунок 1. Пример работы обучающей программы

Недавно компания IPI soft представила систему измерения параметров движений человека. В этой системе используются несколько камер или инфракрасных сенсоров, с помощью которых происходит захват движения [58].

Резюмируя вышесказанное, можно отметить, что существует потребность в измерительных системах, позволяющих определять положение объекта и его частей в пространстве в режиме реального времени. Проблема заключается в том, что системы захвата движения обладают небольшим радиусом действия.

Актуальность темы диссертации обусловлена потребностью создания системы, дающей возможность проводить такие измерения. При этом она должна обладать следующими особенностями:

1) Измерения должны производиться в режиме реального времени.

2) Спортсмены могут передвигаться и активно взаимодействовать с окружающей средой, поэтому такие системы должны позволять измерение движущихся объектов без размещения на них датчиков.

3) Радиус действия систем должен быть в пределах от 1,5 до 15 метров.

4) Кроме соответствия техническим требованиям такие системы должны удовлетворять медицинским и санитарным требованиям по безопасности работы,

обладать высокими эргономическими характеристиками и небольшой стоимостью.

Существующие системы захвата движения разделяются на безмаркерные и маркерные.

Маркерные системы подразумевают использование датчиков. Данные с датчиков поступают в компьютер, где строится ЭЭ- модель движений. В безмаркерных системах такие датчики не нужны. Для получения информации о движении используются свойства самого объекта.

На основе этой модели в режиме реального времени или позднее создаётся анимация виртуального персонажа. Существующие системы измерения параметров движения (захвата движения) различаются по принципам отслеживания движений. Кроме оптико-электронных систем (активных или пассивных) существуют магнитные, механические и гироскопические системы и акустические системы. Оптико-электронные системы могут быть маркерными и безмаркерными, остальные - только маркерными

Рисунок 2. Классификация оптико-электронных систем измерения параметров движения в задачах биомеханики

Понятно, что маркерные системы не удовлетворяют поставленным условиям из-за необходимости размещать маркеры на теле спортсменов

Безмаркерные системы не требуют размещения датчиков на объекте. Захват движения производится устройствами, использующими излучение в оптическом диапазоне. Разные оптико-электронные безмаркерные системы имеют присущие им недостатки. Общей тенденцией является то, что те из них, которые позволяют работать с движущимися объектами, имеют маленький радиус действия. Подробно недостатки различных систем будут рассмотрены ниже.

Исходя из вышеизложенного, представляется актуальной разработка безмаркерной оптико-электронной системы, сочетающей возможность работы с динамическими объектами. При этом радиус действия такой системы должен позволять ее применение в соревновательных условиях. Важно, чтобы ее остальные параметры были не хуже, чем у существующих сегодня аналогов. К таким параметрам нужно отнести также и стоимость.

Во время процесса захвата движения осуществляется трехмерная реконструкция сцены и объекта. Под трехмерной реконструкцией понимают процесс получения цифрового представления трехмерной сцены реального мира -объемного изображения. Задача состоит в восстановлении данных в третьем измерении из двумерных данных [26]. Поскольку камера представляет собой устройство, осуществляющее преобразование трехмерной сцены в двумерное изображение, при переходе неизбежно теряется информация об углах, действительных размерах и т.д. Восстановление этой информации, которая включает в себя расстояние до точек объекта, еще называют 3Э-сканированием. Эта задача возникает при работе устройств и систем для измерения параметров или захвата движения. Некоторые проблемы использования таких систем были рассмотрены в [8].

Степень разработанности темы. Проблемам оптико-электронных систем

со структурированной подсветкой посвящены исследования и публикации ряда

авторов (В.И. Гужов, Khoshelham К., ЕШегтк S. О., Geng J., Lanman D., CrispeП

Э., ТаиЬт G). В этих источниках рассмотрены общие вопросы применения таких

систем, их недостатки. В частности обсуждается дальность действия подобных

систем (на примере Кинекта). Практически нигде не говорится о возможных

7

путях увеличения дальности действия, то есть данный вопрос нуждается в дальнейшей проработке. Следует предложить способ увеличения дальности, предложить возможное конструкционное решение, показать возможность его применения путем определения разрешающей способности системы в пределах новой дальности действия и анализа погрешности.

Область исследования

Диссертационная работа выполнена в соответствии с пунктом 2 -«Разработка, совершенствование и исследование характеристик приборов, систем и комплексов с использованием электромагнитного излучения оптического диапазона волн» паспорта специальности 05.11.07 - Оптические и оптико-электронные приборы и комплексы.

Объектом исследования являются теория, методы и принципы построения оптико-электронных систем для измерения параметров движения человека.

Предметом исследования являются оптико-электронные системы со структурированной подсветкой для измерения параметров движения человека (захвата движения), принципы их построения, связь между точностными и основными конструктивными характеристиками, а также погрешности измерения расстояния и их зависимость от дальности до объекта.

Целью диссертационной работы являются разработка и исследование оптико-электронной системы измерения параметров движения в задачах биомеханики, обладающей увеличенным радиусом действия по сравнению с существующими аналогами. Для достижения цели диссертации были поставлены и решены следующие задачи:

1) Предложить способ и систему, его реализующую, для разрешения противоречия между возможностями существующих оптико-электронных систем измерения параметров движения и требуемыми условиями работы.

2) Разработать модель предлагаемой системы и ее составляющих.

3) Поставить эксперимент, позволяющий оценить погрешность измерения расстояния до точек объекта, и проанализировать полученные данные на предмет соответствия современным аналогам.

Методы исследования. Основным методом исследования являлся эксперимент, включающий компьютерную обработку результатов.

В качестве математического аппарата для расчетов использовались:

1) Математическая модель системы автоматического регулирования масштаба виртуального шаблона в виде дифференциальных уравнений в переменных вход-выход.

2) Для проведения численных расчетов, построения графиков и компьютерного моделирования были использованы программные пакеты МаШсаё, МаНаЪ

Основные положения и результаты, выносимые на защиту:

1) Разработана оптико-электронная система измерения параметров движения в задачах биомеханики с увеличенной дальностью действия, основанная на применении виртуального шаблона с автоматически изменяемым масштабом его изображения на объекте.

2) Разработан способ увеличения дальности действия систем, использующих структурированную подсветку.

3) Создана компьютерно-имитационная модель, реализующая разработанную оптико-электронную систему.

4) Поставлен эксперимент, заключающийся в имитации предложенной оптико-электронной системы, позволивший оценить погрешности измерения расстояния до точек объекта и доказавший соответствие этого параметра современным аналогам.

Научная новизна результатов диссертационного исследования:

1) Разработана оптико-электронная система, превосходящая современные аналоги по дальности действия

2) Впервые применен виртуальный шаблон структурированной подсветки, позволяющий изменять масштаб его изображения на объекте.

3) Разработанный способ увеличения дальности действия оптико-

электронных систем, использующих структурированную подсветку, основан на

изменении масштаба изображения виртуального шаблона на объекте в

9

зависимости от размера структур изображения шаблона в плоскости приемника излучения.

Теоретическая значимость работы заключается в разработке и исследовании оптико-электронной системы измерения параметров движения с увеличенным радиусом действия, включающей в себя виртуальный шаблон структурированной подсветки оригинальной конфигурации. Способ увеличения радиуса действия основан на оригинальном алгоритме изменения масштаба изображения виртуального шаблона. Полученные закономерности и разработанные модели вносят существенный вклад в теорию оптико-электронных систем измерения параметров движения.

Практическая значимость работы. Полученные в работе результаты расширяют область практического применения оптико-электронных систем измерения параметров движения, основанных на использовании структурированной подсветки. Увеличение дальности действия до 15 метров открывает возможности для построения ЭЭ-моделей движений в соревновательных условиях в реальном масштабе времени. Возможно применение таких систем в исследованиях краш-тестов автомобилей, ЭЭ-реконструкциях мест аварии при расследовании дорожно-транспортных происшествий, в игровых контроллерах и в сфере безопасности.

Личный вклад автора. Лично автором создана математическая модель рассматриваемого устройства; выполнены все расчеты, оценка быстродействия и погрешности измерения расстояния до точек объекта для конкретных условий работы; поставлен эксперимент, имитирующий разрабатываемую систему.

Апробация работы. Основные результаты исследования были доложены на международной конференции Сибоптика 2017 и научно-технической конференции студентов и молодых ученых МИИГАиК в 2017 и 2019 году, на Международной научно-технической конференции «Пространственные данные -основа стратегического планирования, управления и развития», посвященной 240-летию МИИГАиК.

Публикации. Автором опубликованы три статьи в рецензируемых изданиях, 2 из них - в изданиях, рекомендованных ВАК

Структура и объем диссертации

Диссертация состоит из введения, четырех глав, заключения, списка литературы и приложения. Общий объем составляет 116 страниц машинописного текста. Работа содержит 83 рисунка 3 таблицы и 4 приложения.

Во введении определены основные направления исследований, обоснованы важность и актуальность темы диссертационной работы, определены объект и предмет исследований, цель и задачи диссертации, показаны новизна, научная и практическая значимость диссертационных исследований, дан краткий обзор существующих обучающих спортивных программ.

В главе 1 было отмечено, что безмаркерные методы измерения параметров движения (захвата движения) основываются на различных технологиях 3Э-сканирования, которые подразумевают измерение расстояния до точек динамического объекта с течением времени. Сделан аналитический обзор современных методов и технологий, применяемых в современных оптико-электронных системах измерения параметров движения (или захвата движения), дана их классификация, рассмотрены основные принципы их работы. Приведены примеры схем с описанием принципа работы, отмечены их достоинства и недостатки. Наиболее подробно были рассмотрены активные (времяпролетная технология, структурированная подсветка) и пассивные методы (стереоскопический), которые позволяют их использование с динамическими объектами. Было установлено, что все применяемые методы имеют низкую дальность действия, поэтому для выбора упор был сделан на другие критерии. Рассматривалась применимость методов при разных типах освещения, быстродействие, сложность программного обеспечения. Для применения в предлагаемой оптико-электронной системе был выбран метод структурированной подсветки, как наиболее полно отвечающий условиям работы в спортивных залах.

Для выбранного метода 3D сканирования были проанализированы

существующие типы структурированной подсветки и способы кодирования для

11

обнаружения соответствующих точек на проецируемых шаблонах и их изображениях. По условиям работы с динамическими объектами был выбран способ пространственного кодирования.

Таким образом, для предлагаемой оптико-электронной системы измерения параметров движения был выбрана технология структурированной подсветки с пространственным кодированием проецируемого шаблона.

Далее определены основные желаемые характеристики рассматриваемой системы на основе анализа современных образцов

Во второй главе приводится построение математической модели автоматического управления изменением масштаба виртуального шаблона в оптико-электронной системе измерения параметров движения со структурированной подсветкой.

Такая система является системой автоматического регулирования с обратной связью.

Логика работы системы, реализующей исследуемый метод увеличения дальности действия структурированной подсветки, описана через систему передаточных функций компонентов. Были также рассчитаны передаточные функции системы по рассогласованию и по возмущающему воздействию.

Была создана программа-имитация системы автоматического регулирования, позволяющая оценить ее быстродействие и точность.

В третьей главе описывается принцип действия алгоритма изменения масштаба виртуального шаблона.

Обосновывается выбор типа проектора, источника излучения, приемника излучения, оптических систем. Формулируются требования оптико-электронной системе измерения параметров движения, и предлагается ее функциональная схема. Проводится габаритный расчет оптической системы предлагаемого устройства.

В главе 4 приведены результаты практической реализации и

экспериментальной проверки работоспособности предлагаемой оптико-

электронной системы измерения параметров движения. Исследовался приемный

12

канал системы. Эксперимент представлял собой симуляцию работы рассматриваемой оптико-электронной системы измерения параметров движения, с последующим моделированием на компьютере с помощью программного пакета ЫаЛаЪ

В заключении сделаны выводы из результатов выполненного исследования.

В приложении приведен листинг программы, реализующей ректификацию пары изображений, спецификации выбранных компонентов и расчет глубины резкого изображения системы при разных условиях и разными способами.

1. ОБЗОР БЕЗМАРКЕРНЫХ МЕТОДОВ ИЗМЕРЕНИЯ ПАРАМЕТРОВ ДВИЖЕНИЯ ЧЕЛОВЕКА

1.1 Обзор методов измерения параметров движения в задачах биомеханики (захвата движения)

Безмаркерные методы измерения параметров движения человека (захвата движения) основываются на различных технологиях ЭЭ-сканирования, которые подразумевают измерение расстояния до различных точек объекта.

В [5] проводится следующая классификация бесконтактных методов ЭЭ-сканирования.

Проекция точек

Триангуляция Проекция линий

Структурированная подсветка

Активные Фазовые И нте рфе ро м етри я Муаровые методы Проекция синусоидальных полос

методы методы

Временная Измерение задержки прохождения световой волны

задержка

\

Форма тени

Пассивные Форма силуэта Форма края Фокусировка/дефокусировка Фотограмметрия

методы

Рисунок Э. Классификация методов 3Э-сканирования

Основным пассивным методом является фотограмметрический метод, при

котором измерение расстояния до точек объекта производится по нескольким

14

изображениям. Часто применяется восстановление 3D по двум стереоизображениям. Такой метод называют стереоскопическим. Одна из проблем стереоскопического метода заключается в установлении точного соответствия между двумя изображениями. Под соответствием понимается расстояние или рассогласование (диспаритет) между координатами пикселей одного и того же объекта на левом и правом изображении.

Для реализации этого подхода требуются две или более камеры, направленные на сцену, предварительно откалиброванные. [25].

Смещение или диспаритет будет тем больше, чем ближе предмет расположен к камере. Зная смещение для каждой точки сцены и параметры калибровки стереопары можно получить так называемую карту глубины. Карта глубины - изображение, содержащее дальномерную информацию. Значение каждого пикселя этого изображения соответствует расстоянию от плоскости сенсора до объекта сцены.

Рисунок 4. Стереоскопический метод Надежность системы получения изображений можно повысить путем увеличения количества камер. Стереоскопический метод подходит для измерения параметров движения в задачах биомеханики.

К настоящему времени разработано много методов вычисления диспаритета [9]. Тем не менее, известные решения в ряде случаев оказываются недостаточно эффективны: как правило, для получения точной детализированной модели требуются высокие вычислительные затраты, а методы с пониженной вычислительной сложностью не могут обеспечить желаемую точность

построения модели [49]. Из недостатков этого метода нужно также отметить его зависимость от освещения и текстуры объекта [37].Гладкие или повторяющиеся текстуры на объектах вызывают множество ошибок в работе алгоритма поиска соответствий [52].

Также широко применяется метод определения расстояния до точек объекта (или построения так называемой карты глубины) с помощью фокусировки / дефокусировки. Этот метод основан на эффекте размывания изображения предметов при их удалении от фокусной плоскости. По степени размытости можно оценить расстояние до предмета. [50], [46]. Одним из недостатков данного метода является его зависимость от текстуры объекта и его освещения.

Расстояния до точек объекта могут определяться различными методами, кроме вышеупомянутых. Например, в работах [35], [45] описаны методы, где расстояние определяется путем анализа контура объекта на нескольких снимках при стационарной или движущейся камере.

Среди активных методов наиболее популярными является:

- измерения времени прохождения светового импульс (Рисунок 5);

- измерение разности фаз излучаемого и отраженного сигнала (Рисунок 6);

- использование структурированной подсветки.

В первом случае излучается импульсный сигнал.

Достоинства первого метода: высокая мощность импульсного излучения нивелирует внешние помехи, направление излучения и регистрации совпадают.

Недостатки: необходима высокая точность измерения времени; трудности в генерации прямоугольных импульсов [32], [40]. Этот метод не подходит для измерения параметров движения в задачах биомеханики из-за требуемой относительно высокой мощности лазера.

Рисунок 5. Схема измерения временной задержки прохождения света в случае импульсного светового сигнала

Второй способ основан на применении непрерывных волн. Излучение отражается от объекта и попадает в приемник. По разности фаз между излученным и отраженным светом находится расстояние до точек объекта. Недостатком этого метода является неопределенность, вызванная периодичностью значения измеренной разности фаз.

Рисунок 6. Схема измерения расстояния при непрерывном световом сигнале

Достоинства: не нужно излучение высокой мощности; может применяться модулирование по разным параметрам.

Недостатки: для устранения шумов требуется интеграция (усреднение) сигнала по времени, что приводит к уменьшению возможной частоты кадров и к эффекту смазывания при передвижении объекта [32], [40], поэтому этот метод не подходит для измерения параметров движения в задачах биомеханики.

Структурированная подсветка заключается в проецирование световых шаблонов на исследуемый объект, находящийся в поле зрения камеры. Расстояние от камеры до исследуемого объекта или его местонахождение может быть определено с помощью анализа изображений светового рисунка на объекте. Методы измерения расстояния до объекта с помощью структурированной подсветки можно рассматривать как модификацию стереоскопического метода, где одна из камер может быть заменена источником света, проецирующим световой рисунок на объект. Применение структурированной подсветки помогает решить проблему соответствия точек объекта и изображения, когда каждой точке проецируемого светового шаблона соответствует пиксель изображения этого эталона. Простейшими шаблонами являются наборы точек, полос или сеток.

Выводы:

Наиболее простым методом 3Э-сканирования или измерения расстояния до точек объекта, не требующим сложного оборудования, имеющим удовлетворительную точность и подходящим для измерения параметров движения в задачах биомеханики, является метод, основанный на использовании структурированной подсветки. По сравнению со стереоскопическим методом, он лишен проблемы соответствия точек и гораздо меньше зависит от текстуры объекта и его освещенности.

1.2. Обзор методов кодирования проецируемых шаблонов структурированной подсветки

На рисунке 7 показан пример проецирования шаблона в виде полос на статический объект.

Рисунок 7. Проецирование шаблона в виде полос

Проецирование шаблонов в виде точек, полос или сеток имеет свои достоинства и недостатки [54], [34].

1. Проецирование точечного шаблона требует сканирования по двум осям, отсутствует проблема нахождения соответствия между проецируемыми точками и их изображениями.

2. Проецирование шаблона в виде одиночной полосы требует сканирования в ортогональной плоскости, проблема нахождения соответствия точек отсутствует.

3. Проецирование шаблона в виде полос не требует сканирования, присутствует проблема нахождения соответствия проецируемых полос и их изображений.

4. Проецирование сетки (множества точек) не требует сканирования, присутствует проблема соответствия между проецируемыми элементами и их изображений.

Для решения проблемы соответствия элементов проецируемого рисунка и элементов его изображения необходимо применять кодирование. Изображение на поверхность объекта проецируемого рисунка считается закодированным, когда на нем можно выделить некоторое количество областей, которые можно соотнести с соответствующими областями на проецируемом рисунке в соответствии с заранее заданной закономерностью. Декодирование означает нахождение точек на изображении рисунка, которые соответствуют точкам на заранее известном проецируемом рисунке.

Существует 3 основных метода кодирования[34].

1) Метод временного мультиплексирования: бинарное кодирование, методы на основе и-значных кодов, код Грея с сочетанием с фазовым сдвигом, гибридный метод.

2) Пространственное кодирование: методы, основанные на неформальном кодировании, кодирование последовательностью Де Брейна, методы на основе т-последовательностей.

3) Непосредственное кодирование: кодирование оттенками серого, цветовое кодирование.

Временное мультиплексирование заключается в проецировании серии шаблонов на объект. Преимущества временного мультиплексирования: высокое пространственное разрешение; высокая точность; робастность в отношении цветных объектов. Основные недостатки этого метода: неприменимость к динамическим объектам, так как нужно проецировать несколько шаблонов; необходимость объемных вычислений.

Список литературы диссертационного исследования кандидат наук Зубов Андрей Александрович, 2019 год

СПИСОК ЛИТЕРАТУРЫ

1. Бесекерский В.А Микропроцессорные системы автоматического управления. - Л.: Машиностроение, 1989.

2. Бесекерский В.А. Теория систем автоматического управления / Бесекерский В.А., Попов Е.П. - 4-е изд., перераб. и доп. - СПб: Профессия, 2003. - 752 с.

3. Власов, К.П. Теория автоматического управления. Основные положения. Примеры расчета / К.П. Власов. - М. : Гуманитарный центр, 2013. - 540 с.

4. Гонсалес Р., Вудс Р., Эддинс С. Цифровая обработка изображений в среде МаНаЬ. М.: Техносфера, 2006 -582 с.

5. Гужов В. И. Методы измерения 3Э-профиля объектов. Контактные, триангуляционные системы и методы структурированного освещения: учеб. пособие. - Новосибирск: Изд-во НГТУ. 2015. - 352 с.

6. Гришко А. К., Лапшин Э. В., Полтавский А. В.,Трусов В. А., Юрков Н. К. Основы управления в радиоэлектронных системах :учеб. пособие; под ред. Э. В. Лапшина. - Пенза :Изд-во ПГУ, 2016 - 202 с.

7. Дорф Р.К. Современные системы управления/ Дорф Р.К., Бишоп Р.Х. - М.: Лаборатория базовых знаний, 2004. - 831 с.

8. Зубов А. А., Елкин Е.А., Майоров А. А. Проблемы использования оптико-электронных систем измерения параметров движения для создания спортивных обучающих программ // СибОптика-2017. Материалы международной научной конференции. Т. 2 - Новосибирск. СГУГиТ. -2017. - С. 3-8

9. Котюжанский Л.А. Вычисление карты глубин стереоизображения на графическом процессоре в реальном времени // Фундаментальные исследования. - 2012. - № 6-2. - С. 444-449

10. Ким, Д. П. Теория автоматического управления: учебник и практикум

11. для академического бакалавриата / Д. П. Ким. - М. :Юрайт, 2016. - 276 с

12. Мирошник, И. В. Теория систем автоматического управления учеб. для

вузов / И. В. Мирошник. - М. : Питер, 2009. - 336 с

13.Никамин В.А. Аналого - цифровые и цифро - аналоговые преобразователи. Справочник. - М.: «Альтекс-А» - 2003. - 224 с.

14.Овчинников А.М., Ильин А.А., Овчинников М.Ю Принцип работы и устройство активно-пиксельных датчиков. ИПМ им. М.В.Келдыша; РАН; Москва, 2003. - 151 с.

15.Ощепков, А. Ю. Системы автоматического управления: теория, применение, моделирование в MATLAB : учебное пособие / А. Ю. Ощепков. - 2е изд., испр. и доп. - СПб. : Лань, 2013. - 208 с.

16.Петраков, Ю. В. Теория автоматического управления : учеб. пособие / Ю. В. Петраков, О. И. Драчев. - М. : Машиностроение; 2008. - 336 c.

17.Рыжиков М. Б., Формирование и обработка изображений в лазерных системах видения. Учебное пособие. СПб.: ГУАП 2013 - 210 с.

18.Свешникова И.С., Запрягаева Л.А. Расчет и проектирование оптических систем. М.:Логос,2000. - 584 с.

19.Слюсарев Г. Г., Расчет оптических систем. Л.: Машиностроение, 1975.- 640 с.

20. Солодовников В. В., Коньков В. Г., Суханов В. А. Микропроцессорные системы автоматического регулирования. Основы теории и элементы - М.: Высшая школа; 1991. - 256 с.

21.Соломатин В. А., Методические указания к выполнению расчетных заданий по курсу « Лидары и сканеры» М.: Издательство МИИГАиК 2015. - 42 с.

22.Торшина И.П. Компьютерное моделирование оптико-электронных систем первичной обработки информации / И.П. Торшина. - М.: Университетская книга; Логос, 2009 - 248 с.

23.Филлипс Ч., Харбор Р., Системы управления с обратной связью. М.: Лаборатория базовых знаний; 2001. - 616 с.

24.Фисенко В. Т. ,Фисенко Т. Ю., Компьютерная обработка и распознавание изображений: учеб. пособие. - СПб: СПбГУ ИТМО, 2008 -192 с

25.Хорн Б. К. П. Зрение роботов. Пер. с англ. М.: Мир. 1989. - 487с.

102

26.Чочиа П.А. Переход от 2D к BD-изображениям: модификация двухмасштабной модели и алгоритмов обработки. // Информационные процессы, Т. 14. - № 3. - 2014. - С. 242-255

27. Шишкин И. П. разработка и исследование малогабаритных проекционных оптических систем высокого разрешения. Диссертация на соискание ученой степени кандидата наук Москва, МИИГАиК, 2017

28.Юревич, Е. И. Теория автоматического управления : учебник для вузов / Е. И. Юревич. - 4-е изд., перераб. и доп. - СПб. : БХВ-Петербург, 2016. - 560 с.

29.Bietry J., Silversein B., Kruschwitz J. Laser illuminated micro-mirror projector. EP2423745 2012. - P 385 - 389

30.Caspi D., Kiryati N.,Shamir J., Range imaging with adaptive color structured light / Pattern Anal. Mach. Intell. Vol. 20, № 5. 1998 - P. 470-480

31.Chow J. C., Ang K. D., Lichti D. D., Teskey W. F., Performance analysis ofa low-cost triangulation-based 3d camera: Microsoft Kinect system, / InternationalArchives of the Photogrammetry, Remote Sensing and Spatial Information Sciences.Vol. 39B5, 2012. - P. 175-180

32.Foix, G. Alenya, and C. Torras. Lock-in time-of-flight (ToF) cameras: A survey. // IEEE Sensors Journal. No. 11(9), 2011. - P. 1917-1926

33.Freedman B., Shpunt A., Machline M and Arieli Y., Depth mapping using projected patterns, UNITED STATES PATENT APPLICATION PUBLICATION, PUB., p. US 2010/0118123, 2010

34.Geng J. Structured-light 3d surface imaging: a tutorial / Advances in Optics and Photonics. Vol. 3. 2011. - P. 128-160

35.Hays J., Efros A. Scene completion using millions of photographs // Proceeding of the ACM SIGGRAPH, 2007. - P. 26

36.Han J., Shao L., Xu D., Shotton J., Enhanced Computer Vision With Microsoft Kinect Sensor: A Review./ IEEE Transactions on Cybernetics. Vol. 43,No. 5, 2013. - P. 1318-1334.

37.Hartley R., Multiple View Geometry in Computer Vision / Hartley R.,

103

Zisserman A. Cambridge: Cambridge University Press, 2000. - P. 673

38.Kepple T., Application of Induced Acceleration Analysis and Computer Simulation in Sports [Электронный ресурс] - Режим доступа: https://ojs.ub.uni-konstanz.de/cpa/article/view/4742

39.Khoshelham K., Elberink S.O., Accuracy and Resolution of Kinect Depth Data forIndoor Mapping Applications. Sensors No. 12. 2012, - P. 1437-1454

40.Kolb A., Barth E., Koch R., Larsen R. Time-of-flight cameras in computer graphics / Computer Graphics Forum. No. 29(1), 2010. - P.141-159

41.Kramer J., Introducing the Kinect. In: Hacking the Kinect. Apress. 2012. - P. 311

42.Laboureux X., Häusler G., Localization and registration of three-dimensional objects in space—where are the limits? / Appl. Opt. No. 40(29), 2001. - P. 5206-5216

43.Le N., RealSense - A Comparison of Intel RealSense Front-Facing CameraSR300 and F200, Feb. 2016. Available: https://software.intel.com/en-us/articles/a-comparison-of-intel-realsensetm-front-facing-camera-sr300-and-f200

44.Landau M., Optimal 6D Object Pose Estimation with Commodity Depth Sensors. Dissertation. University of Virginia. 2016. - P.115

45.Laurentini A. The Visual Hull Concept for Silhouette-Based Image Understanding // IEEE TPAMI. Vol. 16, No. 2, 1994. - P. 150-162.

46.Levin A., Fergus R., Durand F., Freeman W. Image and depth from a conventional camera with a coded aperture // ACM Trans. Graph. Vol. 26, No. 3, 2007, - P.70

47.Macknojia, R., Chaivez-Aragon, A., Payeur. P., Laganiere, R.: Experimental Characterization of Two Generations of Kinect's Depth Sensors. / IEEE Intl. Symposium on Robotic and Sensors Environments, 2012. - P. 150-155

48.Maruyama M. Abe S. Range sensing by projecting multiple slitswith random cuts / IEEE Trans. Pattern Anal. Mach. Intell. Vol.15(6), 1993. - P. 647-651

49.Min D. Fast global image smoothing based on weighted least squares. / Min D.,

104

Choi S, Lu J, et al. // Image Processing, IEEE Transactions on Image Processing. - 2014. Vol. 23, No. 12, P.273 - 275

50.Nayar S., Nakagawa Y. Shape from focus // IEEE Trans. Pattern Anal. Mach. Intell. Vol.16, No 8, 1994. - P. 824-831.

51.Pages J., Salvi J., Matabosch C. Robust segmentation and decoding of a grid pattern for structured light, in Pattern Recognition and ImageAnalysis, Lecture Notes in Computer Science, Vol. 2652/2003 2003. - P.689-696

52.Petrou M., Pedro G. Image processing: dealing with texture // Wiley, Vol. 10, 2006. - P. 634.

53.Robert W. Doran The Gray Code / Journal of Universal Computer Science. Vol. 13, No. 11, 2007. - P.141

54.Salvi J. Pattern codification strategies in structured light systems / Salvi J., Pages

J., Batlle J. // Pattern Recognition. Vol. 37(4). 2004. - P. 827-849 55.Smilie Paul J., Dutterer Brian S., Lineberger Jennifer L., Davies Matthew A., Suleski Thomas J. Design and characterization of an infrared Alvarez lens / Optical Engineering. January, Vol. 51 (1). 2012 - P. 124- 132

56. https : //orbbec3d.com/products/

57. http : //www. hawkeyeinnovations. com/

58. http : //ipisoft.com/store/ipi-biomech

59.https://www.algoritmsb.ru/publication/videonablyudenie/faq-cctv-lenses

60. https : //www. mathworks .com/products/image.html

ПРИЛОЖЕНИЕ А.-ТЕХНИЧЕСКИЕ СПЕЦИФИКАЦИИ ВЫБРАННЫХ КОМПОНЕНТОВ

Î660

cai Performance Data

Table 1-1. Typical electro-opticaI performance @ 25°C and 65"C, nominal pixel clock

Parameter Unit Typical va I ute

&РПЗОГ ÇhprBeterigtiçg Resolution pixels 1280 (H) x 1024 (V)

imago si» mm inches e.a (H) к 55 (V) * 8.7 (diagonal) m 1/1fl

PijiGi-si» (equaro) |jm 5 3 х 5 3

Aspect ratio 5/4

Ma* frarné rat« 1PS № ft full format

Pixel rate Mpixels / s 90-> 120

Bit depth bits 10

Ftnl performance О 25>C О 65 С

Dynamic range dB >65 >64

Qsat kfr B4

SNR Max dB 39 39

MTF at Nyquist, fim 50

Dark signal*11 lSB,(/s 31 600

□ SNU<1) LSB1[r's 30 Ш)

PRNUe) (RMS) % <1.5

Respons iu ity " LSB10/(Lu».s) 150ÛÛ

Electrical ¡interface Power supplies V 3.3 & 1.0

Povwr consumption; Functionalw Standvy mW pW <200 mW ISO

1. Mil gain, 10 bits.

£. MHSurad ft VHtffl, min gatL

3. 3200K. window WHl AR coaling, IP cilloff filer BG3B 21

4. ΠCO fpsi 111 formal, wilti 10 pF on each oulput

Spectral response and quantum efficiency 130

so

eo

у

__——- " JV—н

———- _—— - - __——- ---——

——

■ ue-o*

sm ™ wo

VAvtltnslh mm.

T34Z5518AMSPR-CS

34X 5.5mm-1S7mm F1.S

Tor 1/3 type Cameras. Motorized Zoom

CS-Mount

With Video Auto Iris and Override Manual and Preset

Mode) No. T34Z551 BAMSPFt-CS Effective Lens Aperture Front 07O.Onm

Focal Length 5.5mm - 187mm Rear 09.1mm

Man. Aperture Ratio 1:1.8 Back Focal Length 12.7mm

Mas. Image Format 4.8mm x 3.Smm{0Gniir) Flange Back Length 12.5mm

Operation Range Iris F1.B- FEBOC Mount CS-Mount

Focus 1.5m- Inf. Filter Size M77 P=0.75mm

Zoom 5.5mm - 187mm Tripod Screw 1/4-20UNC

Control Iris Video Auto Iris/Over-ride Manual Dimensions W02mm x H97.4mm x D 160mm

Focus Motorized, Preset Weight 1180B

Zoom Motorized, Preset

Object Dimension at M .OD. 5.5mm 129.2cm)! 95.2cm

187mm 4.1cm x 3.1cm

Angle of View D 1/3 type 57.5* -1.92° 1/4 type 43.8* -1.45°

H 46.6° -1.56" 35.2°-1.17°

V 35.2°-1.17° 26.5° - 0.88"

1/3" MOTORIZED ZOOM

ZOOM LENSES

T34Z5518 Series

f 5.5-187mm, F1.8

Forma! ( ) Moult

Fotai Length (mm) Angle of View (HOW

M.O.D.(m)

¡Hecrre Aperture Front (♦mm)

Rear (♦mm) Front Ffc? Thread (»M>cP=)

Dimersors IW»H«D)mn

1/3 CS 5.S-187 46.6-1.5 1.5 TOXI B 77.0 x 0.75 82 X 97.4 X 160

Dimensions

ПРИЛОЖЕНИЕ Б-СРАВНЕНИЕ СКОРОСТИ ФОКУСИРОВКИ РАЗЛИЧНЫХ КАМЕР В РАЗНЫХ УСЛОВИЯХ СЪЕМКИ

Низкая освещённость Телефото фокус Фокус при широком угле Скорость фокуса между кадрами JPG Скорость фокуса между кадрами RAW Вкл — Выкл

Fujifilm X-Pro-2 0,25 0,23 0,19 ooz OJZ 0,78

Fujifilm X-Tl 0,61 0,38 0,35 0,79 Неданных 1,27

Fujifilm X-TIO 0,67 0,36 0,29 0,73 ш 1,50

Fujifilm X-EZ 0,65 Ш* 0,41 щк Неданных 1,21

Nikon D7200 0,34 0,45 0,31 0,22 0,20 0,28

Nikon D750 0,67 Неданных 0,31 0,41 0,39 0Д4

Nikon DB10 0,46 Неданных 0,32 0,32 Неданных 0,20

Canon 6D 0,51 0,49 № 0Г59 Нет данных 0,58

Canon 7D Mark II 0,38 Неданных 0,24 0,31 0,27 0,39

Leica SL 0,46 0,26 0,21 0,29 0,30 1,12

Sony A7 R II m Неданных ^ 0,40 0,41 1Щ

Samsung NX1 0,29 0,25 0,17 0,27 0,32 0,39

Olympus OM-D E-Ml 0,72 0,11 0,14 0,34 0,24 1,24

Panasonic Lu mi*: GX8 0,37 0,17 0,14 0,27 0,35 0,39

ПРИЛОЖЕНИЕ В - РАСЧЕТ ГЛУБИНЫ РЕЗКО ИЗОБРАЖАЕМОГО ПРОСТРАНСТВА ПРИ РАЗНЫХ УСЛОВИЯХ

Фокусное расстояние (мм) 80 т

Значение апертуры

1/1.2

Расстояние до объекта (м) 15

2.51 м

Величина ГРИП — |_

Расстояние до объекта — ЩЩ Расстояние до ближайшей точки ГРИП Расстояние до дальней точки ГРИП — | Передний ГРИП Задний ГРИП — Гиперфокальное расстояние — Диаметр круга нерезкости — I

13.8 м

16.4 м

1.15 м (46%)

1.36 м (54%)

179.5 м

0.03 мм

Фокусное расстояние (мм) 80 *

Значение апертуры

1/18 *

Расстояние до объекта (м) 15

3.8 м

Величина ГРИП _

Расстояние до объема — ЩЩ Расстояние до ближайшей точки ГРИП Расстояние до дальней точки ГРИП — Передний ГРИП —| Задний ГРИП

Гиперфокальное расстояние Диаметр круга нерезкости —I

13.3 м

17.1 м

1.66 м (44%)

2.14 м (56%)

119 8 м

0 03 мм

iw uvjr simulator - camera aeptn ot neia calculator witn visual Dacicgrouna Diur ana ooicen simulation.

hj

You are using an offline version of the simulator avaliable at dofsimulator.net

w Si

Model (focus): 1 480 cm = 14.80m

i

□ Const, background distance

0.3 1 3 Background: °°

4 6 8 cm = ~

10 13 17 20 25m □ Background scaling

I

0.5 2

10 13 17 20 25m

□ Lock field of view O Constant focal length © Constant distance

M- Face Portrait Medium shot American shot Full shot

IS Saved settings O Add J? J

Biß m Ö X * * Bokeh Remove

No saved settings

V f? * # I

nrn

. r r

K

il ^^^^

¿1

© dofsimulatqr.net

I © Depth of field Total: 4.45m ( - -17.35m) Q

Circle of confusion 0.0356mm PAL/NTSC V In front of subject: 1.90m (42.6%) Behind subject: 2.55m (57.4%) Hyperfocal distance 100.00m (>50.00m)

RU . f*

CM1 DOF simulator - Camera depth of field calculator with visual background blur and bokeh simulation.

You are using an offline version of the simulator available at dofsimulator.net

Converter

0.3 1 3 Background: ~

13 17 20 25m □ Background scaling

(vToo

0.5

10 13 17 20 25m

n

E

□ Lock tield of view © Constant focal length O Constant distance

Face Portrait Medium shot American shot Full shot

Saved settings

a

i ©_

i 4 Bokeh

O Add Remove

No saved settings

® Depth of field

arts i tiMts.tofami

Total: -m ( i ~ -m) Q

Circle of confusion 0.0356mm PAL/NTSC

In front of subject: 81.1cm

Behind subject: °°m

Hyperfocal distance: 1.27m (>0.63m)

® Depth of field

Total: 6.15m ( -6.99m)©

Circle of confusion 0.0356mm PAL/NTSC

Behind subject: 5.49m (89.3%)

Hyperfocal distance: 1.90m (>0.95m)

Distance

Framing

Saved settings

O Add

Bokeh

Remove

. , □ Lock field of view © Constant focal length O Constant distance %

Face Portrait Medium shot American shot Full shot

>F DOF simulator - Camera depth of field calculator with visual background blur and bokeh simulation. ' i |Qv

No saved settings

Model (focus): 150 cm = 1.50m □ Const, background distance

^ Moves

0.3 1 3 4 6 8 10 13 17 20 Background: cm = ~ □ Background scaling

£ See

0.5 2 3 4 6 8 10 13 17 20 25m

W (eqv. f/3.3) , » Converter:

You are using an offline version of the simulator avaliable at dofsimulator.net

4 5.6 8 11 16 22 32 45 64 i

■ ■

? £ Z E> Ell "E "s HH I ■■■ mmi

ПРИЛОЖЕНИЕ Г - ТЕХНИЧЕСКИЕ СПЕЦИФИКАЦИИ КОМПОНЕНТОВ KINECT XBOX360

1СГОП

МТ9М001: 1/2-Inch Megapixel Digital Image Sensor

Features

1/2-Inch Megapixel CMOS Digital Image Sensor

MT9M001C12STM (Monochrome)

For the lateitdata iheet, refer to Mio-on'i Web iite: www.rnkron.iorrAImaging

Features

» MicrOO* DigilalClarily"-1 CMOS imaging techno lu gy

* Array Format (5; 4); L2MHX 1,024V (1,310,720 active pixel's). Total(incl. dark pixels): l,312Hx 1,040V (1,374,976 pixels)

* Frame Rate; 30 fps progressive scan; promit! in able

* Shutter: Electronic Ho l lin g Shu Lier (KHS)

* Window Siiie; SXGA; programmable to any smaller format (VGA, QVGA. CIF, QCIF, efcj

■ Program m able Controls: {.¡a in, frame rate. frame size

Applications

* Digital stDl cameras

■ Digital video cameras

* PC cameras

General Description

The MlCTOn® Imaging MT9M001 is an SXGA-format with a 1 /2 -i nch C M OS act ive- pixel d ig ira 1 im age scn-sor.The active imaging pixel array of) ¿Ô0H je 1,024V. It incorporates so phi sricated camera functions on-chip such as windowing, column and row skip mode, and snapshot mode, Iris programmable through a simple two-wire serial interlace.

This megapixel CMOS Image sensor features Digital-Clarity—Micron's break! hrnugh low-nuise C^MOS imaging technology that achieves {.XIII» image quality (based un signal-to-noise ratio and low-light sensitivity) while maintaining the inherent size, cost, and integration advantages of CMOS.

Table 1: Key Performance Parameters

Parameter valu«

Optical format 1/2-inth (5:4)

Active imager si» m (H) x 5.32m m (V)

Active pixel* 1.2HJH x 1,024 V

Pixel -size 5.2pm x 52pm

shutter type Electronic rolling ihutter (ERS)

Maximum data rate/ 4E MP5/4B MHz

matter dock

Frame SXGA ÎO fpi prog rettive tcan;

rite (12BÜ зс 1024) programmable

ADC re»l ution 10-bit, on-chip

R«poniivity 2.1 V/IUX-KC

Dynamic range

J5dB

Supply voltage 3.0V-3.6V, 3.3V nominal

Powe r coniti m pt ion 36 3mW at 3.3V (operating);

294mW (standby)

О perati ng te m ре rature 0°Ç to +70 °Ç

Packaging 4E-pin ÇIÇÇ

The sensor can be operated In Its default mods or pio-grammed by the user fur Ira me size, exp usure, gain setting, and other parameters, The default mode outputs an SXGA-size image at 30 frames per second (fps). An on-chip ana lug-to-digital converter (A I >G) provides 10 bits per pixel. FRAME_VALID and UNILVAMD signals are nul pu tun dedicated pins, along with a pixel clock that is synchronous with valid data.

Ordering Information

Table 2: Available Part Numbers

fart Number Description

МТдМ001С125ТМ 48-pinCLCC (leadfree)