Методы и алгоритмы пространственной реконструкции сцены по изображениям в реальном времени тема диссертации и автореферата по ВАК РФ 05.13.17, кандидат наук Беляков Павел Викторович

• Беляков Павел Викторович
• кандидат наук
• 2019

Оглавление диссертации кандидат наук Беляков Павел Викторович

ВВЕДЕНИЕ

1. АНАЛИЗ ПРОБЛЕМЫ ПРОСТРАНСТВЕННОЙ РЕКОНСТРУКЦИИ

1.1. Классификация методов пространственной реконструкции

1.2. Активные методы построения пространственной модели

1.3. Пассивные методы построения пространственной модели

1.3.1. Стереоскопические системы

1.3.2. Оптический поток

Основные результаты

Постановка задач исследований

2. ВАРИАЦИОННЫЙ МЕТОД ПОСТРОЕНИЯ ПРОСТРАНСТВЕННОЙ СТРУКТУРЫ СЦЕНЫ

2.1. Вариационная модель пространственной реконструкции

2.2. Вычисление оптического потока

2.3. Вычисление фундаментальной матрицы

2.4. Вычисление пространственной структуры сцены

2.5. Алгоритм построения пространственной структуры сцены

Основные результаты

3. РЕГУЛЯРИЗАЦИЯ И АППРОКСИМАЦИЯ ПРОСТРАНСТВЕННОЙ СТРУКУРЫ СЦЕНЫ

3.1. Регуляризация реконструируемой поверхности

3.2. Алгоритм построения пространственной структуры сцены с учетом регуляризации поверхности

3.3. Аппроксимация поверхности реконструируемой сцены

3.4. Алгоритм аппроксимации структуры сцены

3.5. Оценка точностных характеристик пространственной реконструкции... 94 Основные результаты

4. ЭКСПЕРИМЕНТАЛЬНЫЕ ИССЛЕДОВАНИЯ ТОЧНОСТНЫХ ХАРАКТЕРИСТИК РАЗРАБОТАННЫХ МЕТОДОВ И АЛГОРИТМОВ ПРОСТРАНСТВЕННОЙ РЕКОНСТРУКЦИИ СЦЕНЫ

4.1. Разработка аппаратно-программного стенда

4.2. Распараллеливание вычислений

4.3. Организация вычислительного процесса

4.4. Результаты экспериментальных исследований пространственной

реконструкции сцены

Основные результаты

ЗАКЛЮЧЕНИЕ

СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ

ПРИЛОЖЕНИЯ

Введение диссертации (часть автореферата) на тему «Методы и алгоритмы пространственной реконструкции сцены по изображениям в реальном времени»

ВВЕДЕНИЕ

Актуальность работы. В последнее время неуклонно растет потребность в цифровом представлении объектов и сцен реального мира. Так, например, ЗО-печать становится все более доступной для изготовления отдельных деталей. Не менее важной и актуальной является проблема пространственной реконструкции в системах технического зрения летательных аппаратов (ЛА) и робототехнических комплексов [1; 2; 3; 4; 5]. В частности, отображение на экране информационно-управляющего поля кабины пространственной модели закабинного пространства значительно облегчает полеты и посадку вертолета в сложном рельефе, что существенно повышает безопасность эксплуатации ЛА. Развитие дополненной реальности также требует знаний о геометрии объектов реального мира и окружающей сцены.

Несмотря на развитие устройств на основе активных методов трехмерной реконструкции, например, лазерных сканеров и времяпролетных камер [6], стандартные цифровые камеры по-прежнему остаются основным устройством получения изображения в качестве отправной точки пространственной реконструкции. В качестве входных данных требуется последовательность изображений статической сцены, полученных при движении камеры с неизвестным положением по непрерывной траектории. Предполагаются известными лишь внутренние параметры камеры. Корректная оценка положения камеры чрезвычайно важна для построения трехмерной структуры

[7].

Традиционные алгоритмы пространственной реконструкции полагаются на разреженные признаки изображений. Такие методы должны тщательно отбирать наиболее подходящие признаки и устранять неустойчивые - выбросы. Целью подходов, основанных на поиске и сопоставления таких признаков является оценка по ним фундаментальной матрицы - базового геометрического отношения, лежащего в основе взаимосвязи двух изображений одной и той же сцены [8; 9]. Это отношение выражается эпиполярным ограничением, которое задает взаимное положение соответствующих точек двух изображений так, чтобы эти точки находились на определенных эпиполярных линиях, а не где-

нибудь произвольно в плоскости изображения, что в конечном итоге и позволяет определить пространственную структуру сцены. С другой стороны, методы плотного оптического потока [10;11;12;13] за последнее время достигли определенных успехов и могут успешно применяться в задачах пространственной реконструкции по изображениям от камер. Такие методы обеспечивают очень большое количество сопоставлений для вычисления фундаментальной матрицы и гарантирует небольшое количество выбросов.

С учетом сказанного целесообразно разработать метод пространственной реконструкции по последовательности изображений, который основан на плотном методе сопоставления изображений - оптическом потоке, но с учетом ограничений эпиполярной геометрии. Чтобы совместно оценить оптический поток, фундаментальную матрицу и пространственную структуру в данной работе предлагается расширить одну из наиболее точных, но вместе с тем наиболее вычислительно сложных моделей вычисления оптического потока в вариационной формулировке с поиском решения через минимизацию функционала [10;11;12;14;15;16].

Таким образом в данной работе метод пространственной реконструкции основывается на минимизации совместного функционала вычисления оптического потока и фундаментальной матрицы, дополненного требованиями гладкости и минимальной площади поверхности, с одновременным определением пространственных координат точек сцены. При этом необходимо дать оценку точностным характеристикам реконструкции и осуществить фильтрацию. Такой способ минимизации одного общего функционала для всех неизвестных обеспечивает более высокую точность их совместного вычисления и соответственно более качественную реконструкцию.

Минимизация совместного функционала т.е., определение экстремума этого функционала представляет основную вычислительную сложность в задаче построения пространственной модели сцены [14-16; 17; 18]. Даже при наличии современных высокопроизводительных вычислительных средств, при размерности изображений в несколько сотен пикселов возникают значительные

трудности с реализацией построения пространственной модели реконструируемой сцены в реальном времени.

Степень разработанности темы. Большой вклад в развитие научных исследований в этой области внесли отечественные ученые Визильтер Ю.В., Волегов Д.Б., Кузнецов П.К., Новиков А.И., Юрин Д.В., Чочия П.А. и другие, а также зарубежные ученые Брокс Т., Брюн А., Вальгаретс Л., Вейкерт И., Зелицки Р., Хартли Р., Хорн Б., Циссерман А. и другие. Несмотря на большое количество публикаций по данной тематике, в результате их анализа не было выявлено работ, в которых в полной мере исследуется и решается задача пространственной реконструкции вариационным методом в реальном времени. К тому же не существует универсального алгоритма, который для всех областей применения обеспечивает требуемую эффективность. Главным недостатком известных методов и алгоритмов является вычислительная сложность реконструкции в реальном времени с необходимой субпиксельной степенью точности.

В данной диссертационной работе автором исследуется и развивается вариационный метод пространственной реконструкции и связанные с ним алгоритмы. Приводится сравнительный анализ предлагаемых методов алгоритмов с известными.

Цель диссертации состоит в повышении точности реконструкции пространственных сцен технической и естественной природы в реальном масштабе времени по двум изображениям путем совершенствования методов и алгоритмов реконструкции.

Для достижения поставленной цели решаются следующие основные задачи:

- обзор и оценка существующих методов пространственной реконструкции сцены;

модернизация метода пространственной реконструкции сцены, заключающаяся в совместном вычислении функционала оптического потока и фундаментальной матрицы в единой вычислительной процедуре с

одновременным определением пространственных координат точек сцены, обеспечивающая повышенную точность реконструкции;

- разработка методики регуляризации совместного функционала для минимизации площади поверхности реконструируемой сцены с целью дополнительного повышения точности реконструкции;

- разработка алгоритма аппроксимации реконструируемой сцены для обеспечения гладкости реконструируемой поверхности;

- создание алгоритма распараллеливания вычисления оптического потока вариационным методом с целью ускорения вычислительного процесса;

- разработка программно-аппаратного стенда для экспериментального исследования методов пространственной реконструкции сцены.

Научная новизна диссертации заключается в создании новых эффективных метода, методики и алгоритмов пространственной реконструкции сцены в системах обработки изображений:

- разработан метод совместного вычисления функционала оптического потока и фундаментальной матрицы, отличающийся одновременным определением пространственных координат точек сцены, обеспечивающий повышение точности реконструкции пространственной модели сцены в реальном времени на 15 - 20%;

- разработана методика регуляризации совместного функционала, отличающаяся возможностью минимизации площади реконструируемой сцены, что дает возможность дополнительно повысить точность реконструкции на 5 -7%;

- созданы алгоритмы реконструкции сцены, включающие процедуры аппроксимации и распараллеливания вычисления оптического потока, обеспечивающие гладкость реконструируемой поверхности и сокращение продолжительности вычислительного процесса.

Методы исследования. Для решения поставленных задач применялись методы вычислительной математики, теории обработки изображений и распознавания образов, теории планирования экспериментов, математического

моделирования, системного анализа, вариационное исчисление и методы оптимизации.

Основные положения, выносимые на защиту:

1) метод совместного вычисления функционала оптического потока и фундаментальной матрицы с одновременным определением пространственных координат точек сцены, обеспечивающий повышение точности реконструкции пространственной модели сцены в реальном времени на 15 - 20%;

2) методика регуляризации совместного функционала для минимизации площади реконструируемой сцены, обеспечивающая дополнительное повышение точности реконструкции на 5 - 7%;

3) алгоритм аппроксимации реконструируемой сцены для обеспечения гладкости реконструируемой поверхности;

4) алгоритм распараллеливания вычисления оптического потока вариационным методом, обеспечивающий ускорение вычислительного процесса.

Практическая значимость работы состоит в том, что применение разработанных методов и алгоритмов позволяет создать аппаратно-программные средства, обеспечивающие повышенную точность пространственной реконструкции сцены в реальном времени при решении задач реконструкции объекта-оригинала технической и естественной природы.

Реализация и внедрение. Диссертация выполнена на кафедре ЭВМ ФГБОУ ВО «Рязанский государственный радиотехнический университет имени В.Ф. Уткина». Результаты диссертационной работы и разработанный программно-аппаратный стенд внедрены в Научно-консгрукторском центре видеокомпьютерных технологий (НКЦ ВКТ) ФГУП «Государственный рязанский приборный завод» в виде алгоритмов, реализующих технологию построения пространственной модели окружающей обстановки в авиационных

с*

системах технического зрения; в ЗАО «НЕИРОКОМ» (г. Москва) в виде алгоритмов реконструкции лица водителя автомобиля и в учебном процессе

ФГБОУ ВО «Рязанский государственный радиотехнический университет имени В.Ф. Уткина» при изучении дисциплины «Системы технического зрения».

Результаты диссертации также были использованы при выполнении хоздоговорных научно-исследовательских работ, проводимых на кафедре ЭВМ РГРТУ: «Разработка и исследование программно-математического и аппаратного обеспечения датчика оси диаграммы направленности системы беспроводной оптической связи». Шифр: «ДОДН - РГРТУ-2018». Заказчик: ЗАО «Мостком», г. Рязань.

Апробация работы. Основные результаты работы докладывались на:

• 8-й Средиземноморской конференции по встроенным вычислениям (Черногория, Будва, 2019 г.);

• 16-м Международном научно-техническом симпозиуме «East-West Design & Test Symposium» (Казань, 2018 г.);

• Международной научно-технической и научно-методической конференции «Современные технологии в науке и образовании» СТНО-2016 (Рязань, 2016 г.);

• 28-й Международной научной конференции «Математические методы в технике и технологиях» ММТТ-28 (Саратов, 2015 г.);

• 23-й Всероссийской научно-технической конференции студентов, молодых ученых и специалистов «Новые информационные технологии в научных исследованиях (НИТ-2018)» (Рязань, 2018 г.);

• 31-й Всероссийской научно-технической конференции студентов, молодых ученых и специалистов «Биотехнические, медицинские, экологические системы и робототехнические комплексы (Биомедсистемы-2018)» (Рязань, 2018 г.);

• 4-й Всероссийской научно-технической конференции «Актуальные проблемы современной науки и производства» (Рязань, 2017 г.);

• 3-й Всероссийской научно-технической конференции «Актуальные проблемы современной науки и производства» (Рязань, 2016 г.).

Публикации. По теме диссертации опубликовано 17 печатных работ, из них шесть - в журналах, входящих в перечень ВАК Минобрнауки, три - в изданиях, индексированных в наукометрических базах Scopus и Weh of Science.

Структура и объем работы. Диссертация состоит из введения, 4-х глав, заключения, списка использованных источников и приложения. Основной текст работы содержит 152 страницы, 55 рисунков и 6 таблиц. Список использованных источников включает 164 наименования.

1. АНАЛИЗ ПРОБЛЕМЫ

РЕКОНСТРУКЦИИ

ПРОСТРАНСТВЕННОЙ

1.1. Классификация методов пространственной реконструкции

Осознание объема окружающего мира, в котором находится и которое видит человек, оценка собственного пространственного положения в нем, определение движения, понимание глубины и дальности видимого пространства являются неотъемлемой частью человеческого зрения.

Современные технологии и в частности компьютерное зрение [1-5; 19; 20; 21; 22], всеми силами и средствами пытается приблизиться к восприятию глубины и объема пространства подобно живым организмам, которые в процессе эволюции зрительной системы прекрасно научились это делать.

На современном этапе развития науки и техники техническому зрению по-прежнему далеко до возможностей природы, тем не менее на сегодняшний день разработано достаточно много технологий получения и обработки информации об удалённых объектах [6;7;23].

В настоящее время одним из самых активно развивающихся направлений компьютерного зрения является реконструкция трехмерных объектов реального мира [6; 24 ]. Разработанные технические решения могут применяться в производстве, медицине, компьютерной графике, робототехнике, техническом зрении, распознавании объектов, архитектуре, туризме и многих других областях [1-6; 25; 26; 27]. Зная информацию о глубине можно генерировать пространственные модели ландшафта [28] и других природных объектов для использования в различных приложениях, таких как виртуальная реальность, симуляция полета, робототехника [1-5; 7-9; 19-24; 29; 30].

Знание об удаленности точек изображения от реального прообраза позволяет делать захват опорных точек движущегося объекта для получения трехмерных координат, что важно в индустрии спецэффектов, кино и телевидении. Захват координат опорных точек позволяет строить уникальные бесконтактные человеко-машинные интерфейсы, управление в которых

осуществляется движениями пальцев рук или вообще жестов в пространстве на некотором удалении от стереокамеры.

Многие методы оценки глубины сцены основаны на повторении опыта восприятия человеком информации об объеме:

•Бинокулярность зрения - мозг сопоставляет изображения, которые видят правый и левый глаз.

•Перемещение объекта или перемещение глаза относительно объекта.

•Аккомодация хрусталика. Фокусировка изображения с помощью изменения фокусного расстояния хрусталика аккомодационными мышцами.

•Геометрическая перспектива, воздушная перспектива, знание реальных размеров наблюдаемых объектов.

•Тени и блики.

•Тактильные ощущения.

Однако существуют и методы, основанные на новых физических принципах.

•Определение времени прохождения света до препятствия и обратно (времяпролетные камеры- ToF - time-of-flight) [6;24;31].

•Методы структурированной подсветки [24;32].

•Фазовые методы, основанные на принципах интерференции и голографии.

•Использование излучения в расширенном диапазоне длин волн (инфракрасное, рентгеновское и т. п.)

Методы измерения ЗЭ-объектов можно также разделить на контактные (координатно-измерительные машины, механические щупы, методы, основанные на получении срезов объекта) и бесконтактные методы (стереобинокулярные системы, лазерное и рентгеновское сканирование, структурное освещение).

Контактные методы исследуют объект с помощью непосредственного физического контакта.

Такие устройства используются в основном в производстве и должны быть д остаточно точными. Достаточно сделать необходимое количество замеров для изготовления сетки для моделирования поверхности будущей модели.

Одно из основных преимуществ таких систем - высокая степень контроля за процессом оцифровки со стороны оператора. Однако перемещение измерительной руки с установленным зондом может оказаться очень медленным. Скорость сканирования не превышает нескольких сотен герц, а после любой оцифровки все равно неизбежно потребуется довольно трудоемкая обработка. Также недостатком контактных сканеров является необходимость непосредственного контакта с поверхностью объекта, потому что существует возможность изменить предмет в процессе сканирования или даже повредить его.

За последние годы достигнут значительный прогресс в развитии бесконтактных методов. Бесконтактные методы можно поделить на две группы - активные и пассивные (рисунок 1.1).

Р Трняжу/шшя

30

Лкшвиыс методы

Фаювыс методы

Временная идержка

Проекция точек Проекция 1ННИЙ

Структурированное освещение

Ишерфсромефия Муарояые негоды Проекция синусоида шшх по .юс

Нтмерсние юдержки прохождения евепчюй

_ В0.1ММ

Пассивные методы —

— Форма тени

— Форма си гу »г а

— Форма края

— Форма текстуры

Фокусироакд Дефокусировка

— Фотшрамметрия

Рис. 1.1 Бесконтактные методы определения Зи структуры Активные способы сканирования объектов:

• Измерение временной задержки прохождения света от различных частей объекта.

• Методы структурированного освещения.

• Фазовые интерференционные, муаровые и голо графические методы.

Пассивные способы сканирования объектов:

• Методы, основанные на анализе одного изображения. Наиболее точные результаты достигаются на основе интерактивных подходов. Информация об объеме получается в результате анализа контура, затенения, текстуры, освещенности, использования методов проектированной геометрии [7-9; 33; 34; 35].

• Триангуляционные методы. Восстановление объекта по набору двумерных входных изображений. Сравниваются расположение одинаковых точек на соседних кадрах. Необходимо точно знать позицию камеры и нужно большое количество близко расположенных кадров для согласования различных изображений. Наиболее распространенный способ - восстановление пространственной модели по двум стереоизображениям. Основная сложность -определение одинаковых точек на разных изображениях [7-9;20;23;25;26; 36; 37; 38; 39; 40].

Во многих случаях использование одного способа невозможно, поэтому хороший результат дает сочетание нескольких способов.

1.2. Активные методы построения пространственной модели

Определение времени прохождения световой волны

Текущий уровень развития электроники позволяет напрямую измерить время, проходимое светом до объекта и тем самым определять дальность. ЗО-сканеры, работающие на этом принципе, называются времяпролетными. Это специальные видеокамеры на фотодиодных матрицах, измеряющие для каждого элемента матрицы время задержки распространения модулированного света от источника до объекта и обратно на фотоприемники [6].

Устройства на основе лазерных дальномеров

Посылается сигнал, который распространяется с некоторой скоростью. Он отражается от объекта и возвращается обратно. Время прохождения определяет прошедшее расстояние. Если известна скорость распространения

зондирующего импульса в среде, то умножение скорости на половину времени между моментами излучения и приема импульса даст расстояние от излучателя до объекта, который отразил сигнал.

Любой сканер выдает набор трехмерных координат точек отражения лазерного луча относительно точки излучения, т.е. результатом работы лазерных сканеров является облако трехмерных точек. Основу работы лазерных дальномеров составляют импульсный и фазовый методы измерения расстояний, а также метод прямой угловой развертки (триангуляционный метод) [24;41].

Достоинства лазерного сканирования

• Возможность измерения профиля сквозь оптически прозрачные для используемого освещения слои. В частности, воздушное лазерное сканирование позволяет получать координаты рельефа под покровом растительности.

•Высокая производительность, что особенно важно для мобильных систем.

•Они идеально подходят для сканирования зданий или географических объектов. Могут работать на очень больших расстояниях вплоть до нескольких километров.

Недостатки лазерного сканирования

•Длительность процесса механического сканирования выбранного пространственного сектора.

•Отсутствие полутоновой информации. Однако большинство современных моделей лазерных сканеров имеют встроенную видео- или фотокамеру, благодаря чему облако точек может быть также окрашено в реальные цвета.

Стру ыгу р и ро ванная п од свет ка

ЗО-сканеры, работающие по технологии структурированного света, представляют собой проекцию известной картины (чаще световой сетки)

непосредственно на объект, деформация этого рисунка и представляет собой модель сканируемого предмета (рисунок 1.2).

30 объект ьа плоскости Рис. 1.2 Система проекции структурированных изображений Использование кодированного структурированного освещения является одним из самых надежных методов для восстановления поверхности объектов.

Этот метод основан на проецировании светового шаблона и просмотре освещенной сцены с одной или более позиций. Поскольку шаблон кодируется, соответствия между точками изображения и точками проецируемого шаблона могут быть легко найдены.

В настоящее время разработано множество различных вариантов картин для использования в системах структурированной подсветки, представляющих собой как серии изменяющихся картин (картины с временным мультиплексированием), так и неизменные картины с использованием различных вариантов цветовой кодировки [24;42].

Кодируемая система структурированного освещения основана на проекции одного шаблона или набора шаблонов на измерительную сцену, которая затем просматривается одной или несколькими камерами. Образцы разработаны специально таким образом, чтобы кодовые слова присваивались набору пикселей. Каждый закодированный пиксель имеет свое собственное кодовое слово, так что существует прямое соответствие кодовых слов и

соответствующих им координат пикселя в шаблоне. Кодовые слова - это просто числа, которые отображены в шаблоне с помощью уровней серого, цвета или геометрических представлений. Чем больше число точек, которые должны быть закодированы, тем больше кодовых слов, и, таким образом, отображение таких кодовых слов на шаблоне становится более сложным.

Методы проекции шаблона отличаются тем, каким образом в шаблоне определена каждая точка, т. е. какие кодовые слова используются и кодирует ли он одну или две пространственные оси.

1.3. Пассивные методы построения пространственной модели

Бесконтактные пассивные сканеры фиксируют только отраженный естественный свет. Помимо улавливания видимого спектра света они могут фиксировать инфракрасное и другие типы излучения. Пассивный метод сканирования относительно дешевый, так как не требует использования дорогостоящего специализированного оборудования, достаточно обычной цифровой камеры и специализированного программного обеспечения.

Подавляющее большинство алгоритмов реконструкции для нескольких видов с разных камер используют карты глубины, представляют сцену в виде набора карт глубины, по одному для каждого вида [7; 8; 37; 41; 43; 44]. Это представление с несколькими картами глубины позволяет избежать непосредственной дискретизации геометрии трехмерной области, например, аппроксимации треугольными полигонами, двумерное представление удобно, особенно для небольших наборов данных.

Существуют многочисленные меры для оценки визуальной совместимости реконструкции с набором входных изображений. Подавляющее большинство этих мер работает путем сравнения пикселей в одном изображении с пикселями в других изображениях, чтобы увидеть, насколько хорошо они коррелируют. По этой причине их часто называют мерами фотосогласованности. Меры фотосогласованности классифицируются на основе того, определены ли они в пространстве сцены или пространстве изображения [45; 46].

Пространство сцены проецирует геометрию сцены - участок поверхности или точку на входные изображения и оценивает степень взаимной согласованности между этими проекциями. Простой мерой согласованности является дисперсия проецируемых пикселей на входных изображениях.

Методы пространства изображений используют оценку геометрии сцены -положение камеры, чтобы выправить изображение с одной точки зрения так, чтобы предсказать другой вид. Таким образом сравнение исходных и предсказанных изображений показывает их фотосогласованность, известную как ошибка прогнозирования. Хотя ошибка прогнозирования концептуально очень похожа на меру пространства сцены, важным отличием является область интегрирования. Функция ошибки в пространстве сцены интегрируются по поверхности и, таким образом, имеют тенденцию отдавать предпочтение меньшим поверхностям, тогда как ошибка прогнозирования интегрируется по набору изображений сцены и, таким образом, придает большую значимость участкам сцены, которые появляются чаще или занимают большую область изображения.

В отличие от многих существующих подходов к оценке движения камеры, основанных на сложных дескрипторах признаков в данном подходе используется плотный вариационные метод для восстановления трехмерного образа сцены по изображениям от камер. Это особенно выгодно в последовательностях с малым количеством текстур и наоборот множеством подобных структур, где сопоставление по их признакам затруднено.

Структура из движения (SfM - Structure from Motion) также применяется для оценки пространственной структуры сцены. Большинство методов использует разреженное соответствие между несколькими камерами и одновременно определяют положение камеры и трехмерных точек, например методом факторизации [47; 48]. Однако такие методы полезны только для приложений, работающих не в реальном времени из-за требования наличия многих кадров.

Список литературы диссертационного исследования кандидат наук Беляков Павел Викторович, 2019 год

СПИСОК ИСПОЛЬЗОВАННЫХ источников

1. Обработка изображений в авиационных системах технического зрения // Под ред. Л.Н. Костяшкина, М.Б. Никифорова. М.: ФИЗМАТЛИТ, 2016, с. 28-32

2 Костяшкин Л.Н., Логинов A.A., Никифоров М.Б. Проблемные аспекты системы комбинированного видения летательных аппаратов. // Известия ЮФУ №5, - Таганрог, 2013 С. 61-65.

3 Алпатов Б.А., Зеленюк Ю.И., Костяшкин Л.Н., Романов ЮН., Семенков В. П. Видеоинформационные технологии в бортовом радиоэлектронном оборудовании перспективных авиационных систем: концепция, архитектура и решения // Радиотехник, 2002. - № 8. - С. 102 112.

4 Костяшкин Л.Н., Бабаев С И., Логинов A.A., Павлов О.В. Технологии систем улучшенного/синтезированного зрения для управления летательными аппаратами // Труды научно-технической конференции-семинара «Техническое зрение в системах управления мобильными объектам и-2010» // под ред. P.P. Назирова. - М.: Механика, управление и информатика, 2011. - С. 45 56.

5 Визильтер Ю.В., Желтов С.Ю., Бондаренко A.B., Ососков М.Б., Моржин A.B. Обработка и анализ изображений в задачах машинного зрения: Курс лекций и практических занятий. М.: Физматкнига, 2010. 672 с.

6Larry Li. Time-of-Flight Camera - An Introduction [Электронный ресурс] http://www.ti.com/lit/wp/sloal90b/sloal90b.pdf. // Sensing Solutions Technical White Paper. Texas instruments.

7 Никифоров М.Б., Новиков А.И., Саблина В.А., Логинов A.A. Navigation Parameters Correction Technique Using Multiple View Geometry Methods. (Техника корректировки навигационных параметров с использованием методов многопроекционной геометрии). // 22nd International Conference in Central Europe on Computer Graphics, Visualization and Computer Vision (WSCG) Communication Paper Proceedings, PIzen, 2014, 103-110.

8 Новиков А.И., Саблина В.А., Ефимов А.И. Совмещение изображений в

системах технического зрения методами проективной геометрии // Научно-техническая конференция «Техническое зрение в системах управления - 2015». - М.: - 2015г. - ИКИ РАН. - С. 51.

9 Гуров B.C., Никифоров М.Б., Муратов Е.Р. Diverse images combination by pitch and roll angles. (Совмещение разнородных изображений по углам тангажа и крена) // 3rd Mediterranean Conference on Embedded Computing (MECO), Budva, 2014.

10 Baker and I. Matthews. Lucas-Kanade 20 years on: A unifying framework. // International Journal of Computer Vision, 56(3):221-255,2004.

11 J. Weickert, A. Bruhn, T. Brox, and N. Papenberg. A survey on variational optic flow methods for small displacements. // In Mathematical models for registration and applications to medical imaging, pages 103-136. Springer, 2006.

12 Z. Chen, H. Jin, Z. Lin, S. Cohen, and Y. Wu. Large displacement optical flow from nearest neighbor fields. // In Computer Vision and Pattern Recognition (CVPR), pages 2443-2450, 2013.

13 H. Zimmer, A. Bruhn, and J. Weickert. Optic flow in harmony. // International Journal of Computer Vision, 93(3 ): 1-21, 2011.

14 A. Chambolle. An algorithm for total variation minimization and applications. // Journal of Mathematical Imaging and Vision, 20(1-2): 89-97,2004.

15 J. Weickert and C. Schnorr. A theoretical framework for convex regularizers in PDE-based computation of image motion. // International Journal of Computer Vision, 45(3):245-264, 2001.

16 T. Pock, M. Pock, and H. Bischof. Algorithmic differentiation: Application to variational problems in computer vision. // IEEE Trans. Pattern Analysis and Machine Intelligence, 29(7): 1180-1193, 2007.

17 T. Muller, J. Rannacher, C. Rabe, and U. Franke. Feature-and depth-supported modified total variation optical flow for 3d motion field estimation in real scenes. // In Computer Vision and Pattern Recognition (CVPR), pages 1193-1200, 2011.

18 A. Wedel and D. Cremers. Optical flow estimation. // In Stereo Scene Flow for 3D Motion Analysis, chapter 2, pages 5-30. Springer, 2011.

19 Б.А. Алпатов, Методы автоматического обнаружения и сопровождения объектов. / Б.А. Алпатов, П.В. Бабаян, O.E. Балашов, А.И. Степашкин. // Обработка изображений и управление, М.: Радиотехника, 2008г. 176 с.

20 Новиков А.И., Ефимов А.И. Предварительное совмещение изображений и методы оценки качества совмещения // Российский научно-технический журнал «Цифровая обработка сигналов». 2014. №3. Москва - С. 23-29.

21 Дудко И.С., Ефимов А.И., Логинов A.A., Ломтева O.A., Муратов Е.Р. Автоматизация исследования и отладки алгоритмов и программ обработки изображений // Известия ТулГУ. Технические науки. Вып. 9. Ч. - Тула: Изд-во ТулГУ, 2015.-С. 87-95.

22 Елесина С.И. Исследование особенностей методов глобальной оптимизации в корреляционно-экстремальных навигационных системах. // Математическое и программное обеспечение вычислительных систем: Межвуз. сб. науч. тр. Часть 2. / Под ред. А.Н. Пылькина. М.: Горячая линия - Телеком, 2009. С. 30-37.

23 Беляков, П.В. Сопровождение движущегося объекта на основе вариационного метода вычисления оптического потока / П.В. Беляков // Материалы 4-й Всероссийской научно-технической конференции «Актуальные проблемы современной науки и производства» - 2017. - С. 133-138.

24 Гужов В.И. Методы измерения 3 D-профиля объектов. Контактные, триангуляционные системы и методы структурированного освещения: учеб. пособие // В.И. Гужов. - Новосибирск: Изд-во НГТУ, 2015. - 82 с.

25 Чемерис, Д.С. Исследование методов определения геометрического рассогласования двух изображений для решения задачи оптического наведения и стыковки подводного робота / Д.С. Чемерис, И.Н. Бурдинский // Проектирование инженерных и научных приложений в среде MATLAB: сб. науч. трудов. - СПб., 2011. - С. 465^170.

26 Совмещение изображений в корреляционно-экстремальных навигационных системах. // Под ред. JI.H. Костяшкина, М.Б. Никифорова. -М.: Радиотехника, 2015. 208 с.

27 Баклицкий В.К., Бочкарев A.M., Мусьяков М.П. Методы фильтрации сигналов в корреляционно-экстремальных системах навигации. // М.: Радио и связь, 1986. 216 с.

28 Krivtsov, Vyacheslav A. The information technology of the terrain attractiveness assessment / Vyacheslav A. Krivtsov, Elena M. Nikiforova, Natalya V. Akinina, Pavel V. Belyakov // Mediterranean conference on embedded computing (MEC02019),-Montenegro, Budva, june 10 - 14, 2019. -PP.791-794.

29 Ларкин E.B. Моделирование процесса дистанционного управления роботом. // Извести ТулГУ. Технические науки, 2016, Вып. 12. Ч. 4, с. 202-214.

30 Кузнецов П.К. Техническое зрение подвижных объектов. Совмещение изображений как динамический процесс. /П.К. Кузнецов, В.И. Семавин, Б.В. Мартемьянов //Вестник компьютерных и информационных технологий. -2014.-№2.-С.3-10.

31 Radu Horaud, Miles Hansard, Georgios Evangelidis, Clément Ménier. An Overview of Depth Cameras and Range Scanners Based on Time-of-Flight // Technologies. Machine Vision and Applications, Springer Verlag, 2016, 27 (7), pp. 1005-1020.

32 Chadi Albitar, Pierre Graebling, Christophe Doignon. Robust Structured Light Coding for 3D Reconstruction // Conference Paper in Proceedings IEEE International Conference on Computer Vision. IEEE International Conference on Computer Vision November 2007.

33 Новиков А.И, Саблина В.А., Горячев E.O. Применение контурного анализа для совмещения изображений. // Изв. Тульского государственного университета. Технические науки. Вып. 9. Часть 1. 2013. С 260-270.

34 A.I. Novikov, V.A. Sablina, M.B Nikiforov and A.A. Loginov. The Contour Analysis and Image-Superimposition Problem in Computer Vision Systems // Pattern Recognition and Image Analysis, 2015, Vol.25, No 1, pp. 73-80.

35 A.A. Loginov A.A., E.R. Muratov E. R., Nikiforov M.B., Novikov A.I. Векторизация в реальном времени (Image vectorization in real time). // European Science and Technology. Materials of the IV international research and practice conference. Munich Germany: 2013. Vol. I. P. 274 - 280.

36 Lowe D.G. Distinctive Image Features from Scale-Invariant Keypoints // Inter-national Journal of Computer Vision, - №60, Vol2 - 2004. - P. 91-110.

37 Гаганов В. Инвариантные алгоритмы сопоставления точечных особенностей на изображениях. // Компьютерная Графика и Мультимедиа. Сетевой журнал выпуск №1(17). 2009. С. 1-12

38 Anatoly I. Novikov, Victoria A. Sablina, Aleksey I. Efimov. Image Superimposition and the Problem of Selecting the Set of Corresponding Point Pairs. // 4th Mediterranean Conference on Embedded Computing (MECO) Proceedings. Budva, Montenegro, 2015. Pp. 139-142.

39 Новиков А.И., Саблина В.А., Ефимов А.И. Совмещение изображений и проблема выбора множества пар ключевых точек // 3-я международная научно-техническая конференция «Актуальные проблемы создания космических систем дистанционного зондирования Земли». - М: ОАО «Корпорация ВНИИЭМ». -2015. С. 143-144.

40 Непомнящий П.В., Юрин Д.В. Поиск опорных точек на векторных изображениях путем детектирования уголковых структур с помощью статистической оценки гипотез, [электронный ресурс] // Graphicon 2002 proceedings, http://www.graphicon.ru/2002/

41 Муратов Е. Р., Никифоров М. Б., Устюков Д. И. Вычисление дальности до точек лазерного подсвета на изображениях // Динамика сложных систем. -2016.-Т. 2.-С. 39-43

42 J. Salvi J. Pages J. Battle "Pattern codification strategies in structured light

systems". // Pattern Recognition vol. 37 pp. 827-849 2004.

43 Yevgeniy R. Muratov, Michael B. Nikiforov, Alexey B. Rusakov, Victor S. Gurov. Estimation of distance to objects by stereovision. // Mediterranean Conference on Embedded Computing, Jun 2015.

44 R. Szeliski, Computer Vision: Algorithms and Applications, pp. 979, 2010.

45 D.A. Forsyth, J. Ponce, "Computer Vision a modem approach", Upper Saddle River NJ 07458, pp. 926, 2003.

46 129. Y. Mileva, A. Bruhn, and J. Weickert. Illumination-robust variational optical flow with photometric invariants. // Pattern Recognition, pages 152-162, 2007.

47 Свешникова H.B. , Юрин Д.В. Алгоритмы факторизации: достоверность результата и применение для восстановления эпиполярной геометрии // Труды конференции Графикон 2006, Новосибирск. - С. 158-165.

48 Свешникова Н.В. Уточнение сеточной модели трехмерной сцены, предварительно восстановленной по малому количеству характеристических точек // Труды конференции Графикон 2007, Москва 2007.

49 Т. Brox and J. Malik. Large displacement optical flow: descriptor matching in variational motion estimation. // IEEE Trans. Pattern Analysis and Machine Intelligence, IEEE Trans, on, 33(3):500-513,2011.

50 Keisuke Tateno, Federico Tombari, Iro Lainal, Nassir Navabl, С NN-SLAM: Real-time dense monocular SLAM with learned depth prediction. // In Proc. Int. Conf. on Computer Vision and Pattern Recognition (CVPR), 2017.

51 Eddy Ilg, Nikolaus Mayer, Tonmoy Saikia, Margret Keuper, Alexey Dosovitskiy, Thomas Brox. FlowNet 2.0: Evolution of Optical Flow Estimation with Deep Networks. // In Proc. Int. Conf. on Computer Vision and Pattern Recognition (CVPR), 2017.

52 German E.V., Muratov E.R., Assessment of combining heterogeneous images // World & Science: Materials of the international research and practice conference, Brno, Czeh. Rep., May 1, 2014.

53 H. Chao, Y. Gu, and ML Napolitano. A survey of optical flow techniques for robotics navigation applications. // Journal of Intelligent & Robotic Systems, 73(1-4):361-372, 2014.

54 Беляков, П.В. Стерео реконструкция изображений на основе оптического потока на ПЛИС / П.В. Беляков, М.Б. Никифоров // Материалы XXXI Всероссийской научно-технической конференции студентов, молодых ученых и специалистов: «Биотехнические, медицинские, экологические системы и робототехнические комплексы (Биомедсистемы-2018) - 2018. - С. 473-476.

55 Richard I. Hartley and Andrew Zisserman. Multiple viewr geometry in computer vision, // Cambridge University Press, 2nd edition, 2003,673 p.

56 Y. Muratov, D. Ustukov. Scaling of Depth Map for Stereo Vision Tasks. // 8th Mediterranean Conference on Embedded Computing (MECO). Jun 2019.

57 Беляков, П.В. Построение карты глубины изображений в реальном времени / П.В. Беляков, М.Б. Никифоров // Материалы XXIII Всероссийской научно-технической конференции студентов, молодых ученых и специалистов: «Новые информационные технологии в научных исследованиях» (НИТ-2018) -2018.-С. 68-69.

58 Herbert Bay, Andreas Ess, TinneTuytelaars, and Luc Van Gool. Speeded-Up Robust Features (SURF). // Elsevier, CH-8092 Zurich, B-3001 Leuven,2008.14p.

59 Абдухаликов, А.А. Поиск ключевых точек на изображении / А.А. Абдухаликов, П.В. Беляков, М.Б. Никифоров //Материалы 28-й Международной научной конференции «Математические методы в технике и технологиях»-2015. - Т. 9. - С. 144-147.

60 R. Zabih and J. Woodfill. Non-parametric local transforms for computing visual correspondence. // In European Conference on Computer Vision(ECCV), pages 151-158, 1994.

61 Новиков А.И., Ефимов А.И. Предварительное совмещение изображений и методы оценки качества совмещения // Российский научно-технический журнал.

62 Canny, J. A. Computational Approach to Edge Detection [Электронный ресурс] // IEEE Transactions on pattern analysis and machine intelligence, vol. 8. no 6. november URL: pttp://perso.limsi.fr/vezien/PAPIERS ACS/canny 1986.pdf.

63 Novikov A.I., Efimov A.I. Combining images using key point method // Proceedings of the 3rd Mediterranean Conference on Embedded Computing. -Budva, Montenegro. -2014. P. 108-111.

64 G. Yu and J.-M. Morel. ASIFT: an algorithm for fully affine invariant comparison. // SIAM Journal on Imaging Science, 2:438-469, 2009.

65 Bruce D. Lucas and Takeo Kanade. An Iterative Image Registration Technique with an Application to Stereo Vision. // International Joint Conference on Artificial Intelligence, pages 674-679, 1981.

66 T. Brox, J. Weickert, B. Burgeth, and P. Mr'azek. Nonlinear structure tensors. // Image and Vision Computing, 24(1 ):41-55,2006.

67 J. Shi and C. Tomasi. Good features to track. // In Computer Vision and Pattern Recognition (CVPR), pages 593-600, 1994.

68 T. Senst, V. Eiselen, and T. Sikora. Robust local optical flow for feature tracking. // IEEE Trans, on Circuits and Systems for Video Technology, 22 (9): 1377— 1387, 2012.

69 H. Bay, T. Tuytelaars, and L. Van Gool. Surf: Speeded up robust features. // In European Conference Computer Vision (ECCV), pages 404-417, 2006.

70 Абдухаликов, A.A. Реализация на ПЛИС алгоритма поиска ключевых точек на изображении / А.А. Абдухаликов, П.В. Беляков, М.Б. Никифоров // Материалы Международной научно-технической и научно-методической конференции «Современные технологии в науке и образовании» - 2016. - Т. 2. -С. 133-136.

71 Anders Hast, Johan Nysjo, and Andrea Marchetti. "Optimal RANSAC -Towards a Repeatable Algorithm for Finding the Optimal Set," // in Journal of WSCG, Vol.21, no. 1, pp.21 -30, 2013.

72 P. W. Holland and R. E. Welsch. Robust regression using iteratively reweighted least-squares. // Communications in Statistics-Theory and Methods, 6(9):813-827, 1977.

73 Антон Конушин, "Устойчивые алгоритмы оценки параметров модели на основе случайных выборок" [электронный ресурс] // Компьютерная графика и мультимедиа, 2009.

74 Н. Christopher Longuet-Higgins (September 1981). "A computer algorithm for reconstmcting a scene from two projections". // Nature. 293 (5828): 133-135.

75 P.H.S. Torr, and D.W. Murray. The Development and Comparison of Robust Methods for Estimating the Fundamental Matrix // International Journal of Computer Vision. 1997. Vol. 24. P. 271-300.

76 Демидович Б.П., Марон И.А. Основы вычислительной математики. М.:Наука, 1955. 664с.

77 Кузнецов П.К. Инвариантный к изменению освещенности сцены метод определения параметров движения изображений /П.К.Кузнецов, Е.Ю.Чекотило //Наука и современность — 2010: сборник материалов II международной научно-практической конференции. Часть 2. Новосибирск СИБПРИНТ. - 2010. - Новосибирск, 2010.-Вып.1.- С.375-378.

78 Т. Brox, A. Bruhn, N. Papenberg, and J. Weickert. High accuracy optical flow estimation based on a theory for warping. // In Proc. European Conf., Computer Vision, volume 4, 2004, pp. 25-36.

79 Метод определения вектора скорости движения подстилающей поверхности /U.K. Кузнецов, Б.В. Мартемьянов, В.И. Семавин, Е.Ю. Чекотило //Вестник СамГТУ. Сер. Технические науки. - 2008. - N 2. - С. 96 - 110.

80 A. Bruhn and J. Weicker. Towards ultimate motion estimation: combing highest accuracy with real-time performance. // In Proc. 10th IEEE Int. Conf., Computer Vision, 2005, pp. 749-755.

81 J. Weickert and C. Schriorr. Variational optic flow computation with a spatio-temporal smoothness constraint. // Journal of Mathematical Imaging and Vision, 14(3):245-255, 2001.

82 A. Bruhn, J. Weickert, and C. Schnorr. Lucas/Kanade meets Hom/Schunck: Combining local and global optic flow methods. // Int. J. Computer Vision, 2005, 61:211-231.

83 Is Dense Optic Flow Useful to Compute the Fundamental Matrix? Markus Mainberger, Andres Bruhn, and Joachim Weickert. // Int. Conf. Image Analysis and Recognition ICIAR 2008. pp 630-639

84 Кузнецов П.К. Информационно-измерительная система определения параметров движения оптически неоднородных объектов /П.К. Кузнецов, A.M. Абакумов//Информационно-измерительные системы-83: тез. докл. 6 всесоюз. науч.- техн. конф., Куйбышев. 4-6 окт. 1983г. /Куйбышев, политехи, ин-т.-Куйбышев, 1983.-С. 153-154.

85 Denis Fortun, Patrick Bouthemy, Charles Kervrann. Optical flow modeling and computation: a survey. // Computer Vision and Image Understanding, Elsevier, 2015, 134, pp.21.

86 B. Lucas and T. Kanade. An iterative image registration technique with an application in stereo vision. // In Proc, IEEE Int. Joint Conf., Artificial Intelligence, 1981, pp. 674-679.

87 Tarasov, Andrey. The Developing of Targets Tracking Complex / Andrey Tarasov, Potapova Valentina, Pavel Belyakov, Melnik Olga // Proc. in IEEE East-West Design & Test Symposium (EWDTS) - Kazan, 2018. PP. 800-805 2018.

88 D. Sun, S. Roth, and M. Black. Secrets of optical flow estimation and their principles. // In Computer Vision and Pattern Recognition (CVPR), pages 2432-2439, San Fransisco, June 2010.

89 В. К. P. Horn and В. G. Schunck. Determining optical flow. // Artificial Intelligence, 17:185-203, 1981.

90 C. Zacli, T. Pock, and H. Bischof. A duality based approach for realtime TV-L1 optical flow. // In DAGM symposium on Pattern Recognition, pages 214-223, 2007.

91 E. P. Simoncelli, E. H. Adelson, and D. J. Heeger. Probability distributions of optical flow. // In Computer Vision and Pattern Recognition (CVPR), pages 310-315, 1991.

92 C. Tomasi and R. Manduchi, "Bilateral Filtering for Gray and Color Images", // Proceedings of the 1998 IEEE International Conference on Computer Vision, Bombay, India.

93 A. Wedel, D. Cremers, T. Pock, and H. Bischof. Structure-and motion-adaptive regularization for high accuracy optic flow. // In International Conference on Computer Vision (ICCV), pages 1663-1668, Kyoto, Japan, October 2009.

94 Елесина С.И., Ломтева О.А. Исследование алгоритмов корреляционного совмещения изображений в системах комбинированного видения // Цифровая обработка сигналов. 2015. №3. С. 71-76.

95 Nikiforov М.В., Elesina S.I., Efimov A.I. Criteria! Functions Selection for Combined and Enhanced Vision Systems of the Aircraft // Proceedings of the VIHth International Scientific and Technical Conference CSIT'2013. - Lviv, Ukraine. -2013. P. 56-58.

96 M. Jakubowski and G. Pastuszak. Block-based motion estimation algorithms a survey. // Opto-Electronics Review, 21(1):86-102, 2013.

97 Gabriele Facciolo, Nicolas Limare, and Enric Meinhardt-Llopis, Integral Images for Block Matching, // Image Processing On Line, 4 (2014), pp. 344-369.

98 M. Pingault, E. Bruno, and D. Pellerin. A robust multisacle B-spline function decomposition for estimating motion transparency. // IEEE Trans, on Image Processing, 12(11):1416-1426, Nov. 2003.

99 M. Black and A. Jepson. Estimating optical flow in segmented images using variable-order parametric models with local deformations. // IEEE Trans. Pattern Analysis and Machine Intelligence, 18(10):972-986,1996.

100 R. Szeliski and H.-Y. Shum. Motion estimation with quadtree splines. // IEEE Trans. Pattern Analysis and Machine Intelligence, 18(12): 1199-1210, 1996.

101 Орлянская И.В. Современные подходы к построению методов глобальной оптимизации, [электронный ресурс] // Электронный журнал «Исследовано в России» http://zhurnal.ape.relam.ru/ailicles/2002/189.pdf

102 P. Charbonnier, L. Blanc-F'eraud, G. Aubert, and M. Barlaud. Deterministic edge-preserving regularization in computed imaging. // IEEE Trans, on Image Processing, 6(2):298-311, 1997.

103 A. Chambolle and T. Pock. A first-order primal-dual algorithm for convex problems with applications to imaging. // Journal of Mathematical Imaging and Vision, 40(1): 120-145, 2011.

104 V. Kolmogorov and R. Zabih. Computing visual correspondences with occlusion using graph cuts. // In IEEE Int. Conference on Computer Vision (ICCV), July 2001.

105 T. Cooke. Two applications of graph-cuts to image processing. // In Digital Image Computing: Techniques and Applications (DICTA), pages 498-504,2008.

106 D. Fortun, C. Chen, P. Paul-Gilloteaux, F. Waharte, J. Salamero, and C. Kervrann. Correlation and variational approaches for motion and diffusion estimation in fluorescence imaging. // In European Signal Processing Conference (EUSIPCO), pages 660-663, September 2013.

107 Уоткинс Д. С. Основы матричных вычислений /Д. Уоткинс; Пер. с англ. - М.: БИНОМ. Лаборатория знаний, 2006. - 664 с.

108 Самарский А.А., ГулинА.В. Численные методы: Учеб, пособие для вузов, - М.: Наука. Гл. ред. физ-мат. лит., 1989. - 432 с.

109 P. Ochs, Y. Chen, T. Brox, and T. Pock. iPiano: Inertial proximal algorithm for non-convex optimization. // SI AM Journal on Imaging Science, 7(2): 1388-1419, 2013.

110 A. Wedel, T. Pock, C. Zach, H. Bischof, and D. Cremers. An improved algorithm for TV-LI optical flow. // In Statistical and Geometrical Approaches to Visual Motion Analysis, pages 23-45, 2009.

111 H. Nagel and W. Enkelmann. An investigation of smoothness constraints for the estimation of displacement vector fields from image sequences. // IEEE Trans. Pattern Analysis and Machine Intelligence, 8(5):565-593, 1986.

112 S. Boyd, N. Parikh, E. Chu, B. Peleato, and J. Eckstein. Distributed optimization and statistical learning via the alternating direction method of multipliers. // Foundations and Trends R in Machine beaming, 3(1): 1-122, 2011.

113 Жиглявский A.A., Жилинскае А.Г. Методы поиска глобального экстремума// М.: Наука. Гл. ред. физ.-мат. лит., 1991. 248с.

114 Беляков, П.В. Методы оптимизации в задаче вычисления оптического потока в системе на кристалле / П.В. Беляков, М.Б. Никифоров // Известия Тульского государственного университета. Технические науки. - 2019, - Вып. 2.-С. 45-52

115 L. I. Rudin, S. Osher, and Е. Fatemi. Nonlinear total variation based noise removal algorithms. // Physica D: Nonlinear Phenomena, 60(1): 259-268, 1992.

116 Valgaerts, L., Bruhn, A., Mainberger, M., Weickert, J.: Dense versus sparse approaches for estimating the fundamental matrix. // International Journal of Computer Vision 96(2), 212-234, 2012.

117Уилкинсон Дж.Х. Алгебраическая проблема собственных значений -Изд-во "Наука", 1970. -565 с.

118 Chartrand, R.; Yin, W. (March 31 - April 4, 2008). "Iteratively reweighted algorithms for compressive sensing". // IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), 2008. pp. 3869-3872.

119 A Dense Pipeline for 3D Reconstruction from Image Sequences. Timrn

Schneevoigt, Christopher Schroers and Joachim Weickert. // Pattern Recognition. Lecture Notes in Computer Science, Vol. 8753, 629-640, Springer, Berlin, 2014.

120 Л.Э. Эльсгольц. Дифференциальные уравнения и вариационное исчисления. / Л.Э. Эльсгольц -М.: Книга по Требованию, 2012. - 424 с.

121 Деммель Дж. Вычислительная линейная алгебра. Теория и приложения - М.: Мир, 2001. -435с.

122 Джордж А., Лю Дж. Численное решение больших разреженных систем уравнений: Пер. с англ. - М:Мир, 1984, 336 с.

123 Волегов Д.Б. , Юрин Д.В. Поиск карты смещений по пирамиде детальности [электронный ресурс] // Труды конференции Графикон 2007, Москва.

124 Z. Chen, Н. Jin, Z. Lin, S. Cohen, and Y. Wu. Large displacement optical flow from nearest neighbor fields. // In Computer Vision and Pattern Recognition (CVPR), pages 2443-2450, 2013.

125 Стронгин Р.Г. Поиск глобального оптимума. // Научно-популярная серия: «Математика. Кибернетика». М.: Знание, 1990. 48 с. 54.

126 М. Drulea and S. Nedevschi. Total variation regularization of local-global optical flow. // In Intelligent Transportation Systems Conference (ITSC), pages 318-323,2011.

127 Куликовский А.Г., Погорелов H.B., Семенов А.Ю. Математические вопросы численного решения гиперболических систем уравнений. М.: Физматлит, 2001.

128 Формалев В. Ф., Ревизников Д. Л. Численные методы. - М.: ФИЗМАТЛИТ, 2004. - 400 с.

129 П.В. Беляков, Е.В. Ларкин, М.Б. Никифоров. Модификация вариационного метода вычисления оптического потока для реализации на ПЛИС. // Известия ТулГУ, 2018, Вып. 9, с. 19-28.

130 Беляков, П.В. Алгоритмическое обеспечение аппаратного вычисления оптического потока / П.В. Беляков //Математическое и программное

обеспечение вычислительных систем: межвузовский сборник научных трудов / под ред. А.Н. Пылькина. - Рязань: РГРТУ, 2018, С. 75-81.

131 A. Bruhn and W. Weickert. A confidence measure for variational optic flow methods. // Geometric Properties for Incomplete Data, pages 283 -298, 2006.

132 Самарский А.А., Николаев E.C. Методы решения сеточных уравнений. М.: Наука, 1978

133 Ващенко Г.В. Вычислительная математика. Основы конечных методов решения систем линейных алгебраических уравнений. Красноярск: СибГТУ, 2005

134 L. Valgaerts, A. Bruhn, and J. Weickert. A variational model for the joint recovery of the fundamental matrix and the optical flow, 2008.

135 S. Volz, A. Bruhn, L. Valgaerts, and H. Zimmer. Modeling temporal coherence for optical flow. // In International Conference on Computer Vision (ICCV), pages 1116-1123, 2011.

136 Беляков, П.В. Алгоритм построения пространственной структуры сцены / П.В. Беляков // Современные информационные технологии и ИТ-образование. - 2019. - Т. 15, № 2. - С. 331-339.

137 A Globally Optimal Algorithm for Robust TV-LI Range Image Integration. // In Proceedings IEEE International Conference on Computer Vision. November 2007.

138 Christopher Schroers, Henning Zimmer, Levi Valgaerts, Andres Bruhn, Oliver Demetz, Joachim Weickert. Anisotropic Range Image Integration. // Joint DAGM (German Association for Pattern Recognition) and OAGM Symposium DAGM/OAGM 2012: Pattern Recognition pp 73-82|

139 G. Graber, J. Balzer, S. Soatto, and T. Pock. Efficient minimal-surface regularization or perspective depth maps in variational stereo. // In CVPR, 2015.

140 Беляков, П.В. Вариационный метод трехмерной реконструкции по изображениям / П.В. Беляков, М Б. Никифоров, А.И. Новиков // XXI-Век: итоги прошлого и проблемы настоящего. - 2019. - С. 107-112.

141 Real-Time Simultaneous 3D Reconstruction and Optical Flow Estimation. Menandro Roxas, Takeshi Oishi. I I Published in IEEE Winter Conference 011 Applications of Computer Vision (WACV), 2018.

142 Погорелов А. И. Дифференциальная геометрия (6-е издание). М.: Наука, 1974.

143 С. Vogel, S. Roth, and К. Schindler. An evaluation of data costs for optical flow. // In DAGM symposium 011 Pattern Recognition, pages 343-353, 2013.

144 O. Williams, M. Isard, and J. MacCormick. Estimating disparity and occlusions in stereo video sequences. // In Computer Vision and Pattern Recognition (CVPR), June 2005.

145 Б. Т. Поляк. Метод Ньютона и его роль в оптимизации и вычислительной математике // Труды Института Системного Анализа Российской Академии Наук. — 2006. — Т. 28. — С. 44-62.

146 Steven М. Seitz, James Diebel, Daniel Scharstein, Richard Szeliski. A Comparison and Evaluation of Multi-View Stereo Reconstruction Algorithms. // Proceedings of the 2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition - Volume 1, Pages 519-528.

147Шмойлова P. А., Минашкин В. Г., Садовникова Н. А. Практикум по теории статистики. - 3-е изд. - М.: Финансы и статистика, 2011. - С. 130-131. -416 с.

148 Мищенко А., Соловьев Ю. Кватернионы, — Квант, N9, 1983.

149 М. Kunz, A. Ostrowski, P. Zipf. An FPGA-optimized architecture of Horn and Schunck optical flow algorithm for real-time applications. // Field Programmable Logic and Applications (FPL), 2014 24th International Conference.

150 J. L. Martin, A. Zuloaga, C. Cuadrado, J. Lazaro, and U. Bidarte. Hardware implementation of optical flow constraint equation using fpgas. // Computer Vision and Image Understanding, 2005, pp 462-490.

151 Z. Chai, H. Zhou, tZ. Wang and Wu Using С to implement high-efficient computation of dense optical flow on FPGA-accelerated heterogeneous

platforms. // IEEE 14 International Conference on Field-Programmable Technology (FPT), 2014.

152 Никифоров, МБ. Программно-аппаратные средства улучшения изображений как система на кристалле / М Б. Никифоров, Е.Р. Муратов, Д.И. Устюков, А.И. Баранчиков, П.В. Беляков // Материалы 4-й Всероссийской научно-технической конференция «Актуальные проблемы современной науки и производства» - 2017. - С. 105-112.

153 П.В. Беляков, М.Б. Никифоров. Вариационный метод вычисления оптического потока в системе-на-кристалле. // Цифровая обработка сигналов, 2018. №3, с. 76-82.

154 Братулин, A.B. Метод вычисления плотного оптического потока на ПЛИС в реальном времени / A.B. Братулин, М.Б. Никифоров, П.В. Беляков, Е.Ю Холопов // Современные информационные технологии и ИТ-образование. - 2019. - Т. 15, № 2. - С. 320-330. (05.13.17)

155 Belyakov, Pavel. An fpga-optimized architecture of variational optical flow / Pavel Belyakov, Mikhail Nikiforov // Proc. in IEEE East-West Design & Test Symposium (EWDTS) - Kazan, 2018. PP. 129-136.

156 Беляков, П.В. Аппаратная реализации решения СЛАУ на ПЛИС в задаче вычисления оптического потока /П.В. Беляков // Материалы 3-й Всероссийской научно-технической конференции «Актуальные проблемы современной науки и производства» -2016. - С.72-78.

157 Ortega, James M. Introduction to Parallel and Vector Solution of Linear Systems, 1988.

158 Xilinx. Zynq-7000 SoC. [Электронный ресурс] URL: https://www. xi I inx. com/suppo^

1 .pdf.

159 Xilinx. Zynq-7000 SoC. [Электронный ресурс]. URL: http://wvvw.xihnx.conVproducts/sihcon-devices/soc/zynq-7000/index.htm.

160 D. Ustukov, Y. Muratov, M. Nikiforov, V. Gurov. Implementing one of stereovision algorithms on FPGA. // Mediterranean Conference on Embedded Computing, Jun 2016.

161 S. Baker, M. J. Black, J. Lewis, S. Roth, D. Scharstein, and R. Szeliski. A database and evaluation methodology for optical flow. // In International Conference on Computer Vision (ICCV), pages 1-8, Rio de Janeiro, Brazil, October 2007

162 The Stanford 3D Scanning Repository. [Электронный ресурс]. URL: http://graphics. Stanford. edu/data/3Dscanrep/

163 D. Scharstein, R. Szeliski, Middlebury stereo evaluation, [Электронный ресурс] Available: http://vision.middlebuiy.edu/stereo/eval/.

164 Middlebury Stereo Dataset. [Электронный ресурс]. URL: http://vision. middlebury. edu/stereo/eval3/MiddEval3-newFeatures.html.

ПРИЛОЖЕНИЕ

ЧИНШ ИГ» 11ММ1ММ« И ни» «ИМ О «»М* * ЮН % 1111« ПИ « М1»1 МН1 ♦« II * МИ.И

Ф1 ИР11ШИ НИ М 4* I МШИ И кИМА! НИМ «И.ГЧИММН 1МИМ » МП * II11111 Н1.141111III 1Н.г\итим(й

«Ри 1И1Н КМИ нк > даргиигииый

|1Л НЮ IV \ 1111*114 К МИ > IIII114-|К II II I МЧИ-IIII К.Ф. N 1кНМИ..

|«ИМ»> Ж » 141«»11*1«*' М|Н (МИНЫ*

|\*|>ШЮН«»'«И 11«II )ММИ||ЧН11« им Н Ф У1М«им

Ф1 MiVHO.pl 1ЧУ. ЦПУ) I тщнм* > I . ** I. I Р«МИ* МММИ

р i -и • i

•М*' • tgf4i.M-4.MW

// л • . * V ^

АКТ

внедрение результатов каилила тской лиссср? анионной рлСпчи ЬсЛЯМИШ Павла НиКШрОМНЧ* II учебном процесс* Ф1 Ы)У НОиНяшмскнй юсу мравенмий ра оииечмм'нчкий университе?

им. И Ф Угкимй

Настоящим ¿»яшм удосюиервегса. ЧШ рл цхи'ччлннис мстоли к хинрнтми 1|Ч'ЧМ1*рШ1»1 реКОМС Тр) К11ИМ 110 ИЮбраЖСННВМ. (Ю.ТуНСННЫС Ксикопиу II И а чоле района над квншштской диссертацией. внелрени и >небном процесс* ка<|нмры «')лскфонныс вычислительны* млшши» Иашнгкого тос> дарственного радиотехнического университет имени В.Ф. \ткина в гисциплине «Системы технического цхчшм*» но направлению подготовки - №04 01 «Информатика и иычис тигельная техника»

И рамках дисциплину «Системы технического 1рении» исполыуютс* следующие груды Ьслакова 11 И

• Ьсляков II И Алгоршм построен** пространственной структуры сиену «Современные II I и МТ-обрвюяанис» - М МГУ. ВМК.1*3. 2019;

• Iк шмш НИ. 1Ьиифорои \1 и . Нпиимш \ И Нлрилшпшный метол

ХВСГЖДЛЮ

Проректор по учебной работе

И Ьухсиский

трехмерной реконструкции по имбражеииам XXI век. итош прошлого и проблемы настоящею - Пени: ПГТУ» ЯгЭ. 2019

Директор институт* ОЛ. Ьофоа

магистратуры и аспирантуры. СУ '

к.т.Мм доцент

Зав кафедрой ЭВМ. ^ В И Костроа

Л.Т.И., профессор

АО «НЕЙРОКОМ» III ИРОИВД!

Алрвс |«МСГО ицоалмиц уп а О.*ТА стр 1. >т 7 нем «а. ( Ыосллл 11»М1

Почготш* ыц»< «Л|17. г Моем 111Ж

Фанк'4(им алом ум По но— л Ж с«9 1. г Мое*—, 104012

Тел >Ф«.с (4*5) 040-70-71 т»г /Оме - д (ОООI * • 1 »4 «ХГ-Л ~

Е тл! тТофпеигосот т. тгт ммгосот ги И* IМ Л I «И

УТВЕРЖДАЮ

ГЕНЕРАЛЬНЫЙ ДИРЕКТОР АО*НЕЙРОКОМ* <) щ *

АКТ

ннпрсиия ма1срма.1ов диссертационной ркГннм Ьс.1«ком Паяла Викторовича

Разрабогаиные диссертанты методы и алюритмы папин применение при создании микропроцессорной видео-компьютерной системы Ч1сер1)с(ск(ог. предназначенной для выявкння прими ков снижения концентрации внимания ноли геля транспортного средства В честности, меюд пен: 1 роения пространственной модели на основе минимииции совместною функционала оптического потока и фундаментальной матрицы с одновременным определением пространственных координат точек сцены, алгоритм вычисления оптического потока вариационным ист дом. иозводвюший орюнизоватъ распираллеливанис вычислений и сократите время поиска объекта (лица родителе) на видеоизображении в условиях плохой освещённости кабины ТС.

Теп (403)040*71-Оме 1406)00-70-71. в ж (ООО 1-01-04

ЕН[ ? • С-

Изделие йкерилекюг на основе анализа вилсопотока от двух оптических камер производит статистическую обработку информации о пемхо-тмоиионалыюм состоянии водителя и. на зтой основе. принимает решение о формировании аварийною сишада

Выпущена онытиаа партия ииелиа в количестве тр*х экземпляров. Парт« прошла лабораторные испытания. которые подтвердили заявленные характеристики. В настоящее время партия передана на ИДО КАМАЗ дм проведения испытаний в составе комплекса, предназначенного для определения неудовлетворительного гкихофизиолошчсскою состояния и здоровья водителей и снижения >ровня риска во шик новей ня дорожно-транспортных происшествий.

Исполни(е.тьный директор к.ф.-м.н.

Главный менеджер к ф -м н

Счммм* 2 т» 2

11) Ивв)в40-Г»-71 - Фес

МО 7%. 71. 'апОкад (90012 #1 Ь+офтипхст ги мет леигосот гу

АКТ

внедрении результатов кандидатской диссертационной работы Беликова Павла Викторовича

Комиссия в составе:

Костяшкина JI.II., директора-главного конструктора научно-конструкторского центра видеокомпьютерных технологий (НКЦ ВКТ) АО «ГРПЗ», кандидата технических наук;

Рожковского С.С., начальника лаборатории;

Логинова А.А., главного конструктора направления, кандидата технических наук; Юкина С.А., ведущего научного сотрудника, кандидата технических наук; Баранцева А.А., ведущего научного сотрудника, кандидата технических наук, рассмотрев представленные материалы, составила настоящий акт о том, что практические и теоретические результаты научных исследований Белякова Павла Викторовича, работающего в ФГБОУ ВО «РГРТУ» в должности инженера кафедры ЭВМ, нашли применение в инициативных разработках НКЦ ВКТ АО «ГРПЗ» по темам: «Система датчиков малой высоты» и «Многоспектральная система технического зрения для БРЭО боевого вертолета (МСТЗ)».

При этом использованы следующие результаты диссертационной работы Белякова П.В., представленной на соискание ученой степени кандидата технических наук:

1. Метод построения высокоточной карты глубины на основе вариационного метода вычисления оптического потока в реальном времени и ориентированный на применение в авиационных системах технического зрения

2. Методы и алгоритмы распараллеливания вычисления оптического потока для аппаратной реализации на ПЛИС, позволяющие ускорить вычисление в 10-50 по сравнению с реализацией на процессорах общего назначения.

Результаты диссертационной работы Белякова П.В. использовались для проведения экспериментальных исследований методов построения карты глубины по заданным ТВ I

Преда