Методы поиска соответствий на изображениях трёхмерных сцен тема диссертации и автореферата по ВАК РФ 05.13.18, кандидат наук Гошин, Егор Вячеславович

• Гошин, Егор Вячеславович
• кандидат наук
• 2014

Оглавление диссертации кандидат наук Гошин, Егор Вячеславович

Содержание

Введение

Глава 1. Анализ моделей и технологий стереореконструкции, формулировка задач исследования

1.1 Модель регистрации изображений

1.2 Модель формирования разноракурсных изображений

1.3 Методы, алгоритмы и технологии реконструкции ЗБ сцен

1.4 Конкретизация задачи сопоставления без ректификации

1.5 Выводы к главе 1

Глава 2. Разработка модели и алгоритмов сопоставления изображений при известных условиях съёмки

2.1 Общая модель сопоставления изображений с учетом эпиполярных ограничений

2.2 Сопоставление фрагментов изображений, соответствующих точкам на эпиполярных линиях

2.3 Алгоритм нахождения соответствующих точек на эпиполярных линиях с использование весовых коэффициентов штрафа

2.4 Метод и алгоритм прореживающей фильтрации

2.5 Выводы к главе 2

Глава 3. Алгоритмы ЗБ реконструкции при неизвестных условиях съёмки на основе согласованной идентификации

3.1 Технология реконструкции ЗЭ-сцен при неизвестных условиях регистрации разноракурсных изображений

3.2 Формулировка задачи идентификации фундаментальной матрицы

3.3 Метод согласованной идентификации

3.4 Метод и вычислительный алгоритм последовательного формирования множества согласованных оценок

3.5 Сравнение с алгоритмом ЯА^АС

3.6 Решение задачи автокалибровки

3.7 Выводы к главе 3

Глава 4. Экспериментальные исследования

4.1 Описание информационной технологии

4.2 Моделирование сцен и разноракурсных изображений

4.3 Результаты ЗБ-реконструкции с использованием алгоритма поиска соответствий точкам на эпиполярных линиях

4.4 Построение цифровой модели местности по разноракурсным изображениям при учёте эпиполярных ограничений весовыми коэффициентами штрафа

4.5 Выводы к главе 4

Заключение

Список цитируемой литературы

Приложение А. Свидетельство о государственной регистрации программы для ЭВМ № 2014616002, Программный комплекс «СтереоЦМР»

Приложение Б. Акт о внедрении результатов диссертационной работы

Введение диссертации (часть автореферата) на тему «Методы поиска соответствий на изображениях трёхмерных сцен»

Введение

В последние годы наблюдается возрастающий интерес к системам компьютерного зрения. Эти системы используются для решения задач безопасности, контроля продукции, автоматизации производства, наблюдения и анализа фоно-целевой обстановки и др. В комплексе задач, связанных с созданием систем компьютерного зрения, одной из важных является задача реконструкции трёхмерных сцен по разпоракурсным изображениям. Например, в системах дистанционного зондирования Земли (ДЗЗ) космические разноракурсные снимки используются для формирования цифровых моделей местности (ЦММ), для определения координат формы и размеров трёхмерных объектов на поверхности Земли. Реконструкция трёхмерных цифровых моделей сцен используется в перспективных системах мобильных роботов, беспилотных летательных аппаратов, автомобилей и др.

Большой вклад в развитие теории и разработку методов и алгоритмов реконструкции трёхмерных моделей по разноракурсным изображениям, в т.ч. для систем технического зрения, внесли отечественные (Гиммельфарб Г.Л., Желтов С.Ю., Визильтер Ю.В., Киричук B.C., Грузман И.С., Гомозов O.A., Кузнецов А.Е., Лукьяница A.A.) и зарубежные (Поллефейсом М, Хартли Р., Циссерман Э, Лонге-Хиггинс К., Форсайт Д., Понс Ж, Маллон Ж., Монассе П. и др.) учёные.

Реконструкция трёхмерной сцены по двум и более изображениям является одной из наиболее сложных задач компьютерной обработки изображений. Известно, что центральной проблемой в задаче стереозрения является нахождение соответствующих точек на различных видах сцены. Для упрощения поиска соответствующих точек обычно осуществляют ректификацию разноракурсных изображений - выравнивание эпиполярных линий путём проективного преобразования с использованием заданной или вычисленной по тестовым точкам фундаментальной матрицы, задающей

связь между соответствующими точками на двух изображениях. В литературе рассматривается два вида ректификации: проективная и полярная.

Проективная ректификация создаёт определённые удобства, т.к. соответствующие эпиполярные лииии находятся на параллельных горизонтальных прямых, однако она оказывается неприемлемой в случае, когда эпиполюсьт расположены на изображениях либо близки к изображениям. Альтернативой являются методы, использующие полярную ректификацию, которая применима в случаях, когда эпиполюсы находятся на изображении, либо один эпиполюс находится на изображении, а другой - в бесконечности.

Общим недостатком всех методов ректификации является необходимость проведения явного преобразования изображений. При этом форма всего изображения и объектов на нем значительно искажается. После ректификации мы имеем дело фактически с другими — интерполированными - изображениями. В результате, при определении соответствующих точек путём сопоставления фрагментов изображений, возникают ошибки, связанные с тем, что изображения подверглись разным преобразованиям.

В связи с этим актуальной представляется разработка метода реконструкции цифровых трёхмерных сцен, в котором ректификация в явном виде не выполняется. При этом поиск соответствующих точек должен осуществляться на исходных изображениях с учетом эпиполярных ограничений, обеспечивающих близость к эпиполярным линиям. При определении соответствующих эпиполярных линий большую роль играет точность знания фундаментальной матрицы. Часто эта матрица априори не известна и должна определяться по тем же изображениям. Поэтому актуальна также задача отбора тестовых точек и повышения надёжности и точности идентификации параметров фундаментальной матрицы.

Целыо работы является повышение качества реконструкции трёхмерных

цифровых моделей сцен по разноракурсным изображениям.

В соответствии с поставленной целыо в диссертационной работе

решаются следующие задачи.

- Разработка модели сопоставления разноракурсных изображений, основанной на использовании эпиполярных ограничений, обеспечивающих повышение качества реконструкции сцены.

- Разработка вычислительного алгоритма определения фундаментальной матрицы, обеспечивающего достижение высокой точности определения её параметров при малом числе тестовых точек.

- Создание информационной технологии и программного комплекса для реконструкции трёхмерных моделей сцен и построения ЦММ, проведение экспериментальных исследований, оценка качества разработанных методов, алгоритмов и сквозной информационной технологии.

В диссертации получены следующие новые научные результаты.

- Предложена модель сопоставления разноракурсных изображений без их предварительного преобразования с учетом эпиполярных ограничений, обеспечивающих повышение качества реконструкции трёхмерных сцен.

- Разработан новый вычислительный алгоритм высокоточного определения фундаментальной матрицы по малому числу соответствующих точек с использованием метода согласованной идентификации, обеспечивающий повышение точности задания эпиполярных ограничений.

- Предложен новый метод и алгоритм прореживающей фильтрации, обеспечивающий повышение качества реконструкции трёхмерных цифровых моделей сцен за счёт устранения ошибочно найденных соответствующих точек на этих изображениях.

- Создан программный комплекс, реализующий информационную технологию построения трёхмерных цифровых моделей сцен по разноракурсным изображениям.

Результаты диссертационной работы получены при поддержке Министерства образования и науки РФ и используются для обработки космических снимков в РКЦ «ЦСКБ-Прогресс», а также в учебном процессе и научных исследованиях Самарского государственного аэрокосмического университета им. С.П. Королёва и Института систем обработки изображений РАН.

Основные результаты получены в рамках следующих проектов:

Проект РФФИ «Развитие теории и создание устойчивых к зашумлению исходных данных методов и технологий обработки и распознавания радиолокационных изображений и формирования цифровых моделей рельефа» № 12-07-00581.

Проект РФФИ «Развитие теории и разработка новых математических методов и технологий предварительной обработки и анализа гиперспектральных данных ДЗЗ па высокопроизводительных гибридных вычислительных системах» № 13-07-12030 офи_м.

Проект РФФИ «Создание сверхлёгких систем технического зрения для беспилотных летательных аппаратов» № 13-07-13166.

Проект «Разработка комплекса технологий использования ресурсов суперкомпьютера «Сергей Королёв» в целях развития инновационной и научно-образовательной среды университета», выполненный в рамках Программы развития национального исследовательского университета.

По теме диссертации опубликованы 17 работ, в том числе 6 в изданиях, рекомендованных ВАК, 4 работы выполнены автором лично, остальные написаны в соавторстве. Кроме того, получено свидетельство о государственной регистрации программы ЭВМ.

Результаты внедрены в ГНП РКЦ «ЦСКБ-ПРОГРЕСС» при создании наземного комплекса обработки данных космического зондирования Земли.

Основные результаты, связанные с разработкой моделей и алгоритмов поиска соответствий па разиоракурсиых изображениях в задачах реконструкции трёхмерных цифровых моделей сцен, докладывались на следующих конференциях:

- Международная конференция «Королёвские чтения» (2011, Самара).

- Конференция «Управление в технических, эргатических, организационных и сетевых системах» (УТЭОСС-2012, Санкт-Петербург).

- Image Mining. Theory and Applications (IMTA-4-2013, Барселона).

- 11th International Conference on Pattern Recognition and Image Analysis: New Information Technologies (PRIA-11-2013, Самара).

- Всероссийская научно-техническая конференция «Актуальные проблемы ракетно-космической техники» (III Козловские чтения, 2013, Самара).

Результаты, связанные с разработкой программного комплекса, докладывались на следующих конференциях:

- Международная суперкомпыотерная конференция «Научный сервис в сети Интернет: поиск новых решений» (2012, Новороссийск).

- Параллельные вычислительные технологии (ПаВТ'2013, Челябинск).

- Параллельные вычислительные технологии (ПаВТ'2014, Ростов-на-Дону).

Основные положения диссертации, выносимые на защиту:

- Модель сопоставления разноракурсных изображений трёхмерной сцены с учетом эпиполярных ограничений, не требующая предварительного преобразования исходных изображений.

- Вычислительный алгоритм идентификации параметров фундаментальной матрицы по малому числу соответствующих точек, обеспечивающий достижение высокой точности за счёт

последовательного формирования наиболее согласованного множества оценок.

- Метод и алгоритм прореживающей фильтрации, обеспечивающий повышение качества сопоставления изображений за счёт устранения ошибочно установленных соответствий.

- Программный комплекс реконструкции трёхмерных моделей сцен и построения цифровых моделей местности по космическим изображениям и результаты экспериментальной исследований.

Диссертация состоит из введения, четырёх глав, заключения, списка литературы. Общий объём работы составляет 107 страниц, 25 рисунков, 1 таблица, 2 приложения. Библиографический список насчитывает 82 наименования.

Глава 1. Анализ моделей и технологий стереореконструкции, формулировка задач исследования

1.1 Модель регистрации изображений

Рассмотрим модель регистрации изображений, используемую в диссертации - модель камеры-обскуры. Эта модель описывает математическую связь между координатами точки в трёхмерном пространстве и ее проекцией на плоскость изображения этой камеры. Эта модель не включает в себя геометрические искажения, смаз или расфокусировку, связанные с характеристиками оптических приборов. В частности, предполагается, что апертура камеры представляет собой точку. Кроме того, в этой модели не учитывается тот факт, что в действительности камера получает изображение в виде набора дискретных отсчётов -пикселов. Последнее означает, что модель камеры-обскуры может быть использована только как первое приближение для преобразований из трёхмерной сцены в двумерное изображение.

Соответствие реальных изображений их математическому описанию зависит от качества камеры. В частности, известно, что искажения, как правило, увеличиваются при удалении от центра изображеиия вследствие эффектов дисторсии. Для камер высокого разрешения этими эффектами можно пренебречь. В случае, когда некоторые из эффектов, не учитываемых моделью, имеют заметное влияние, они могут быть компенсированы соответствующими преобразованиями координат изображения. Таким образом, модель камеры-обскуры в большинстве случаев может быть использована как достоверное описание модели формирования изображения ЗБ-сцены в компьютерном зрении. Геометрия преобразований камеры-обскуры показана на рисунке 1.1.

Рисунок 1.1— Модель камеры обскуры.

Приведём определения основных объектов, показанных на рисунке 1.1.

• Трёхмерная ортогональная система координат 0ХУ2 с началом в точке О. В этой же точке расположена апертура камеры. Ось X представляет собой направление съёмки камеры и называется главной оптической осью. Заметим, что координатная система, используемая в компьютерном зрении -левосторонняя.

• Плоскость изображения, на которую проецируется трёхмерное изображение, проходящее через апертуру камеры - это плоскость, параллельная осям X и У и расположенная на расстоянии / от начала координат в отрицательном направлении оси 2. Практическая реализация камеры-обскуры предполагает, что ось 2 пересекается с плоскостью камеры в точке с координатами (0, 0, где/>#./- фокусное расстояние камеры.

• Точка С пересечения главной оптической оси с плоскостью изображения называется главной точкой или центром изображения.

• - точка М, имеющая координаты (Х,У,2) в глобальной системе координат.

• Линия проекции точки М на камеру — это прямая, проходящая через точку М и начало координат О.

• ш(х,_у) - проекция точки М на плоскость изображения камеры.

Координаты этой точки определяются пересечением линии проекции и плоскости изображения. Предполагается, что X > 0, и точка пересечения нормально определена.

Также дана двумерная система координат изображения с началом в точке С и осями х и у, параллельными X и У, соответственно. Координаты точки ш в системе координат хСу - (х,у).

Апертура камеры-обскуры, через которую проходят все линии проекций, предполагается бесконечно малой и представлена в виде точки. В литературе эту точку в трёхмерном пространстве обычно связывают с оптическим центром системы (например, линзой) [1]. Связь координат точек т(х,7) и М(Х,У,2) иллюстрируется на рисунке 1.2.

Как нетрудно видеть из рисунка, два треугольника с катетами -х, /и X, 2 подобны, поэтому должно выполняться следующее равенство:

т(х,у)

М(х,у,г)

Рисунок 1.2 - Связь координат.

— = — или х = -~—. (1.1 )

¡22

Аналогичным образом можно записать выражение для у\

^ = — илиу = -^. (1.2)

/22

В общем виде это преобразование выглядит следующим образом:

^ ffX^

(1.3)

uV z

Преобразование из трёхмерных координат в двумерные, описываемое камерой-обскурой, представляет собой перспективную (центральную) проекцию, за которой следует поворот на 180° в плоскости изображения. Это соответствует тому, как работает реальная камера: полученное изображение повернуто на 180°, относительные размеры объектов зависят от расстояния до фокуса, а общий размер изображения зависит от расстояния / между фокусом и плоскостью изображения.

Нормально ориентированное изображение можно построить одним из следующих способов:

- повернуть систему координат плоскости изображения на 180° (обычно так решают эту проблему на реальных камерах);

- поместить плоскость изображения таким образом, чтобы она пересекала ось 2 в точке/ а не в точке -/.

Таким образом, формируется виртуальная плоскость изображения, которая не может быть практически реализована, но значительно упрощает теоретические исследования. В обоих случаях, преобразование из трёхмерных координат в двумерные производится следующим образом:

' N

Х

Перепишем выражение (1.4) для однородных координат. Пусть М -точка в трёхмерных однородных координатах (четырёхмерный вектор), a m

/ 2

v^y

(1.4)

- точка на плоскости изображения (трёхмерный вектор). Вместо двумерного вектора (х, у) будем рассматривать проективный элемент (х, у, 1), а вместо обычного равенства будем использовать равенство с точностью до масштаба, обычно обозначаемое как Тогда можно записать выражение для однородных координат на изображении:

У

/ z

(Х^

У У

г г

1/;

(1.5)

Если использовать однородные координаты точки в трёхмерном пространстве, это выражение может быть представлено в следующем виде:

г\ О О (Л 0 10 0

У

о о

_1_

/

о

У

или

т~КМ,

(1.6)

где К — матрица камеры размерности 3x4. С точностью до параметра масштаба матрица камеры имеет вид: г / ООО4

К =

V

0/00 0 0 10

Таким образом, все точки трёхмерного пространства могут быть представлены в координатной системе, связанной с камерой. Однако на практике, координаты точек пространства могут быть заданы в произвольной (глобальной) системе координат, не связанной с камерой. Предположим, что координатные оси камеры и глобальной системы ортогональны. Тогда существует единственное преобразование между этими системами координат, включающее поворот и сдвиг.

Операции поворота и сдвига могут быть представлены двумя матрицами размера 4x4 [1]:

К 0

0 1

^ (Е и

у

V

О

1

где Ы - матрица поворота размера 3x3, 1 - вектор сдвига 3x1, а Е -единичная матрица размера 3x3.

Последовательное применение двух преобразований может быть представлено следующей матрицей:

Ы

0 1

Таким образом, координаты точки М в системе ОХУ2 и точки М в системе 0ХУ2 связаны следующим выражением:

М =

Гк

0 V 1 У

м.

Предположим, что фокусное расстояние / = 1. Рассмотрим матрицу камеры для такого фокусного расстояния: г\ 0 0

= (Е|0). (1.7)

0 10 0 0 0 10

В предположении, что матрица Ко задана выражением (1.7), преобразование из глобальной системы координат в однородные координаты изображения принимает вид:

т~К0М = (Е | 0)

ы 1

0 1

М = (К | ^М.

Объединенная матрица поворота-сдвига (Я | 1) называется матрицей

внешних параметров.

При описании камеры следует учитывать, что для регистрации изображения в плоскости изображения камеры используется фотоприёмник.

В общем случае измерение координат на изображениях осуществляется в единицах, отличных от единиц, задающих координаты в системе координат камеры. Например, естественными координатами изображения являются номер строки и номер столбца пиксела. Кроме того, системы координат на изображениях, как правило, связывают не с центром изображений, а с одним из его углов. Поэтому далее для описания камеры вместо координат

будет применяться обозначение точки т(г/,у) в единицах изображения. В достаточно общем виде это показано на схеме, приведённой на рисунке 1.3.

ш(х,у)

м(х,у,г)

Рисунок 1.3 — Модель формирования цифрового изображения

Здесь - координаты главной точки относительно начала

( [

координат изображения (в координатах изображения); /ц = —, /„ =—, где ж

ж 1г

и к - масштабы вдоль осей ох и оу (например, расстояния между ячейками матричного фотоприёмника вдоль строк и столбцов). В новой системе координаты проекции точки т примут вид:

'X4

т =

К(Ы I 1)М =

/« 0 щ

О Л у0 О 0 1

г\\ гп г\ъ

и

Г2\ Г22 Г2Ъ ¿2 у/з. Г32 ГЪЪ Ч

У

г

чЪ

(1.8)

где R- матрица размерности 3x3, описывающая поворот системы координат камеры относительно глобальной. Компонентами матрицы являются направляющие косинусы осей глобальной системы в системе координат камеры; t - трёхмерный вектор смещения начала координат глобальной системы относительно начала системы координат камеры. На рисунке 1.4 схематически показан переход от глобальной системы координат к системе координат камеры. Здесь а, Р и у - углы, образованные осью ОХ с осями ОХ, OY и OZ соответственно. Элементы первой строки матрицы содержат косинусы этих углов: rn =cosа, rn =cos/3, r13 - cosy. Аналогично, вторая и третья строки матрицы содержат косинусы углов, образованных соответственно осями OY и OZ с осями глобальной системы координат. Особенность матрицы состоит в том, что она зависит только от трёх параметров, поскольку все девять ее элементов связаны шестью уравнениями связи и, следовательно, не являются независимыми. Обозначив строки матрицы в виде векторов гх, гг и гъ, эти уравнения можно представить в виде:

г* rx = 1, rlr2 = 1, r/Y3 = 1, r,rr2 - 0, r2rr3 = 0, r/r, = 0.

Рисунок 1.4 — Переход к системе координат камеры

Далее рассмотрим модель формирования разноракурсных изображений, получаемых в результате регистрации пары изображений одной сцены с разных положений камеры.

1.2 Модель формирования разноракурсных изображений

Рассмотрим общий случай, когда оптические оси камер не параллельны, а направление смещения оптического центра одной камеры относительно оптического центра другой произвольно [2].

Пусть первой камере соответствует система координат ОХУ2, а второй

- 0'ХУ'2'. В соответствии с обозначениями, принятыми для систем

координат, будем полагать, что вектор М (Х,У,2)Г характеризует координаты некоторой точки М.(х,у^)Т трёхмерного пространства в

системе первой камеры, а вектор М\Х\У - в системе второй. Переход

от глобальной системы координат к системам координат первой и второй камер осуществляется с помощью преобразований: М = КМ + 1,

соответственно. С учетом этих соотношений легко показать, что связь между векторами М и М' задаётся соотношением

М' = КМ + !, (1.9)

где

ХЫШГ-'М' (1.10)

- ортогональная матрица, описывающая ориентацию системы координат второй камеры относительно первой, а

! = (1.11)

- вектор трансляции, определяющий положение оптического центра второй камеры в системе координат первой. Матрицу Ё. и вектор \ принято называть внешними параметрами системы регистрации.

Далее введем необходимые для дальнейшего изложения понятия эпиполярной геометрии [3-7]. В рамках модели эпиполярной геометрии рассматриваются следующие геометрические элементы:

- базовая линия - отрезок, связывающий центры камер;

- эпиполюсы - это точки пересечения линии, соединяющей центры камер, и плоскостей изображений, другими словами, эпиполюс - это положение центра одной камеры в плоскости второй камеры;

- эпиполярная плоскость - это плоскость, проходящая через базовую линию;

- эпиполярная прямая - это пересечение эпиполярной плоскости с плоскостью изображения.

Все эпиполярные прямые проходят через эпиполюс, а множество эпиполярных плоскостей представляет собой однопараметрическое семейство плоскостей.

Предположим, что точка М в трёхмерном пространстве проецируется на два изображения: т - на первом и т' - на втором. Точки ш и ш' называются соответствующими (или сопряженными). Как показано на рисунке 1.5, точки т, т', М и центры камер расположены на одной плоскости. Обозначим эту плоскость п. Очевидно, что лучи, исходящие из центров камер, и проходящие через т и т' пересекаются в точке М и также лежат на плоскости к. Это свойство чрезвычайно важно при поиске соответствий.

м

Рисунок 1.5 — Модель эпиполярной геометрии Предположим, что известна точка т. При этом однозначным образом определяется плоскость, проходящая через базовую линию и точку ш. Выше было показано, что луч, проходящий через точку т', также лежит в этой плоскости. Очевидно, что точка т' должна лежать на прямой, представляющей собой пересечение плоскости п и плоскости второго изображения. Эта прямая называется эпиполярной прямой, соответствующей точке ш. Для задачи сопоставления это означает, что поиск соответствующей точки может осуществляться не на всей плоскости изображения, а ограничиваться этой прямой.

Важнейшим понятием в эпиполярной геометрии является фундаментальная матрица, задающая связь между соответствующими точками [8-14]. Далее определим фундаментальную матрицу путём задания зависимости между точкой и эпиполярной линией.

Как указывалось выше, для заданной пары разноракурсных изображений каждой точке т на первом изображении соответствует прямая Г на втором. В свою очередь, каждой точке т' на втором изображении соответствует прямая I на первом. Можно ввести оператор: ш—>Г,

который ставит каждой точке в соответствие некоторую эпиполярную прямую. Этот оператор и определяется посредством фундаментальной матрицы Т7.

Фундаментальная матрица задаёт соотношение между точками

Важным свойством отношения (1.12) является то, что оно задаёт фундаментальную матрицу без использования параметров камер, исключительно в рамках соответствий между изображениями. Это позволяет вычислить матрицу по соответствующим точкам на изображениях.

Рассмотрена известная модель формирования разноракурсных изображений, выявлены условия, при которых решается задача восстановления сцены. Кратко перечислим те из них, которые имеют отношение к рассматриваемой задаче. Во-первых, вводятся понятия эпиполярной геометрии и эпиполярных ограничений, позволяющие сократить область поиска соответствующих точек. Кроме того, конкретизируется модель формирования разноракурсных изображений, в рамках которой будет производиться восстановление трёхмерной сцены.

1.3 Методы, алгоритмы и технологии реконструкции 3D сцен

Традиционная технология восстановления 3D сцены или объекта по двум или более изображениям состоит из нескольких этапов. Первый этап — это калибровка изображений. Вообще говоря, можно выделить несколько видов калибровки: по известным точкам геопривязки (GCP, ground control points), по известной функции трансформации изображения (RFM, rational

m = [и, v, 1]Г и m' = [и', v', 1]Гна изображениях:

(m')TFm = 0,

где

(1.12)

^12 ^

F = F F F

1 1 21 22 1 23

F F F

_ 31 1 Ъ2 1 33

(1.13)

functional model) и/или соответствующим ей RPC (rational polynomial coefficients) и др. Поскольку для нас существенна именно информация об относительных сдвигах соответствующих точек на изображениях одной и той же сцены, мы ограничимся рассмотрением двух типов калибровки:

- по известным внутренним и внешним параметрам камеры;

- по известным соответствующим точкам между изображениями.

Значительное число работ посвящено так называемой «слабой

калибровке» или ректификации. Ректификация разноракурсных изображений - это преобразование, в результате которого соответствующие точки на стереоизображениях располагаются в одних и тех же строках. Целыо такого преобразования является упрощение обработки стереоснимков, в частности, поиска соответствующих точек, а также удобство построения карты диспарантности (относительных сдвигов точек), поскольку в этом случае диспарантность возникает только по одной координате.

Следующий этап общей технологии восстановления 3D сцены -нахождение соответствующих точек на изображениях. Огромное число публикаций посвящено этому этапу построения трёхмерной сцены. Например, в исследовании [15] описывается наиболее распространенная схема сопоставления точек на изображениях, включающая последующие поиск соответствующих фрагментов на изображениях небольшим окном (3x3, 5x5 и 7x7) в фиксированной области. В качестве меры близости выбирается сумма квадратов разностей.

В работе [16] предлагается метод восстановления карт диспарантности по малому количеству измерений. Основываясь на теории Compressive Sensing, утверждающей, что в обычном полноформатном изображении содержится большое количество избыточной информации, алгоритм достаточно точно восстанавливает карту диспарантности на основе информации о 5% всей карты.

Применение метода основано на предположении, что карта диспарантности представляет собой несколько больших однородных участков постоянной диспарантности с небольшим числом переходов между ними. Благодаря вейвлет-преобразованию большие однородные участки могут быть представлены с помощью небольшого числа вейвлет-коэффициентов, при этом важнейшие коэффициенты кластеризуются (располагаются) в местах разрывов. Особенно важной в этом методе является задача выбора изначальных измерений.

Список литературы диссертационного исследования кандидат наук Гошин, Егор Вячеславович, 2014 год

Список цитируемой литературы

1. Форсайт Д. Компьютерное зрение. Современный подход / Форсайт Д., Понс Ж. // М: Издательский дом" Вильяме. - 2004.

2. Грузман И.С. Цифровая обработка изображений в информационных системах: Учебное пособие / И.С. Грузман, B.C. Киричук, В.П. Косых и др. - Новосибирск: Изд-во НГТУ, 2002. - 352 с.

3. Zhang Z. Determining the epipolar geometry and its uncertainty: A review / Zhang Z. //International journal of computer vision. - 1998. - T. 27. - №. 2. -C. 161-195.

4. Faugeras O. D. The calibration problem for stereo / Faugeras O. D., Toscani G. //Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. - 1986. - T. 86. - C. 15-20.

5. Linda G. Shapiro. Computer Vision / Linda G. Shapiro, George C. Stockman // Prentice Hall, 2001: 395-403.

6. Nalwa V. S. A guided tour of computer vision. / Nalwa V. S. // New York: Addison-Wesley, 1993.-T. 7.

7. Xu G. Epipolar geometry in stereo, motion and object recognition: a unified approach / Xu G., Zhang Z. // Springer, 1996. - T. 6.

8. Faugeras O. The Geometry of Multiple Images: The Laws That Govern the Formation of Multiple Images of a Scene Andsome of Their Applications./ Faugeras O., Luong Q. Т., Papadopoulo T. - 2001.

9. Hartley R. I. Estimation of relative camera positions for uncalibrated cameras / Hartley R. I. //Computer Vision—ECCV'92. - Springer Berlin Heidelberg, 1992.-C. 579-587.

10.Pollefeys M. Self-calibration and metric reconstruction inspite of varying and unknown intrinsic camera parameters / Pollefeys M., Koch R., Van Gool L. //International Journal of Computer Vision. - 1999. - T. 32. - №. 1. - C. 7-25.

11.Torr P. H. S. The development and comparison of robust methods for estimating the fundamental matrix / Torr P.H.S., Murray D. W. //International journal of computer vision. - 1997. - T. 24. - №. 3. - C. 271-300.

12.Ma Y. (ed.). An invitation to 3-d vision: from images to geometric models. -Springer, 2004. - T. 26.

13.Hartley R. I. In defense of the eight-point algorithm / Hartley R. I. //Pattern Analysis and Machine Intelligence, IEEE Transactions on. - 1997. - T. 19. -№. 6.-C. 580-593..

H.Luong Q. T. The fundamental matrix: Theory, algorithms, and stability analysis / Luong Q. Т., Faugeras O. D. //International Journal of Computer Vision. - 1996,-T. 17. -№. l.-C. 43-75..

15.Marghany M. 3D stereo reconstruction using sum square of difference matching algorithm / Marghany M., Tahar M. R. В. M., Hashim M. //Scientific Research and Essays. - 2011. - T. 6. - №. 30. - C. 6404-6411.

16.Hawe S. Dense disparity maps from sparse disparity measurements / Hawe S., Kleinsteuber M., Diepold K. //Computer Vision (ICCV), 2011 IEEE International Conference on. - IEEE, 2011. - C. 2126-2133.

17.Alobeid A. Building height estimation in urban areas from very high resolution satellite stereo images / Alobeid A., Jacobsen K., Heipke C. // ISPRS Hannover Workshop. - 2009. - C. 2-5.

18.Wan X. An Improved Algorithm Used in Automatic Matching for Low-Altitude Aerial Image / Wan X., Zhang Z., Wan Y. // ISPRS-International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences.- 2012. -T. l.-C. 183-188.

19.Hartley R. I. Triangulation / Hartley R. I., Sturm P. // Computer vision and image understanding. - 1997.-Т. 68.-№. 2.-C. 146-157.

20.Создание цифровой модели рельефа по снимкам с КА ALOS/PRISM с использованием фотограмметрических методов. GEOMATICS №4, 2009, С. 16-23.

21.Гомозов О. А. Алгоритмы формирования цифровых моделей рельефа по данным от КА «Ресурс-ДК» / Гомозов, О. А., Кузнецов, А. Е., Побаруев,

B. И., Пошехонов, В. И., Сухов, А. А. // Современные проблемы дистанционного зондирования Земли из космоса. — 2009. - Т. 1. - №. 6. -

C. 96-104.

22.Кузнецов А.Е. Высокопроизводительные алгоритмы формирования цифровой модели рельефа на основе точечного описания / Кузнецов А.Е., Пошехонов В.И. // Информатика и прикладная математика: межвуз. сб. науч. тр. 2007.

23.Birkbeck N. Object Centered Stereo: Displacement Map Estimation Using Texture and Shading / Birkbeck N., Cobzas D., Jagersand M. // 3DPVT. -2006. - C. 790-797.

24.Bradley D. Accurate multi-view reconstruction using robust binocular stereo and surface meshing / Bradley D., Boubekeur Т., Heidrich W. //Computer Vision and Pattern Recognition, 2008. CVPR 2008. IEEE Conference on. -IEEE, 2008.-C. 1-8.

25.Pollefeys M. Detailed real-time urban 3d reconstruction from video / Pollefeys M., Nister D., Frahm J. M., Akbarzadeh A., Mordohai P., Clipp В., Towles H. //International Journal of Computer Vision. - 2008. - T. 78. - №. 2-3.-C. 143-167.

26.MoIton N. Practical structure and motion from stereo when motion is unconstrained / Molton N., Brady M. // International Journal of Computer Vision. - 2000. - T. 39. - №. 1. - C. 5-23.

27.VieviIle T. Motion of points and lines in the uncalibrated case / Vieville Т., Faugeras O., Luong Q. T. // International Journal of Computer Vision. - 1996. -T. 17. - №. l.-C. 7-41.

28.Hartley R. I. Theory and practice of projective rectification / Hartley R.I. //International Journal of Computer Vision. - 1999. - T. 35. - №. 2. - С. 115127.

29.Monasse P. Three-step image rectification / Monasse P., Morel J. M., Tang Z. //Proceedings of the British Machine Vision Conference. - 2010.

30.Pollefeys M. A simple and efficient rectification method for general motion / Pollefeys M., Koch R., Van Gool L. //Computer Vision, 1999. The Proceedings of the Seventh IEEE International Conference on. - IEEE, 1999. -Т. l.-C. 496-501.

31.Haming K. Extension of the generalized image rectification-catching the infinity cases / Haming K., Peters G. //ICINCO-RA (2). - 2007. - C. 275-279.

32.Oram D. Rectification for any epipolar geometry / Oram D. //BMVC. - 2001. -T. l.-C. 653-662.

33.Kumar S. Stereo rectification of uncalibrated and heterogeneous images / Kumar S., Micheloni C., Piciarelli C., Foresti G. L. //Pattern Recognition Letters. -2010.-T. 31.-№. ll.-C. 1445-1452.

34.*Гошин E.B. Реконструкция ЗБ-сцен на пучках эпиполярных плоскостей стереоизображений / В.А. Фурсов, С.А Бибиков, Е.В. Гошин // Мехатроника, Автоматизация, Управление - М., №9(150), 2013. - С. 19-24.

35.*Гошин Е.В. Реконструкция ЗБ-сцен по неректифицированным стереоизображениям с прореживающей фильтрацией / В.А. Фурсов, Е.В. Гошин // «Известия Самарского научного центра РАН» - М., №9(150), 2013. - С. 19-24.

36.*Goshin Ye.V. ЗБ Scene Reconstruction From Unrectified Stereo Images / V.A. Fursov, Ye.V. Goshin // 11th International Conference on Pattern Recognition and Image Analysis: New Information Technologies (PRIA-11-2013).-2014.-C. 190-193.

37.Hartley R. Multiple view geometry in computer vision / Hartley R., Zisserman A. // Cambridge university press, 2003.

38.Методы компьютерной обработки изображений / М.В. Гашников, Н.И. Глумов, Н.Ю.Ильясова, В.В. Мясников [и др.], под общей редакцией В.А. Сойфера. - 2-е изд., испр. - М.: Физматлит, 2003. - 784 с.

39.Гонсалес Р. Цифровая обработка изображений / Гонсалес Р., Вудс Р.// ТЕХНО-СФЕРА, 2005.

40.Sobel I. An isotropic 3x3 image gradient operator / Sobel I. //Machine Vision for three-demensional Sciences. - 1990.

41.Jahne B. Principles of filter design / Jahne В., Scharr H., Korkel S. //Handbook of computer vision and applications. - 1999. - T. 2. - C. 125-151.

42.*Гошин E.B. Информационная технология реконструкции цифровой модели местности по стереоизображениям / В.А. Фурсов, С.А Бибиков, Е.В. Гошин // Компьютерная оптика - Самара, Том 38, №2, 2014.. - С. 19-24.

43.Тао М. SimpleFlow: A Non-iterative, Sublinear Optical Flow Algorithm / Tao M., Bai J., Kohli P., Paris S. //Computer Graphics Forum. - Blackwell Publishing Ltd, 2012.-T. 31.-№.2ptl.-C. 345-353.

44. Кузнецов П.К. Метод определения вектора скорости движения подстилающей поверхности / П.К. Кузнецов, Б.В. Мартемьянов, В.И. Семавин, Е.Ю. Чекотило // Вестник Самарского государственного технического университета. Серия: Технические науки. - 2008. - № 2(22).-С. 96-110.

45.Slesareva N. Optic flow goes stereo: A variational method for estimating discontinuity-preserving dense disparity maps / Slesareva N., Bruhn A., Weickert J. //Pattern Recognition. - Springer Berlin Heidelberg, 2005. - C. 33-40.

46.Brox T. High accuracy optical flow estimation based on a theory for warping / Brox, Т., Bruhn, A., Papenberg, N., & Weickert, J. //Computer Vision-ECCV 2004. - Springer Berlin Heidelberg, 2004. - C. 25-36.

47.Yuille A. L. A generalized ordering constraint for stereo correspondence /

Yuille A. L., Poggio T. - 1984. 48.Sun J. Stereo matching using belief propagation / Sun J., Zheng N. N., Shum H. Y. //Pattern Analysis and Machine Intelligence, IEEE Transactions on. -

2003. - T. 25. - №. 7. - C. 787-800.

49.Zitnick C. L. A cooperative algorithm for stereo matching and occlusion detection / Zitnick C. L., Kanade T. //Pattern Analysis and Machine Intelligence, IEEE Transactions on. - 2000. - T. 22. - №. 7. - C. 675-684.

50.Harris C. A combined corner and edge detector / Harris C., Stephens M. //Alvey vision conference. - 1988. - T. 15. - C. 50.

51.Lowe D. G. Object recognition from local scale-invariant features/ Lowe D.

G. //Computer vision, 1999. The proceedings of the seventh IEEE international conference on. - Ieee, 1999. - T. 2. - C. 1150-1157.

52.Bay H. Speeded-up robust features (SURF) / Bay H., Ess A., Tuytelaars T., Van Gool L. //Computer vision and image understanding. - 2008. - T. 110.-№. 3.-C. 346-359.

53.Armangue X. Overall view regarding fundamental matrix estimation / Armangue X., Salvi J. //Image and vision computing. - 2003. - T. 21. - №. 2. - C. 205-220.

54.Nister D. An efficient solution to the five-point relative pose problem / Nister D. //Pattern Analysis and Machine Intelligence, IEEE Transactions on. -

2004. - T. 26. - №. 6. - C. 756-770.

55.Stewenius H. Recent developments on direct relative orientation / Stewenius

H., Engels C., Nister D. // ISPRS Journal of Photogrammetry and Remote Sensing. - 2006. - T. 60. - №. 4. - C. 284-294.

56.Torr P. H. S. MLESAC: A new robust estimator with application to estimating image geometry / Torr P. H. S., Zisserman A. //Computer Vision and Image Understanding. - 2000. - T. 78.-№. l.-C. 138-156.

57.FischIer M. A. Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography / Fischler M. A., Bolles R. C. //Communications of the ACM. - 1981. - T. 24. - №. 6. - C. 381-395.

58.Raguram R. A comparative analysis of RANSAC techniques leading to adaptive real-time random sample consensus / Raguram R., Frahm J. M., Pollefeys M. //Computer Vision-ECCV 2008. - Springer Berlin Heidelberg, 2008.-C. 500-513.

59.Chum O. Two-view geometry estimation by random sample and consensus. -Czech Technical University in Prague, 2005.

60.Choi S. Performance evaluation of RANSAC family / Choi S., Kim Т., Yu W. //Journal of Computer Vision. - 1997. - T. 24. - №. 3. - C. 271-300.

61.Kim T. Automatic satellite image registration by combination of matching and random sample consensus / Kim Т., Im Y. J. //Geoscience and Remote Sensing, IEEE Transactions on. - 2003. - T. 41. - №. 5. - С. 1111 -1117.

62.1sack H. Energy-based geometric multi-model fitting / Isack H., Boykov Y. //International journal of computer vision. - 2012. - T. 97. - №. 2. - C. 123147.

63.*Гошин E.B. Метод согласованной идентификации в задаче определения соответственных точек на изображениях / В.А. Фурсов, Е.В. Гошин // Компьютерная оптика - Самара, Том 36, №1, 2012. - С. 131-135.

64.*Гошин Е.В. Conformed Identification of the Fundamental Matrix in the Problem of a Scene Reconstruction, using Stereo Images / Image Mining. Theory and Applications. Proceedings of IMTA-4 2013 -M., №9(150), 2013. -C. 19-24.

65.*Гошин Е.В. Метод согласованной идентификации в задаче ректификации изображений / Е.В. Гошин // Технические науки: теория и практика: материалы международной заочной научной конференции -2012. - С. 3-6.

66.*Гошин Е.В. Метод согласованной идентификации в задаче слабой калибровки стереоизображений / В.А. Фурсов, С.А Бибиков, Е.В. Гошин // Материалы Всероссийской научно-практической конференции «Прикладная информатика и компьютерное моделирование» - М., №9(150), 2013.-С. 19-24.

67.Fursov V. Estimates conformity principle in the problems of identification //Computational Science—ICCS 2003. - Springer Berlin Heidelberg, 2003. -C. 463-470.

68.Фурсов В.А. Согласованная идентификация управляемого объекта по малому числу наблюдений / В.А. Фурсов // Мехатроника, автоматизация, управление. - 2010. - № 3(108). - С. 2-8. - ISSN 1684-6427.

69.Фурсов В. А. Проблемы вычисления оценок по малому числу наблюдений //Современные методы математического моделирования (Сб. лекций). Самара. - 2001.

70.*Гошин Е.В. Кластерная реализация метода согласованной идентификации / Е.В. Гошин // Международная конференция «Королёвские чтения», сборник трудов - 2011. - С. 277.

71.*Гошин Е.В. Параллельная реализация вычислительно трудоемких робастных алгоритмов определения параметров моделей / В.А. Фурсов, Е.В. Гошин // Труды Международной суп ер компьютерной конференции «Научный сервис в сети Интернет: поиск новых решений» - 2012. - С. 300-306.

72.*Гошин Е.В. Эффективная по используемым ресурсам памяти реализация последовательного алгоритма согласованной идентификации / В.А. Фурсов, Е.В. Гошин // Материалы конференции «Управление в технических, эргатических, организационных и сетевых системах» - М., №9(150), 2013. - С. 19-24.

73.POV-Ray Documentation - 2014.

URL: http://www.povray.org/documentation/

74.Friedrich A. Lohmüller. Descriptions and Examples for POV-Ray- 2014 URL: http://www.f-lohmueller.de/pov_tut/pov eng.htm

75.Cheng L. A New Approach to Solving Kruppa Equations for Camera Self-Calibration / Lei Cheng, Fuchao Wu, Zhanyi Hu, Hung-Tat Tsui // 16th International Conference on Pattern Recognition. - 2002. - P. 308-311.

76.*Гошин E.B. Решение задачи автокалибровки камеры с использованием метода согласованной идентификации / В.А. Фурсов, Е.В. Гошин // Компьютерная оптика — Самара, Том 36, №4, 2012. - С. 605-609.

77.*Гошин Е.В. 3D реконструкция по космическим стереоизображениям /

B.А. Фурсов, С.А Бибиков, Е.В. Гошин // Материалы III Всероссийской научно-технической конференции «Актуальные проблемы ракетно-космической техники» (III Козловские чтения) - М., №9(150), 2013. - С. 19-24.

78.*Гошин Е.В. Параллельная реализация модифицированного алгоритма реконструкции трёхмерной сцены по стереоизображениям / В.А. Фурсов,

C.А Бибиков, Е.В. Гошин, Д.А Жердев // Параллельные вычислительные технологии (ПаВТ'2013): труды международной научной конференции -М., №9(150), 2013. - С. 19-24.

79.*Гошин Е.В. Реконструкция ЗО-сцен на пучках эпиполярных плоскостей стереоизображений / В.А. Фурсов, С.А Бибиков, Е.В. Гошин, А.П. Котов // Параллельные вычислительные технологии (ПаВТ'2014): труды международной научной конференции - М., №9(150), 2014. - С. 19-24.

80.*Программный комплекс «СтереоЦМР» / Гошин Е.В. // Свидетельство о государственной регистрации программы для ЭВМ № 2014616002, 2014

81.*Гошин Е.В. Моделирование последовательности рельефов по опорным изображениям местности / В.А. Фурсов, Е.В. Гошин // Компьютерная оптика - Самара, Том 35, №3, 2011. - С. 380-384.

82.*Гошин Е.В. Формирование последовательности карт высот с использованием опорных изображений / В.А. Фурсов, Е.В. Гошин // Сб. трудов 3-й Российской научно-технической конференции аспирантов, студентов и молодых учёных ИВТ-2011- 2011. - С. 190-193.

Приложение А. Свидетельство о государственной регистрации программы для ЭВМ № 2014616002а Программный комплекс «СтереоЦМР»

А.1 Реферат

Автор: Гошин Егор Вячеславович Правообладатель: федеральное государственное бюджетное образовательное учреждение высшего профессионального образования "Самарский государственный аэрокосмический университет имени академика С.П. Королёва (национальный исследовательский университет)" (СГАУ) Программа: программный комплекс «СтереоЦМР»

Аннотация: При разработке программного комплекса для формирования цифровой модели по паре космических стереоизображений возникает задача сопоставления точек на изображениях.

В программе реализован алгоритм автоматического сопоставления точек на паре космических стереоизображений и формирования карты диспарантности. Выполнение алгоритма производится в четыре этапа: 1) предварительное сопоставление изображений с использованием взвешенной функции корреляции в окрестности точки, 2) формирование фундаментальной матрицы методом 11АЫ8АС, 3) точное сопоставление изображений с учетом эпиполярных ограничений, 4) формирование карты диспарантности.

Исходными данными для работы программы является пара стереоизображений и параметры запуска: число уровней пирамиды, размер окна обработки, максимальная величина потока. Результатом работы программы является карта диспарантности для заданной пары стереоизображений.

Тип ЭВМ: PC х86 - совместимый Язык: С++ ОС: Microsoft Windows ХР, Vista, 7;

Объём

программы: 15,7 Кб

(исходного текста)

А.2 Копия свидетельства о государственной регистрации программы для ЭВМ № 2014616002

р о с сжй сж^л фе д;й> к i ги я

Ш Ш *$ & м бГ ш ш ш ш

Ш

ш ш

ш ш ш

т. ш •й Ш St fit к

ш &

«я fej 8

к?

Ks

ss

КЗ Si

s-

и

ш к-

■а

S5

№ Ш

55

¡й

&

•Я

ШЙ SHSшш Si St

ш

Si &

-ш Si Ш Si

ss

CB ИДЕТЕЛbCTBO

(i roe> l прении noil ponte s р;нши мрш раммы ия )B\1

№ 2014616002

flpoi раммный комплекс «СтереоЦМi'v>

I lpai«)o0.ia;un j и. федеральное государственное омдлеаннос обра иышне.коюеучреждение высшего профессионального пора weanия "Самарским государственные! tпракосмичсскнй г.nmepi итет имени академика С.П. Королёва {национальный исслеОокательскни университет)" (i '1'ЛУ) (RI )

Лшир Гаити Егор Вячеславович (Ri )

)»»рка№ 20146!.^>44

Дшаиос^п.а-ния 28 апреля 2014 I.

!<н,\ 1,цк '1л:Н1Юя рстисфицим

в !Чхст|Ч- программ > 1« ')ВМ 09 июня 2014 г.

.■г. ■¡ч.'Осри < ч-- ( ; >к (>ы н<> ¡<>!!)1<,~:' <гг;- нпгти

у

с

h // (''iM'Hfttt;

>3

:5s

к-: ш IK т

и

ffi

S3

ш ш т ш ш т ш ¡й т а' и й S5

т ш

ш

■м

iS?

jjff"-"-' _ " jia

й ft® & «а

Я

Щ

Я

I

1 ■Ж

Щ

1-Я

Ш\ III.''

"Si»

Wi

M'f-I

1

11

у И

Приложение Б. Акт о внедрении результатов диссертационной работы

ОТКРЫТОЕ АКЦИОНЕРНОЕ ОБЩЕСТВО «РАКЕТНО-КОСМИЧЕСКИЙ ЦЕНТР «ПРОГРЕСС»

(ОАО «РКЦ «ПРОГРЕСС»)

ул. Земеца. д 18, г Самара, 443009, тел, [phone]. факс [phone]. E-mail [e-mail] ОКПО 43892776. ИНН 6312139922, КПП 997850001

УТВЕРЖДАЮ Первый заместитель Генерального , у/""директора - Генеральный конструктор, / доктор техниэдскиИшук

У-У.' рн- Ахметов

ШЙГ " 2014

АКТ

о внедрении результатов диссертационной работы Гошина Егора Вячеславовича на тему

«Методы поиска соответствий на изображениях трехмерных сцен»

Следующие результаты диссертационной работы Гошина Е.В. «Методы поиска соответствий на изображениях трехмерных сцен»:

- метод сопоставления изображений с учетом эпиполярных ограничений;

- алгоритм определения фундаментальной матрицы с использованием метода согласованной идентификации;

- программный комплекс построения цифровых моделей местности по космическим изображениям

использованы ОАО «РКЦ «Прогресс» в НИР «Создание высокотехнологичного производства маломассогабаритных космических аппаратов наблюдения с использованием гинерспектральной аппаратуры в интересах социально-экономического развития России и международного сотрудничества».

Перечисленные выше результаты являются составной частью разрабатываемого СГАУ и ИСОИ РАН в рамках указанной НИР специализированного программно-аппаратного комплекса обработки гиперспектральной информации и построения ЗО-моделей по стереопарам, реализуемого на гибридных высокопроизводительных вычислительных системах. Планируется использование этого программного комплекса для обработки данных, регистрируемых КА «Ресурс-П».

Заместитель Генерального

конструктора по научной работе, '

Главный конструктор -начальник отделения 1100, кандидат технических наук

доктор технических наук

Заместитель главного конструктор начальник НПЦИТ ДЗЗ

Начальник отдела 1133