Разработка методов контроля и цифровой коррекции параметров изображений стереопары тема диссертации и автореферата по ВАК РФ 05.11.18, кандидат наук Чафонова, Виктория Германовна

• Чафонова, Виктория Германовна
• кандидат наук
• 2014

Оглавление диссертации кандидат наук Чафонова, Виктория Германовна

ОГЛАВЛЕНИЕ

ВВЕДЕНИЕ

1 АНАЛИЗ ТРЕБОВАНИЙ, ПРЕДЪЯВЛЯЕМЫХ К ИЗОБРАЖЕНИЯМ СТЕРЕОПАРЫ

1.1 Особенности формирования стереоизображения

1.2 Требования, предъявляемые к параметрам изображений стереопары

Выводы

2 РАЗРАБОТКА МЕТОДОВ СОВМЕЩЕНИЯ ИЗОБРАЖЕНИЙ СТЕРЕОПАРЫ

2.1 Исследование возможности совмещения изображений стереопары

с использованием современных компьютерных программ

2.2 Метод совмещения стереопары, основанный на корреляции изображений

2.3 Метод совмещения стереопары, основанный на применении

детекторов точечных особенностей изображений

2.4 Исследование эффективности разработанных методов и алгоритмов

совмещения изображений стереопары

Выводы

3 АВТОМАТИЗИРОВАННЫЙ КОНТРОЛЬ ПАРАМЕТРОВ ИЗОБРАЖЕНИЙ СТЕРЕОПАРЫ

3.1 Разработка метода автоматического контроля и коррекции распределения параллаксов в изображениях стереопары

3.2 Автоматизация подбора параметров стереосъемки и юстировки

положения съемочных камер

Выводы

4 ЦИФРОВАЯ КОРРЕКЦИЯ ПАРАМЕТРОВ ИЗОБРАЖЕНИЙ СТЕРЕОПАРЫ

4.1 Автоматический контроль и цифровая коррекция рассогласования масштабов изображений стереопары

4.2 Автоматический контроль и цифровая коррекция поворота одного изображения стереопары относительно другого

4.3 Исследование эффективности разработанных методов и алгоритмов контроля и коррекции геометрических параметров изображений

стереопары

Выводы

ЗАКЛЮЧЕНИЕ

СПИСОК ЛИТЕРАТУРЫ

ПРИЛОЖЕНИЯ

Приложение А (обязательное) Рабочие окна программ по обработке

изображений и видео в стереоформате

Приложение Б (обязательное) Листинг программы к реализации

алгоритма совмещения стереопары, основанного на корреляции

изображений, в программной среде МАТЬАВ

Приложение В (обязательное) Листинг программы к реализации алгоритма совмещения стереопары, основанного на применении детекторов точечных

особенностей изображений, в программной среде МАТЬАВ

Приложение Г (обязательное) Примеры изображений стереопар, на которых проведено исследование эффективности разработанных

методов и алгоритмов совмещения стереопары

Приложение Д (справочное) Документы

Введение диссертации (часть автореферата) на тему «Разработка методов контроля и цифровой коррекции параметров изображений стереопары»

ВВЕДЕНИЕ

Актуальность темы исследования и степень ее разработанности

В настоящее время технологии стереокино активно развиваются. Основное преимущество стереофильмов заключается в том, что они создают большую реалистичность и зрелищность, кроме того, при их просмотре появляется особый «эффект присутствия» - зритель может почувствовать себя не просто сторонним наблюдателем, но как бы участником демонстрируемой картины [12].

Изображение в стереокино воспринимается объемным благодаря тому, что каждый глаз зрителя видит одно из изображений стереопары, полученных съемкой с двух ракурсов, а мозг человека объединяет их в единый стереообраз. При этом рассогласование изображений стереопары может привести к разрушению стереоскопического эффекта и стать причиной утомления зрителей.

Так как ошибки в стереоизображениях могут вызывать у зрителей неприятные ощущения (боль в глазах, головокружение и т.д.), до принятия решения о показе любого стереофильма необходима техническая экспертиза, на основании которой следует определять, можно ли допустить данный фильм на кинорынок, и если можно, то на экранах каких размеров его нужно показывать [38].

Одним из главных условий формирования стереоизображения, комфортного для восприятия, является выполнение требований к параллаксам, которые определяют взаимное смещение сопряженных точек в изображениях стереопары. Так, изображения стереопары должны быть выравнены по высоте, т.е. не иметь вертикальных параллаксов, а горизонтальные параллаксы объектов, воспринимаемых в предэкранном и заэкранном пространствах, не должны превышать своих предельных значений [24; 20]. При этом важную роль играет точность совмещения кадров стереопары, так как неточное совмещение может привести к наличию нежелательных параллаксов, значения которых будут

возрастать с увеличением размеров экрана, на который полученное изображение будет проецироваться.

Вопросы теории и практики формирования комфортного для восприятия стереоизображения применительно к пленочному стереокинематографу были исследованы Болтянским А.Г. [3], Валюсом H.A. [4; 5], Шацкой А.Н. [54; 55; 56], Ивановым Б.Т. [23], Овсянниковой H.A. [31], и др. В работах Рожковой Г.И. [43], Рожкова С.Н. [39; 40; 41], Ватолина Д.С. [6; 84], Раева О.Н. [36; 37], Елхова В.А. и Овечкиса Ю.Н. [20; 21], Мелкумова A.C. [26; 28; 29], Mendiburu В. [68] и др. исследования в данной области продолжились, но уже и для цифрового стереокино.

Пленочные технологии не позволяли обеспечить оперативный контроль параметров изображений стереопары и определить, соответствуют ли они необходимым требованиям. С появлением цифровых технологий появилась возможность автоматизировать данный процесс и, кроме того, стало возможным осуществить коррекцию ошибок, допущенных при формировании стереопары.

На сегодняшний день существует определенное количество методов и программ, предназначенных для контроля и коррекции параметров изображений стереопары. Однако с их помощью не всегда удается выполнить контроль и автоматическую коррекцию таких важных параметров, как рассогласование масштабов и взаимный поворот изображений стереопары, а также осуществить необходимую коррекцию значений параллаксов стереопары.

Ввиду вышесказанного разработка методов контроля и цифровой коррекции параметров изображений стереопары является актуальной задачей.

Цель данной диссертационной работы состоит в разработке методов контроля и цифровой коррекции параметров изображений стереопары, применение которых позволит обеспечить условия комфортного восприятия стереоизображения зрителями.

Для достижения указанной цели в диссертационной работе необходимо было решить следующие задачи:

1. Проанализировать требования, предъявляемые к параметрам изображений стереопары.

2. Разработать методы и алгоритмы совмещения изображений стереопары с заданным значением параллакса.

3. Исследовать возможность применения цифровой обработки для контроля параметров изображений стереопары.

4. Разработать методы и алгоритмы цифровой коррекции геометрических параметров изображений стереопары.

5. Провести исследование эффективности разработанных методов и алгоритмов.

Научная новизна диссертационной работы состоит в следующем:

1. Разработан метод и алгоритм совмещения стереопары, основанный на корреляции изображений и позволяющий с высокой точностью задать выбранному объекту на изображении требуемое значение параллакса.

2. Разработан метод и алгоритм совмещения стереопары с использованием детекторов точечных особенностей изображений, позволяющий автоматически формировать стереопару с требуемыми значениями параллаксов.

3. Предложен метод автоматического контроля распределения параллаксов в изображениях стереопары, основанный на применении детекторов точечных особенностей изображений и позволяющий определить, на экране какого размера можно демонстрировать ту или иную стереопару с целью выполнения условий комфортного восприятия стереоизображения зрителями.

4. Предложены методики расчетов коэффициента рассогласования масштабов и угла поворота одного изображения стереопары относительно другого.

5. Разработаны методы и алгоритмы автоматического контроля и цифровой коррекции геометрического рассогласования изображений стереопары по параметрам масштаб и поворот.

Теоретическая и практическая значимость работы

1. Методы и алгоритмы совмещения изображений стереопары, предложенные в диссертационной работе, позволяют повысить точность выставления значений параллаксов, исключив субъективную погрешность оператора.

2. Разработанная методика и алгоритм контроля распределения параллаксов в изображениях стереопары позволяют автоматически определить максимальный размер экрана, на который можно проецировать данные изображения.

3. Предложенные алгоритмы и методики расчетов коэффициента рассогласования масштабов и необходимого угла поворота одного изображения стереопары относительно другого позволяют автоматически осуществить цифровую коррекцию таких параметров изображений стереопары, как параллакс, масштаб и поворот.

4. Предложенный метод контроля параметров изображений стереопары позволяет автоматизировать процесс подбора параметров стереосъемки.

5. Разработанные методы и алгоритмы контроля и коррекции параметров изображений стереопары могут быть внедрены в состав автоматизированных измерительно-вычислительных комплексов, предназначенных для выявления ошибок, допущенных при стереосъемке, а также стать частью программ по обработке и монтажу изображений стереопары.

Реализация и внедрение результатов исследования

Методы и алгоритмы, разработанные в диссертации, используются в цифровой кинолаборатории НЕВАФИЛЬМ DIGITAL ЗАО «Компания «Невафильм» при производстве цифровых копий кинофильмов в формате 3D. Также результаты и материалы диссертации были использованы при выполнении научно-исследовательской работы, проводимой в СПбГУКиТ по теме: «Цифровая коррекция изображений стереопары» в 2014 г., № 02-14 ФБ, и внедрены в учебный процесс на кафедре киновидеоаппаратуры СПбГУКиТ по дисциплинам «Системы записи и воспроизведения объемных изображений» и «Цифровая

обработка изображений».

Методология и методы исследования

Методологическую основу диссертационной работы составили научные труды отечественных и зарубежных специалистов в области пленочного и цифрового стереокинематографа, цифровой обработки информации. Теоретические и экспериментальные исследования базируются на положениях теории записи и воспроизведения информации, основах стереоскопии, методах цифровой обработки изображений и компьютерного зрения, математического анализа и статистики.

Положения, выносимые на защиту

1. Методы и алгоритмы совмещения изображений стереопары с заданным значением параллакса, основанные на цифровой обработке изображений.

2. Метод автоматического контроля и коррекции распределения параллаксов в изображениях стереопары, основанный на применении детекторов точечных особенностей изображений.

3. Метод и алгоритм автоматического определения максимального размера экрана, на который может проецироваться стереопара с соблюдением условий комфортного восприятия стереоизображения зрителями.

4. Методика автоматизированного подбора параметров стереосъемки, основанная на цифровом контроле параллаксов в изображениях стереопары.

5. Методы и алгоритмы автоматического контроля и цифровой коррекции рассогласования масштабов изображений стереопары и поворота одного изображения стереопары относительно другого.

Степень достоверности результатов

Все разработанные методы и алгоритмы, представленные в диссертации, были реализованы в программной среде МАТЬАВ. Достоверность полученных результатов подтверждена значительным объемом цифровых изображений, обработанных предложенными алгоритмами.

Апробация работы. Основные положения диссертационной работы докладывались и обсуждались на одиннадцати конференциях, среди которых:

- семь научно-технических конференций, проводимых СПбГУКиТ в 20112014 гг.

- 11-ая Всероссийская межвузовская конференция молодых ученых, проводимая СПбНИУ ИТМО в рамках 3-го Всероссийского конгресса молодых ученых, 8-11 апреля 2014 г.

- 6-ая Международная научно-техническая конференция «Запись и воспроизведение объемных изображений в кинематографе и других областях», г. Москва, 17-18 апреля 2014 г.

- 11-ая Международная научно-техническая конференция «Телевидение: передача и обработка изображений», проводимая СПбГЭТУ «ЛЭТИ» 2526 июня 2014 г.

- Международная конференция и выставка, проводимые в рамках Международного съезда вещателей 1ВС2014, Г.Амстердам, Нидерланды, 11-16 сентября 2014 г.

Публикации

По материалам диссертации опубликовано десять печатных работ, среди которых три статьи в изданиях, рекомендованных ВАК. Структура и объем работы

Диссертационная работа содержит введение, четыре главы, заключение, список использованной литературы, включающий 85 наименований, и приложения. Диссертация изложена на 171 странице, содержит 125 рисунков, из них 15 рисунков - в Приложении. Личный вклад

Все основные результаты, изложенные в диссертационной работе, получены автором лично. Обсуждение результатов и их подготовка к публикации проходили при активном участии автора, под редакцией и при общем научном руководстве соавторов.

1 АНАЛИЗ ТРЕБОВАНИЙ, ПРЕДЪЯВЛЯЕМЫХ К ИЗОБРАЖЕНИЯМ

СТЕРЕОПАРЫ

1.1 Особенности формирования стереоизображения

Все методы стереоскопической кинематографии, стереофотографии, цифрового стереокино построены на использовании основного фактора восприятия глубины пространства - стереоскопического бинокулярного эффекта. При бинокулярном зрении пространственный объект воспринимается левым и правым глазом под разными углами, а значит, на сетчатке обоих глаз получаются отличающиеся друг от друга сопряженные оптические изображения, воспринимающиеся мозгом человека как единое объемное, или стереоскопическое изображение. Подробнее о восприятии глубины и особенностях стереоскопического зрения описано в работах [4; 17].

Средства стереоскопической кинематографии и стереофотографии позволяют зрителям видеть каждым глазом раздельные изображения одного и того же объекта, полученные съемкой с двух разных точек (ракурсов), строго расположенных на горизонтальной линии на определенном расстоянии друг от друга, называемом базисом съемки [23; 28]. Достигается это специальной стереоскопической съемкой и последующей проекцией или печатью изображений стереопары. Обязательным условием является обеспечение раздельного наблюдения указанных изображений, т.е. их сепарация.

Рассмотрим основные параметры формирования стереоизображения, предназначенного для просмотра в кинозале. При этом отметим, что все описанные далее понятия можно также отнести к стереофотографии и стереотелевидению.

Изображения стереопары при проекции на экран накладываются одно на другое, и так как одно изображение несколько отличается от другого, то не все одноименные точки правого и левого изображения сольются: часть из них

разойдется в одну сторону, часть - в другую, т.е. будет иметь место горизонтальный параллакс (рисунок 1.1). Параллакс - взаимное смещение сопряженных точек в изображениях стереопары.

Ал

Ап

Р*

рг

Рисунок 1.1- Горизонтальный (Р^) и вертикальный (Р8) параллаксы точки А изображаемого объекта; Ал и Аи - изображение точки А на левом и правом кадрах, соответственно (сплошной линией показан объект на левом кадре стереопары, пунктирной линией - на правом кадре)

Горизонтальный параллакс изображения точки на экране ( Рэ{а) ) (точка А на

рисунке 1.2), расстояние от зрителя до плоскости экрана, базис зрения (расстояние между оптическими центрами левого и правого глаз человека [42]) и расстояние от зрителя до видимого изображения этой точки в пространстве связаны между собой следующим соотношением [3, с. 40]:

г> о _ рг

°ЗР _ иЗР 1 Э(А)

Ь

(1)

ЗР

где Взр - базис зрения, мм. Для расчетов стереопараметров принимают значение базиса зрения, близкое к среднему, оно составляет 65 мм [29];

В - расстояние от зрителя до видимого изображения точки А объекта в пространстве, мм;

РЭ(А) - горизонтальный параллакс изображения точки А на экране, мм;

¿зр - расстояние от зрителя до плоскости экрана, мм.

Следовательно [23, с.74]:

В

ЗР

ЗР д' _ рг

ПЗР Э(А)

Экран

А А -Рг

ЛЛЛП ~ 1 Э(А)

Левый глаз

ТУ _рг °ЗР 1 Э(А) 4-►

В

3£-

Рисунок 1.2- Соотношение между основными параметрами восприятия

стереоизображения

Из полученного математического выражения следует, что если горизонтальный параллакс на экране равен нулю (Рэг = 0) (точки правого и левого изображения на экране полностью накладываются одна на другую), то дистанция до наблюдаемого изображения (V) совпадает с дистанцией до экрана (Ьзр), и зритель воспринимает изображение в плоскости экрана (рисунок 1.3 А).

В случае, если значение параллакса отрицательное (Рэг<0) (точки правого изображения на экране располагаются левее сопряженных точек левого изображения), знаменатель в формуле получается больше числителя, а значит,

дистанция до наблюдаемого изображения (П) меньше дистанции до экрана (Хзр), и изображение объекта воспринимается перед экраном (рисунок 1.3Б).

Если же параллакс положительный (Р!э > 0), (точки правого изображения на экране располагаются правее сопряженных точек левого изображения), но меньше базиса зрения (Р^<ВЗР), то дистанция до наблюдаемого изображения объекта (£)) будет дальше дистанции до экрана (Ьзр), а, следовательно, пространственное изображение будет наблюдаться за экраном (рисунок 1 .ЗВ).

А

А Б В

Рисунок 1.3 - Положение изображения точки А при различных значениях

горизонтального параллакса

Таким образом, наблюдаемое зрителем изображение располагается в трех зонах - в плоскости экрана, за экраном и перед экраном. Плоскость, которая разделяет пространственное изображение на эти зоны и которая проходит через плоскость экрана, называется плоскостью рампы, или плоскостью нулевых параллаксов, потому что одноименные точки изображения, воспринимаемые в этой плоскости, слиты в одно изображение и имеют нулевой параллакс [29].

В зависимости от значения горизонтального параллакса, заданного какому-либо объекту при совмещении одной и той же стереопары, будет меняться пространственное расположение всех объектов в формируемом стереоизображении (рисунок 1.4).

Стереопара

О

/ 1

РГ <0 РГ=0

Плоскость экрана

Стереопара

РГ>0 РГ=0 РГ>0

Плоскость экрана

©

Стереопара

1 ■ А/

1 Ах

1

=0 РГ<0 рг >0

Плоскость экрана

©

А Б В

Рисунок 1.4 - Зависимость воспринимаемого пространственного расположения объектов в стереоизображении от значения горизонтальных параллаксов: параллакс стереопары имеет отрицательное и нулевое значения (А); параллакс стереопары имеет положительное и нулевое значения (Б); параллакс стереопары имеет отрицательное, положительное и нулевое значения (В)

Расположение относительно экрана пространственного изображения снятого объекта при стереоскопической проекции определяется не только значением и знаком горизонтального параллакса, но также положением зрителя относительно экрана. Чем дальше зритель сидит от экрана, тем в большем пространственном диапазоне он наблюдает трехмерное изображение сцены [28].

Положение изображения точки, горизонтальный параллакс которой не равен нулю, будет различным для каждого зрителя (рисунок 1.5). Причем для зрителей, находящихся на различных местах в зале, воспринимаемое изображение изменяет не только свое положение в пространстве, но и размеры, и форму (рисунок 1.6).

Рисунок 1.5 - Изображение точки с горизонтальным параллаксом не равным

нулю, воспринимаемое зрителями на различных местах в зале [34]

▲ ^

А'2_А',

и\ // '1 \ / / || \ / / и \ / / /

Ал Д Д Ап

-т—I—\-^

/ [\ \ х

' / IIV

Л[ п1 л2 п2

Рисунок 1.6 - Изображение куба, воспринимаемое зрителями, находящимися на различных местах в зале [34]

Таким образом, стереоизображение воспринимается объемным благодаря тому, что изображенные объекты стереопары в зависимости от их расположения по глубине сцены имеют различный горизонтальный параллакс на экране, а каждый глаз зрителя видит только предназначенное для него сепарированное изображение. При этом положение зрителя в зале также влияет на пространственное восприятие стереоизображения.

1.2 Требования, предъявляемые к параметрам изображений стереопары

Для того чтобы стереоизображение воспринималось комфортным, необходимо обеспечить выполнение ряда требований, предъявляемых как к параметрам съемки двух ракурсов, так и параметрам сформированной стереопары.

Одним из главных условий комфортного восприятия стереоизображения является выполнение требований к параллаксам стереопары. Так, параллакс одноименных точек изображений предметов, видимых в плоскости рампы, и на регистрирующем материале и на экране должен быть равен нулю [23], а объекты, воспринимаемые в предэкранном и заэкранном пространствах, должны демонстрироваться с соблюдением предельных значений горизонтальных параллаксов [24; 21].

Для объектов, воспринимаемых за экраном, положительный горизонтальный параллакс на экране (Р/+) не должен превышать значение, равное базису зрения В^р [23; 26]. При значении параллакса, равному базису зрения, объект, находящийся в заэкранном пространстве, воспринимается как бесконечно удаленный, а зрительные оси глаз человека, направленные на данный объект, пересекаются в бесконечности, т.е. являются параллельными друг другу. Рассматривание стереоизображений с параллаксом, превышающим базис зрения, вызывает дивергенцию (расхождение) зрительных осей глаз [28], что является причиной утомляемости зрителей, а при увеличенных углах дивергенции

происходит разрушение стереоскопического эффекта. Таким образом, для воспроизведения объекта, находящегося в бесконечности, необходимо, чтобы горизонтальный параллакс на экране был равен базису зрения (Рэг+С0 = ВЗР).

Согласно [24, с. 33] значение максимально допустимого положительного параллакса на экране Р[гмм, может быть вычислено по формуле:

Рим э = ВЗР + ^ЗР , (3)

где Взр- базис зрения, мм;

Ьзр - расстояние от экрана до глаз зрителя в первом ряду, мм; у - фузионный угол (угловая величина зоны стереоскопической глубины), равен 70' [40].

Зона стереоскопической глубины - область пространства, воспринимаемая без двоения объектов при неизменном положении точки фиксации взгляда, т.е. область, в пределах которой возможна фузия. Фузия - процесс слияния мозгом изображений на сетчатках двух глаз в единый образ [40]. При условии, что расстояние до первого ряда в стереозале не должно быть меньше высоты изображения, то для экрана, например, с размерами 8,5 х 4,8 м при расстоянии 5 м от экрана до первого ряда зрительских мест, расчетное значение Р[*м э составляет

116 мм, что на 80% превышает нормированное значение положительного параллакса, равное базису зрения [40].

Чтобы изображение стереопары на экране воспринималось резким, глаза зрителя должны быть всегда аккомодированы на плоскость экрана, а конвергированы на изображение пространственного объекта, которое при наличии горизонтального параллакса не совпадает с плоскостью экрана [16; 34]. Данное рассогласование проявляется в наибольшей степени для участков стереоизображений, сформированных перед экраном (т.е. при воспроизведении объектов ближнего плана), у которых горизонтальный параллакс имеет

отрицательное значение ). Если расстояние, на котором воспринимаются

такие объекты, составляет примерно треть расстояния между зрителем и экраном, то длительное их рассматривание может вызвать ощущение дискомфорта, а при более близких расстояниях - утомление, боль в глазах, головную боль и разрушение стереоскопического эффекта.

Значение максимально допустимого отрицательного горизонтального параллакса на экране Р[ш э, мм, определяется из следующего выражения [24, с.34]:

\Г-

а - 2 аг^

р

1 им э

+ ВЗР

^р

(4)

где а - угол конвергенции, предельное значение которого составляет 30°; Р[шэ- значение максимально допустимого отрицательного параллакса на

экране, мм;

Взр - базис зрения, мм;

Ьзр - расстояние от экрана до глаз зрителя, мм.

Угол а уменьшается с увеличением Ьзр и увеличивается при возрастании Р[шэ. Так, например, при значении Ьзр = 1600 мм и Р[шэ = 800 мм, угол а = 30°,

а при Ьзр = 4500 мм и э = 800 мм, угол а =11°. При Ьзр = 4500 мм и

Р[шэ = 2000 мм, а = 20°.

На практике значение отрицательных горизонтальных параллаксов на экране не должно превышать Н5 базисов зрения (Взр), т.е. 1+5 расстояний между зрачками зрителя (65+325 мм), что как раз и обусловлено возможностью зрительного аппарата человека на разрыв плоскостей аккомодации и конвергенции [25]. При этом часто при расчетах параметров стереосъемки максимально допустимым значением отрицательного горизонтального параллакса на экране принимают 65 мм [26].

Для формирования стереоизображения, восприятие которого будет комфортным для зрителей, надо не только соблюдать требования, предъявляемые к значениям горизонтальных параллаксов, но также необходимо, чтобы изображения стереопары были идентичными по таким параметрам, как контраст, цвет, масштаб и резкость. Важно, чтобы изображения стереопары имели одинаковое разрешение и не имели геометрических искажений и вертикального смещения одноименных точек, определяемого как вертикальный параллакс [41] (рисунок 1.1).

Вертикальный параллакс, наличие которого приводит к сдвигу зрительных осей по вертикали, не нарушает стереоскопического образа, однако требует дополнительного напряжения нервной системы зрителя и, следовательно, вызывает быстрое его утомление. Согласно [41] максимальное значение вертикального параллакса в угловой мере не должно превышать 20'. Так, если первый ряд зрительских мест размещен в 7 м от экрана, то неприемлемым считается параллакс РцМЭболее 40 мм [41].

Нежелательный вертикальный параллакс может возникнуть как вследствие неточного совмещения изображений, так и по причине геометрического рассогласования изображений стереопары.

Так, например, рассогласование масштабов изображений стереопары может возникнуть, если при стереосъемке одна их камер расположена дальше другой от снимаемого объекта, или если у используемых при съемке камер рассогласованы фокусные расстояния объективов. Особенно это становится актуальным при стереосъемке двумя камерами с неоткалиброванными объективами и при синхронном изменении фокусных расстояний (зумировании).

Если при стереосъемке одна из камер повернута относительно другой, вертикальный параллакс также возникнет, в особенности у боковых границ стереопары.

Таким образом, если стереосъемка правых и левых изображений осуществляется двумя камерами, то данные камеры должны быть согласованы по

Таким образом, если стереосъемка правых и левых изображений осуществляется двумя камерами, то данные камеры должны быть согласованы по таким параметрам, как фокусное расстояние объектива, разрешение, выдержка, диафрагма, чувствительность и т.д. Кроме того, во время съемки две камеры должны быть расположены на одной высоте, на одинаковом расстоянии от снимаемого объекта и не иметь взаимного поворота [68] (рисунок 1.7).

Рисунок 1.7- Недопустимые взаимные расположения камер

при стереосъемке

Если в случае стереосъемки на параллельных оптических осях расчетное значение базиса съемки достаточно мало и из-за габаритов камер не может быть обеспечено, стереосъемку осуществляют двумя камерами при помощи специального устройства — зеркальной стерео-платформы, называемой «стереориг» [9]. На таких стерео-платформах одна из камер снимает изображение на просвет, а другая - изображение, отраженное от зеркала (рисунок 1.8). В таком случае имеется возможность изменения взаимного положения камер с базисом съемки от десятых долей миллиметра. Различные конструкции стереоригов и их технические особенности рассмотрены в [9; 32]. В качестве примера стереорига приведем иллюстрацию одного из таких устройств [32] (рисунок 1.9).

Рисунок 1.8 - Схема стереосъемки с применением зеркального стереорига

Рисунок 1.9 - Зеркальный стереориг [32]

При помощи специальных калибровочных таблиц [59] (рисунок 1.10) выполняют юстировку двух камер для обеспечения синхронности их работы. В данном случае качество настройки камер для стереосъемки будет зависеть от субъективного восприятия и квалификации оператора.

Список литературы диссертационного исследования кандидат наук Чафонова, Виктория Германовна, 2014 год

СПИСОК ЛИТЕРАТУРЫ

1. Анаглифные стереофотографии [Электронный ресурс]. - Режим доступа: http://3d-anaglyph.ru/3d-pictures/92-anaglifnye-stereofotografii-zhivotnye.html

2. Аносов, A.B. Разработка и исследование методов передачи стереотелевизионных сигналов по каналам со сжатием цифрового потока: дис. ...канд. тех. наук: 05.12.04 / Аносов Александр Владимирович. - СПб., 2006. - 186 с.

3. Болтянский, А.Г. Расчеты параметров стереокино и фотосъемки для проекции на экран / А.Г. Болтянский // Техника кино и телевидения. - 1957. -№5.-С. 37-49.

4. Валюс, H.A. Стереоскопия / H.A. Валюс. - М.: Изд. АН СССР, 1962. -378 с.

5. Валюс, H.A. Стерео: фотография, кино, телевидение / H.A. Валюс - М: Искусство, 1986. - 263 с.

6. Ватолин, Д.С. Исследование артефактов в стереокино и примеры анализа кинокартин / Д.С. Ватолин, A.A. Воронов, В.В. Нападовский, A.B. Борисов // Запись и воспроизведение объемных изображений в кинематографе и других областях: IV Международная научно-техническая конференция, Москва, 2627 апреля 2012 г.: Материалы и доклады. - М.: МКБК, 2013. - С. 150-154.

7. Волков, С.Н. Анализ изображений стереопары / С.Н. Волков // Техника кино и телевидения. - 1990. - № 8. - С. 36-39.

8. Волкович, А.Н. Восстановление трехмерных моделей объектов по стереоизображениям с учетом распараллеливания / А.Н. Волкович, Д.В. Жук, A.B. Тузиков // Научно-технический вестник СПбГУ ИТМО. - 2008. -№ 13 (58).-С. 3-10.

9. Вспомогательные средства для стереосъемки // Техника кино и телевидения. - 2011. - № 3. - С. 44-62.

10. Газеева, И.В. Алгоритмы цифровой конвергенции изображений стереопары / И.В. Газеева, Г.В. Тихомирова, В.Г. Чафонова//Мир техники кино. -2014. -№31. -С. 10-17.

11. Газеева, И.В. Конвергенция изображений стереопары в программной среде Matlab / И.В. Газеева, Г.В. Тихомирова, В.Г. Чафонова // Сборник статей Международной научно-практической конференции «Актуальные проблемы современной науки». 13-14 декабря 2013 г. - Уфа: РИЦ БашГУ, 2013. - 4.4. -С. 99-102.

12. Газеева, И.В. Системы цифровой стереопроекции: учебное пособие / И.В. Газеева, В.Г. Чафонова. - СПб: СПбГУКиТ, 2013. - 108 с.

13. Гонсалес, Р. Цифровая обработка изображений / Р. Гонсалес, Р.Вудс. -М.: Техносфера, 2005. - 1072 с.

14. Гонсалес, Р. Цифровая обработка изображений в среде MATLAB / Р. Гонсалес, Р. Вудс, С. Эддинс. - М.: Техносфера, 2006. - 621 с.

15. Гошин, Е. Метод согласованной идентификации в задаче определения соответственных точек на изображениях / Е. Гошин, В.А. Фурсов // Компьютерная оптика. - 2012. - Т. 36. - №1. - С. 131-135.

16. Гребенников, О.Ф. Основы записи и воспроизведения информации (в аудиовизуальной технике) / О.Ф. Гребенников, Г.В. Тихомирова. - СПб.: СПбГУКиТ, 2002. - 712 с.

17. Грегори, P.JI. Глаз и мозг. Психология зрительного восприятия / Р.Л.Грегори; предисловие и общая редакция А.Р. Лурия, В.П. Зинченко. -М: Прогресс, 1970.-272 с.

18. Дауров, И.Г. ЗЭ-кинематограф, перспективы малобюджетного производства стереофильмов и практика монтажа стереоконтента / И.Г. Дауров // Запись и воспроизведение объемных изображений в кинематографе и других областях: Научно-техническая конференция, Москва, 23-24 апреля 2009 г.: Материалы и доклады. - М.: МКБК, 2009. - С. 126-148.

19. Детекторы и дескрипторы ключевых точек. Алгоритмы классификации изображений. Задача детектирования объектов на изображениях и методы ее решения [Электронный ресурс]. - Режим доступа:

http ://www. intuit.ru/studies/courses/10621/1105/lecture/17983?page=2

20. Елхов, В.А. Анализ параметров многообъективной съемки в системе безочкового кинопоказа многоракурсных стереоизображений / В.А. Елхов, Н.В.Кондратьев, Ю.Н. Овечкис, JT.B. Паутова // Мир техники кино. - 2010. -№ 17.-С. 2-7.

21. Елхов, В.А. Особенности формирования объемного изображения в цифровом стереоскопическом кинематографе / В.А. Елхов, Н.В. Кондратьев, Ю.Н. Овечкис, Л.В. Паутова // Мир техники кино. - 2011. - № 20. - С. 4-8.

22. Земсков, Д.И. Способы визуальной оценки параллаксов стереоизображения при киносъемке и видеопроизводстве / Д.И. Земсков// Запись и воспроизведение объемных изображений в кинематографе и других областях: Научно-техническая конференция, Москва, 21-22 апреля 2011г.: Материалы и доклады. - М.: МКБК, 2011. - С. 114-120.

23. Иванов, Б.Т. Стереокинотехника / Б.Т.Иванов. - М: Искусство, 1956. -216 с.

24. Комар, В.Г. Необходимость нормирования параметров стереопары и стереопроекции с целью снижения зрительного дискомфорта в условиях кинозала / В.Г. Комар, С.Н. Рожков, Д.А. Чекалин // Мир техники кино. — 2012. — №24.-С. 31-44.

25. Кузнецов, С.А. Основы кинотехники. Получение стереоскопического фотоизображения / С.А. Кузнецов. - СПб.: СПбГУКиТ, 2004. - 26 с.

26. Мелкумов, А.С. Алгоритм подбора параметров стереокиносъемки вне зависимости от методов регистрации стереопары / А.С. Мелкумов // Мир техники кино.-2014.-№32.-С. 28-36.

27. Мелкумов, А.С. Инструментарий для малобюджетной стереосъемки / А.С. Мелкумов // Мир техники кино. - 2011. - № 22. - С. 25-32.

28. Мелкумов, A.C. Основы стереографии / A.C. Мелкумов // Мир техники кино,-2010.-№ 18.-С. 30-38.

29. Мелкумов, A.C. Стереосъемка в цифровом формате / A.C. Мелкумов // Мир техники кино. - 2009. - № 12. - С. 35-38.

30. Мелкумов, A.C. Стереосъемка одной цифровой камерой по системе «СТЕРЕО-70» / A.C. Мелкумов // Мир техники кино. - 2010. - № 17. - С. 25-28.

31. Овсянникова, H.A. К вопросу о выборе оптимальных параметров в стереокиносъемке / H.A. Овсянникова, Б.Т. Иванов // Журнал научной и прикладной фотографии и кинематографии. - 1961. - Т.6. - № 2. - С. 144-146.

32. Особенности стереоригов или как правильно снимать стерео [Электронный ресурс]. - Режим доступа: http://www.showroom.ru/article_txt.php?a= 202

33. Поляков, А.Ю. Варианты построения системы цифрового объемного телевидения 3DTV / А.Ю. Поляков // Запись и воспроизведение объемных изображений в кинематографе и других областях: Вторая научно-техническая конференция, Москва, 22-23 апреля 2010 г.: Материалы и доклады. - М.: МКБК, 2010.-С. 99-110.

34. Проворное, С.М. Основы кинотехники: Конспект лекций, вып. 3./ С.М. Проворнов. - Л.: ЛИКИ, 1975. - 68 с.

35. Прэтт, У. Цифровая обработка изображений / У. Прэтт; пер. с англ. - М.: Мир, 1982.-312 с.

36. Раев, О.Н. Искажения глубины пространства при цифровой стереосъемке, вызванные дискретизацией сигнала изображения по горизонтальной пространственной координате / О.Н. Раев // Запись и воспроизведение объемных изображений в кинематографе и других областях: IV Международная научно-техническая конференция, Москва, 26-27 апреля 2012 г.: Материалы и доклады. -М.: МКБК, 2013. - С. 67-88.

37. Раев, О.Н. Особенности цифровой стереосъемки при конвергированных оптических осях объективов / О.Н. Раев // Мир техники кино. - 2013. - № 27. -С. 25-29.

38. Раев, О.Н. Стереотехнологии в кинематографе и в кинообразовании. К итогам III Международного 3D-CTepeo кинофестиваля 2012 года / О.Н. Раев // Мир техники кино. - 2013. - № 27. - С. 3-4.

39. Рожков, С.Н. Восприятие стереокиноизображения и организация стереопроекции в проектируемых и переоборудуемых кинозалах / С.Н. Рожков // Запись и воспроизведение объемных изображений в кинематографе и других областях: Научно-техническая конференция, Москва, 23-24 апреля 2009 г.: Материалы и доклады. - М.: МКБК, 2009. - С. 87-102.

40. Рожков, С.Н. Особенности восприятия стереоизображения в кинозале / С.Н. Рожков // Мир техники кино. - 2008. - № 10. - С. 10-15.

41. Рожков, С.Н. О специальных требованиях к демонстрированию стереофильмов в кинотеатрах и целесообразности стандартизации основных параметров цифровой стереокинопроекции, определяющих ее качество / С.Н. Рожков, Д.Г. Чекалин // Запись и воспроизведение объемных изображений в кинематографе и других областях: Вторая научно-техническая конференция, Москва, 22-23 апреля 2010 г.: Материалы и доклады. - М.: МКБК, 2010. - С. 138158.

42. Рожков, С.Н. Стереоскопия в кино-, фото-, видеотехнике. Терминологический словарь / С.Н. Рожков, H.A. Овсянникова. - М.: Парадиз, 2003.- 138 с.

43. Рожкова, Г.И. Фузионные способности человека и возможности расширения диапазона параллаксов в стереофильмах без увеличения нагрузки на зрительную систему / Г.И. Рожкова, H.H. Васильева, С.Н. Рожков // Запись и воспроизведение объемных изображений в кинематографе и других областях: Научно-техническая конференция, Москва, 23-24 апреля 2009 г.: Материалы и доклады. - М.: МКБК, 2009. - С. 75-86.

44. Стереоскопический кинематограф. Конспект лекций [Электронный ресурс]. - Режим доступа: http://www.stereokino.ru/konspekt_new.htm

45. Форматы изображений: JPEG И TIFF [Электронный ресурс]. - Режим доступа: http://www.cambridgeincolour.com/ru/tutorials/imagetypes.htm

46. Форсайт, Д. Компьютерное зрение. Современный подход / Д. Форсайт, Ж. Понс; пер. с англ. - М.: Издательский дом «Вильяме», 2004. - 928 с.

47. Цифровая обработка 2D- и 3D-изображений: учебное пособие для студентов вузов, обучающихся по направлению подготовки 230400 «Информационные системы и технологии» / H.H. Красильников. - СПб.: БХВ-Петербург, 2011.-608 с.

48. Чафонова, В.Г. Автоматизация контроля и коррекции разномасштабности изображений стереопары / В.Г. Чафонова, И.В. Газеева, Г.В. Тихомирова //Мир техники кино. - 2014. - № 33. - С. 19-31.

49. Чафонова, В.Г. Коррекция геометрических искажений растровых цифровых изображений методом цифровой обработки / В.Г. Чафонова// Материалы научных и творческих конференций «Неделя науки и творчества -2013», 15-27 апреля 2013 г. - СПб.: СПбГУКиТ, 2013. - С. 202-203.

50. Чафонова, В.Г. Методы формирования изображений стереопары с заданным значением параллакса / В.Г. Чафонова, И.В. Газеева // Научно-технический вестник информационных технологий, механики и оптики. - 2014. -№6 (94).-С. 41-47.

51. Чемерис, Д.С. Исследование методов определения геометрического рассогласования двух изображений для решения задачи оптического наведения и стыковки подводного робота [Электронный ресурс] / Д.С. Чемерис, И.Н. Бурдинский // Проектирование инженерных и научных приложений в среде MATLAB: материалы V Международной научной конференции. - Харьков: ФЛП Шейнина Е.В., 2011. - Режим доступа:

http://matlab.ru/upload/resources/EDU%20Conf/pp%20465-470%20Chemeris.pdf

52. Чертихин, A.A. Анализ применимости дескрипторов к задаче поиска соответствий между кадрами стереопары / A.A. Чертихин // Запись и воспроизведение объемных изображений в кинематографе и других областях: V Международная научно-техническая конференция, Москва, 18-19 апреля 2013 г.: Материалы и доклады. - М.: МКБК, 2013. - С. 117-125.

53. Чертихин, A.A. Использование алгоритма поиска ключевых точек в информационной системе, обеспечивающей стабильность кадра при оцифровке архивных киноматериалов / A.A. Чертихин, А.И. Винокур // Мир техники кино. -2012. -№26. -С. 20-24.

54. Шацкая, А.Н. Основы стереофотокиносъемки / А.Н. Шацкая. - М.: Искусство, 1983. - 152 с.

55. Шацкая, А.Н. Ответ на статью H.A. Овсянниковой и Б.Т. Иванова «К вопросу о выборе оптимальных параметров в стереокиносъемке» / А.Н. Шацкая // Журнал научной и прикладной фотографии и кинематографии. - 1961. - Т.6. -№2.-С. 146-149.

56. Шацкая, А.Н. Требуемая точность определения основных параметров стереокиносъемки / А.Н. Шацкая // Техника кино и телевидения. - 1962. - № 6. -С. 55-59.

57. Яне, Б. Цифровая обработка изображений / Яне Б. - М.: Техносфера, 2007.-584 с.

58. 3D Tutorial - Create Stereoscopic 3D Videos for YouTube using Adobe Premier [Электронный ресурс]. - Режим доступа: http://www.youtube.com/watch?v=KbFhduJobss

59. 3D & Visual F/X [Электронный ресурс]. - Режим доступа: http://dsclabs.eom/dsc-products/3d-visual-fx/#.U58_Hvl_uSo/

60. Adobe Premiere Pro CC [Электронный ресурс]. - Режим доступа: http: //www. adobe. com/ru/pro duct s/premiere. html

61. Anaglyph Maker [Электронный ресурс]. - Режим доступа: http://anaglyph-maker.en.softonic.com/

62. Apple Online Store [Электронный ресурс]. - Режим доступа: http://www.apple.com/final-cut-pro/

63. Bay, Н. SURF: Speeded Up Robust Features / H. Bay, A. Ess, T. Tuytelaars, L.V. Gool // Computer Vision and Image Understanding. - 2008. - V. 110. - № 3. -P. 346-359.

64. Digital image интерполяция [Электронный ресурс]. - Режим доступа: http://www.cambridgeincolour.com/tutorials/image-inteфolation.htm

65. Harris, С. Combined Corner and Edge Detector / C. Harris, M.A. Stephens // Proceeding of the 4th Alvey Vision Conference, 1988. - P. 147-151.

66. Matas, J. Robust wide baseline stereo from maximally stable extremal regions / J. Matas, O. Chum, M. Urba, T. Pajdla // Proceedings of British Machine Vision Conference, 2002. - P. 384-393.

67. MATLAB. The Language of Technical Computing [Электронный ресурс]. -Режим доступа: http://www.mathworks.com/

68. Mendiburu, В. 3D Movie Making: Stereoscopic Digital Cinema from Script to Screen / B. Mendiburu. - Burlington, USA: Elsevier, Inc., 2009. - 223 p.

69. Middlebury Stereo Datasets [Электронный ресурс]. - Режим доступа: http://vision.middlebury.edu/stereo/data/scenes2005/FullSize/Dolls/

70. Mikolajczyk, К. A Comarison of Affine Region Detectors / K. Mikolajczyk, T. Tuytelaars, C. Schmid, A. Zisserman, T. Kadir, L.V. Gool // International Journal of Computer Vision. - 2005. - V. 65.-№l.-P. 43-72.

71. Motorcycle vs. Car Drift Battle 2 extreme sports video in 3D. 3D Media Revolution TV [Электронный ресурс]. - Режим доступа:

http ://www.youtube .com/watch? v=QmakN-l 8E1Y

72. Reddy, B.S. An fft-based technique for translation, rotation, and scale-invariant image registration /B.S. Reddy, B.N. Chatterji // IEEE Trans. Pattern Analysis and Machine Intelligence. - 1996. - P. 1266-1270.

73. Rosten, E. Faster and better: A machine learning approach to corner detection / E. Rosten, R. Porter, T. Drummond // IEEE Trans. Pattern Analysis and Machine Intelligence.-2010.-V. 32.-№ l.-P. 105-119.

74. Rosten, E. Fusing points and lines for high performance tracking / E. Rosten, T. Drummond // 10th IEEE International Conference on Computer. - 2005. - V. 2. -P. 1508-1515.

75. Rosten, E. Machine learning for high-speed corner detection / E. Rosten, T. Drummond // ECCV'06 Proceedings of the 9th European conference on Computer Vision. -2006. - V. l.-P. 430-443.

76. Roxio [Электронный ресурс]. - Режим доступа: http://www.roxio.com/

77. Shi, J. Good Features to Track / J. Shi, C. Tomasi // Proceeding of the IEEE Conference on Computer Vision and Pattern Recognition, 1994. - P.593-600.

78. StereoPhoto Maker [Электронный ресурс]. - Режим доступа: http://stereo.jpn.org/eng/stphmkr/

79. StereoMovie Maker [Электронный ресурс]. - Режим доступа: http ://stereo .j pn. org/eng/stvmkr/

80. Stereoscopic 3D Editing in Final Cut Pro X Tutorial [Электронный ресурс]. -Режим доступа: http://www.youtube.com/watch?v=k8Ktr4Wu00c

81. Triaxes 3DMasterKit [Электронный ресурс]. - Режим доступа: http://www.triaxes.ru/products/software/3dmasterkit/

82. Vegas Pro 13 [Электронный ресурс]. - Режим доступа: http://www.sonycreativesoftware.com/vegaspro

83. Vokrug3d.ru [Электронный ресурс]. - Режим доступа: http://vokrug3d.ru/file/4-anaglyph-maker.html

84. Voronov, A. Methodology for stereoscopic motion-picture quality assessment [Электронный ресурс] / A. Voronov, D. Vatolin, D. Sumin, V. Napadovsky, A. Borisov. - Режим доступа: http://www.compression.ru/video/vqmt3d/

85. Zoner 3D Photo Maker [Электронный ресурс]. - Режим доступа: http ://zoner-3 d-photo-maker. software, informer, com/

Приложение А (обязательное)

Рабочие окна программ по обработке изображений и видео в стереоформате

Г АЛ*0У1» сr»y <R*d-Cveo) О Anagtyph Color (Red-Cyan) Г Anagtyph »«Ow Г Anagtyph Red-Blue Г МИич LC-Sf>un«r(k-R-L-R) Г ЭО-tCO (l-R-l-R)

6o9htne»»jJ Сохгая < I

►Jiö—

Nahe 30 tmaoe

Рисунок А. 1 - Рабочее окно программы "Anaglyph Maker"

Рисунок А.2 - Рабочее окно программы "Roxio Central"

УМсо effedi

» ь ш notM

в PO-,топ ЭЗЗЛ о

► в Seal« »

У Uniform Sc«le

► 1*1 ßotifior

в *ndiOf Po -т! ; О

► ft AnD-Jlicker . v /> Openly

► * tin'.,

Ble-4Mode : rnr.v 0 » ► Гам ReiMpyiwl » A СЫо» B<Lntr (RGB)

► 19 RH

► tt Greer

► в Blue

Рисунок A.3 - Рабочее окно программы "Adobe Premier Pro" [58]

А Б

Рисунок A.4 - Рабочее окно программы "Sony Vegas Pro" (A)

и его фрагмент (Б) [82]

Effert» «1

Pi У '■ • 5иооЗО Toott>oa L£ uoinputTyp« жмьу«хм : so Output Uco« ta^oouaniMt : MMGkMIMi UMOOMUC« СОЯ11Ц111И Д в Var*c* OopOTtr Д 0 OHpanty Д 0 ЬмОармг Д в мнет Вм9<Мра1 Lafi 1иц| WM WfN Inf w

Color * •»

Рисунок А.5 - Рабочее окно программы "Final Cut Pro" [80]

Листинг программы к реализации алгоритма совмещения стереопары, основанного на корреляции изображений, в программной среде MATLAB

%L - левый кадр стереопары, R - правый кадр стереопары %

Рх=0 %значение требуемого горизонтального параллакса, по умолчанию

равно нулю%

Ру=0 %значение требуемого вертикального параллакса, по умолчанию равно нулю%

К=1 %значение коэффициента уменьшения разрешения, по умолчанию равно единице%

if numel(size(L))==2

Q2r=cat(3,L(: , : , 1) , R ( : , : , 1) , R ( : , : , 1) ) ; else

AR1=L ( :, :,1); BG1=R(:,:,2); BB1=R(:,:,3); end

%на экран выводится анаглифное изображение исходной стереопары% %необходимо выделить объект, для которого в дальнейшем будет выставлено заданное ранее значение горизонтального параллакса% figure,

[SQ1,cQl,rQl]=roipoly(Q2r); figure,

[SQ2,cQ2,rQ2]=roipoly(Q2r);

xl=round(cQl); yl=round(rQl) ; x2=round(cQ2); y2=round(rQ2) ; Ln=L(yl:y2,xl:x2,:); Rn=R(yl:y2,xl:x2,:);

gLL=Ln(1:К:end,1:К:end,:); gRR=Rn(1:K:end,1:K:end,:);

%c помощью заданных координат двух точек образуются левое и правое изображения выделенного объекта!

if ((round((round(numel(gLL(1,:,1))))./2)),*2) == round(numel(gLL(1, :, 1) ) )

if ((round((round(numel(gLL(:,1,1))))./2)).*2) ==

round(numel(gLL(:,1,1)))

gL=gLL;

else

gL=gLL(1:end-1, :,:);

end

else

if ((round((round(numel(gLL(:,1,1))))./2)).*2) == round(numel(gLL( : , 1, 1) ) ) gL=gLL ( :, 1:end-1, :); else

gL=gLL(1:end-1, 1:end-1,:);

end

end

if ((round((round(numel(gRR(l,:,1))))./2)).*2) == round(numel(gRR(1, :, 1)))

if ((round((round(numel(gRR(:,1,1))) ) ./2)) ,*2) ==

round(numel(gRR(:,1,1)))

gR=gRR;

else

gR=gRR(1:end-1, :,:);

end

else

if ((round((round(numel(gRR(:,1,1))))./2)).*2) == round(numel(gRR(:,1,1))) gR=gRR ( :, l:end-l,:); else

gR=gRR(l:end-1, 1:end-1,:);

end

end

% образуются градиенты левого и правого изображений выбранного объекта!

VGL=colorgrad(gL); VGR=colorgrad(gR);

^выполняется корреляция двух изображений!

g=imfilter(mat2gray(VGR), mat2gray(VGL), 'corr',0, 'same');

% определяются координаты точки максимума в результирующей матрице корреляции!

Y,X]=find(g==max(g(:)))

! определяется в пикселах сдвиг одного градиентного изображения

относительно другого!

shiftXl = X - (numel(g(1,:,1)))./2

shiftYl = Y - (numel(g(:,1,1)))./2

! определяется в пикселах необходимый сдвиг левого изображения стереопары относительно правого!

shiftX = shiftXl*K-Px shiftY = shiftYl*K-Py

^определяется конечный размер итоговых кадров стереопары с учетом заданного ранее коэффициента уменьшения разрешения, нулевого вертикального параллакса и заданного ранее значения горизонтального параллакса!

if shiftX > О if shiftY > О

A2=L(1:end-shiftY, 1:end-shiftX,:); B2=R(1 +shiftY:end, 1 + shiftX:end, :) ; else

A2=L (1-shiftY:end, 1:end-shiftX, :); B2=R(1:end+shiftY, 1+shiftX:end,:); end else

if shiftY > 0

A2=L(1:end-shiftY, 1-shiftX:end, : ) ; B2=R(1 + shiftY:end, 1:end+shiftX, :) ; else

A2=L (1-shiftY:end, 1-shiftX:end, :) ; B2=R(1:end+shiftY, 1:end+shiftX,:); end end

LNEW=A2; RNEW=B2;

% формируется изображение, предназначенное для просмотра в анаглифных

красно-голубых очках!

AR=A2(:,:,1);

BG=B2 ( :, :,2) ;

ВВ=В2 ( :, : ,3) ;

Q=cat(3,AR,BG,BB);

figure, imshow(Q,[])

Листинг программы к реализации алгоритма совмещения стереопары, основанного на применении детекторов точечных особенностей изображений, в программной среде MATLAB

%L - левый кадр стереопары, R - правый кадр стереопары %

Рх=0 %значение требуемого горизонтального параллакса, по умолчанию

равно нулю%

Ру=0 %значение требуемого вертикального параллакса, по умолчанию равно нулю%

К=1 %значение коэффициента уменьшения разрешения, по умолчанию равно единице!

LLLL1=L(1:К:end,1:К:end,:); RRRR1=R(1:К:end,1:К:end, :) ;

% Формирование полутоновых изображений левого и правого исходных кадров %

I3D1 = rgb2gray(LLLL1); I2D1 = rgb2gray(RRRR1);

%на экран выводится левое изображение исходной стереопары! !необходимо выделить объект, для которого в дальнейшем будет выставлено заданное ранее значение горизонтального параллакса! figure,

[SD1,cDl,rDl]=roipoly(LLLL1);

! Формирование полутонового изображения выделенного объекта на черном фоне !

13ITOGDl=immultiply(SD1,I3D1);

! Нахождение сопряженных ключевых точек на полутоновых изображениях при помощи детектора точечных особенностей изображений FAST ! I3IT0GD1Points = detectFASTFeatures(I3IT0GD1); I2IT0GDlPoints = detectFASTFeatures(I2D1);

[I3IT0GD1Features,I3IT0GDlPoints] = extractFeatures(I3IT0GD1, I3IT0GD1Points);

[12IT0GD1Features, 12ITOGDIPoints] = extractFeatures(I2D1, 12IT0GD1Points);

I3IT0GDlPairs = matchFeatures(I3IT0GDlFeatures, 12ITOGDIFeatures); matchedI3ITOGDIPoints = I3IT0GDlPoints(l3lT0GDlPairs(:, 1), :); matchedl2ITOGDIPoints = I2IT0GDlPoints(I3IT0GDlPairs(: , 2), :);

% Вычисляется количество обнаруженных сопряженных ключевых точек % n3IT0GDl=length(matchedl3lT0GDlPoints)

if n3IT0GDl>l

^Вычисление значений сдвига одного изображения относительно другого$ if n3ITOGDl==2 n3IT0GD1=1

end

if n3lT0GDl==l

PointlXnSVIT0GDl=matchedI3IT0GDlSPoints.Location(1,1) ; PointlYnSVIT0GDl=matchedI3IT0GDlSPoints.Location(1, 2) ; Point2XnSVIT0GDl=matchedI21T0GD1SPoints.Location(1,1); Point2YnSVITOGDl=matchedI2IT0GD1SPoints.Location(1,2); shiftXnSVIT0GDl=Point2XnSVIT0GDl -PointlXnSVITOGDl; shiftYnSVITOGDl=Point2YnSVIT0GDl-Point1YnSVITOGDl; shiftXDl=shiftXnSVITOGDl*KX-Px; shiftYDl=shiftYnSVITOGDl*KY-Py;

^определяется конечный размер итоговых кадров стереопары с учетом заданного ранее коэффициента уменьшения разрешения, нулевого вертикального параллакса и заданного ранее значения горизонтального параллакса! if shiftXDl > О if shiftYDl > О

A2D1=L(1:end-shiftYDl, 1:end-shiftXDl,:); B2D1=R(1+shiftYDl:end, 1+shiftXDl:end,:); else

A2D1=L (1-shiftYDl:end, 1:end-shiftXDl,:); B2D1=R(1:end+shiftYDl, 1 + shiftXDl:end, :) ; end else

if shiftYDl > 0

A2D1=L(1:end-shiftYDl, 1-shiftXDl:end, : ) ; B2D1=R(1+shiftYDl:end, 1:end+shiftXDl,:); else

A2D1=L (1-shiftYDl:end, 1-shiftXDl:end,:); B2D1=R(1:end+shiftYDl, 1:end+shiftXDl,:); end end

LNEW=A2D1; RNEW=B2D1;

% формируется изображение, предназначенное для просмотра в анаглифных

красно-голубых очках!

ARD1=A2D1(:,:,!);

BGD1=B2 DI(:, :,2) ;

BBD1=B2DI ( :, :,3) ;

QDl=cat(3,ARDI,BGD1,BBD1);

figure, imshow(QD1,[])

end

if n3ITOGDl >2

if ((round((round(n3IT0GDl))./2)).*2) == round(n3lT0GDl)

no3lT0GDl =n3IT0GDl-l

else

no3IT0GDl =n3IT0GDl end

for nSV =l:no3IT0GDl

PointlXnSVIT0GD1(nSV)= matchedI3IT0GDlSPoints.Location(nSV, 1) ; PointlYnSVIT0GD1(nSV)= matchedl3IT0GDlSPoints.Location(nSV,2); Point2XnSVIT0GDl(nSV)= matchedI2IT0GDlSPoints.Location(nSV,1); Point2YnSVITOGDl(nSV)= matchedI2ITOGDISPoints.Location(nSV,2); shiftXnSVIT (nSV)=((Point2XnSVIT0GDl(nSV)-PointlXnSVITOGDl(nSV))); shiftYnSVIT (nSV)=((Point2YnSVITOGDl(nSV)-PointlYnSVITOGDl(nSV))); end

^определяется медианное значение параллаксов % SHYMEDnSVITOGDl=median(shiftYnSVITl SHXMEDnSVITOGDl=median(shiftXnSVIT))

for nSVITOGDl =1:no3IT0GDl

if shiftXnSVITOGDl (nSVITOGDl)==SHXMEDnSVITOGDl

MEDIANXSV(nSVITOGDl)=nSVITOGDl

end

if shiftYnSVITOGDl(nSVITOGDl)==SHYMEDnSVITOGDl

MEDIANYSV(nSVITOGDl)=nSVITOGDl

end

end

nMedSVX=length(MEDIANXSV) nMedSVY=length(MEDIANYSV) if nMedSVX>nMedSVY

nMedSV=nMedSVY else

nMedSV=nMedSVX

end

if n3ITOGD1 >2 if nMedSV==l

nmedianSV=l if MEDIANXSV(nmedianSV)>0 if MEDIANYSV(nmedianSV)<0 POINTMEDIANSV=0 else

POINTMEDIANSV= nmedianSV

end

else

POINTMEDIANSV=0

end

end

for nmedianSV=l:nMedSV if MEDIANXSV(nmedianSV)>0 if MEDIANYSV(nmedianSV)<0

POINTMEDIANSV=0 else

POINTMEDIANSV= nmedianSV

break

end

else

POINTMEDIANSV=0

end

end

^определяется конечный размер итоговых кадров стереопары с учетом заданного ранее коэффициента уменьшения разрешения, нулевого вертикального параллакса и заданного ранее значения горизонтального параллакса!

if POINTMEDIANSV>0

shiftXDl=(round(SHXMEDnSVITOGDl))*KX-Px shiftYDl=(round(SHYMEDnSVITOGDl) ) *KY-Py if shiftXDl > 0 if shiftYDl > 0

A2D1=L(1 :end-shiftYDl, 1 : end-shiftXDl, :); B2D1=R(1 + shiftYDl: end, 1 + shiftXDl: end, : ) ; else

A2D1=L (1-shiftYDl: end, 1 :end-shiftXDl,:); B2D1=R(1 :end+shiftYDl, 1+shiftXDl: end, :) ; end else

if shiftYDl > 0

A2D1=L(1 :end-shiftYDl, 1-shiftXDl: end, :); B2D1=R(1 + shiftYDl: end, 1 :end+shiftXDl, :); else

A2D1=L (1-shiftYDl: end, 1-shiftXDl: end, :) ; B2D1=R(1 :end+shiftYDl, 1 :end+shiftXDl, :); end end

ARD1=A2 D1(:, :,1) ; BGD1=B2D1 ( :, :,2) ; BBD1=B2D1(:, :,3) ; QDl=cat(3,ARDI,BGD1,BBD1); figure, imshow(QD1,[])

LNEW=A2D1; RNEW=B2D1; end else

% В случае если при помощи детектора FAST ключевые точки не оказались обнаружены, нахождение сопряженных точек на полутоновых изображениях осуществляется при помощи детектора точечных особенностей изображений SURF аналогичным способом! end.

Примеры изображений стереопар, на которых проведено исследование эффективности разработанных методов и алгоритмов совмещения стереопары

В Г

Рисунок Г.1 - Стереопары, полученные съемкой на параллельных осях: А - не совмещенная; Б - совмещенная по девушке, сидящей в середине пространственной композиции; В - совмещенная по девушке, сидящей на переднем плане; Г - совмещенная по девушке, стоящей на заднем плане.

А Б

Рисунок Г.2 - Стереопары, совмещенные по разным объектам:

А - исходная стереопара, совмещенная по объекту переднего плана

(голова собаки) [1]; Б - стереопара, совмещенная разработанными методами

по дальнему объекту (задняя лапа собаки)

В Г

Рисунок Г.З - Стереопары с изображением множества похожих друг на друга объектов: А - исходная [61]; Б - ее выделенный объект; В - совмещенная по выбранному объекту (горы) при помощи разработанного метода, основанного на корреляции изображений; Г - фрагмент полученной стереопары

А Б

Рисунок Г.4 - Стереопары с наличием шума в изображениях: А - исходная; Б - совмещенная по выбранному объекту (рисунок котенка)

Б

Рисунок Г.5 - Анаглифные изображения стереопары, состоящей из кадров видеопоследовательности: А - исходное [71]; Б - полученное после совмещения разработанными методами

Б

Рисунок Г.6 - Анаглифные изображения стереопары, состоящей из кадров видеопоследовательности с размытием движущихся объектов: А - исходное [71]; Б - полученное после совмещения разработанными методами

А Б

Рисунок Г.7 - Стереопары, кадры которых имеют высокую степень сжатия: А - исходная; Б - совмещенная по выбранному объекту (шкатулка)

А Б

Рисунок Г.8 - Кадры стереопары, снятые с различным освещением:

А - левый; Б - правый [69]

А Б

Рисунок Г.9 - Выделение объекта, по которому в дальнейшем будут совмещены кадры стереопары (А), ее фрагмент (Б)

А Б

Рисунок Г. 10 - Стереопара, исходные кадры которой имеют различную яркость, совмещенная по выбранному объекту при помощи разработанных

методов (А), ее фрагмент (Б)