Методы и алгоритмы анализа, передачи и визуализации данных в системах компьютерного стереозрения тема диссертации и автореферата по ВАК РФ 05.13.17, кандидат физико-математических наук Протасов, Станислав Игоревич

• Протасов, Станислав Игоревич
• кандидат физико-математических наук
• 2012

Оглавление диссертации кандидат физико-математических наук Протасов, Станислав Игоревич

Оглавление.

Введение.

Глава 1. Современные модели, методы и алгоритмы компьютерного стереозрения.

1.1. Компьютерное стереозрение с точки зрения искусственноинтеллектуальных систем.

1.2. Обзор существущих моделей, методов и алгоритмов компьютерного стереозрения.

1.2.1. Математические модели компьютерного стереозрения.

1.2.2. Способы получения стереоизображений.

1.2.3. Классификация алгоритмов стереосопоставления.

1.2.4. Методы и алгоритмы получения трёхмерных данных по карте глубины.

1.3. Выводы о существующих моделях, методах и алгоритмах компьютерного стереозрения.

Глава 2. Математическая модель компьютерного стереозрения.

2.1. Модель копьютерного стереозерния.

2.2. Выводы.

Глава 3. Методы получения и анализа стереопотока.

3.1. Задачи систем стереозрения реального времени.

3.2. Метод синхронизации камер.

3.3. Метод стереокалибровки камер.

3.4. Метод ректификации изображений на основании данных стереокалибровки.

3.5. Метод ректификации стереоизображений по сцене без калибровки камер.

3.6. Цветовая калибровка изображений.

3.7. Передача изображений.

3.8. Модификации локальных алгоритмов стереосопоставление.

3.8.1. Интегральные градиентные изображения.

3.8.2. Оценка алгоритмов стереосопоставления.

3.8.3. Пост-фильтрация диспаритетов.

3.8.4. Выделение множества точек для построения модели.

3.8.5. Применение ОРвРи к задаче стереосопоставления.

3.8.6. Выводы о модификациях локальных алгоритмов стереосопоставления.

3.9. Трёхмерное моделирование по карте глубины.

3.10. Подавление шумов.

3.11. Выводы о методах получения и анализа стереопотока.

4. Анализ и разработка программного комплекса.

4.1. Архитектура системы.

4.2. Характеристики производительности системы.

4.3. Практические приложения распределённого программного комплекса компьютерного стереозрения.

4.4. Выводы.

Введение диссертации (часть автореферата) на тему «Методы и алгоритмы анализа, передачи и визуализации данных в системах компьютерного стереозрения»

Актуальность темы. В настоящее время формирование и обработка стереоизображений являются одними из актуальных направлений научных и прикладных исследований. Практические разработки в области компьютерного стереозрения активно ведутся лабораториями всего мира; так в конце 2012 г. были опубликованы новые результаты исследований лабораторий School of electrical and computer engineering Университета Оклахомы (г. Норман, США), Video Processing Laboratory Университета Калифорнии (г. Сан-Диего, США), Intelligent system research group института исследований и технологии (г. Мадрид, Испания), Microsoft Research Cambridge (г. Кембридж, Великобритания). Информационные системы компьютерного зрения решают задачи контроля производства, безопасности, автоматизации документооборота, удалённого присутствия, представления информации и др. Алгоритмы компьютерного зрения используются для навигации мобильных роботов (Т. Лозано-Перез), беспилотных летательных аппаратов (А. Барри) [1], автомобилей (С. Трун) и т.д. Решение задач высокоскоростной обработки изображений является важным показателем производительности аппаратно-программных комплексов.

Несмотря на то, что практическому решению задач в области стереозрения уделяется существенное внимание, до сих пор математические модели были разработаны лишь для этапов калибровки фото- и видеокамер и задач стереосопоставления. Осуществлялись попытки включить модуль машинного стереозрения в математическую модель решения прикладных задач. Во многих известных моделях получение стереопар и стереосопоставление трактуются как «чёрные ящики». Так, А.Ю. Кручинин рассматривает стереозрение как часть модели адаптивной системы для навигации подвижного робота, а формирование потока снимков в модели осуществляет отдельная подсистема взаимодействия с объектом. JLB. Паутовой была предложена математическая модель лишь для задачи стереовизуализации. к

Представленная диссертационная работа призвана восполнить пробел в этом классе моделей: в ней создана математическая модель компьютерного стереозрения, которая включает в себя ряд существующих разрозненных наработок в области моделирования, а также новые компоненты, описывающие синхронизацию потоков изображений и ректификацию изображений.

Разработка математической модели захвата стереоизображений - как части модели компьютерного стереозрения - позволяет подойти к задаче получения стереопотока с точки зрения её программного воплощения. Это даёт возможность при моделировании захвата стереоизображений видеокамерами реализовать адекватные существующим аппаратным комплексам программно-аппаратные системы с необходимым разрешением и частотой кадров минимальными техническими средствами, например, использованием ноутбука со встроенной и одной дополнительной шеЬ-камерой.

Диссертационная работа выполнена на кафедре цифровых технологий Воронежского государственного университета по НИР «Разработка новых методов обработки, хранения, передачи и защиты информации в информационно-коммуникационных системах» № ГР 01200956642 (20092010 гг.); «Разработка новых методов обработки, хранения и передачи информации в информационно-коммуникационных системах» № ГР 01201170666 (2011 г.) аналитической ведомственной целевой программы «Развитие научного потенциала высшей школы».

Цель и задачи исследования. Цель работы - создание математической модели и теоретических методов для систем компьютерного стереозрения, информационных процессов получения и преобразования стереоизображений и их реализация в виде системы алгоритмов и программного комплекса.

Для достижения цели в работе решались следующие задачи:

1. Разработка математической модели стереозрения, совместимой с современными моделями и методами стереовизуализации, трёхмерной визуализации, алгоритмами стереоспоставления и стабилизации изображения, экспертными оценками методов синхронизации.

2. Создание комплекса методов получения стереопары: синхронизации потоков изображений, цветовой калибровки стереоизображений, ректификации изображений и передачи стереоизображений; фильтрации карты глубины; распараллеливания локальных алгоритмов стереосопоставления; генерации и визуализации пространственных данных. Исследование методов передачи стереоизображений по каналам связи.

3. Разработка алгоритмов анализа, подготовки и фильтрации изображений с камер и дальнометрических изображений в системах компьютерного стереозрения; алгоритмов формирования трёхмерных моделей по дальнометрическим изображениям и других алгоритмов, реализующих предложенные методы.

4. Создание программного комплекса, реализующего предложенные алгоритмы получения, обработки и визуализации стереоизображений, особенностью которого является слабая связность модулей, кросс-платформенная реализация и ориентированность на параллельную обработку данных.

Объект исследования - данные в виде цифровых изображений и стереоизображений, получаемые от видеокамер, дальнометрические изображения, пространственные полигональные модели; предмет исследования - модель преобразования информации в системах стереозрения, методы фильтрации изображений, алгоритмы анализа цифровых и дальнометрических изображений, комплексы программ создания и обработки стереоизображений.

Методы исследования. При выполнении работы использовались: методы математического и компьютерного моделирования, теории алгоритмов, теории вероятностей, параллельной и распределённой обработки данных, численные методы, методы визуального проектирования.

Новизна работы:

1. Создана единая расширяемая математическая модель получения и обработки стереоизображений, совместимая с большинством современных разработок в сфере компьютерного зрения, дающая возможность использовать как существующие, так и вновь создаваемые методы и алгоритмы для реализации её частей. Предлагаемая модель допускает возможность параллельной независимой визуализации стереоизображений и трёхмерных моделей снимаемой сцены в реальном масштабе времени.

2. Разработаны: теоретический метод синхронизации потоков изображений с ШВ-камер, использующий особенности частотного распределения кадров и обеспечивающий необходимую точность синхронизации; оптимизационный теоретический метод ректификации стереопары по сцене без предварительной стереокалибровки камер на основе метода стабилизации видеопотока, преимуществом которого является полностью автоматический подход; теоретический метод фильтрации карты глубины, основанный на гипотезе Хенкеля о связности диспаритетов, предназначенный для исключения ошибок алгоритма стереосопоставления; теоретический метод построения полигональных моделей по упорядоченному множеству точек.

3. Созданы алгоритмы синхронизации потоков изображений с ШВ-камер; фильтрации карт диспаритетов на основе гипотезы Хенкеля; ректификации изображений с пары камер по сцене без стереокалибровки; формирования трёхмерных полигональных моделей для визуализации в реальном времени.

4. Создан кросс-платформенный распределённый комплекс программ, реализующий предложенные алгоритмы фильтрации карт диспаритетов, ректификации изображений и формирования трёхмерных полигональных моделей. Особенностью комплекса является слабая связность модулей и ориентированность на работу в реальном масштабе времени.

Практическая значимость результатов работы заключается в том, что созданные модель, методы, алгоритмы и программы можно использовать для создания, модификации и развития систем компьютерного стереозрения. Это достигается тем, что предлагаемые .разработки реализуют модульную концепцию, а все алгоритмы рассчитаны на выполнения в реальном масштабе времени. Возможность замены модулей с учётом выбора платформы внедрения позволяет использовать компоненты систем в приложениях расширенной и виртуальной реальности, мобильных роботах и промышленных системах. Большинство систем компьютерного зрения решает конкретные задачи с использованием специально подобранного оборудования, в то время как предлагаемые подходы позволяют абстрагироваться от оборудования и программных зависимостей.

Область исследования — содержание диссертации соответствует Паспорту специальности 05.13.17 - «Теоретические основы информатики» (физико-математические науки), область исследований соответствует п. 2 «Исследование информационных структур, разработка и анализ моделей информационных процессов и структур»; п. 5 «Разработка и исследование моделей и алгоритмов анализа данных, обнаружения закономерностей в данных и их извлечения; разработка и исследование методов и алгоритмов анализа текста, устной речи и изображений»; п. 7 «Разработка методов распознавания образов, фильтрации, распознавания и синтеза изображений, решающих правил. Моделирование формирования эмпирического знания».

Реализация результатов исследования. Результаты диссертации в форме единой модели компьютерного стерезрения, метода и алгоритма фильтрации карт глубины, метода и алгоритма синхронизации иБВ-камер используются в учебном процессе Воронежского государственного университета при чтении спецкурсов, выполнении выпускных квалификационных и курсовых работ

Основные результаты, выносимые на защиту: 1. Математическая модель компьютерного стереозрения, включающая формирование стереопотока по потокам кадров с двух видеокамер, трёхмерную и стерео- визуализацию сцены по её изображениям.

2. Теоретические методы: а) синхронизации потоков изображений с камер с ЩВ-интерфейсом, основанный на статистической модели камеры и внесении корректирующих поправок; б) ректификации изображений без калибровки камер, базирующийся на подходе к стабилизации видео-потока и позволяющий производить ректификацию стереопотока, опираясь на изображения сцены; в) фильтрации карты глубины; г) построения полигональных моделей по упорядоченному множеству точек для трёхмерной визуализации снимаемых сцен в реальном масштабе времени.

3. Параллельные алгоритмы, реализующие методы: а) синхронизации изображений с ШВ-камер; б) ректификации изображений без калибровки камер; в) алгоритм фильтрации карт глубины; г) алгоритм формирования трёхмерной полигональной модели по облаку точек для визуализации в реальном масштабе времени.

4. Структура модульного программного комплекса получения и обработки стереоизображений, особенностью которого является слабая связность модулей, кросс-платформенная реализация и ориентированность на параллельную обработку данных. Комплекс программ для разработанных методов и алгоритмов, включающий: модуль захвата и синхронизации изображений, модуль ректификации изображений, модуль стерео-визуализации и модуль трёхмерной визуализации.

Апробация работы. Основные положения диссертационной работы докладывались и обсуждались на XVII Всероссийской научно-методической конференции «Телематика'2010», г. Санкт-Петербург, 2010 г.; 1Х-Х1 международных научно-методических конференциях «Информатика: проблемы, методология, технологии», г.Воронеж, 2009-2011 гг.; Всероссийской научной конференции студентов и аспирантов «Молодые исследователи - регионам», г. Вологда, 2009 г., Всероссийской научной конференции «Современные проблемы математического моделирования, супервычислений и информационных технологий», г. Таганрог, 2012 г.

Публикации. Основные результаты диссертации опубликованы в 9 печатных изданиях, в том числе три - из списка изданий, рекомендованных ВАК РФ.

К}

Личный вклад автора. Основные результаты по теме диссертации получены лично автором. Постановки задач диссертации предложены научным руководителем. Разработка моделей информационных процессов и методов проводились совместно всеми соавторами работ, в которых они опубликованы, в том числе и автором. Проведение рассуждений и вывод аналитических соотношений при разработке моделей, методов и алгоритмов, обоснование моделей и методов, их исследование и практическая реализация в виде алгоритмов фильтрации, синтеза и обработки изображений, информационных структур и программ, проверка достоверности результатов, получение выводов и их интерпретация выполнены автором.

Структура и объем работы. Диссертация состоит из введения, четырех глав, заключения, списка литературы из 102 наименований и 6 приложений. Объем диссертации составляет 144 страницы, включая 114 страниц основного текста, содержащего 44 рисунка и 2 таблицы.

Заключение диссертации по теме «Теоретические основы информатики», Протасов, Станислав Игоревич

3.11. Выводы о методах получения и анализа стереопотока

В главе были рассмотрены методы, реализующие компоненты математической модели компьютерного стереозрения, представленной во второй главе. Предолжен оригинальный метод синхронизации USB-камер, основанный на внесении корректирующих временных поправок в процесс захвата изображений.

Рассмотрены модели камер и метод ректификации изображений, использующий стереокалибровку камер. Предложен оригинальный метод ректификации изображений стереопары, не требующий стереокалибровки камер, базирущийся на решении задачи стабилизации видеопотока.

Проведён анализ метода цветовой калибровки изображений для дискретных растровых изображений, показана высокая точность метода для цветных изображений в модели RGB.

В главе рассматривается передача изображений между компонентами системы стереозрения. Проводится сравнение алгоритмов сжатия с потерями и без потерь. Показано, что применение алгоритма сжатия без потерь RLE, используемого в формате BMP, более предпочтительно для представления изображений при использовании в распределённых системах компьютерного зрения ввиду его существенного скоростного преимущества перед другими алгоритмами. Рассмотрен вопрос субъективного восприятия изображений, сжатых с потерями алгоритмом JPEG, конечными потребителями. Показано, что отличать сжатое изображение от несжатого пользователи начинают при коэффициенте сжатия ниже 70/100.

Проведён обзор модификаций локальных алгоритмов стереосопоставления. На этапе предварительного отбора точек показаны эффективность использования интегральных градиентных изображений и неэффективность распараллеливания задачи ввиду высоких накладных расходов. Выявлена неэффективность использования встречного сопоставления ввиду малого объёма выходных данных алгоритма. Проведено сравнение величин ускорения алгоритма при распараллеливании на центральном и графическом процессорах.

В главе рассмотрен ориганальный метод пост-фильтрации карт диспаритетов, основанный на гипотезе Хенкеля о связности. Предложенный метод позволяет снизить долю неверно определённых диспаритетов до 3% при использовании локальных алгоритмов стереосопоставления.

Расмотрены существующие подоходы к формированию и визуализации пространственных данных. Предложен оригинальный метод формирования полигональной модели по картам глубины, позволяющий визуализировать данные в реальном масштабе времени.

Также в главе рассмотрен подход к подавлению шумов, вносимых оптической системой камеры, основанный на статистических характеристиках изображений.

4. Анализ и разработка программного комплекса

4.1. Архитектура системы

При разработке программной системы необходимо учитывать исследовательский характер разрабатываемого программного кода. В ходе поиска оптимального решения той или иной подзадачи часто приходится удалять и создавать заново целые семантические модули программы. Поэтому, при разработке архитектуры подобных программ, в первую очередь, необходимо учитывать модульность решения и низкую связность кода. В хорошо разработанной архитектуре системы модули должны быть заменяемыми на аналогичные, а интерфейсы взаимодействия -универсальными [71]. Подобный подход позволяет не только упростить внесение изменений в существующий код, но и добавляет гибкости при совместной работе группы исследователей над смежными задачами: с одной стороны, хорошо инкапсулированный модуль можно использовать для решения других разнообразных задач, а с другой - использование универсальных интерфейсов взаимодействия модулей снимает привязку к единой технологии разработки. Так, модули, критичные к производительность, могут быть реализованы на языке С и оптимизированы для конкретной платформы, в то время как интерфейс конечного пользователя или трёхмерная визуализация могут быть разработаны с использованием более приспособленных для этого технологий.

Вторым важным аспектом при разработке архитектуры системы является учёт особенностей конкретной решаемой задачи. Проблемы, которые приходится решать при создании программного продукта, могут определять как используемое оборудование и алгоритмы, так и технологии разработки. Исследовательский программный продукт, ввиду неочевидности вариантов использования, часто подвержен заполнению графического интерфейса неиспользуемыми или мало используемыми элементами управления, а также итеративному нарастанию функциональности, приводящему к разрушению, возможно, стройной архитектуры. Именно поэтому в ключевые моменты разработки не следует пренебрегать рефакторингом разрабатываемого проекта, пересмотром архитектуры и пользовательского интерфейса. Необходимо избавляться в рабочей версии проекта от неиспользуемого кода, доверив, по возможности, его сохранение системам контроля версий. Варианты использования системы

В современной практике разработки программных систем немаловажным аспектом в дизайне архитектуры программы является взаимодействие с пользователем системы. Важно понимать, что разработка должна вестись, в первую очередь, не с учётом удобства разработчика, а с учётом потребностей конечного потребителя [11]. Поэтому на самом первом этапе разработки программной системы принято выделять роли пользователей и опроделять основной функционал приложений - ещё до составления технических заданий и радработки архитектуры. В соответствии со стандартом ЦМЬ (КОЛЕС 19505-1) основной функционал системы представлен на рис. 38 диаграммой вариантов использования [95].

Рисунок 38. Диаграмма вариантов использования системы компьютерного стереозрения.

Сложные технические системы требуют предварительной подготовки к эксплуатации. Для решения задач конфигурации в разрабатываемой системе выделяется роль «конфигуратор модуля». Поскольку предложенные методы синхронизации и ректификации предполагают автоматическое выполнение, в данном случае конфигуратор должен обрабатывать только нештатные ситуации. Роли пользователей модулей захвата и визуализации варьируют свои обязанности в соответствии с целевым назначением системы. В предлагаемом прототипном решении «пользователь модуля захвата» является вырожденной ролью: он обязан инициировать процесс захвата и передачи; «пользователь модуля визуализации» может выбирать тип визуализации передаваемых данных. Проектирование системы

Для решения, практически, любой задачи компьютерного зрения на промежуточных и финальных этапах важную роль играет визуализация. Необходимость визуального контроля входных изображений и результатов работы алгоритмов обязывает тщательно подходить к вопросам компоновки интерфейса.

Stereolmage Source

Capture

AsyncOShowCa ptu re О l- IMuitiCapture V

AsyncCorrectiveOShowCapture й 1

Calibration

FeatureDe lector

Vectorf iekiOpera ttons

ImageT transformer

Pía rueDShowCap ture

1

ImageServer

SocketTcpServer CaptureServer

TCP Socket -gH

Рисунок 39. Диаграмма классов подсистемы захвата стереоизображений системы компьютерного стереозрения При разработке систем компьтерного зрения логику разбиения на модули подсказывают задачи, позникающие в ходе исследования. Большая

102 задача получения стереопар оформляется в независимый модуль, который при необходимости может быть заменён заглушкой для тестирования функциональности системы условиях отсутствия камер. На Рис. 39 представлена UML-диаграмма классов (ISO/IEC 19505-1) подсистемы захвата стереоизображений с разбиением на независимые пакеты. В рамках этого модуля необходимо разграничить функциональность, связанную с получением изображений с аппаратуры, алгоритмы нормализации и ректификации изображений, а также методы передачи стереопар. Такое разделение позволит, например, достаточно легко заменить технологию с DirectX на Windows.Media. Capture или сменить транспорт передачи изображений с TCP на Shared Memory, не затрагивая прочую функциональность.

В рамках проведенного исследования решались различные задачи, имеющие как прикладную, так и теоретическую значимость. Так, рассматривались методы стерео-визуализации, анализировались алгоритмы стерео-сопоставления и решалась задача оперативной дальнометрической и ЗО-визуализации. Каждая из задач требует собственного решения в области визуализации и пост-обработки результатов; различные задачи предполагают различные методы визуализации и поэтому они решены с использованием различных технологий. Реализация методов и алгоритмов

Предложенные в третьей главе методы, соответствующие модулям математической модели системы компьютерного стереозрения, были реализованы в виде алгоритмов. На основе алгоритмов были созданы программные модули.

Алгоритм синхронизации потоков кадров. В работе был реализован алгоритм для метода синхронизации потоков изображений, представленного на Рис. 4. Ключевым моментом этого метода является практически подтвеждённая гипотеза о существовании наиболее часто встречающегося интервала между последовательными кадрами, получаемыми с USB-камеры. Также эмпирически показано, что данные интервалы кратны 16 мс.

Из представленной диаграммы видно, что камеры являются равноправными при синхронизации. Выделение одной камеры в качестве основной позволит осуществлять синхронизацию трёх и более камер, однако это существенно снизит полезную производительность алгоритма.

Алгоритм ректификации изображений по сцене. В третьей главе предложен метод ректификации стереозображений по сцене без калибровки камер. Метод имеет основную часть, в рамках которой рассчитываются параметры преобразований перемещения, поворота и масштабирования. В предлагаемом алгоритме основной структурой данных является векторное поле - коллекция двумерных дискретных векторов, над которыми производятся преобразования. Последовательность активностей на диаграмме, представленной на Рис. 41, соответствует порядку нахождения преобразований, описанному в методе. имеющий реализации во всех популярных операционных системах. В системе выделяются три роли вычислительных узлов в соответствии с решаемыми задачами: сервер стереозахвата и два типа клиентов визуализации. Предлагаемая архитектура системы представлена на Рис. 43 ЦМЬ-диаграммой развёртывания (ТБО/ШС 19505-1).

Массив usb-камер о-а

U5B 1 USB 1

Клиент стереовюуаяизацки

4JSB о USB о

Модуль визуализации

Сервер стереозахвата

ТО5 socket Модуль получения изображен» 1 NX ТГР

Модуль захвата изображений

Модуль синхронизации

Модуль ректификат®

Модуль щетовой калибров»®

Модуль сетевого взаимодействия

ТО5 socket

I/

Клиент 3D визуализации

Модуль визуализации Ж

Модуль генерации пространственных данных Модуль получения изображений

TCP socket

Рисунок 43. Диаграмма развёртывания приложения компьютерного стереозрения с распределённой архитектурой Следует отметить, что роли сервера и клиента может выполнять один компьютер, обладающий достаточными ресурсами. Подобный подход решает проблему нагрузки на сеть, однако, не подходит для географически распределённых применений (мобильных роботов и др.). 4.2. Характеристики производительности системы

Разработанная программная реализация рассчитана на установку на персональные компьютеры и портативные устройства. Модули системы реализованы с применением параллельных вычислений для оптимизации использования имеющихся вычислительных ресурсов. Поскольку все модули системы расчитаны на работу в реальном времени, система теоретически независима от медленной дисковой памяти. Однако следует иметь в виду, что операционные системы семейства Windows ориентированы на не всегда оправданное заполнение файла подкачки. Поэтому для исключения потерь производительности, связанных с дисковыми операциями, рекомендуется при эксплуатации систем реального времени отказаться от использования файлов подкачки.

Потребляемые локальные ресурсы. При установке сервера захвата и клиента визуализации на одну работую станцию следует обратить внимание на потребляемую оперативную память. В таблице 2 показаны верхние и нижние значения потребляемой оперативной памяти различными компонентами системы. Можно что для совместного использование модулей достаточно 1 гигабайта свободной оперативной памяти.

Список литературы диссертационного исследования кандидат физико-математических наук Протасов, Станислав Игоревич, 2012 год

1. Bay H. SURF: Speeded Up Robust Features / H. Bay, A. Ess, T. Tuytelaars, Luc Van Gool // Computer Vision and Image Understanding, Vol. 110, No. 3, 2008. pp. 346-359

2. Bennett J. LTE // LTE Encyclopedia. URL: https://sites.google.com/site/lteencyclopedia/home (Дата обращения: 1.11.2012)

3. Chen Ting. Video Stabilization Algorithm Using a Block-Based Parametric Motion Model // Stanford University, Winter 2000, pp. 3-4. URL: http://scien.stanford.edu/pages/labsite/2000/ee392j/projects/chenreport.pdf (Дата обращения: 1.11.2012)

4. Cohen P. OpenCL: What you need to know // MacWorld, август 2008. URL: http://www.macw0rld.c0m/article/l 134858/snowleopardopencl.html (Дата обращения: 1.11.2012)

5. Cormen Т. Introduction to Algorithms / Thomas H. Cormen, Charles E. Leiserson, Ronald L. Rivest, Clifford Stein. // MIT Press and McGraw-Hill, Second Edition, pp. 563,655,1043.

6. Deutsch P. DEFLATE Compressed Data Format Specification version 1.3 / RFC-1951. URL: http://tools.ietf.org/html/rfcl951 (Дата обращения: 1.11.2012)

7. Feture Detection and Matching // Computer Science and Engineering, University of Washington. URL: http://www.cs.washington.edu/education/courses/cse455/07wi/homework/hw3/ind ex.html (Дата обращения: 1.11.2012)

8. Foley, James D. Computer Graphics: Principles and Practice // 2nd ed. Redwood City, CA: Addison-Wesley, 1990. pp. 565-577

9. Fried J. Getting Real: The smarter, faster, easier way to build a successful web application / Jason Fried, Heinemeier David Hansson, Matthew Linderman // 37signals, 2006. pp. 92-94

10. Goldstein Amit. Video Stabilization using Epipolar Geometry / Amit Goldstein, Raanan Fattal // In proceedings of ACM Trans. Graph. Vol. 32, №5, article №126, 2012. pp 1-10

11. Graphics Interchange Format // CompuServe Incorporated Columbus, Ohio, 1987 URL: http://www.w3.org/Graphics/GIF/spec-gif87.txt (Дата обращения: 1.11.2012)

12. Grauler-Gray Scott. Disparity Map Computation: Global Style // University of Delaware site. URL: http://www.eecis.udel.edu/~grauerg/globalStereoPresCompVisionClass.pdf (Дата обращения: 1.11.2012)

13. Gregory J. Chaitin. Algorithmic information theory. IBM J. Res.& Dev.,21, 1977, pp. 350-359

14. Harris C. A combined corner and edge detector / C. Harris, M.J. Stephens // In proceedings of Alvey Vision Conference, 1988. pp. 147-152

15. Henkel R. Classical Cooperative Schemas // Bremen University site. URL: http://axon.physik.uni-bremen.de/research/stereo/Coop/index.html (Дата обращения: 1.11.2012)

16. High Level Shader Language // Wikipedia: the free encyclopedia. URL: http://en.wikipedia.org/wiki/HLSL (Дата обращения: 1.11.2012)

17. Hoppe H. Surface Reconstruction from Unorganized Points / Hugues Hoppe, Tony DeRose, Tom Duchamp, John McDonald, Werner Stuetzle //

18. Proceedings of the 19th annual conference on Computer graphics and interactive techniques, 1992, pp. 71-78

19. Intel Turbo Boost Technology in Intel Core Microarchitecture (Nehalem) Based Processors (PDF) / Intel Corporation. URL: http://download.intel.com/design/processor/applnots/320354.pdf (Дата обращения 1.11.2012)

20. Jin, Jesse S. Digital Video Sequence Stabilization Based on 2.5D Motion Estimation and Inertial Motion Filtering / Jesse S. Jin, Zhigang Zhu, Guangyou Xu // IEEE International Conference on Intelligent Vehicles (2001) Volume 7, Issue 4, pp. 357-365.

21. Joey Montoya. Blender vs. Meshlab. 3D Mesh editor review // Georgia O'Keeffe Museum Imaging Project. URL: http://okeeffeimagingproject.wordpress.com/2012/08/10/blender-vs-meshlab-3d-mesh-editor-review/ (Дата обращения: 1.11.2012)

22. Kanade Takeo. A stereo matching algorithm with an adaptive window: theory and experiment / Takeo Kanade , Masatoshi Okutomi // In proceedings of IEEE Transactions on Pattern Analysis and Machine Intelligence, Sep 1994, pp. 920-932

23. Klaus A. Segment-based stereo matching using belief propagation and a self-adapting dissimilarity measure / A. Klaus, M. Sormann, K. Karner // In proceedings of 18th International Conference on Pattern Recognition (ICPR), 2006. pp. 15-18

24. Lepetit V. Keypoint recognition using randomized trees / V. Lepetit, P. Fua // In proceedings of IEEE Transactions on Pattern Analysis and Machine Intelligence, Sept 2006. 28(9). pp. 1465-1479

25. Lorensen W. Marching Cubes. A high resolution 3D surface construction algorithm / William E. Lorensen, Harvey E. Cline // in proceedings of the 14th annual conference on Computer graphics and interactive techniques, Vol. 21, №4, July 1987. pp. 163-169

26. Lowe David G. Object recognition from local scale-invariant features // In proceedings of International Conference on Computer Vision, 1999. pp. 1150-1157

27. McAllister David. Computing Anaglyphs using Least Squares Approximation in CIE Color Space. Computer scince dept. of North Carolina State Univercity. URL: http://research.csc.ncsu.edu/stereographics/LS.pdf (Дата обращения: 1.11.2012)

28. Mei X. On building an accurate stereo matching system on graphics hardware / X. Mei, X. Sun, M. Zhou, S. Jiao, H. Wang, X. Zhang // In proceedings of IEEE International Conference on Computer Vision (ICCV), 2011. pp. 467-474

29. Murray D. Using real-time stereo vision for mobile robot navigation / Don Murray, Jim Little // Autonomous Robots Springer Netherlands, Vol. 8, №2, 2000, pp. 161-171

30. Network socket // Wikipedia: the free encyclopedia. URL: http://en.wikipedia.org/wiki/Networksocket (Дата обращения: 1.11.2012)

31. NVIDIA CUDA С Programming Guide Version 3.2. // Nvidia portal. URL: http://www.nvidia.com/content/cudazone/download/OpenCL/NVIDIAOpenCLP rogrammingGuide.pdf (Дата обращения: 1.11.2012)

32. OpenCV Change Logs // Willow Garage company. URL: http://opencv.willowgarage.com/wiki/OpenCV%20Change%20Logs (Дата обращения: 1.11.2012)

33. Papadimitriou D. Epipolar line estimation and rectification for stereo image pairs / D. Papadimitriou, T. Dennis // In proceedings of IEEE Transactions on Image Processing, April 1996. 5(4): pp. 672-676

34. Pearl J. Reverend Bayes on inference engines: A distributed hierarchical approach // In proceedings of the Second National Conference on Artificial Intelligence, 1982. AAAI-82: Pittsburgh, PA. Menlo Park, California: AAAI Press, pp. 133-136.

35. Pennebaker W.B. Still Image Data Compression Standard / William B. Pennebaker, Joan L. Mitchell Springer, 1993. 650 p.

36. Products and Services: Stereo Vision Products / Point Grey company. URL: http://www.ptgrey.com/products/stereo.asp (Дата обращения: 1.11.2012)

37. Raatikainen P. Algorithmic information theory and undecidability -Synthese 123 (2), 2000. pp. 217-225

38. Randers-Pehrson G. PNG (Portable Network Graphics) Specification, Version 1.2 / Glenn Randers-Pehrson, Thomas Boutell Massachusetts Institute of Technology, 1999. URL: http://www.libpng.org/pub/png/spec/L2/PNG-Credits.html (Дата обращения: 1.11.2012)

39. Rangarajan A. Markov random field models in image processing / Anand Rangarajan, Rama Chellappa // The Handbook of Brain Theory and Neural Networks MIT Press, 1995 pp. 564-567

40. Run-length encoding // Wikipedia: the free encyclopedia. URL: http://en.wikipedia.org/wiki/Run-lengthencoding (Дата обращения: 1.11.2012)

41. Sandberg R. Design and Implementation or the Sun Network Filesystem / Russel Sandberg, David Goldberg, Steve Kleiman, Dan Walsh, Bob Lyon. -Mountain View, CA: Sun Microsystems, 1985. pp. 119-128

42. Scharstein D. A taxonomy and evaluation of dense two-frame stereo correspondence algorithms / D. Scharstein, R. Szeliski // International Journal of Computer Vision archive, Vol. 47 Issue 1-3, April-June 2002. pp. 7-42

43. Shapiro Lida G. Computer Vision / Linda G. Shapiro and George C. Stockman // New Jersey: Prentice Hall 2001. pp. 37-49.

44. Smith C. 3G Wireless Networks / Collin Smith, Daniel Collins McGraw-Hill, Inc. NY, USA, 2001. pp. 136

45. Stanford Michael. "How does 802.1 In get to 600Mbps?" // Wirevolution. URL: http://www.wirevolution.com/2007/09/07/how-does-8021 ln-get-to-600mbps/ (Дата обращения: 1.11.2012)

46. Stereo camera / Wikipedia: the free encyclopedia. URL: http://en.wikipedia.org/wiki/Stereocamera (Дата обращения: 1.11.2012)

47. Stereo Matching // University of California, Santa Barbara. URL: http://www.ece.ucsb.edu/~manj/ecel 8 lbS04/L14(morestereo).pdf (Дата обращения: 1.11.2012)

48. Stereo Vision Products. Bumblebee2 Stereo Camera // Point Grey company. URL:http://www.ptgrey.com/products/bumblebee2/bumblebee2stereocamera.asp (Дата обращения: 1.11.2012)

49. Wang Z. A region based stereo matching algorithm using cooperative optimization / Z. Wang, Z. Zheng // In proceedings of IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2008, pp. 1-8

50. Winner take all // Wikipedia: the free encyclopedia. URL: http://en.wikipedia.org/wiki/Winner-take-all (Дата обращения: 1.11.2012)

51. Yu W. Real time stereo vision using exponential step cost aggregation on GPU / W. Yu, T. Chen, J. C. Hoe // In proceedings of 16th IEEE International Conference on Image Processing (ICIP), 2009. pp. 4281-4284

52. Zitnick C.L. A Cooperative Algorithm for Stereo Matching and Occlusion Detection / C. L. Zitnick, T. Kanade // In proceedings of IEEE Trans. Pattern Analysis and Machine Intelligence. July 2000. - vol. 22. - №7. pp. 1-14

53. Ziv J. A Universal Algorithm for Sequential Data Compression / Jacob Ziv, Abraham Lempel / In peoceedings of IEEE Transactions on Information Theory, 23(3), 1977, pp.337-343

54. Анаглиф (Спектральное разделение ракурсов) // sView. Stereo software. URL: http://www.sview.ru/help/devices/anaglyph (Дата обращения: 1.09.2012)

55. Антонов A.C. "Параллельное программирование с использованием технологии ОрепМР: Учебное пособие".-М.: Изд-во МГУ, 2009. 77 с.

56. Арсланов Д.М. Метод воксельной растеризации и обработки. // RSDN. URL: http://www.rsdn.ru/article/alg/03-12-voxel.xml (Дата обращения: 1.11.2012)

57. Архитектура и программирование потоковых многоядерных процессоров для для научных научных расчётов // NVidia URL: http://www.nvidia.ru/content/EMEAI/CUDA/lecturedocuments/Lecture44.pdf (Дата обращения: 1.11.2012)

58. Атанов A.B. Пространственная реконструкция в системах компьютерного зрения на основе web-камер / A.B. Атанов, A.A. Крыловецкий, С.Д. Кургалин, С.И. Протасов // Вестник ВГУ. Серия "Системный анализ и информационные технологии". 2011. № 2. С. 149-153.

59. Афиногенов Е.И. Восстановление аффинной структуры сцены по движению.-М.: МГТУ им. Н.Э.Баумана. Тезисы доклада 13-й ММ НТК «Наукоемкие технологии и интеллектуальные системы», 2011, с.136-138

60. Бондаренко С. Создание ЗО-изображений: теория и практика Электронный ресурс. / С. Бондаренко, М. Бондаренко // Сайт проекта 3Domen. 2011, 27 февраля. URL: http://3domen.com/index.php?newsid=5794 (Дата обращения 26.07.2012)

61. Васильев Е. Стабилизация видео // Сетевой журнал iXBT. URL: http://www.ixbt.com/divideo/digital-video-guide/5-2-1 -stabilization.shtml#2 (дата обращения: 1.11.2012)

62. Вахитов А.Т. Обзор алгоритмов стереозрения / А.Т. Вахитов, JI.C. Гуревич, Д.В. Павленко // Стохастическая оптимизация в информатике, Вып. 4 / Под ред. О.Н. Граничина СПб.: Издательство Санкт-Петербургского университета 2008. - С. 151-168.

63. Гельман, Р.Н. Лабораторная калибровка камер с большой дисторсией / Р.Н. Гельман, А.Л. Дунц // Геодезия и картография, 2002. № 7. - С. 23-31

64. Гмурман В.Е. Теория вероятностей и математическая статистика / 9-е изд., стер. М.: Высшая школа, 2003.— С. 69-71.

65. Ерухимов В. Зрение роботов // Материалы Всероссийской научной школы «Суперкомпьютерные технологии», Нижный Новгород, ННГУ, 2010. URL: http://www.hpcc.unn.ru/files/roboticsvision.zip (Дата обращения: 1.11.2012)

66. Жимбуева Л.Д. Метод определения суммарной дисторсии цифровых изображений // Компьютерная оптика, т. 35, №3, 2011. С.347-355

67. Информационные технологии (Учебное пособие. Теория и практика). Модульное программирование // Северский технологический институт URL: http://www.ssti.ru/kpi/informatika/Content/biblio/bl/informman/gll 82.html#m odulprogram (Дата обращения: 1.11.2012)

68. Конушин А. Геометрические свойства нескольких изображений // Сетевой журнал "Компьютерная графика и мультимедиа". Выпуск №4(3)/2006. URL: http://cgm.computergraphics.ru/content/view/141 (Дата обращения: 1.11.2012)

69. Конушин А. Стерео-реконструкция // МГУ, ВМиК. 2008. URL: http://courses.graphicon.ru/files/courses/vision/2008/cv2008l 1 .pdf (Дата обращения: 1.11.2012)

70. Крашенинников В.Р. Основы теории обработки изображений: Учебное пособие. // Ульяновск: УлГТУ, 2003. С 6-10.

71. Крыловецкий A.A. Алгоритмы анализа изображений в системах стереозрения реального времени / A.A. Крыловецкий, С.И. Протасов // Вестник ВГУ. Серия "Системный анализ и информационные технологии". 2010. №2. С.9-18.

72. Крыловецкий A.A. Построение виртуальных моделей по дальнометрическим данным / A.A. Крыловецкий, Г.А. Карапиш, И.С. Черников // Материалы международной конференции Телематика'2008. URL: http://tm.ifmo.ru/tm2008/prog2008.pdf (Дата обращения: 1.11.2012)

73. Курант Р.Что такое математика? Элементарный очерк идей и методов / Р. Курант, Г. Роббинс; пер. с англ. под. ред. А.Н. Колмогорова, 3-е изд., испр. и доп. М.: МЦНМО, 2001, СС.219-222

74. Ларин P.M. Методы оптимизации. Примеры и задачи: учебное пособие / P.M. Ларин, A.B. Плясунов, A.B. Пяткин. Новосибирск: НГУ, 2003. сс. 5 11

75. Левитин A.B. Алгоритмы: введение в разработку и анализ. — М.: Вильяме, 2006. — С. 392—398

76. Обучающая статья по использованию асинхронных сокетов // Форум программистов CyberForum. URL: http://www.cyberforum.ru/blogs/l 99542/blog914.html (Дата обращения: 1.11.2012)

77. Оценка информативности изображений // Профессиональный Wiki ресурс «Техническое зрение». URL: Ьир:/^к1.е11ес1и.пе1/1пёех.рЬр?й11е=Оценкаинформативностиизображений (Дата обращения: 1.11.2012)

78. Первая цифровая серийная стереокамера: FinePix Real 3D W1 // Электронный портал Open3D. URL: http://www.open3d.ru/?p=3994 (Дата обращения: 1.11.2012)

79. Протасов С.И. Использование веб-камер в качестве источника стереопар / С.И. Протасов, С.Д. Кургалин, A.A. Крыловецкий // Вестник ВГУ. Серия "Системный анализ и информационные технологии". 2011. № 2. С.80-86.

80. Романенко A.A. Введение в CUDA. // Сайт Факультета информационных технологий НГУ. URL: http://ccfit.nsu.ru/arom/data/CUDA/4ICaGl .pdf (Дата обращения: 1.11.2012)

81. Сёрль Дж. Разум мозга — компьютерная программа? // "В мире науки". -М.: МГУ, 1990.-№3.- с. 7-13.

82. Стерескопический фотоаппарат // Википедия : свобод, энцикл. URL: http://ru.wikipedia.org/wiki/Cтepeocкoпичecкийфoтoaппapaт (Дата обращения: 1.11.2012)

83. Стивене У.Р. UNIX. Разработка сетевых приложений / У.Р. Стивене, Б. Феннер, Э.М. Рудофф СПб.: Питер, 2007. сс. 98-102

84. Танненбаум Э. Архитектура компьютера / 5-е изд. СПб.: Питер, 2007. С. 404-413,487

85. Трусов П.В. Введение в математическое моделирование: Учеб. пособие / М.: Логос, 2005.-С 18-25.

86. Фаулер М. UML. Основы / М. Фаулер, К. Скотт пер. с англ. - СПб.: Символ-Плюс, 2002, С. 55-64

87. Форсайт Дэвид А. Компьютерное зрение. Современный подход: учебное пособие / Дэвид А. Форсайт, Жан Понс пер. с англ. - М.: Издательский дом «Вильяме», 2004. - 928 с, С. 66-67

88. Хьюбел Д. Глаз, мозг, зрение / под ред. А. Л. Вызова. — М.: Мир, 1990. — С. 171-182

89. Чеканов Д. ATI Stream: тесты приложений на GPU // Tom's Hardware (18 июня 2009 года). URL: http://www.thg.ru/graphic/atistream/ (Дата обращения: 1.11.2012)

90. Черчленд П.М. Может ли машина мыслить? / П.М. Черчленд, П.С. Черчленд // "В мире науки". М.: МГУ, 1990. - № 3. - с. 14-21.

91. Чэн.Ш.К. Принципы проектирования систем визуальной информации / Пер. с англ. А. С. Попова, А. Ю. Швайковского, Д. Р. Шидарева, под ред. В.В. Яншина М.: Мир, 1994, С. 46-49.