Анализ, разработка и реализация математических методов и алгоритмов выделения движения на последовательности изображений тема диссертации и автореферата по ВАК РФ 05.13.11, кандидат технических наук Андрюшкин, Александр Анатольевич

• Андрюшкин, Александр Анатольевич
• кандидат технических наук
• 2000

Оглавление диссертации кандидат технических наук Андрюшкин, Александр Анатольевич

ВВЕДЕНИЕ.

ГЛАВА 1. ИЗВЕСТНЫЕ МЕТОДИКИ ВЫЧИСЛЕНИЯ ДВИЖЕНИЯ.

1.1. Зрение и движение.

1.2. Движение через вычисление оптического потока.

1.2.1. Основные понятия и ограничения.

Области с ограниченной информацией.

Изменения яркости не связанные с движением.

Временная неоднозначность.

Движение, не связанное с непосредственным перемещением объекта.

1.2.2. Локальные механизмы оценки движения.

1.2.2.1. Градиентная методика.

Комбинация локальных ограничений.

Производные высших порядков.

1.2.2.2. Методики пространственно- временной фильтрации.

Пространственно- временные энергетические модели.

Производные как пространственно-временные фильтры.

Градиентный метод и пространственно- временные энергетические модели.

Решение, использующее различные порядки в качестве ПВЭМ.

1.2.2.3. Методика Описания через Пространство Частот.

Регрессия в пространстве частот.

1.3. Методы сегментации изображений.

1.4. Классификация методов выделения движения.

1.5. Выводы по обзорной главе 1.!.

ГЛАВА 2. ОБОСНОВАНИЕ НОВЫХ МЕТОДОВ И РАЗРАБОТКА АЛГОРИТМОВ.

2.1. Вычисление движения через сегментацию.

2.1.1. Сегментация по цвето - яркостным признакам.

2.1.2. Вычисление движения.

2.2. Движение через вычисление оптического потока.

2.2.1. Обнаружение движущихся объектов на неподвижном фоне.

Вычисление с «Нулевым кадром».

Вычисление без использования «Нулевого Кадра».5.

2.2.2. Вычисление оптического потока при подвижном фоне.

Методика сопоставления.

Методы вычисления поля скоростей с использованием 3D фильтров.

2.3. Растрирование полутоновых изображений при печати.

2.4. Выводы по главе 2.

ГЛАВА 3. ПРОГРАММНАЯ РЕАЛИЗАЦИЯ МЕТОДОВ ВЫДЕЛЕНИЯ ДВИЖЕНИЯ.

3.1. Практическая реализация алгоритмов.

3.1.1. Реализация алгоритма вычисления движения через сегментаг{ию.

3.1.2. Реализация методики вычисления движения при неподвижном фоне.

3.1.3. Реализация алгоритма сопоставления.

3.1.4. Реализация алгоритмов на основе фильтрации.

3.1.5. Сравнение методов и сопоставление вычислительных затрат и особенностей алгоритмов в плане аппаратной реализации.

Оценка вычислительных затрат.

Сравнение алгоритмов и прогноз аппаратной реализации.

3.2. Прикладные программы, созданные в рамках работы и их внедрение.

3.2.1. ППП «Jek - Морфология v. 4.0» и «библиотека программ для обработки изображений».

3.2.2. Программный комплекс "Pictures Demolisher".!.

3.3. Выводы по главе з.

ГЛАВА 4. ВАРИАНТЫ СОЗДАНИЯ АППАРАТНОЙ БАЗЫ ВЫДЕЛЕНИЯ ДВИЖЕНИЯ.

4.1. Аппаратное вычисление оптического потока при подвижном фоне по алгоритму непосредственного сравнения.

4.1.1. Принцип работы и основные логические блоки вычислителя.

4.1.2. Оценка потоков данных и объемов памяти. Критичные блоки.

Статическая память (SRAM).

Динамическая память (DRAM).

4.1.3. Построение вычислителя. Технические решения при построении блоков.

4.1.4. Оценка производительности.

4.2. Аппаратное вычисление оптического потока при помощи трехмерной фильтрации.

4.2.1. Общий принцип работы и основные логические блоки вычислителя.

4.2.2. Оценка потоков данных и объемов памяти.

5.2.3. Технические решения при построении вычислителя в г^елом и его блоков.

4.2.4. Оценка скорости работы аппаратного модуля.

4.3. выводы по главе 4.

Введение диссертации (часть автореферата) на тему «Анализ, разработка и реализация математических методов и алгоритмов выделения движения на последовательности изображений»

Попытки использовать компьютеры для решения задач машинного восприятия окружающего мира появились одновременно с появлением вычислительных машин. Однако до сих пор способность машины воспринимать реальный мир остается крайне ограниченной. Для преобразования света, звука, температуры и т.д. в электрические сигналы созданы разнообразные датчики и устройства. Если обрабатываемые машиной сигналы просты и четко ограничены, то задача восприятия информации кажется несложной. Но, как только от машины требуется чтение рукописного текста или ориентация в пространстве, вместо задач ввода информации приходится иметь дело с гораздо более сложными задачами ее интерпретации.

Та видимая легкость, с которой животные и даже насекомые справляются с задачами восприятия, одновременно и ободряет, и обескураживает. Психологические и физиологические исследования дали ряд интересных результатов, касающихся процессов восприятия животными. Тем не менее, этого пока недостаточно для воспроизведения процессов восприятия с помощью машин. Бесполезными оказываются и попытки исследования сущности восприятия посредством самоанализа из-за того, что, по-видимому, большинство обычных процессов восприятия протекает подсознательно. Задача ориентации в пространстве становится день ото дня все более актуальной. Причиной тому служит выход компьютеров из лабораторий и машинных залов для применения на каждом шагу. Уже появляются первые приборы, способные самостоятельно общаться друг с другом, улучшая качество обслуживания человека. Пройдет совсем немного времени, и новые покорения автоматизированных систем заполнят нашу жизнь. И уж конечно, этим машинам понадобится гораздо больше «зрительной» информации об окружающем мире для уверенной ориентации в нем.

Актуальность темы определяет то, что анализ сцен реального мира без сомнения будет важнейшей составляющей задачи ориентации. При этом, несмотря на многолетние усилия в плане разрешения этих проблем, приходится признать, что до сих пор эти вопросы остаются нетривиальными. Для задачи анализа сцен реального мира важнейшим этапом является анализ движения. Исследования показывают, что именно анализ движения является важнейшей частью биологических систем. При этом для машинных решений наиболее актуален анализ движения на последовательности кадров. Уверенная ориентация машин может быть достигнута только при условии обработки информации в режиме реального времени. Отсюда следуют и особые требования, накладываемые на скорость работы подсистемы оценки движения. Проблеме оценки и анализа движения на последовательности кадров уделено значительное внимание со стороны исследователей всего мира. К настоящему моменту существует как значительное количество методик оценки движения, так и их успешных реализаций. Но, в тоже время, известные методики либо не могут быть реализованы в режиме реального времени, либо представляют собой узкоспециальные решения, предназначенные для ограниченного круга задач.

Целями работы являются:

- анализ известных подходов к вычислению движения;

- описание вновь разработанных методик, используемых для оценки движения;

- разработка практических алгоритмов, их программная реализация и исследование их параметров;

- разработка вариантов создания аппаратных ускорителей для решения проблем оценки движения в реальном времени.

В работе будут рассмотрены различные подходы к вычислению движения. В главе 1 будут проанализированы различные ранее известные алгоритмы, проведено обобщение их свойств, произведено сравнение их характеристик. В главах 2 и 3 диссертации будет рассмотрен ряд оригинальных подходов к вычислению движения, а так же обратимся к вопросу построения алгоритмов и практической программной реализации для новых и известных методов. Глава 4 посвящена вопросам аппаратной реализации подсистем выделения движения. Хотелось бы отметить, что предлагаемые аппаратные решения в достаточной степени гибки и позволяют совершенствовать алгоритмы выделения движения.

Для достижения поставленных целей в работе использовались следующие методы исследования: Теория обработки изображений, теория дифференциальных уравнений, теория структурного программирования, алгоритмы вычислительной математики. Основные теоретические результаты проверялись экспериментально, результаты экспериментальной программной реализации алгоритмов послужили основой для создания вариантов аппаратных ускорителей вычислений.

Научная новизна. Основными научными результатами, полученными в работе, являются следующие:

- Разработана новая методика сегментации изображений по цвето- яркостным характеристикам.

- Предложен и разработан подход оценки движения объектов на последовательном наборе кадров, основанный на сегментации изображений и отслеживании перемещений сегментов.

- Показана возможность реализации большинства известных алгоритмов вычисления оптического потока через линейную фильтрацию.

Практическая ценность работы заключается в следующем:

- Разработаны алгоритмы и программное обеспечение, реализующие методику сегментации изображений и оценки движения на основе сегментации.

- Разработаны алгоритмы и программы вычисления оптического потока методом непосредственного сравнения.

- Созданы алгоритмы и программы, реализующие различные методики вычисления оптического потока на основе трехмерной фильтрации, работа которых подтвердила правильность теоретических обоснований.

- Предложены варианты построения аппаратных ускорителей, позволяющие производить вычисление движения в реальном времени.

- Созданы программные комплексы, использующие предложенные алгоритмы вычисления движения, в составе которых также предложены методики, алгоритмы и программы, реализующие качественный вывод изображений на печать.

Приведенные в работе алгоритмы тестировались на искусственных и натуральных последовательностях изображений. Результаты работы алгоритмов показаны в главе 2.

Реализация результатов.

Созданные на основе разработанных алгоритмов программы применены на практике, о чем свидетельствуют акты, приведенные в приложении Б.

В частности, разработанные алгоритмы выделения движения и оптимизированного растрирования изображений при печати были представлены в «оптимизированной библиотеке программ для обработки изображений», созданной для ООО "Электронные компоненты", а также в ППП "JEK-Морфология v.4.0", разработанного ООО «МИФИ - Система» для Лаборатории (Центра) акустической микроскопии Института биохимической физики РАН. Кроме того, предложенные варианты аппаратных модулей и программный комплекс «Pictures Demolisher», реализующий алгоритмы оценки оптического потока, были переданы в опытную эксплуатацию фирме Trilogies L.L.C (США).

Заключение диссертации по теме «Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей», Андрюшкин, Александр Анатольевич

4.3. Выводы по главе 4

1. Разработан оптимизированный алгоритм работы вычислителя, работающего по методу непосредственного сравнения.

2. Разработана общая схема построения вычислителя, использующая параллельную обработку данных для решения задачи вычисления движения методом сопоставления и предложены схемы построения блоков, реализующие дополнительный параллелизм обработки данных и использующие оптимальный состав аппаратных средств.

3. Произведена оценка быстродействия спроектированного аппаратного модуля. На основании оценки можно заключить, что спроектированная система удовлетворяет требованиям, поставленным в начале главы. Она обеспечивает необходимое быстродействие и построена с учетом использования стандартных комплектующих. Особенно хотелось бы отметить, что удалось добиться не только высокого быстродействия системы, но и оптимальной сбалансированности построения модулей, о чем свидетельствует примерно равные времена вычислений в блоках сравнения и усреднения. А следовательно, достигнут компромисс между сложностью устройства и его производительностью.

4. Разработан алгоритм работы и схема вычислителя, реализующая методику 3-х мерной фильтрации. При разработке схемы вычислителя учтено требование максимального параллелизма и гибкости. Схема вычислителя допускает масштабируемость вычислительной способности путем наращивания количество блоков параллельной обработки, без необходимости кардинальной переработки схемы. Благодаря введенным конструктивным особенностям, исключена необходимость использования нескольких обособленных блоков памяти для хранения кадров и результата фильтрации, что снижает общую сложность и стоимость вычислителя.

5. Произведена оценка быстродействия спроектированного аппаратного модуля 3-х мерной фильтрации. Спроектированная система удовлетворяет требованиям, поставленным в начале главы.

Заключение

В данной работе решались проблемы анализа, разработки и практической реализации математических методов и алгоритмов выделения движения на последовательном наборе изображений (кадров). Приведем основные результаты работы:

1. Проведен анализ известных подходов к вычислению движения, основанный на вычислении оптического потока, таких как градиентная методика, и ряд методик, использующие 3-х мерную фильтрацию. Рассмотрены другие методики, такие как методики сопоставления и методики вычисления движения для неподвижного фона.

2. На основе приведенного анализа была предложена классификация методов выделения движения.

3. Был разработан новый метод вычисления движения через сегментацию. При этом была предложена новая методика сегментации изображений, адаптированная для оценки движения через сегментацию.

4. Была предложена улучшенная методика вычисления движения при неподвижном фоне.

5. В результате анализа методов было показано, что градиентная методика, и методики, использующие 3-х мерную фильтрацию, могут быть сведены к фильтрации в пространстве (x,y,t).

6. Разработаны алгоритмы и принципы построения программ, реализующие следующие методики:

- оптимизированные методики сопоставления, (в т.ч.) методика для случая неподвижного фона

- методика вычисления движения через сегментацию,

- методики, основанные на фильтрации.

7. Предложены новые методики растрирования изображений при выводе на печать

8. Рассмотрены вопросы практической реализации методик. Приведенные в работе алгоритмы тестировались на искусственных и реальных последовательностях изображений. Результаты работы алгоритмов приведены в главе 3. В результате программной реализации разработанных алгоритмов был сделан вывод о невозможности применения программного решения для ряда задач в режиме реального времени.

9. Была освещена практическая апробация рассмотренных подходов. Программные реализация алгоритмов и методов, рассмотренных в этой работе, были включены в ряд программных продуктов и используются на практике, о чем свидетельствуют акты о внедрении, приведенные в приложении Б.

10. По результатам программной реализации были спроектированы варианты схем построения аппаратных ускорителей оценки оптического потока. В процессе создания схем аппаратных решений широко применялись принципы максимального параллелизма обработки.

Предложена общая схема построения вычислителя оптического потока, работающего по методу сопоставления. Благодаря примененным техническим решениям был достигнут компромисс между сложностью устройства и его производительностью.

Разработан алгоритм работы и общая схема построения вычислителя оптического потока, реализующего методики фильтрации. При разработке схемы вычислителя учтено требование максимального параллелизма и гибкости. Схема вычислителя допускает масштабируемость вычислительной способности путем наращивания количество блоков параллельной обработки, без необходимости кардинальной переработки схемы.

11. Произведена оценка скорости работы вычислителей. Теоретические расчеты скорости работы аппаратных модулей показали, что они могут применяться для задач реального времени. Предлагаемые аппаратные решения в достаточной степени гибки и позволяют совершенствовать алгоритмы выделения движения.

Таким образом, можно говорить о достижении всех целей, поставленных перед kj /•— и этой работой.

Список литературы диссертационного исследования кандидат технических наук Андрюшкин, Александр Анатольевич, 2000 год

1. Андрюшкин А. А. Бинарное растрирование и печать полутоновых изображений:- Санкт-Петербург: Материалы Всероссийского молодежного научного Форума, 1995

2. Андрюшкин А.А. Чепин Е.В. Растрирование полутоновых изображений:- М.: Материалы Международного Научного Конгресса студентов, аспирантов и молодых ученых, 1996.

3. Андрюшкин А.А. Чепин Е.В. Программно- аппаратное вычисление оптического потока. Научная сессия МИФИ- 2000.

4. Хасин Б.Б., Чепин Е.В. СИСТЕМА ОБРАБОТКИ И РАСПОЗНАВАНИЯЯ ИЗОБРАЖЕНИЙ JEK. Россия, МИФИ.

5. ПрэттУ. Цифровая обработка изображений, т.2 М.МИР, 1982.

6. Бутаков Е.А. Обработка изображений на ЭВМ. М. РиС, 1987.

7. Дуда А. Харт П. Распознавание образов и анализ сцен. М. Мир, 1987.

8. Фу К. Структурные методы в распознавании образов. М. Мир, 1977.

9. Шлихт Г.Ю. Цифровая обработка цветных изображений. М. Эком, 1997.

10. Яншин В. Калинин Г. Обработка изображений на языке Си для IBM PC. М. Мир, 1994.

11. Е. Н. Adelson and J. R. Bergen. Spatiotemporal energy models for the perception of motion. J. Opt. Soc. Am. A, 2(2):284-299, February 1985.

12. E. H. Adelson and J. R. Bergen. Perceptual dimensions of spatio-temporal vision. Investigative Opthalmology and Visual Science Supplement (ARVO), 27:141, 1986.

13. E. H. Adelson and J. A. Movshon. Phenomenal coherence of moving visual patterns.Nature, 300(5892):523-525, 1982.

14. G. Adiv. Determining three-dimensional motion and structure from optical flow generated by several moving objects. IEEE Pat. Anal. Mach. Intell., 4:384-401, 1985.

15. J. K. Aggarwal and N. Nandhakumar. On the computation of motion from sequences of images | a review. Proc. IEEE, 76:917-935, 1988.

16. D. G. Albrecht and W. S. Geisler. Motion sensitivity and the contrast-response function of simple cells in the visual cortex. Visual Neuroscience, 7:531-546, 1991.

17. T. D. Albright. Direction and orientation selectivity of neurons in visual area of the macaque. J Neurophysiol, 52(6): 1106-1130, December 1984.

18. P. Anandan. A computational framework and an algorithm for the measurement of visual motion. International Journal of Computer Vision, 2:283-310, 1989.

19. Alexander Andryushkin, Eugueni Tchepine. Dynamic Segmentation of Images Using Color and Brightness Characteristics:- Workshop on Computer Science and Information Technologies CSIT'99, Moscow, Russia, 1999

20. A. Andryushkin. Motion from dynamic segmentation. Machine Vision Paper Collection, 1998-1999 papers call.

21. A. Andryushkin, E. Chepin. Dynamic Segmentation of Images and Segments description:- "COMPUTER GRAPHICS & GEOMETRY" Internet Journal, 1999

22. H. B. Barlow. Single units and sensation: a neural doctrine for perceptual psychology? Perception I, pages 371-394, 1972.

23. J. L. Barron, D. J. Fleet, and S. S. Beauchemin. Performance of optical flow techniques. Technical Report RPL-TR-9107, Queen's University, Kingston, Ontario, Robotics and Perception Laboratory Technical Report, July 1992.

24. M. Basseville, A. Benveniste, К. C. Chou, S. A. Golden, R. Nikoukhah, and A. S. Willsky. Modeling and estimation of multiresolution stochastic processes. Technical Report CICS- P-283, MIT Center for Intelligent Control Systems, February 1991.

25. R. Battiti, E. Amaldi, and C. Koch. Computing optical flow across multiple scales: an adaptive coarse-to-fine strategy. Intl. J. Сотр. Vis., 6(2): 133-145, 1991. 125

26. M. Black and P. Anandan. Robust dynamic motion estimation over time. In IEEE Conference on Computer Vision and Pattern Recognition, pages 296-302, Maui, June1991.

27. M. J. Black. A robust gradient method for determining optical flow. In IEEE Conference on Computer Vision and Pattern Recognition, Champagne-Urbana, June1992.

28. R. W. Brockett. Gramians, generalized inverses, and the least-squares approximation of optical flow. J. Vis. Comm. and Image Rep., 1(1):3-11, Septemeber 1990.

29. P. J. Burt. Fast filter transforms for image processing. Computer Graphics and Image Processing, 16:20-51, 1981.

30. C. Caflorio and F. Rocca. Methods for measuring small displacements of television images. IEEE Trans. Info. Theory, IT-22:573-579, September 1976.

31. F. W. Campbell, G. F. Cooper, and C. Enroth-Cugell. The angular selectivity of visual cortical cells to moving gratings. J. Physiology (London), 198:237-250, 1968.

32. К. C. Chou, A. S. Willsky, A. Benveniste, and M. Basseville. Recursive and iterative estimation algorithms for multi-resolution stochastic processes. Technical

33. Report LIDS- P-1857, MIT Laboratory for Information and Decision Sciences, March 1989.

34. T. Darrell and A. P. Pentland. Robust estimation of a multi-layer motion representation. In Proceedings IEEE Workshop on Visual Motion, Princeton, October 1991.

35. J. G. Daugman. Uncertainty relation for resolution in space, spatial frequency, and orientation optimized by two-dimensional visual cortical filters. J. Opt. Soc. Am. A, 2(7): 1160-1169, July 1985.

36. W. Enkelmann and H. Nagel. Investigation of multigrid algorithms for estimation of optical flow fields in image sequences. Сотр. Vis. Graphics Image Proc., 43:150177, 1988.

37. M. Fahle and T. Poggio. Visual hyperacuity: spatiotemporal interpolation in human vision. Proceedings of the Royal Society of London, B, 213:451-477, 1981.

38. M. Feder and E. Weinstein. Parameter estimation of superimposed signals using the EM algorithm. IEEE Trans. Acoust. Speech Signal Proc., 36(4):477-489, April 1988.

39. C. L. Fennema and W. Thompson. Velocity determination in scenes containing several moving objects. In CGIP-9, pages 301-315, 1979.

40. V. P. Ferrara and H. R. Wilson. Perceived direction of moving two-dimensional patterns. Vis. Res., 30(2):273-287, 1990. 126

41. V. P. Ferrara and H. R. Wilson. Perceived speed of moving two-dimensional patterns. Vis. Res., 31(5):273-287, 1990.

42. D. Fleet and A. Jepson. Computation of component image velocity from local phase information. Intl. J. Сотр. Vis., 5(1):77-104, 1990.

43. D. J. Fleet and A. D. Jepson. A cascaded filter approach to the construction of velocity selective mechanisms. Technical Report RBCV-TR-84-6, Department of Computer Science, University ofToronto, 1984.

44. W. T. Freeman and E. H. Adelson. The design and use of steerable filters. IEEE Pat. Anal. Mach. Intell., 13(9):891-906, 1991.

45. D. Gabor. Theoiy of communication. J. IEE, 93:492-457, 1946.

46. A. Gelb, editor. Applied Optimal Estimation. MIT Press, 1989.

47. S. Geman and D. Geman. Stochastic relaxation, gibbs distibutions, and bayesian restoration of images. IEEE Pattern Analysis and Machine Intelligence, 6:721-741, November 1984.

48. J. J. Gibson. The Perception of the Visual World. Houghton Miflin, Boston, MA, 1950.

49. B. Girod and D. Kuo. Direct estimation of displacement histograms. In OSA meeting on Image Understanding and Machine Vision, Cape Code, Mass, 1989.

50. N. M. Grzywacz and A. L. Yuille. A model for the estimate of local image velocity by cells in the visual cortex. Proc. R. Soc. Lond. A, 239:129-161, 1990.120

51. R. M. Haralick and J. S. Lee. The facet approach to optic flow. In L. Baumann, editor, Proceedings, Image Understanding Workshop, pages 84-93. Science Applications, Arlington, VA, 1983.

52. D. J. Heeger. Model for the extraction of image flow. J. Opt. Soc. Am. A, 4(8): 1455-1471, August 1987.

53. D. J. Heeger. Optical flow using spatiotemporal filters. Intl. J. Сотр. Vis., pages 279- 302, 1988.

54. D. J. Heeger. Half-squaring in responses of cat simple cells. Visual Neuroscience, 9, 1992. In press.

55. D. J. Heeger. Normalization of cell responses in cat striate cortex. Visual Neuroscience, 9, 1992. In press.

56. D. J. Heeger, A. D. Jepson, and E. P. Simoncelli. Model of cell responses in visual area MT. In Proceedings IEEE Workshop on Visual Motion, Princeton, October 1991.

57. D. J. Heeger and E. P. Simoncelli. Model of visual motion sensing. In L. Harris and M. Jenkin, editors, Spatial Vision in Humans and Robots. Cambridge University Press, 1992. 127

58. E. C. Hildreth. Computations underlying the measurement of visual motion. Artificial Intelligence, 23(3):309-355, 1984.

59. В. K. P. Horn. Robot Vision. MIT Press, Cambridge, MA, 1986.

60. В. K. P. Horn and B. G. Schunck. Determining optical flow. Artificial Intelligence, 17:185-203, 1981.

61. D. Hubel and T. Wiesel. Receptive fields, binocular interaction, and functional architec- ture in the cat's visual cortex. J. Physiology (London), 160:106-154, 1962.

62. D. H. Johnson. The application of spectral estimation methods to bearing estimation problems. Proc. IEEE, 70:1018-1028, September 1982.

63. J. K. Kearney, W. B. Thompson, and D. L. Boley. Optical flow estimation: An error analysis of gradient-based methods with local optimization. IEEE Pat. Anal. Mach. Intell., 9(2):229-244, 1987.

64. H. Knutsson and G. H. Granlund. Texture analysis using two-dimensional quadrature filters. In IEEE Computer Society Workshop on Computer Architecture for Pattern Analysis and Image Database Management, pages 206-213, 1983.

65. F. L. Kooi, R. L. DeValois, and Т. K. Wyman. Perceived direction of moving plaids. In Invest. Opthalmol. and Vis. Sci. Suppl. (ARVO), volume 29, 1989.

66. J. O. Limb and J. A. Murphy. Estimating the velocity of moving images in television signals. Computer Graphics and Image Processing, 4:311-327, December 1975.

67. B. D. Lucas and T. Kanade. An iterative image registration technique with an application to stereo vision. In Proceedings of the 7th International Joint Conference on Artificial Intelligence, pages 674-679, Vancouver, 1981.

68. D. Marr. Vision: A Computational Investigation into the Human Representation and Processing of Visual Information. W.H.Freeman and Company, San Fransisco, 1982.

69. D. Marr and S. Ullman. Directional selectivity and its use in early visual processing. Proc. Royal Society of London B, 211:151-180, 1981.

70. J. H. R. Maunsell and D. С. V. Essen. Functional properties of neurons in middle temporal visual area of the macaque monkey i. selectivity for stimulus direction, speed, and orientation. Journal of Neurophysiology, 49(5): 1127-1147, 1983.

71. A. Mitche, Y. F. Yang, and J. K. Aggarwal. Experiments in computing optical flow with the gradient-based, multiconstraint method. Pattern Recognition, 20(2): 173179, 1987. 128

72. J. A. Movshon. Processing of motion information by neurons in the striate and ex-trastriate visual cortex of the macaque. Investigative Opthalmology and Visual Science Supplement (ARVO), 26:133, 1985.

73. D. W. Murray and B. F. Buxton. Scene segmentation from visual motion using global optimization. IEEE Pat. Anal. Mach. Intell., 9:220-228, March 1987.

74. H. Nagel and W. Enkelmann. An investigation of smoothness constraints for the estima- tion of displacement vector fields from image sequences. IEEE Pat. Anal. Mach. Intell., 8:565-593, Septemeber 1986.

75. H. H. Nagel. Displacement vectors derived from second order intensity variations in image sequences. Computer Vision, Pattern Recognition, and Image Processing, 21:85- 117, 1983.

76. K. Nakayama. Biological image motion processing: A review. Vis. Res., 25:625660, 1985.

77. S. Negahdaripour, A. Shokrollahi, and M. A. Gennert. Relaxing the brightness constancy assumption in computing optical flow. In Proc. IEEE Intern. Conf. Image Processing, pages 806-810, September 1989.

78. W. T. Newsome, M. S. Gizzi, and J. A. Movshon. Spatial and temporal properties of neurons in macaque mt. Investigative Opthalmology and Visual Science Supplement (ARVO), 24:106, 1983.

79. P. Perona. Deformable kernels for early vision. In IEEE Сотр. Soc. Conf. Computer Vision and Pattern Recognition, pages 222-227, Maui, 1991.

80. T. Poggio and W. Reichardt. Considerations on models of movement detection. Kybernet, 13:223-227, 1973.

81. T. Poggio, W. Yang, and V. Torre. Optical ow: Computational properties and networks, biological and analog. In R. Durbin, C. Miall, and G. Mitcheson, editors,

82. The Computing Neuron, chapter 19, pages 355-370. Addis on-Wesley, Wokingham, England, 1988.

83. D. Pollen and S. Ronner. Visual cortical neurons as localized spatial-frequency filters. IEEE Trans. Sys. Man Cyber., 13:907-916, 1983.

84. L. Quam. Hierarchical warp stereo. In Proceedings of the DARPA Image Understanding Workshop, September 1984.

85. E. H. A. R С Emerson, J R Bergen. Directionally selective complex cells and the com- putation of motion energy in cat visual cortex. Vision Research, 32(2):203-218, 1992.

86. W. Reichardt. Autocorrelation, a principle for the evaluation of sensory information by the central nervous system. In W. A. Rosenblith, editor, Sensory Communication. Wiley, New York, 1961. 129

87. A. Rougee, В. C. Levy, and A. S. Willsky. An estimation-based approach to the recon- struction of optical flow. Technical Report LIDS-P-1663, MIT Laboratory for Information and Decision Systems, April 1987.

88. M. Shizawa and K. Mase. Simultaneous multiple optical flow estimation. In IEEE Conference on Computer Vision and Pattern Recognition, Atlantic City, June 1990.

89. M. Shizawa and K. Mase. A unified computational theory for motion transparency and motion boundaries based on eigenenergy analysis. In IEEE Conference on Computer Vision and Pattern Recognition, Maui, June 1991.

90. E. P. Simoncelli. Computing optical flow from first and second order directional cosines. Vision and modeling technical report, MIT Media Laboratory, November 1992.

91. E. P. Simoncelli. Distributed representations of image velocity. Vision and Modeling Technical Report 202, MIT Media Laboratory, October 1992.

92. E. P. Simoncelli and E. H. Adelson. Computation of optical flow: Relationship between several standard techniques. Vision and Modeling Technical Report 165, MIT Media Laboratory, November 1990. Revised, March 1991.

93. E. P. Simoncelli and E. H. Adelson. Optical flow distributions: gradient, energy and re- gression methods. In Optical Society of America, Annual Meeting, Boston, MA, November 1990.

94. E. P. Simoncelli and E. H. Adelson. Relationship between gradient, spatio-temporal energy, and regression models for motion perception. In Investigative Opthalmology and Visual Science Supplement (ARVO), volume 32, 1991.

95. E. P. Simoncelli, E. H. Adelson, and D. J. Heeger. Probability distributions of optical flow. In IEEE Conference on Computer Vision and Pattern Recognition, Mauii, Hawaii, June 1991.

96. E. P. Simoncelli and D. J. Heeger. A computational model for representation of image velocities. In Investigative Opthalmology and Visual Science Supplement (ARVO), volume 34, 1993.

97. Е. P. Simoncelli, D. J. Heeger, and E. H. Adelson. Perception of 3D motion in the presence of uncertainly. Inlnvestigative Opthalmology and Visual Science Supplement (ARVO), volume 31, 1990.

98. E. P. Simoncelli, D. J. Heeger, and E. H. Adelson. A computational model for perception of two-dimensional pattern velocities. In Investigative Opthalmology and Visual Science Supplement (ARVO), volume 33, 1992.

99. A. Singh. Incremental estimation of image- flow using a kalman filter. In Proceedings IEEE Workshop on Visual Motion, Princeton, October 1991.

100. P. Sobey and M. V. Srinivasan. Measurement of optical flow by a generalized gradient scheme. J. Opt. Soc. Am. A, 8(9): 1488-1498, September 1991. 130

101. M. V. Srinivasan. Generalized gradient schemes for the measurement of two-dimensional image motion. Biol. Cybern., 63:421-431, 1990.

102. L. S. Stone and P. Thompson. Human speed perception is contrast dependent. Vis. Res., 32(8): 1535-1549, 1992.

103. L. S. Stone, A. B. Watson, and J. B. Mulligan. Effect of contrast on the perceived direction of a moving plaid. Vis. Res., 30(7): 1049-1067, 1990.

104. R. Szeliski. Bayesian modeling of uncertainly inflow-level vision. International Journal of Computer Vision, 5(3):271-301, December 1990.

105. D. Terzopoulos. Image analysis using multigrid relaxation methods. IEEE Pat. Anal. Mach. Intell., 8:129-139, 1986.

106. P. Thompson. Perceived rate of movement depends on contrast. Vis. Res., 22:377-380, 1982.

107. O. Tretiak and L. Pastor. Velocity estimation from image sequences with second order differential operators. In IEEE, pages 16-19, 1984.

108. S. Uras, F. Girosi, A. Verri, and V. Torre. A computational approach to motion percep- tion. Biol. Cybern., 60:79-87, 1988.

109. J. P. H. van Santen and G. Sperling. Temporal covariance model of human motion perception. J. Opt. Soc. Am. A, 1:451-473, 1984.

110. A. Verri and T. Poggio. Motion field and optical flow: Qualitative properties. IEEE Pat. Anal. Mach. Intell., pages 490-498, 1989.

111. A. B. Watson and A. J. Ahumada. A look at motion in the frequency domain. In J. K. Tsotsos, editor, Motion: Perception and representation, pages 1-10. 1983.

112. A. B. Watson and A. J. Ahumada. Model of human visual-motion sensing. J. Opt. Soc. Am. A, 2:322-342, 1985.

113. A. M. Waxman and K. Wohn. Contour evolution, neighbourhood deformation, and global image flow: Planar surfaces in motion. Inter. J. Robotics Res., 4:95-108, 1985.

114. L. Welch. The perception of moving plaids reveals two motion-processing stages. Nature, 337:734-736, 1989.

115. H. R. Wilson, V. P. Ferrera, and C. Yo. A psychophysical^ motivated model for two- dimensional motion perception. Visual Neuroscience, 9:79-97, 1992. 131

116. Sarah Douglas and Ted Kirkpatrick. Do Color Models Really Make a Difference? Department of Computer Science, University of Oregon, 1995

117. Alvy Ray Smith. The HSV-RGB Transform Pair. Published in the Internet, 1996

118. Understanding DRAM Performance Specifications. IBM Applications Note, 12/96

119. Understanding DRAM Operation. IBM Applications Note, 12/96

120. Understanding Static RAM Operation. IBM Applications Note, 03/97

121. Michael J. Zulich. DRAM: The Next Generation. Computer Shopper, June 1997.