Методы машинного обучения для построения трехмерных моделей антропогенных сцен тема диссертации и автореферата по ВАК РФ 01.01.09, кандидат физико-математических наук Баринова, Ольга Вячеславовна

• Баринова, Ольга Вячеславовна
• кандидат физико-математических наук
• 2010

Оглавление диссертации кандидат физико-математических наук Баринова, Ольга Вячеславовна

СОДЕРЖАНИЕ.

ВВЕДЕНИЕ.

СОДЕРЖАНИЕ РАБОТЫ ПО

ГЛАВАМ.

БЛАГОДАРНОСТИ.

1. НОВЫЙ МЕТОД ПОСТРОЕНИЯ КОМПОЗИЦИЙ

КЛАССИФИКАТОРОВ.

3.1. Алгоритмы бустинга для задачи классификации.

Формальные постановки задачи классификации.

Проблема переобучения и обобщающая способность.

Композиции классификаторов.

Алгоритм АскВооБ! (бустинг).

Оценки обобщающей способности для классификаторов, построенных бустингом.

Модификации бустинга устойчивые к шуму в обучающей выборке.

3.2. Новые оценки обобщающей способности для линейных комбинаций классификаторов.

3.3. Новый метод построения композиций классификаторов.

Метод оценивания условных вероятностей.

Результаты экспериментов.

3.4. ВЫВОДЫ.

2. РАЗВИТИЕ МЕТОДОВ АНАЛИЗА ГЕОМЕТРИИ АНТРОПОГЕННЫХ СЦЕН НА ОСНОВЕ АНАЛИЗА ПРЯМЫХ ЛИНИЙ.

2.1. Усовершенствованное преобразование Хафа для поиска многих объектов.

Обзор модификаций преобразования Хафа для поиска прямых линий

Анализ вероятностной модели в основе преобразования Хафа.

Предлагаемая вероятностная модель.

Вывод в предлагаемой вероятностной модели.

Эксперименты.

2.2. Геометрический парсинг фотографий городских сцен.

Обзор методов поиска точек схода.

Предлагаемый подход.

Описание предлагаемой вероятностной модели.

Вывод в модели.

Эксперименты.

2.3. ВЫВОДЫ.

3. ПОСТРОЕНИЕ ТРЕХМЕРНЫХ МОДЕЛЕЙ ГОРОДСКИХ СЦЕН ПО ОДНОЙ ФОТОГРАФИИ.

3.1. Существующие подходы к построению трехмерных моделей сцен по одному изображению.

3.2. Предлагаемый метод построения трехмерных моделей городских сцен по одному изображению.

Структура трехмерной модели и общая схема работы предлагаемого алгоритма.

Предобработка изображения.

Вероятностная модель.

Поиск точек перегиба ломаной линии.

Вертикальное позиционирование ломаной линии.

3.3. Результаты работы метода трехмерной реконструкции.

3.4. ВЫВОДЫ.

Введение диссертации (часть автореферата) на тему «Методы машинного обучения для построения трехмерных моделей антропогенных сцен»

Одной из задач компьютерного зрения является задача извлечения информации о трехмерной структуре сцены из двумерных изображений. С развитием компьютерного зрения появились методы, позволяющие анализировать геометрию трехмерных сцен всего лишь по одному двумерному изображению. Класс изображений антропогенных сцен (городские сцены, снимки, сделанные в помещениях) представляет особый интерес, поскольку фотографии антропогенных сцен составляют большой процент любительских фотографий, и, кроме того, они часто содержат большое число параллельных прямых линий, что предоставляет ценные подсказки для анализа геометрии сцены. Анализ геометрии антропогеннх сцен используется в системах поиска объектов и распознавания для повышения точности и надежности их работы [61]. Также анализ геометрии антропогенных сцен по одному двумерному изображению используется для орентации в пространстве роботов с одной камерой [93], построении трехмерных компьютерных моделей зданий для создания трехмерных карт [69].

Данная работа посвящена разработке новых методов анализа геометрии антропогенных сцен, превосходящих по точности и надежности существующие методы. Поскольку большинство современных методов анализа геометрии сцен по одной фотографии основано на распознавании образов, то повышение точности методов распознавания образов и машинного обучения влечет за собой повышение точности анализа геометрии сцен по одной фотографии. Поэтому первая глава работы посвящена развитию методов машинного обучения.

За основу метода машинного обучения, предложенного в первой главе работы, был взят широко используемый в задачах компьютерного зрения алгоритм бустинга [51], который строит линейные комбинации простых классификаторов из некоторого заданного семейства. Известно, что при наличии шума в данных бустинг склонен к переобучению. В задачах компьютерного зрения процент шумовых объектов как правило бывает достаточно высоким, что негативно сказывается на работе бустинга. В данной работе рассматриваются причины этого явления, и выводятся новые оценки обобщающей способности для линейных комбинаций классификаторов, более точные, чем существующая оценка из [99]. Предлагается новый метод построения линейных комбинаций классификаторов , и доказывается, что предложенный метод минимизирует полученные оценки.

Как было сказано выше, параллельные линии предоставляют ценные подсказки для анализа геометрии антропогенных сцен. Однако существующие методы поиска прямых линий, например [62], и группировки их в семейства параллельных прямых, например [66, 104], не обладают достаточной точностью и надежностью. Во второй главе работы предлагается новый метод поика прямых линий на карте краев изображения, а также метод их группировки в семейства параллельных линий, оба метода основаны на использовании аппарата графических моделей. В отличие от метода Хафа, в предложенном методе поиска прямых линий не требуется решать проблему нахождения локальных максимумов, поэтому метод не. требует использования таких эвристик как подавление не-максимумов.

Согласно правилам перспективной проекции, проекции копланарных параллельных прямых пересекаются в одной точке на плоскости изображения, которая называется точкой схода [41]. Точка схода задает направление прямых линий и соответствующих плоскостей в трехмерном пространстве. Если на изображении присутствуют несколько семейств параллельных линий, лежащих на разных плоскостях в трехмерном пространстве, соответствующие им точки схода лежат на одной и той же прямой. Изображения антропогенных сцен часто содержат несколько семейств горизонтальных линий, лежащих на разных вертикальных плоскостях (например, линии окон лежат на стенах домов). В таком случае прямая, которая содержит соответствующие точки схода, называется горизонтом. Проекции параллельных вертикальных линий пересекаются в точке, которая называется зенитом. Во второй главе работы предлагается новый метод поиска геометрических примитивов различных уровней (прямые линии, точки схода, зенит и горизонт) в рамках одной вероятностной модели. Поиск оценки максимума апостериорной вероятности для предложенной вероятностной модели осуществляется методами дискретной оптимизации. В отличие от существующих методов, например [66, 104], где геометрические примитивы различных уровней обнаруживаются последовательно, в предлагаемом методе они обнаруживаются одновременно, что позволяет избежать распространения ошибок и добиться более высокой точности и надежности метода.

Как правило, городскую сцену можно представить упрощенной трехмерной моделью, которая состоит из нескольких плоскостей, соответствующих земле и стенам зданий [60]. Существующие методы построения таких трехмерных моделей [43, 60] работают недостаточно надежно и не позволяют получать модели приемлемого визуального качества. В третьей главе работы предлагается алгоритм автоматического построения трехмерных моделей по одной фотографии антропогенной сцены. Предложенный метод основан на распознавании образов и использует алгоритм машинного обучения, предложенный в первой главе работы. Поиск оптимальных параметров трехмерной модели сводится к оценке максимума апостериорной вероятности в графической модели условного случайного поля [71] и осуществляется методами дискретной оптимизации. Ориентация вертикальных плоскостей модели определяется на основе анализа прямых линий и точек схода. Предложенный метод позволяет получать трехмерные модели антропогенных сцен более высоко визуального качества по сравнению с существующими методами [60, 94].

СОДЕРЖАНИЕ РАБОТЫ ПО ГЛАВАМ

Работа состоит из трех глав. В первой главе рассматривается задача классификации. Приводится описание базовых алгоритмов бустинга для построения композиций простых классификаторов. Проводится анализ современных точек зрения на проблему переобучения при построении классификатора по обучающей выборке прецедентов. В частности, рассматриваются существующие теории, объясняющие хорошую способность к обобщению бустинга. Приводится описание предложенного алгоритма обучения по прецедентам, который строит композиции простых классификаторов. Выводятся теоретические верхние оценки способности к обобщению для предложенного алгоритма, и доказывается, что предложенный алгоритм минимизирует полученные оценки. Приводится описание и результаты экспериментов, в которых предложенный метод сравнивается с существующими аналогами.

Во второй главе более подробно рассматривается задача анализа геометрии сцены по одной фотографии на основе анализа прямых линий. Предлагается усовершенствованная схема голосования Хафа, основанная на вероятностной модели, которая может быть использована для поиска линий. Также во второй главе предлагается метод одновременного поиска прямых линий, оценки положения точек схода, линии горизонта и зенита. Приводятся эксперименты, где предложенные методы сравниваются с существующими методами, которые показывают превосходство предложенных методов.

В третьей главе рассматривается применение предложенных алгоритмов для решения задачи трехмерной реконструкции антропогенных сцен по одному изображению. Описывается задача трехмерной реконструкции, проводится анализ современных методов ее решения. В частности проводится анализ методов трехмерной реконструкции по одному изображению. Приводится описание предложенного метода трехмерной реконструкции городских сцен по одной фотографии. В предложенном в диссертационной работе методе фиксируется структура трехмерной модели, которая задается набором параметров, таким образом, задача трехмерной реконструкции сводится к нахождению оптимальных параметров трехмерной модели для заданного изображения. В предложенном методе трехмерная модель сцены состоит из плоскости земли и вертикальных плоскостей, причем граница между вертикальными плоскостями и горизонтальной плоскостями представлена ломаной линией. Ориентация вертикальных плоскостей в предложенном методе определяется посредством нахождения точек схода для отрезков горизонтальных прямых.

БЛАГОДАРНОСТИ

Автор выражает глубокую признательность к.ф.-м.н. Ю.М. Баяковскому и проф. д. ф.-м. н. Рудакову К. В.

Заключение диссертации по теме «Дискретная математика и математическая кибернетика», Баринова, Ольга Вячеславовна

3.4. ВЫВОДЫ

В данной главе предложен алгоритм автоматического построения трехмерных моделей городских сцен по одному изображению. Разработанный алгоритм позволяет получать трехмерные модели, состоящие из вертикальных плоскостей, соответствующих стенам зданий, и горизонтальной плоскости земли. Трехмерные модели городских сцен, полученные при помощи разработанного алгоритма, не уступают в визуальном качестве моделям, полученным существующими на данный момент методами трехмерной реконструкции по одному изображению. При этом предложенный метод имеет гораздо меньшую вычислительную сложность, чем существующие аналоги.

ЗАКЛЮЧЕНИЕ

В данной работе рассматривалась задача восстановления трехмерной геометрии антропогенных сцен по одному изображению. В работе предложены методы, развивающие два основных принципа, лежащих в основе существующих методов трехмерной реконструкции антропогенных сцен по одному изображению - распознавания образов, и анализа геометрии сцены на основе анализа прямых линий.

В первой главе работы предложен новый метод обучения для задачи классификации, который строит композиции простых классификаторов. Теоретически показано, что предложенный метод обучения по прецедентам обладает лучшей способностью к обобщению, чем стандартный метод бустинга. Во второй главе работы предложен новый метод поиска прямых, точек схода, линии горизонта и зенита на изображениях. В завершении работы рассмотрена задача автоматического построения трехмерных моделей городских сцен по одному изображению и предлагается новый метод ее решения. Стоит отметить также, что результаты, полученные в первой и второй главах, имеют широкую область применения, не ограничивающуюся задачей трехмерной реконструкции по одному изображению.

Список литературы диссертационного исследования кандидат физико-математических наук Баринова, Ольга Вячеславовна, 2010 год

1. ВапникВ.Н. Восстановление зависимостей по эмпирическим данным М. Наука. 1979.

2. Вапник В. Н., Червоненкис А. Я.: Теория распознавания образов. — М.: Наука, 1974.

3. Воронцов К. В. Обзор современных исследований по проблеме качества обучения алгоритмов // Таврический вестник информатики и математики. — 2004.

4. Воронцов К. В. Комбинаторные обоснования обучаемых алгоритмов // ЖВМиМФ. — 2004. — Т. 44, № 11. — С. 2099-2112.

5. Воронцов К. В. Слабая вероятностная аксиоматика и надежность эмпирических предсказаний // Математические методы распознавания образов-13. — М.: МАКС Пресс, 2007. — С. 21-25.

6. Воронцов К. В., ИнякинА. С., Лисица А. В. Система эмпирического измерения качества алгоритмов классификации // Математические методы распознавания образов-13.— М.: МАКС Пресс, 2007.— С. 577-580.

7. Воронцов К.В. Оптимизационные методы линейной и монотонной коррекции в алгебраическом подходе к проблеме распознавания // ЖВМ и МФ. 2000. Т. 40, №1.

8. Воронцов, К. В. Комбинаторная теория надёжности обучения по прецедентам: Дис. док. физ.-мат. наук: 05-13-17.— Вычислительный центр РАН, 2010.

9. Докукин А. А. Об одном методе построения оптимального алгоритма вычисления оценок // Журнал вычислительной математики и математической физики, 2006, № 4. С. 755-762.

10. Журавлев Ю.И. Рудаков К.В. Об алгебраической коррекции процедур обработки (преобразования) информации // Проблемы прикладной математики и информатики. М. Наука, 1987. С. 187-198.

11. И.Рудаков К.В. Полнота и универсальные ограничения в проблеме коррекции эвристических алгоритмов классификации // Кибернетика. 1987. №3. с. 106- 109.

12. Рудаков К.В., Воронцов К.В. О методах оптимизации и монотонной коррекции в алгебраическом подходе к проблеме распознавания // ДАН. 1999. Т. 367 №3. С. 314-317

13. Рязанов В.В. Комитетный синтез алгоритмов распознавания и классификации//ЖВМ и МФ. 1981. Т. 21, № 6 с. 1533-1543.

14. Цюрмасто П. А., Воронцов К. В. Анализ сходства алгоритмов классификации в оценках обобщающей способности // Интеллектуализация обработки информации (ИОИ-2008): Тезисы докл. — Симферополь: КНЦ HAH Украины, 2008. — С. 232-234.

15. Aguilera, D.G., Lahoz, J.G., Codes, J.F.: A new method for vanishing points detection in 3d reconstruction from a single view. // In: Proc. of ISPRS Commission V. (2005)

16. Amit Y., Geman D., and Fan X. A coarse-to-fine strategy for multi-class shape detection. // In: TP AMI, 26(12):1606-1621, 2004.

17. Andriluka M., Roth S., and Schiele В. People-tracking-by-detection and people-detection-by-tracking. // In: CVPR, 2008.

18. Antone M.E., Teller S.J.: Automatic recovery of relative camera rotations for urban scenes. // In: CVPR. (2000) 2282-2289

19. Almansa A., Desolneux A., Vamech S.: Vanishing point detection without any a priori information. // IEEE Trans. Pattern Anal. Mach. Intell. 25 (2003) 502-507

20. Ballard D. H. Generalizing the hough transform to detect arbitrary shapes. // Pattern Recognition, 13(2):111-122, 1981.

21. Barinova O., Kuzmishkina A., Vezhnevets A., Vezhnevets V.: Learning class specific edges for vanishing point estimation. // In Proc. of Graphicon (2007) 162-165

22. Barinova O., Lempitsky V., and Kohli P. On detection of multiple object instances using hough transforms. //In: CVPR. (2010)

23. Barnard, S.: Interpreting perspective images. //Artificial Intelligence 21 (1983)435-462

24. Beardsley, P., Murray, D.: Camera calibration using vanishing points. // In: BMVC. (1992) 416-425

25. Besag J.: On the statistical analysis of dirty pictures. // Journal of the Royal Statistical Society B-48 (1986) 259-302

26. Bourdev L. and Malik J. Poselets: Body part detectors trained using 3d human pose annotations. // In. ICCV, 2009.

27. Boser B.; Guyon I.; Vapnik, V. A training algorithm for optimal margin classifiers. // Fifth Annual Workshop on Computational Learning Theory. ACM Press, Pittsburgh, (1992).

28. Blake C. L., & Merz C. J.: UCI repository of machine learning databases (1998)

29. Breiman L.: Bagging Predictors. // Machine Learning, 24, 2, (1996) 123140

30. Breiman Leo (2001). Random Forests. // Machine Learning 45 (1): 5-32

31. Canny J.: A Computational Approach To Edge Detection. // PAMI 8 (1986)

32. Caruana R., Niculescu-Mizil A.: An Empirical Comparison of Supervised Learning Algorithms // Proceedings of the 23rd International Conference on Machine Learning (ICML "06).

33. Collins M., Schapire R. E. and Singer Y.: Logistic regression, AdaBoost and Bregman distances. I I Machine Learning (2001)

34. Cipolla R., Drummond T., Robertson D.P.: Camera calibration from vanishing points in image of architectural scenes. // In: BMVC. (1999)

35. Chum O., Matas J., Kittler J.,: Locally Optimized RANSAC. // DAGM Symposium on Pattern Recognition 25 (2003) 236-243

36. Comaniciu D., Meer P.: Mean shift: A robust approach toward feature space analysis. // IEEE Trans, on Pattern Analysis and Machine Intelligence (2002) 24,5.

37. Collins R., Weiss R.: Vanishing point calculation as a statistical inference on the unit sphere. // In: ICCV. (1990) 400-403

38. Coughlan J.M., Yuille A.L.: Manhattan world: Compass direction from a single image by bayesian inference. // In: ICCV. (1999) 941-947

39. Criminisi A., Reid I., Zisserman A.: Single view metrology. // IJCV, 40 (2000)

40. Desai C. F, Ramanan D. Discriminative models for multi-class object layout. ICCV, 2009.

41. Delage E., Lee H., Ng A.: Automatic single-image 3d reconstructions of indoor manhattan world scenes. // In Proc. of ISRR (2005)

42. Delage, E., Lee, H., Ng, A.: A dynamic bayesian network model for autonomous 3d reconstruction from a single indoor image. // In Proc. of CVPR (2006)

43. Deutscher, J., Isard, M., MacCormick, J.: Automatic camera calibration from a single manhattan image. // In: ECCV (4). (2002) 175-205

44. Denis, P., Elder, J.H., Estrada, F.J.: Efficient edge-based methods for estimating manhattan frames in urban imagery. // In: ECCV (2). (2008) 197210

45. Duric, Z., Rosenfeld, A.: Image sequence stabilization in real time. // RealTime Imaging 2 (1996) 271-284

46. Dietterich, T., G.: An experimental comparison of three methods for constructing ensembles of decision trees: Bagging, boosting, and randomization. // Machine Learning, 40 (2) (1999)

47. Domingos, P.: A Unified Bias-Variance Decomposition for Zero-One and Squared Loss. // In Proc. of the 17th National Conference on Artificial Intelligence. (2000).

48. Domingo C., Watanabe O.: Madaboost: A modication of adaboost. // In 13th Annual Conference on Comp. Learning Theory, (2000)

49. Freund Y., Schapire R., A decision-theoretic generalization of on-line learning and an application to boosting. // Journal of Computer and System Sciences, no. 55. 1997

50. Friedman, J., Hastie, T., & Tibshirani, R.: Additive Logistic Regression: a Statistical View of Boosting. // The Annals of Statistics, 28, 2, (2000) 337407

51. Friedman, J.: Greedy function approximation: A gradient boosting machine. //Annals of Statistics, 29, 5. (2001)

52. Frey B. J. and Dueck D. Clustering by passing messages between data points. // Science, 315:972-976, 2007.

53. Gall J. and Lempitsky V. Class-specific hough forests for object detection. // CVPR, 2009.

54. Gu C., Lim J. J., Arbelaez P., and Malik J. Recognition using regions. // CVPR, 2009.

55. Hoiem, D., Efros, A., Hebert, M.: Geometric context from a single image. // In Proc. oflCCV (2005)

56. Hoiem, D., Sten, A.N., Efros A.A., Hebert, M.: Recovering Occlusion Boundaries from a Single Image. // In Proc. of ICCV (2007)

57. Hoiem D., Rother C., and Winn J. M. 3d layoutcrf for multi-view object class recognition and segmentation. // CVPR, 2007.

58. Hoiem, D., Efros, A.A., Hebert, M.: Automatic photo pop-up. // ACM Trans. Graph. 24 (2005) 577-584l.Hoiem, D., Efros, A.A., Hebert, M.: Putting objects in perspective. // International Journal of Computer Vision 80 (2008) 3-15

59. Hough P. Machine analysis of bubble chamber pictures. // Int. Conf. High Energy Accelerators and Instrumentation, 1959.

60. Hulse, J., Khoshgoñaar, T., Napolitano, A.: Experimental perspectives on learning from imbalanced data. // In Proc. of ICML (2007) 935-942

61. Kanevskiy D. Y., Vorontsov K. V. Cooperative revolutionary ensemble learning // Multiple Classifier Systems: 7th International Workshop, Prague, Czech Republic, May 23-25, 2007. — Lecture Notes in Computer Science. Springer-Verlag, 2007. — Pp. 469-478.

62. Kang, H., Pyo, S., Anjyo, K., Shin, S.: Tour into the picture using a vanishing line and its extension to panoramic images. // In Proc. Eurographics (2001)132141.

63. Kosecka, J., Zhang, W.: Video Compass. // In Proc. of ECCV 7 (2002) 476491

64. Kearns, M., Vazirani, U.: An Introduction to Computational Learning Theory. // MIT Press, 1994

65. Kovesi P., Shapelets Correlated with Surface Normals Produce Surfaces. // 10th IEEE International Conference on Computer Vision. Beijing, pp 9941001.2005.

66. Koutsourakis, P. Simon, L. Teboul, O. Tziritas, G. Paragios, N. Single view reconstruction using shape grammars for urban environments. // In. Proc. IEEE 12th International Conference on Computer Vision, 2009 , pp. 1795 1802

67. Langford J. and Blum A. Microchoice Bounds and Self Bounding learning algorithms. // COLT99, pages 209-214 (2002)

68. Laferty, J., McCallum, A., Pereira, F.: Conditional random fields: Probabilistic models for segmenting and labeling sequence data. // In Proc. of ICML (2001)

69. Lazic N., Givoni I., Frey B., and Aarabi P. Floss: Facility location for subspace segmentation. // ICCV, 2009.

70. Leibe B., Leonardis A., and Schiele B. Robust object detection with interleaved categorization and segmentation. // IJCV, 77(l-3):259-289, 2008.

71. Langford J., Seeger M., and Megiddo N. An Improved Predictive Accuracy Bound for Averaging Classifiers // In Proc ICML2001

72. Langford J., Caruana R., (Not) Bounding the True Error // NIPS2001

73. Langford J., Seeger M., Bounds for Averaging Classifiers // Technical report, Carnegie Mellon 2001

74. Langford J. and McAllester D. Computable Shell Decomposition Bounds. // InJMLR

75. Langford J. Combining Train Set and Test Set Bounds. // ICML2002

76. McLean, G.F., Kotturi, D.: Vanishing point detection by line clustering. // IEEE Trans. Pattern Anal. Mach. Intell. 17 (1995) 1090-1095

77. Mason L, Baxter J, Bartlett P, Frean M.: Boosting algorithms as gradient descent, // Neural Information Processing Systems 12, MIT Press, (2000) 512-518

78. Nemhauser G. L. and Wolsey L. A. Best algorithms for approximating the maximum of a submodular set function. // Mathematics of operations research, 3(3): 177-188, 1978.

79. Niculescu-Mizil, A., Caruana, R.: Obtaining Calibrated Probabilities from Boosting. // In Proc. of UAI (2005) 413-42085.0kada. R. Discriminative generalized hough transform for object detection. //ICCV, 2009.

80. Pearl. J. Probabilistic Reasoning in Intelligent Systems. // Morgan Kaufmann, Palo Alto, 1988.

81. Perrone M.: Improving regression estimation: Averaging methods for Variance reduction with extension to General Convex Measure Optimization, // Ph.D. Thesis, Brown University, (1993)

82. Ratsch. G.: Robust Boosting and Convex Optimization. // Doctoral dissertation, University of Potsdam, (2001)

83. Reyzin, L., & Schapire, R.: How boosting the margin can also boost classifier complexity. // In Proceedings of the 23rd International Conference on Machine Learning (2006)

84. Rosset S.: Robust Boosting and Its Relation to Bagging. // KDD-05 (2005)

85. Rother, C.: A new approach for vanishing point detection in architectural environments. // In: BMVC. (2000)

86. Robert E. Schapire, Marie Rochery, Mazin Rahim and Narendra Gupta. Incorporating prior knowledge into boosting. // In Machine Learning: Proceedings of the Nineteenth International Conference, 2002.

87. Saxena, A., Sun, M., Ng, A.: Learning 3-D Scene Structure from a Single Still Image. // In Proc. of ICCV workshop on 3D representation for Recognition (2007)

88. Saxena, A., Chung, S., Ng, A.: Depth Reconstruction from a Single Still Image. // IJCV (2007)

89. Saxena, A., Chung, S., Ng, A.: Learning Depth from Single Monocular Images. //In Proc. of NIPS 18 (2005)

90. Schindler, G., Dellaert, F.: Atlanta world: An expectation maximization framework for simultaneous low-level edge grouping and camera calibration in complex man-made environments. // In: CVPR (1). (2004) 203-209

91. Sutton, C., McCallum, A.: Piecewise training of undirected models. // In Proc. of UAI 21 (2005)

92. Sheikh Y., Khan E. A., and Kanade T. Mode-seeking by medoid-shifts. // ICCV, 2007.

93. Shotton, J., Winn, J., Rother, C., Criminisi, A.: TextonBoost for Image Understanding: Multi-Class Object Recognition and Segmentation by Jointly Modeling Texture, Layout, and Context. IJCV (2007)

94. Schapire, R., Freund, Y., Bartlett, P., and Wee Sun Lee.: Boosting the margin: A new explanation for the effectiveness of voting methods. // In Machine Learning: Proceedings of the Fourteenth International Conference (1997)

95. Schapire, R. and Singer, Y.: Improved Boosting Algorithms Using Confidence-rated Predictions, // In Machine Learning, 37(3):297-336, 1999

96. Schapire R, Rochery M, Rahim M., Gupta N. Incorporating prior knowledge into boosting, // In Machine Learning, 2002

97. Taniguchi M, Tresp V.: Averaging Regularized Estimators, // In Neural Computation (1997)

98. Tardif, J.P.: Non-iterative approach for fast and accurate vanishing point detection. // In: ICCV. (2009)

99. A. Torralba and A. Oliva. Depth estimation from image structure. // IEEE Trans Pattern Analysis and Machine Intelligence (PAMI), 24(9): 1-13, 2002.

100. Tuytelaars, T., Gool, L.J.V., Proesmans, M., Moons, T.: A cascaded hough transform as an aid in aerial image interpretation. // In: ICCV. (1998) 67-72

101. Tu, Z., Chen, X., Yuille, A.L., Zhu, S.C.: Image parsing: Unifying segmentation, detection, and recognition. // International Journal of Computer Vision 63 (2005) 113-140

102. Vezhnevets, V., Konushin, A., Ignatenko, A.: Interactive image-based urban modeling. // In Proc. of PIA (2007) 63-68

103. Viola, P., Jones, M.: Robust Real-time Object Detection. // IJCV (2001)

104. Vezhnevets A, Barinova O.: Avoiding boosting overfitting by removing confusing samples, // In Proc. Of European Conference on Machine Learning (2007)

105. Vorontsov K. V. Combinatorial probability and the tightness of generalization bounds // Pattern Recognition and Image Analysis. — 2008. — Vol. 18, no. 2. — Pp. 243-259.

106. Wasserman, L.: All of Nonparametric Statistics. // Springer, 2006.

107. Winn J. M. and Shotton J. The layout consistent random field for recognizing and segmenting partially occluded objects. // CVPR (1), pp. 3744, 2006.