Математическое моделирование городской мобильности с использованием данных видеонаблюдения тема диссертации и автореферата по ВАК РФ 05.13.18, кандидат наук Курилкин Алексей Владимирович

• Курилкин Алексей Владимирович
• кандидат наук
• 2017

Оглавление диссертации кандидат наук Курилкин Алексей Владимирович

Введение

Глава 1 Обзор состояния предметной области

1.1 Методы подсчета числа пешеходов с использованием датчиков

1.2 Методы подсчета пешеходов в видеопоследовательности

1.2.1 Модели движения

1.2.2 Модели признаков

1.2.3 Комбинированные модели

1.2.4 Другие модели

1.3 Методы обнаружения отдельных людей методами компьютерного зрения

1.4 Методы мультиагентного моделирования

1.5 Основные подходы к моделированию мобильности

1.6 Выводы по главе

Глава 2 Определение входных данных для моделирования мобильности по данным камер видеонаблюдения

2.1 Метод определения входных данных для ассимиляции и идентификации моделей мобильности

2.2 Характеристики камер видеонаблюдения

2.2.1 Камеры наружного наблюдения

2.2.2 Камеры внутреннего наблюдения

2.3 Определение характеристик потоков людей

2.3.1 Подсчет количества людей для внутренних камер

2.3.2 Выделение отдельных людей

2.3.3 Выделение траекторий отдельных людей

2.3.4 Подсчет людей на видео

2.4 Подсчет количества людей для наружных камер наблюдения

2.5 Обработка видео с подвижных камер

2.6 Выводы по главе

Глава 3 Метод многомасштабного моделирования городской мобильности

3.1 Многомасштабная модель мобильности населения

3.2 Процедура ассимиляции данных в многомасштабную модель

3.3 Метод агрегации измерений

3.4 Статистические модели предсказания потока агентов на основе распределенной сети камер видеонаблюдения

3.5 Обоснование требований к конфигурации распределенной сети наблюдения для задач краткосрочного прогнозирования на основе синтетических данных

3.6 Методы балансировки потоков при ограниченном наборе камер

3.7 Выводы по главе

Глава 4 Примеры применения для городских задач

4.1 Расчет пешеходных потоков для массового мероприятия

4.2 Ежедневная городская мобильность

4.2.1 Извлечение данных с камер наружного наблюдения

4.2.2 Моделирование пешеходного перекрестка

4.3 Моделирование посетителей парка

4.4 Расчет мобильности на основе электронных карт оплаты для Санкт-Петербурга

4.5 Расчет мобильности во время проведения массового мероприятия

4.6 Выводы по главе

Заключение

Список источников

Печатные издания на русском языке

Печатные издания на английском языке

Ресурсы сети Интернет

Приложение А

Приложение Б

Введение диссертации (часть автореферата) на тему «Математическое моделирование городской мобильности с использованием данных видеонаблюдения»

Введение

Актуальность исследований обусловлена доступностью принципиально новых видов индивидуальных данных по территориальной и информационной мобильности жителей крупных урбанизированных территорий, включая данные социальных сетей, неогеографических веб-сервисов, трекинга мобильных телефонов и других, особое место среди которых занимают данных камер видеонаблюдения, позволяющих отслеживать пешеходный траффик с высокой степенью детализации. При этом покрытие городской территории камерами и качество съемки постоянно увеличиваются.

Целью диссертационного исследования является разработка многомасштабной мультиагентной модели мобильности городского населения, допускающей декомпозицию на отдельные блоки, связанные параметрически, через граничные и начальные условия с использованием различных источников данных. Максимальная детализация на микроуровне достигается за счет использования данных камер видеонаблюдения, которые позволяют настраивать мультиагентные модели пешеходной мобильности с шагом по времени до долей секунды. Для моделирования на макроуровне используются агрегированные данные на базе различных источников, включая карты электронной оплаты на транспорте и данные неогеографических сервисов. Полученная модель позволяет формировать динамику городского населения с желаемым уровнем детализации и осуществлять прогнозирование этой динамики.

Для достижения поставленной цели были решены следующие задачи диссертационного исследования:

- обоснование требований к технологиям извлечения данных с камер видеонаблюдения для их использования в моделях мобильности;

- разработка специализированных методов подсчета количества людей для внутренних и внешних камер видеонаблюдения с учетом требований методов мультиагентного моделирования пешеходных потоков;

- разработка специализированных методов и способов обработки видео с подвижных камер для массовых мероприятий;

- разработка многомасштабной мультиагентной модели мобильности населения для крупных городских территорий, использующей разнородные источники данных и процедуру их ассимиляции;

- экспериментальное исследование разработанной технологии на примерах движения больших скоплений людей в различных масштабах приближения: микро-, мезо-, макро-, для Санкт-Петербурга, Удджайна и Симферополя.

Научная новизна определяется совокупным применением методов компьютерного зрения и многомасштабного математического моделирования к задаче воспроизведения процессов городской мобильности, с возможностью повышения качества расчетов за счет ассимиляции текущих данных с камер видеонаблюдения.

Методы исследований. В работе используются методы компьютерного зрения, машинного обучения, теории вероятностей и математической статистики, элементы теории фильтрации и обработка временных рядов, методы мультиагентного моделирования и проведения вычислительных экспериментов.

Теоретическое значение работы состоит в том, что предложенные методы и реализованные на их основе технологии расширяют представления о возможностях совместного использовании различных источников данных для многомасштабного математического моделирования применительно к задаче воспроизведения процессов городской мобильности, с возможностью повышения качества расчетов за счет ассимиляции текущих данных с камер видеонаблюдения.

Практическая значимость работы определяется полученным в ее рамках набором программных библиотек, которые позволяют извлекать данные с камер наблюдения, настраивать на их основе мультиагентные модели пешеходной мобильности и использовать их с привлечением других данных (электронная оплата на транспорте, открытые данные по транспорту и городской инфраструктуре на основе \уеЬ-сервисов) для получения картины мобильности в масштабе крупной городской территории. На защиту выносятся:

- метод многомасштабного моделирования городской мобильности на основе композиции модели агрегированных пассажиропотоков в форме разностных уравнений и мультиагентной модели локальных перемещений, допускающий ассимиляцию фактических данных о плотности населения.

- метод определения входных данных для ассимиляции и идентификации моделей мобильности населения на основе анализа данных видеонаблюдений, адаптирующийся под различные характеристики видеокамер и условия внешней среды.

Степень достоверности и выводов обусловлена обоснованным применением современного математического аппарата видеоаналитики и моделирования, результатами тестирования алгоритмов и программного обеспечения на различных входных данных, сравнением результатов компьютерного анализа с данными ручной обработки изображений и видео, использованием независимых источников данных для оценки результатов моделирования мобильности.

Внедрение результатов работы. Результаты работы использовались при выполнении следующих проектов:

- №715784 от 20.04.2015 г. «Информационные технологии поддержки принятия решений по обеспечению комплексной безопасности сверхбольших территориально-распределенных массовых мероприятий»

- Соглашение №14.584.21.0015 от 11.11.2015 г. «Технологии распределенных облачных вычислений для моделирования процессов большого города» Договор № НК 15-29-07034X16 от 19.04.2016 г.

Апробация работы. Результаты исследований докладывались на следующих научных конференциях:

- Young Scientists Conference in HPC and Simulation 2016

- Седьмая всероссийская научно-практическая конференция «Имитационное моделирование. Теория и практика» ИММОД-2015

- The IV International Young Scientists Conference, 2015

- XI Международная научно-практическая конференция Объектные системы - 2015

- Региональная информатика "РИ-2014", 2014

- Информационные технологии в управлении (ИТУ-2014), 2014

Публикации. Список научных трудов по теме диссертационного исследования содержит 16 публикаций.

Личный вклад автора в выполненных в соавторстве работах заключается в обосновании и формализации требований к камерам видеонаблюдения и методам их обработки, разработке и настройке мультиагентных моделей с использованием специализированных методов обработки данных видеонаблюдения, выполнении экспериментальных исследований разработанной технологии многомасштабного моделирования на примерах движения больших скоплений людей в различных масштабах приближения. Из работ, выполненных в соавторстве, в диссертацию включены результаты, которые соответствуют личному участию автора.

Диссертация состоит из четырех глав. В первой главе выполнен обзор предметной области, включая существующие методы компьютерного зрения и методы моделирования мобильности. Во второй главе изложены теоретические основы и предложены практические реализации методов компьютерного зрения с учетом перспектив использования этих данных для задач моделирования. В третьей главе рассматриваются многомасштабные модели мобильности населения, включая городские пешеходные модели и потоки людей в масштабах крупной городской агломерации с учетом процедуры ассимиляции, позволяющей интегрировать в модель различные источники данных. В четвертой, заключительной, главе обсуждаются результаты

экспериментальных исследований для различных городских задач, начиная с повседневной городской мобильности и заканчивая крупными массовыми мероприятиями.

Глава 1 Обзор состояния предметной области

Исследование массовых скоплений людей с использованием математического моделирования для изучения поведения толпы стало широко применяться сравнительно недавно. При этом наблюдается нехватка как исходных данных для моделирования толпы, так и методов их получения. В данной главе рассматриваются основные методы подсчета пешеходов с использованием специализированных средств и камер общего назначения, используемых в видеонаблюдении. Рассматриваются методы компьютерного зрения и особенности применения моделей в зависимости от условий съемки и видимости, а также возможности применения результатов видеоаналитики к задачам городской мобильности в разных масштабах приближения.

1.1 Методы подсчета числа пешеходов с использованием датчиков

Для решения задачи подсчета числа пешеходов используются различные подходы. На данный момент существуют большое количество специализированных датчиков, решающих данную задачу. Их принципы действия сильно различаются, а область применения, как правило, ограничивается применением внутри помещения. Развертывание сети с большим количеством датчиков связано с различными сложностями, такими как высокая стоимость, необходимость планирования размещения датчиков. Среди таких датчиков можно выделить основные группы:

Детекторы присутствия измеряют количество людей, прошедших в непосредственной близости от объекта измерения. Детекторы работают по принципу измерения расстояния до объекта.

Датчики в дверном проеме реагируют на пересечение светового луча.

Потолочные датчики присутствия определяют факт присутствия человека на охватываемом пространстве.

Датчики в полу действуют по принципу измерения оказываемого на них давления. Обычно располагаются в виде сетки и позволяют определять продолжительность нахождения в зоне, среднюю скорость, а также другие параметры, связанные с пешеходами (например, можно определить факт падения пешехода).

Лазерные датчики могут быть установлены на одной стороне улицы для оценки численности людей в потоке. Численность оценивается в непосредственной близости от датчика, а точность может варьироваться в зависимости от характеристик толпы.

Для подсчета числа людей на открытом пространстве может быть использована аэрофотосъемка [79]. Очевидными недостатками является необходимость разработки

алгоритмов подсчета людей, привязанных к конкретным условиям съемки и невозможность постоянного мониторинга динамики перемещения людей. Развитие сети Интернет привело к появлению большого числа геосоциальных сетей. Большая часть информации, публикуемая пользователями, привязана к координатам и хорошо поддается анализу. Но публикуемая информация больше отражает социальную активность, чем динамику перемещения населения и поэтому может лишь дополнить другие источники информации. Сотовые операторы хранят огромное количество информации об абонентах, среди которой, помимо такой личной информации, как паспортные данные и используемый тарифный план, собираются и данные о перемещении абонента, модели сотового телефона, статистика, граф звонков. Благодаря повсеместному использованию мобильных телефонов можно получать детализированные данные о населении [93]. Многие европейские страны в данный момент заинтересованы в данных сотовых операторов, особенно отмечается анализ миграции и туризма на территории Евросоюза [32, 5, 120].

Видеокамеры, используемые для наблюдения, могут быть также использованы для подсчета числа людей. Камеры позволяют получить видеоизображение, а задача подсчета пешеходов решается за счет применения алгоритмов компьютерного зрения. Важно отметить, что в данном случае могут быть использованы существующие камеры видеонаблюдения, а подсчет реализован программным путем. Камеры могут быть установлены как внутри, так и вне помещения, ракурс съемки может сильно метаться в зависимости от поставленных задач. Так, например, для подсчета людей на входе возможно использование как потолочных камер, расположенных перпендикулярно к полу, так и камер, направленных на вход под углом к полу. Помимо видеокамер общего назначения существуют отдельные решения. Инфракрасные камеры производят подсчет людей на основе информации об излучаемом инфракрасном, тепловом излучении [8, 77]. Такие камеры легко отделяют людей от фона, но высокая стоимость не позволяет их устанавливать массово. Стерео видеокамеры и специализированные камеры позволяют выделять людей на основе получения информации о глубине в видеоизображении [111, 31]. Комплексы, позволяющие производить распознавание лиц в местах прохода, также могут вести учет количества людей. Для выделения пешеходов широко используются и комбинированные методы, такие как подходы на основе применения инфракрасных стереокамер [55].

Помимо ручного подсчета существуют и другие методы подсчета числа людей. Во многих торговых центрах число людей определяется по уникальным идентификаторам беспроводных устройств, технологий Bluetooth и Wi-Fi [98]. Существуют методы оценки числа людей на основе изменения характеристик сигнала Wi-Fi, которые не требуют наличия мобильных устройств у людей [107, 103]. В качестве среды, позволяющей оценить число людей, может выступать не

только радиосигнал, но и звук. Сигнал может генерироваться динамиками нескольких мобильных телефонов и приниматься их микрофонами. В [54, 63] продемонстрирована эффективность этого подхода в реальных условиях. Описанные методы, использующие среду радиосигнала или звука для подсчета числа людей, имеют ограниченную сферу применения и не всегда достаточную точность, что не позволяет использовать их как основной источник для оценки численности людей на заданной территории.

1.2 Методы подсчета пешеходов в видеопоследовательности

Алгоритмы подсчета количества людей в видеопотоке сталкиваются с рядом проблем, таких как низкое качество изображения, перспективные и оптические искажения, перекрытие людей, разнообразие их одежды, поз, размеров на изображении. Существенную роль вносит ракурс съемки: для камер, установленных перпендикулярно к полу, видны только головы и плечи, для камер, установленных под углом, могут быть видны или только головы, или люди целиком или часть туловища. Большинство систем по подсчету количества людей в толпе опираются на методы подсчета количества людей по занимаемой ими площади на изображении, что не позволяет получать стабильные результаты. Подход на основе детектора отдельных людей может обеспечить большую точность и стабильность при подсчете численности. Основные подходы, применяемые для расчета количества людей можно разделить на несколько групп:

Регрессионные методы. Для видеопотока строится функция зависимости количества людей в некоторой области от различных визуальных признаков изображения. Чаще всего в виде таких признаков используется выделение структурных, градиентных, текстурных характеристик переднего плана [25]. Передний план получается путем удаления неподвижного фона и последующей коррекцией перспективных искажений. Методы данного класса требуют ручной разметки и последующего обучения алгоритма, что вносит существенные ограничения. При большом количестве камер обучение под каждую камеру не всегда возможно, а использование алгоритма, обученного на других камерах, снижает точность. Условия освещенности могут значительно меняться, что может влиять на точность расчета количества людей. Данный подход для городских камер в Санкт-Петербурге был опробован в [59].

Методы кластеризации траекторий. Алгоритмы данной группы рассматривают людей как набор движущихся точек. Точки, которые движутся рядом, рассматриваются как отдельный человек. На точность выделения отдельных людей в толпе влияет выбор алгоритма кластеризации [22, 78, 90, 11]. Такие алгоритмы сталкиваются с рядом сложностей в тех случаях, когда люди малоподвижны, стоят в очереди, находятся рядом друг с другом в толпе.

Методы выделения отдельных людей. Данная группа методов ориентирована на выделение отдельных людей в кадре. Алгоритм может применяться как для выделения всего человека, так и для выделения отдельных характерных частей. В зависимости от ситуации часто ориентируются на выделение человека в полный рост, верхней части и головы.

Таким образом, для решения задачи подсчета числа людей на видео возможно использовать различные подходы. Существует большое многообразие моделей и на данный момент нет единого решения, способного включить в себя все аспекты моделирования толпы, но существующие модели позволяют решать конкретные задачи. Методы могут быть применены при различных условиях съемки, поэтому для подсчета людей на видео необходимо учитывать особенности исходных данных. Современные методы позволяют получать число людей на заданной плоскости, изменение потока, число людей, прошедших через линию, а также другие характеристики потоков людей.

Большинство существующих работ опираются на наборы данных с очень низкой плотностью людей, часто людей видно в полный рост, масштаб объектов на изображении меняется слабо [26, 112] (рисунок 1.1). Также в некоторых исследованиях указывается на недостатки существующих наборов данных и предлагаются свои, но не все наборы публикуются, и поэтому достаточно сложно сравнить результаты работы различных алгоритмов.

Рисунок 1.1 - Наборы данных из [26] (слева) и [112] (справа)

1.2.1 Модели движения

Модели потока движения сильно ограничены в своем применении в реальных условиях ввиду необходимости обработки возможных вариаций окружения. Такие модели плохо справляются со следующими задачами:

— разделение между движением фона и движением объекта

— выделение объектов при наличии шумов на изображении

— выделение объектов при изменении условий освещения

— обнаружение неподвижных объектов

Оптический поток. Наиболее простой моделью, позволяющей получить информацию о толпе, является оптический поток [13, 43]. Методы, позволяющие получить информацию о движении и видимой динамике, широко используются в системах видеонаблюдения. На основе оптического потока возможно кластеризовать траектории движущихся признаков изображения.

Моделирование фона. Группа методов позволяет выделять передний план путем вычитания фона. Используются как простые методы, которые используют вычитание последовательных кадров, так и более сложные модели, такие как Gaussian Mixture Models (GMM) [53, 92]. Подход позволяет выделять движущиеся объекты на фоне при использовании неподвижных камер. Модели фона очень плохо устойчивы к шуму, для видео с сильными шумами и нелинейными искажениями необходимо подбирать отдельный алгоритм, который позволяет отфильтровать или свести такие шумы к минимуму.

Часто модели фона используются в комбинации с другими методами, например, в работе [66] использовалось выделение фона как маска необходимая для того чтобы не рассматривать места в кадре, в которых нет движения. В комбинации с регрессионными методами информация о переднем плане может выступать в роле маски, по которой можно построить функцию зависимости характеристик от количества людей. В этом случае выделение отдельных людей и их траекторий невозможно. Метод был опробован для камеры расположенной в центре Санкт-Петербурга в [59] (рисунок 1.2), но необходимость использования настройки под каждый конкретный ракурс кадра и слабая устойчивость к изменениям освещенности фона сильно ограничивает область применения метода.

Рисунок 1.2 - Применение модели фона для подсчета людей [59]

Лагранжевы методы. Модели из Лагранжевой механики могут быть применимы и для толпы [7]. Такие модели позволяют производить сегментацию и анализ стабильности толпы, но требуют очень высокой плотности толпы для своего применения.

1.2.2 Модели признаков

Модели признаков позволяют выделять отдельные объекты на изображении с учетом окружения, что позволяет решать задачи, для которых модели движения не применимы. Методы могут устойчиво работать в условиях изменяющегося окружения, но также предъявляют ряд требований к признакам для выделения объектов.

Простые признаки. В качестве простейших признаков могут использоваться форма и цвет [23]; для обнаружения людей часто пытаются выделить форму, характерную для плеч и головы. В [52] представлен метод, который опирается на форму головы при съемке камерой сверху (рисунок 1.3). При съемке сверху потолочной камерой при достаточном удалении головы видны как круги или замкнутые области. Изображение подготавливается определенным образом, затем используется алгоритм обнаружения кругов и классификатор, обученный для фильтрации ложноположительных срабатываний.

Рисунок 1.3 - Трансформации изображения для выделения формы головы [52]

Сложные признаки. Для выделения отдельных людей можно использовать сложные признаки, такие как гистограммы ориентированных градиентов (Histogram of oriented gradients (HOG)) [58] и им подобные. Существует большое число исследований, которые подтверждают

успешное применение таких методов. Метод Aggregate Channel features (ACF) показывает очень хорошие результаты при обнаружении пешеходов [33, 37]. Метод Виолы-Джонса [100] на данный момент является одним из наиболее популярных алгоритмов для обнаружения лиц на изображениях. Сравнение методов, использующих сложные признаки, для видео было выполнено в [86] (рисунок 1.4).

щрщ

Рисунок 1.4 - Обнаружение пешеходов различными методами: АСБ (СаИесЬ) [6, 37], АСБ (ШША) [6, 37], Метод Виолы-Джонса [100] и Гистограммы направленных градиентов [86]

Модели статической толпы. Группа методов, основанная на выделении статической толпы [69, 91] (рисунок 1.5), не позволяет выделять отдельных людей, фокусируясь на общих характеристиках толпы. Область применения ограничивается обнаружением мест скопления людей на изображении и их характеристик, при этом оставляя на втором плане изучение динамических характеристик толпы.

I

ш

Рисунок 1.5 - Пример обнаружения толпы для набора данных РЕТ82009

Модели частей тела. Модели, использующие части тела, широко используются для обнаружения людей [72]. В зависимости от вида, камеры могут работать как с туловищем, так и только верхней его частью. Требуется большой набор данных с изображениями частей тела и их связями для обучения, но такие методы обычно работают эффективнее, чем модели, связанные с обнаружением лиц и голов — даже в условиях с частичным перекрытием частей тела.

1.2.3 Комбинированные модели

Комбинированные модели успешно используются для моделирования толпы, такой подход позволяет объединить преимущества нескольких моделей, но также накладывает некоторые дополнительные ограничения.

Пространственно-временные методы. Основная идея данной группы методов заключается в рассмотрении пространственных и временных изменений как шаблонов признаков. Модели этого класса позволяют получить признаки для отделения толпы от фона. Был проверен метод, описанный в статье [24], но при реализации метода было выявлено, что метод плохо подходит для толпы большой плотности. В случае высокой плотности толпы отдельных людей выделить с использованием данного метода может быть достаточно сложно. В [112] предложен метод, который позволяет использовать пространственно-временные срезы для толпы с большой плотностью, но метод имеет сложную реализацию и предъявляет особые требования к подготовке обучающей выборки.

Текстурные модели. Динамические модели текстур удалось успешно приспособить для сегментации движущейся толпы [26], но использование в реальных условиях подразумевает необходимость повторного обучения при изменении условий съемки и слабо подходит для выявления движений отдельных людей, требуя большой плотности толпы. Также такие модели могут быть привязаны к временному фактору, замедление или изменение динамики движения толпы может значительно влиять на результат.

1.2.4 Другие модели

Прогресс в разработке нейросетей для машинного обучения, особенно в обучении глубинных нейронных сетей, привел появлению большого числа модификаций существующих моделей. Среди наиболее примечательных подходов к моделированию толпы можно выделить подход [6], использующий для уточнения траекторий модель Social force [50]. Уточнение траекторий людей обеспечивается на основе направления движения и изменения скорости. Также возможно учитывать взаимодействие групп в толпе [71]. Подход не работает для людей, которые отделяются от групп. Также существуют ограничения для камер, закрепленных на стене, так как

требуется вносить преобразования для получаемых траекторий людей в зависимости от перспективных искажений.

1.3 Методы обнаружения отдельных людей методами компьютерного зрения

Задача обнаружения отдельных пешеходов занимает центральные позиции в компьютерном зрении на протяжении более чем двадцати лет [17]. Для большого количества применяемых ранее методов была улучшена производительность и точность [17, 15]. Были созданы тестовые наборы данных, которые позволили сравнивать и разрабатывать новые алгоритмы для обнаружения пешеходов [36, 38]. На данный момент существует огромное количество алгоритмов, позволяющих использовать характеристики объектов, которые устойчивы к изменению различных факторов, таких как угол зрения, освещенность. Наиболее часто для обнаружения пешеходов используются градиентные признаки, текстурные, интенсивность, а также различные комбинации признаков и их изменение во времени [83].

Для детектирования пешеходов часто используют гистограммы ориентированных градиентов (Histograms of oriented gradients, HOG) [30], обнаружение основывается на подсчете градиента в локальных областях изображения и в отличие от дескрипторов SIFT и контекстов формы вычисляется на плотной сетке равномерно распределенных ячеек и использует нормализацию перекрывающегося локального контраста для увеличения точности. Гистограммы ориентированных градиентов не могут работать в реальном времени, время обработки может достигать одного кадра в секунду. Для получения более точных результатов применятся методы в комбинации с методом опорных векторов (Support vector machine, SVM) и ансамбля решающих деревьев (Random forest) [16, 70]. Признаки Хаара [99, 35] обладают наибольшей скоростью по сравнению с остальными методами и могут вычисляться за постоянное время, но для обнаружения пешеходов показывают низкую точность ввиду больших различий в представлении обнаруживаемых объектов. Также для распознавания могут быть использована информация о потоке [89], локальные бинарные шаблоны (Local binary patterns) [113] и другие признаки.

Список литературы диссертационного исследования кандидат наук Курилкин Алексей Владимирович, 2017 год

источников

Плотность населения в зонах определяется как отношение текущего числа индивидов в зоне к ее площади, которая со временем не меняется. Пример результатов моделирования динамики населения в течение дня представлен на рисунке 4.27.

7200

6800

6400 Д

и

6000 х о с

5600

5200

7600

7200

6800

6400

и

6000 I

о с; с:

5600

5200

4800

7600

4800

Рисунок 4.27 - Моделирование динамики населения в г. Удджайн в нормальных условиях

В периоды проведения религиозных фестивалей динамика населения в городе значительно меняется, в первую очередь - за счет строительства дополнительных зон (городов-сателлитов), которые вмещают значительное число участников мероприятия. Примеры таких зон приведены на рисунке 4.28.

Рисунок 4.28 - Города-сателлиты (лагеря) на территории г. Удджайн в период проведения

религиозных праздников

В этом случае изменение плотности в одном масштабе отображения шкалы заметно только для территории зоны Махакал, так как колебания плотности в остальных зонах незначительны. По сути, имеет место наслоение двух процессов: естественной мобильности на территории и мобильности, формируемой проведением массового мероприятия.

Примеры результатов моделирования приведены на рисунке 4.29. Мобильность отображена на 12 ч в двух шкалах: первая привязана к плотности в зонах, вторая - к плотности в городах-сателлитах (лагерях). Описанная динамика плотности формирует основу для входных параметров моделей микроуровня.

А)

Б)

80000

70000

60000

50000

40000 о

I

н

о

30000 с

20000 10000

160000 152000 144000 136000

Й

128000 ^ л I—

и

120000 £ о с; С

112000 104000 96000

Рисунок 4.29 - Изменение плотности на территории проведения фестиваля Кумбха-Мела: а) шкала, привязанная к зонам города, б) шкала, привязанная к городам-сателлитам

Пример динамики плотности в зоне Махакал, которая представляет наибольший интерес для моделирования с применением процедуры ассимиляции в течение суток, приведен на рисунке 4.30.

Зона Махакал (Модель) • • Зона Махакал (Измерения)

120000

100000

у 80000 Л 60000

ь

и

0

1

о 40000

с;

и:

20000

10 15 20 25

Часы

Рисунок 4.30 - Моделирование динамики плотности населения в зоне Махакал с использованием процедуры ассимиляции

Результат процедуры ассимиляции, произведенный даже в одной зоне, оказывает влияние на численность населения во всех других зонах. Пример пространственного изменения плотности в результате применения процедуры ассимиляции приведен на рисунке 4.31.

А)

Б)

160000 152000 144000 136000 128000

112000

104000

96000

л н

и

0

1 н о с; с:

1

160000 152000 144000

(М

136000 Д

5

128000 ^

н

и о

120000 к о с; с

112000 104000 96000

Рисунок 4.31 - Пример пространственного изменения плотности населения в результате применения процедуры ассимиляции: А) поле плотности без ассимиляции, Б) поле плотности с

ассимиляцией данных

4.6 Выводы по главе 4

Таким образом, проведенные в данной главе эксперименты подтвердили возможность применения разработанных методов и подходов для решения различных задач моделирования

потоков людей в городском пространстве. Помимо примеров, приведенных в предыдущих главах, подход был апробирован на различных прикладных задачах, таких как исследование шаблонов мобильности на территории Санкт-Петербурга с применением различных источников данных и использованием процедуры ассимиляции. Метод может быть использован в различных условиях для моделирования массовых мероприятий, решения задач городской мобильности на уровне отдельных участков дороги, перекрестков, улиц, больших пространств, парков, районов.

Заключение

В ходе выполнения диссертационного исследования были получены следующие результаты:

— обоснованы требования к технологиям извлечения данных с камер видеонаблюдения для их использования в моделях мобильности;

— разработано семейство специализированных методов подсчета количества людей для внутренних и внешних камер видеонаблюдения с учетом требований методов мультиагентного моделирования пешеходных потоков, технических особенностей самих камер и внешних условий;

— разработаны специализированные методы и способы обработки видео с подвижных камер для массовых мероприятий;

— разработаны многомасштабные мультиагентные модели мобильности населения для крупных городских территорий, использующие разнородные источники данных и процедуру их ассимиляции;

— проведены экспериментальные исследования разработанной технологии на примерах движения больших скоплений людей в различных масштабах приближения: микро-, мезо-, макро-, для Санкт-Петербурга, Удджайна и Симферополя.

Результаты диссертационного исследования опубликованы в 16 научных работах, из них работ, опубликованных в рецензируемых научных журналах (из перечня ВАК), — 4, свидетельств на программы для ЭВМ и базы данных — 6, патентов - 2.

Список источников

Печатные издания на русском языке

1. Гасников А. и др. (ред.). Введение в математическое моделирование транспортных потоков. - Litres, 2017.

2. Емельянов А. А., Власова Е. А., Дума Р. В. Имитационное моделирование экономических процессов. - М.: " Финансы и статистика", 2002.

3. Конушин А. С. и др. Подсчет количества людей в видеопоследовательности на основе детектора головы человека //Программные продукты и системы. - 2015. - №. 1 (109).

Печатные издания на английском языке

4. Abar S. et al. Agent Based Modelling and Simulation tools: A review of the state-of-art software //Computer Science Review. - 2017.

5. Ahas R. et al. Evaluating passive mobile positioning data for tourism surveys: An Estonian case study //Tourism Management. - 2008. - Vol. 29. - №. 3. - P. 469-486.

6. Alahi A. et al. Social lstm: Human trajectory prediction in crowded spaces //Proceedings of the ШЕЕ Conference on Computer Vision and Pattern Recognition. - 2016. - P. 961-971.

7. Ali S., Shah M. A lagrangian particle dynamics approach for crowd flow segmentation and stability analysis //2007 ШЕЕ Conference on Computer Vision and Pattern Recognition. -ШЕЕ, 2007. - P. 1-6.

8. Amin I. J. et al. Automated people-counting by using low-resolution infrared and visual cameras //Measurement. - 2008. - Vol. 41. - №. 6. - P. 589-599.

9. Andriluka M., Roth S., Schiele B. People-tracking-by-detection and people-detection-by-tracking //Computer Vision and Pattern Recognition, 2008. CVPR 2008. ШЕЕ Conference on. -ШЕЕ, 2008. - P. 1-8.

10. Angelova A. et al. Real-Time Pedestrian Detection with Deep Network Cascades //BMVC. -2015. - Vol. 2. - P. 4.

11. Antonini G., Thiran J. P. Counting pedestrians in video sequences using trajectory clustering //Circuits and Systems for Video Technology, ШЕЕ Transactions on. - 2006. - Vol. 16. - №. 8. -P. 1008-1020.

12. Aziz К. E. et al. Pedestrian Head Detection and Tracking Using Skeleton Graph for People Counting in Crowded Environments //MVA. - 2011. - P. 516-519.

13. Barron J. L., Fleet D. J., Beauchemin S. S. Performance of optical flow techniques //International journal of computer vision. - 1994. - Vol. 12. - №. 1. - P. 43-77.

14

15

16

17

18

19

20

21

22

23

24

25

26

27

Bay H., Tuytelaars Т., Van Gool L. Surf: Speeded up robust features //European conference on computer vision. - Springer Berlin Heidelberg, 2006. - P. 404-417.

Benenson R. et al. Pedestrian detection at 100 frames per second //Computer Vision and Pattern Recognition (CVPR), 2012 IEEE Conference on. - IEEE, 2012. - P. 2903-2910. Benenson R. et al. Seeking the strongest rigid detector //Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. - 2013. - P. 3666-3673. Benenson R. et al. Ten years of pedestrian detection, what have we learned? //Computer Vision-ECCV 2014 Workshops. - Springer International Publishing, 2014. - P. 613-627. Berryman M. Review of software platforms for agent based models. // Land Operations Division Defence Science and Technology Organisation, Commonwealth of Australia 2008, 23 pp.

Betancourt A. et al. The evolution of first person vision methods: A survey //IEEE Transactions on Circuits and Systems for Video Technology. - 2015. - Vol. 25. - №. 5. - P. 744-760. Bezgodov A. et al. The Framework for Rapid Graphics Application Development: The Multi-scale Problem Visualization //Procedia Computer Science. - 2015. - Vol. 51. - P. 2729-2733. Breitenstein M. D. et al. Online multiperson tracking-by-detection from a single, uncalibrated camera //Pattern Analysis and Machine Intelligence, IEEE Transactions on. - 2011. - Vol. 33. - №. 9. - P. 1820-1833.

Brostow G. J., Cipolla R. Unsupervised bayesian detection of independent motion in crowds //Computer Vision and Pattern Recognition, 2006 IEEE Computer Society Conference on. -IEEE, 2006. - Vol. 1. - P. 594-601.

Butenuth M. et al. Integrating pedestrian simulation, tracking and event detection for crowd analysis //Computer Vision Workshops (ICCV Workshops), 2011 IEEE International Conference on. - IEEE, 2011. - P. 150-157.

Cao L. et al. Large scale crowd analysis based on convolutional neural network //Pattern Recognition. - 2015. - Vol. 48. - №. 10. - P. 3016-3024.

Chan А. В., Liang Z. S. J., Vasconcelos N. Privacy preserving crowd monitoring: Counting people without people models or tracking //Computer Vision and Pattern Recognition, 2008. CVPR 2008. IEEE Conference on. - IEEE, 2008. - P. 1-7.

Chan А. В., Vasconcelos N. Modeling, clustering, and segmenting video with mixtures of dynamic textures //IEEE Transactions on Pattern Analysis and Machine Intelligence. - 2008. -Vol. 30. -№. 5. - P. 909-926.

Chhaniyara S., ALTHOEFER K., Seneviratne L. D. Visual odometry technique using circular marker identification for motion parameter estimation //Int. Conf. Advances in Climbing and Walking Robots. - 2008. - P. 1069-1076.

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

Cioffi-Revilla С., Rouleau M. MASON RebeLand: An Agent-Based Model of Politics, Environment, and Insurgencyl //International Studies Review. 2010. Vol. 12, № 1. P. 31-52. Csurka G. et al. Visual categorization with bags of keypoints //Workshop on statistical learning in computer vision, ECCV. - 2004. - Vol. 1. - №. 1-22. - P. 1-2. Dalai N., Triggs B. Histograms of oriented gradients for human detection //2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'05). -IEEE, 2005. - Vol. 1. - P. 886-893.

Del Pizzo L. et al. A versatile and effective method for counting people on either RGB or depth overhead cameras //Multimedia & Expo Workshops (ICMEW), 2015 IEEE International Conference on. - IEEE, 2015. - P. 1-6.

Deville P. et al. Dynamic population mapping using mobile phone data //Proceedings of the National Academy of Sciences. -2014. - Vol. 111. -№. 45. - P. 15888-15893. Dollar P. et al. Fast feature pyramids for object detection //Pattern Analysis and Machine Intelligence, IEEE Transactions on. - 2014. - Vol. 36. - №. 8. - P. 1532-1545. Dollar P. et al. Integral channel features. - 2009.

Dollar P. et al. Multiple component learning for object detection //Computer Vision-ECCV

2008. -2008. - P. 211-224.

Dollar P. et al. Pedestrian detection: A benchmark //Computer Vision and Pattern Recognition,

2009. CVPR 2009. IEEE Conference on. - IEEE, 2009. - P. 304-311.

Dollar P. et al. Pedestrian detection: An evaluation of the state of the art //Pattern Analysis and Machine Intelligence, IEEE Transactions on. - 2012. - Vol. 34. - №. 4. - P. 743-761. Dollar P., Appel R., Kienzle W. Crosstalk cascades for frame-rate pedestrian detection //Computer Vision-ECCV 2012. - Springer Berlin Heidelberg, 2012. - P. 645-659. Dollar P., Belongie S., Perona P. The Fastest Pedestrian Detector in the West //BMVC. - 2010. -Vol. 2. - №. 3. - P. 7.

Engel J., Schops Т., Cremers D. LSD-SLAM: Large-scale direct monocular SLAM //European Conference on Computer Vision. - Springer International Publishing, 2014. - P. 834-849. Ess A. et al. A mobile vision system for robust multi-person tracking //Computer Vision and Pattern Recognition, 2008. CVPR 2008. IEEE Conference on. - IEEE, 2008. - P. 1-8. Ess A., Leibe В., Gool L. V. Depth and appearance for mobile scene analysis //Computer Vision, 2007. ICCV 2007. IEEE 11th International Conference on. - IEEE, 2007. - P. 1-8. Farneback G. Two-frame motion estimation based on polynomial expansion //Scandinavian conference on Image analysis. - Springer Berlin Heidelberg, 2003. - P. 363-370.

44

45

46

47

48

49

50

51

52

53

54

55

56

57

58

Felzenszwalb P. F. et al. Object detection with discriminatively trained part-based models //Pattern Analysis and Machine Intelligence, IEEE Transactions on. - 2010. - Vol. 32. - №. 9. -P. 1627-1645.

Gao C. et al. People counting based on head detection combining Adaboost and CNN in crowded surveillance environment //Neurocomputing. -2016. Girshick R. et al. Rich feature hierarchies for accurate object detection and semantic segmentation //Proceedings of the IEEE conference on computer vision and pattern recognition. -2014. - P. 580-587.

Girshick R. Fast r-cnn //Proceedings of the IEEE International Conference on Computer Vision.-2015.-P. 1440-1448.

Harris C., Stephens M. A combined corner and edge detector //Alvey vision conference. -1988. - Vol. 15. - P. 50.

Heikkila J., Silven O. A four-step camera calibration procedure with implicit image correction //Computer Vision and Pattern Recognition, 1997. Proceedings., 1997 IEEE Computer Society Conference on. - IEEE, 1997. - P. 1106-1112.

Helbing D., Molnar P. Social force model for pedestrian dynamics //Physical review E. - 1995. -Vol. 51. -№. 5. - P. 4282.

Jancosek M., Pajdla T. Multi-view reconstruction preserving weakly-supported surfaces //Computer Vision and Pattern Recognition (CVPR), 2011 IEEE Conference on. - IEEE, 2011. -P. 3121-3128.

Johansson A. et al. From crowd dynamics to crowd safety: a video-based analysis //Advances in Complex Systems. - 2008. - Vol. 11. - №. 04. - P. 497-527.

KaewTraKulPong P., Bowden R. An improved adaptive background mixture model for realtime tracking with shadow detection //Video-based surveillance systems. - Springer US, 2002. -P. 135-144.

Kannan P. G. et al. Low cost crowd counting using audio tones //Proceedings of the 10th ACM Conference on Embedded Network Sensor Systems. - ACM, 2012. - P. 155-168. Kristoffersen M. S. et al. Pedestrian counting with occlusion handling using stereo thermal cameras //Sensors. - 2016. - Vol. 16. - №. 1. - P. 62.

Krizhevsky A., Hinton G. Learning multiple layers of features from tiny images. - 2009. Krizhevsky A., Sutskever I., Hinton G. E. Imagenet classification with deep convolutional neural networks //Advances in neural information processing systems. - 2012. - P. 1097-1105. Kiimmerle R. et al. A navigation system for robots operating in crowded urban environments //Robotics and Automation (ICRA), 2013 IEEE International Conference on. - IEEE, 2013. -P. 3225-3232.

59

60

61

62

63

64

65

66

67

68

69

70

71

72

73

Kurilkin A. V. et al. Evaluation of Urban Mobility Using Surveillance Cameras //Procedia Computer Science. - 2015. - Vol. 66. - P. 364-371.

Kurilkin A. V., Ivanov S. V. A Comparison of Methods to Detect People Flow Using Video Processing//Procedia Computer Science. - 2016. - Vol. 101.-P. 125-134. Leutenegger S., Chli M., Siegwart R. Y. BRISK: Binary robust invariant scalable keypoints //2011 International conference on computer vision. - IEEE, 2011. - P. 2548-2555. Lin Z., Davis L. S. A pose-invariant descriptor for human detection and segmentation //Computer Vision-ECCV 2008. - Springer Berlin Heidelberg, 2008. - P. 423-436. Lu H. et al. SoundSense: scalable sound sensing for people-centric applications on mobile phones //Proceedings of the 7th international conference on Mobile systems, applications, and services. - ACM, 2009. - P. 165-178.

Lucas B. D. et al. An iterative image registration technique with an application to stereo vision //IJCAI. - 1981. - Vol. 81. -№. 1. - P. 674-679.

Luo P. et al. Switchable deep network for pedestrian detection //Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. - 2014. - P. 899-906. Ma R. et al. On pixel count based crowd density estimation for visual surveillance //Cybernetics and Intelligent Systems, 2004 IEEE Conference on. - IEEE, 2004. - Vol. 1. - P. 170-173.

Maimone M., Cheng Y., Matthies L. Two years of visual odometry on the mars exploration rovers //Journal of Field Robotics. - 2007. - Vol. 24. - №. 3. - P. 169-186. Maji S., Berg A. C., Malik J. Classification using intersection kernel support vector machines is efficient //Computer Vision and Pattern Recognition, 2008. CVPR 2008. IEEE Conference on. -IEEE, 2008. - P. 1-8.

Manfredi M. et al. Detection of static groups and crowds gathered in open spaces by texture

classification //Pattern Recognition Letters. - 2014. - Vol. 44. - P. 39-48.

Marin J. et al. Random forests of local experts for pedestrian detection //Proceedings of the

IEEE International Conference on Computer Vision. - 2013. - P. 2592-2599.

Mazzon R., Poiesi F., Cavallaro A. Detection and tracking of groups in crowd //Advanced

Video and Signal Based Surveillance (AVSS), 2013 10th IEEE International Conference on. -

IEEE, 2013. - P. 202-207.

Merad D., Aziz К. E., Thome N. Fast people counting using head detection from skeleton graph //Advanced Video and Signal Based Surveillance (AVSS), 2010 Seventh IEEE International Conference on. - IEEE, 2010. - P. 233-240.

Mur-Artal R., Montiel J. M. M., Tardos J. D. Orb-slam: a versatile and accurate monocular slam system//IEEE Transactions on Robotics. - 2015. - Vol. 31. -№. 5. - P. 1147-1163.

74

75

76

77

78

79

80

81

82

83

84

85

86

87

88

Nistér D., Stewénius H. Linear time maximally stable extremal regions //European Conference on Computer Vision. - Springer Berlin Heidelberg, 2008. - P. 183-196. North M. J. et al. Complex adaptive systems modeling with Repast Simphony //Complex adaptive systems modeling. - 2013. - Vol. 1. - №. 1. - P. 3.

Park D., Ramanan D., Fowlkes C. Multiresolution models for object detection //Computer

Vision-ECCV 2010. - Springer Berlin Heidelberg, 2010. - P. 241-254.

Qi B. et al. Pedestrian detection from thermal images: A sparse representation based approach

//Infrared Physics & Technology. - 2016. - Vol. 76. - P. 157-167.

Rabaud V., Belongie S. Counting crowded moving objects //Computer Vision and Pattern

Recognition, 2006 IEEE Computer Society Conference on. - IEEE, 2006. - Vol. 1. - P. 705-

711.

Raybould M. et al. Counting the herd. Using aerial photography to estimate attendance at open events //Event Management. - 2000. - Vol. 6. - №. 1. - P. 25-32.

Redmon J. et al. You only look once: Unified, real-time object detection //Proceedings of the

IEEE Conference on Computer Vision and Pattern Recognition. - 2016. - P. 779-788.

Ren S. et al. Faster R-CNN: Towards real-time object detection with region proposal networks

//Advances in neural information processing systems. - 2015. - P. 91-99.

Rosten E., Drummond Т. Fusing points and lines for high performance tracking //Tenth IEEE

International Conference on Computer Vision (ICCV'05) Volume 1. - IEEE, 2005. - Vol. 2. -

P. 1508-1515.

Ryan D. et al. An evaluation of crowd counting methods, features and regression models //Computer Vision and Image Understanding. - 2015. - Vol. 130. - P. 1-17. Sabzmeydani P., Mori G. Detecting pedestrians by learning shapelet features //Computer Vision and Pattern Recognition, 2007. CVPR'07. IEEE Conference on. - IEEE, 2007. - P. 1-8. Schwartz W. R. et al. Human detection using partial least squares analysis //Computer vision, 2009 IEEE 12th international conference on. - IEEE, 2009. - P. 24-31. Sergey Ivanov, Alexey Kurilkin, A comparison of methods to detect people flow using video processing

Sermanet P. et al. Pedestrian detection with unsupervised multi-stage feature learning //Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. - 2013. -P. 3626-3633.

Shi J., Tomasi C. Good features to track //Computer Vision and Pattern Recognition, 1994. Proceedings CVPR'94., 1994 IEEE Computer Society Conference on. - IEEE, 1994. - P. 593-600.

89. Shimosaka M. et al. Counting pedestrians in crowded scenes with efficient sparse learning //Pattern Recognition (ACPR), 2011 First Asian Conference on. - ШЕЕ, 2011. - P. 27-31.

90. Sidla O. et al. Pedestrian detection and tracking for counting applications in crowded situations //Video and Signal Based Surveillance, 2006. AVSS'06. ШЕЕ International Conference on. -ШЕЕ, 2006. - P. 70-70.

91. Solera F., Calderara S., Cucchiara R. Structured learning for detection of social groups in crowd //Advanced Video and Signal Based Surveillance (AVSS), 2013 10th ШЕЕ International Conference on. - ШЕЕ, 2013. - P. 7-12.

92. Stauffer C., Grimson W. E. L. Adaptive background mixture models for real-time tracking //Computer Vision and Pattern Recognition, 1999. ШЕЕ Computer Society Conference on. -ШЕЕ, 1999. - Vol. 2. - P. 246-252.

93. Steenbruggen J. et al. Mobile phone data from GSM networks for traffic parameter and urban spatial pattern assessment: a review of applications and opportunities //GeoJournal. - 2013. -Vol. 78. -№. 2. - P. 223-243.

94. Subburaman V. В., Descamps A., Carincotte C. Counting people in the crowd using a generic head detector //Advanced Video and Signal-Based Surveillance (AVSS), 2012 ШЕЕ Ninth International Conference on. - ШЕЕ, 2012. - P. 470-475.

95. Tarel J. P. et al. Improved visibility of road scene images under heterogeneous fog //Intelligent Vehicles Symposium (IV), 2010 ШЕЕ. - ШЕЕ, 2010. - P. 478-485.

96. Tarel J. P., Hautiere N. Fast visibility restoration from a single color or gray level image //Computer Vision, 2009 ШЕЕ 12th International Conference on. - ШЕЕ, 2009. - P. 2201-2208.

97. Van den Berg J., Lin M., Manocha D. Reciprocal velocity obstacles for real-time multi-agent navigation //Robotics and Automation, 2008. ICRA 2008. ШЕЕ International Conference on. -ШЕЕ, 2008. - P. 1928-1935.

98. Vanhoef M. et al. Why MAC address randomization is not enough: An analysis of Wi-Fi network discovery mechanisms //Proceedings of the 11th ACM on Asia Conference on Computer and Communications Security. - ACM, 2016. - P. 413-424.

99. Viola P., Jones M. J., Snow D. Detecting pedestrians using patterns of motion and appearance //International Journal of Computer Vision. - 2005. - Vol. 63. - №. 2. - P. 153-161.

100. Viola P., Jones M. Rapid object detection using a boosted cascade of simple features //Computer Vision and Pattern Recognition, 2001. CVPR 2001. Proceedings of the 2001 ШЕЕ Computer Society Conference on. - ШЕЕ, 2001. - Vol. 1. - P. I-I.

101. Walk S. et al. New features and insights for pedestrian detection //Computer vision and pattern recognition (CVPR), 2010 ШЕЕ conference on. - ШЕЕ, 2010. - P. 1030-1037.

102. Wang X., Han Т. X., Yan S. An HOG-LBP human detector with partial occlusion handling //Computer Vision, 2009 IEEE 12th International Conference on. - IEEE, 2009. - P. 32-39.

103. Wang Y. et al. E-eyes: device-free location-oriented activity identification using fine-grained wifi signatures //Proceedings of the 20th annual international conference on Mobile computing and networking. - ACM, 2014. - P. 617-628.

104. Wilensky U., Rand W. An introduction to agent-based modeling: modeling natural, social, and engineered complex systems with NetLogo. - MIT Press, 2015.

105. Wojek C., Schiele B. A performance evaluation of single and multi-feature people detection //Pattern Recognition. - Springer Berlin Heidelberg, 2008. - P. 82-91.

106. Wojek C., Walk S., Schiele B. Multi-cue onboard pedestrian detection //Computer Vision and Pattern Recognition, 2009. CVPR 2009. IEEE Conference on. - IEEE, 2009. - P. 794-801.

107. Xi W. et al. Electronic frog eye: Counting crowd using WiFi //INFOCOM, 2014 Proceedings IEEE. - IEEE, 2014. - P. 361-369.

108. Yan J. et al. Robust multi-resolution pedestrian detection in traffic scenes //Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. - 2013. - P. 3033-3040.

109. Zhang S. et al. How far are we from solving pedestrian detection? //Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. - 2016. - P. 1259-1267.

110. Zhang Z. A flexible new technique for camera calibration //IEEE Transactions on pattern analysis and machine intelligence. - 2000. - Vol. 22. - №. 11. - P. 1330-1334.

111. Zhang Z., Cohen F. 3d pedestrian tracking based on overhead cameras //Distributed Smart Cameras (ICDSC), 2013 Seventh International Conference on. - IEEE, 2013. - P. 1-6.

112. Zhao Z. et al. Crossing-Line Crowd Counting with Two-Phase Deep Neural Networks //European Conference on Computer Vision. - Springer International Publishing, 2016. - P. 712-726.

113. Zheng Y. et al. Pyramid center-symmetric local binary/trinary patterns for effective pedestrian detection //Computer Vision-ACCV 2010. - Springer Berlin Heidelberg, 2010. - P. 281-292.

114. Zitnick C. L., Dollar P. Edge boxes: Locating object proposals from edges //European Conference on Computer Vision. - Springer International Publishing, 2014. - P. 391-405.

Ресурсы сети Интернет

115. ВКонтакте - URL: https://vk.com/.

116. Agisoft PhotoScan - URL: http://www.agisoft.com/.

117. Caltech Pedestrian Detection Benchmark. - URL: http://www.vision.caltech.edu/Image_Datasets/CaltechPedestrians/index.html.

118. CMVS-PMVS - URL: https://github.com/pmoulon/CMVS-PMVS.

119. Face API Microsoft Cognitive Services - URL: https://www.microsoft.com/cognitive-services/en-us/face-api.

120. Feasibility Study on the Use of Mobile Positioning Data for Tourism Statistics, Consolidated Report Eurostat Contract No 30501.2012.001-2012.452 - URL: http://ec.europa.eu/eurostat/documents/747990/6225717/MP-Consolidated-report.pdf.

121. FindFace Cloud API - URL: https://findface.pro.

122. Google Glass - URL: https://www.google.com/glass/start/.

123. PFTrack-URL: http://www.thepixelfarm.co.uk/pftrack/.

124. Pix4Dmapper - URL: https://pix4d.com/product/pix4dmapper-pro/.

125. VK Fest - URL: https://vk.com/fest.

Приложение А

Свидетельство о государственной регистрации программы для ЭВМ

Р©(ОСШ1Й(ОЖАШ ФВД№МЦШШ

СВИДЕТЕЛЬСТВО

о государственной регистрации программы для ЭВМ

№ 2017611385

Программный модуль детектирования потоков людей в городе по камерам наружного наблюдения

Правообладатель: федеральное государственное автономное образовательное учреждение высшего образования «Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики»

(яи)

Автор: Курилкин Алексей Владимирович (Я11)

Заявка № 2016661957

Дата поступления 07 ноября 2016 Г.

Дата государственной регистрации

в Реестре программ для ЭВМ 02 февраля 2017 г.

Руководитель Федеральной службы по интеллектуальной собственности

Г.П. Ивлиев

^жжжжжжжжжжжжжжжжжжжжжжжжжжжжжжжта

Приложение Б Запросы для получения данных

create table spb matrix as select /* + parallel*/ m.id clndr as id clndr, m.id clndr tm, m.id card type, m.trans date, m.id card, me.id station as station from,

nvl(lead(me.id station) over(partition by id card, id clndr order by trans date), first value(me.id station) over(partition by id card,id clndr order by trans date)) as station to from spb metro m join spb metro exit me

on m.id metro exit = me.id metro exit;

create table spb matrix month as select /* + parallel*/ station from, station to,

(select max(station name) from spb metro exit where id station station name from,

(select max(station name) from spb metro exit where id station station name to, count(*) as cnt

from spb matrix t where station to <> station from group by station from, station to;

station from) as station to) as

create table spb matrix month weekday y as select /* + parallel*/ station from, station to,

(select max(station name) from spb metro exit where id station station name from,

(select max(station name) from spb metro exit where id station station name to, count(*) as cnt from spb matrix m join spb clndr sc

on m.id clndr = sc.id clndr where station to <> station from

and sc.wkday fig = 'Y' group by station from, station to;

station from) as station to) as

create table spb matrix month weekday n as select /* + parallel*/ station from, station to,

(select max(station name) from spb metro exit where id station station name from,

(select max(station name) from spb metro exit where id station station name to, count(*) as cnt from spb matrix m join spb clndr sc

on m.id clndr = sc.id clndr where station to <> station from

and sc.wkday fig = 'N' group by station from, station to;

station from) as station to) as