Методы и алгоритмы локализации изображений маркировки промышленных изделий на основе рекуррентного поиска усредненного максимума тема диссертации и автореферата по ВАК РФ 05.13.01, кандидат наук Астафьев, Александр Владимирович

• Астафьев, Александр Владимирович
• кандидат наук
• 2015

Оглавление диссертации кандидат наук Астафьев, Александр Владимирович

Оглавление

Введение

Глава 1. Анализ систем технического зрения промышленных предприятий. Постановка задачи исследований

1.1 Определение локализации. Требования, предъявляемые к процессу локализации

1.2 Обзор методов нанесения промышленной маркировки

1.3 Анализ существующих систем локализации

1.3 Обзор и анализ существующих методов локализации объектов на цифровых изображениях27

Вывод по главе 1

Постановка задачи исследования

Глава 2. Разработка метода и алгоритмов локализации объектов на цифровых изображениях

2.1 Математическая модель изображения маркировки промышленного изделия

2.2 Рекуррентный поиск усредненного максимума на цифровом изображении

2.4 Алгоритм локализации на основе яркостных признаков

2.3 Алгоритм локализации на основе анализа всплесков яркости

2.5 Алгоритм локализации на основе цветовых признаков

2.6 Алгоритм локализации на основе текстурных признаков

2.7 Алгоритм локализации с использованием дополнительной метки

2.8 Алгоритм локализации на основе двухмерного усреднения

2.9 Методика настройки системы локализации на определенный вид маркировки

2.10 Алгоритм управления системой автоматической идентификации маркировки

Выводы по главе 2

Глава 3. Экспериментальные исследования разработанных алгоритмов

3.1 Описание лабораторной установки и опытных изображений

3.2 Исследование алгоритма локализации на основе анализа всплесков яркости

3.3 Исследование алгоритма локализации на основе яркостных признаков

3.4 Исследование алгоритма локализации на основе цветовых признаков

3.5 Исследования алгоритма локализации на основе текстурных признаков

Выводы по главе 3

Глава 4. Применение разработанных алгоритмов в системах идентификации промышленных изделий

4.1 Структура автоматической системы локализации

4.2 Методика настройки разработанной системы

4.3 Внедрение разработанных алгоритмов

Выводы по главе 4

Заключение

Список использованной литературы

Список иллюстрированного материала

Приложение А

Введение диссертации (часть автореферата) на тему «Методы и алгоритмы локализации изображений маркировки промышленных изделий на основе рекуррентного поиска усредненного максимума»

Введение

Актуальность работы. В настоящее время, в связи с необходимостью

развития промышленности, требуется введение новых наукоемких

I

технологий по контролю движения продукции. Реализация такого контроля

возможна с помощью внедрения систем автоматической идентификации и

распознавания. От степени совершенства работы системы контроля

движения продукции зависит эффективность производства в целом. Поэтому

решение задач управления на промышленных предприятиях, состоящих в

разработке новых и совершенствовании существующих методов и средств

обработки информации, с целыо повышения эффективности систем контроля

движения продукции имеет важное значение.

Для контроля движения продукции используются маркировки

промышленных изделий. На новейших промышленных предприятиях

контроль движения продукции осуществляется специализированными

средствами - системами автоматической идентификации маркировки

(САИМ). Основная сложность при использовании САИМ заключается в

задаче локализации промышленной продукции, которую усложняют наличие

неравномерной освещенности и резкости (засвечивание изображения

искусственным и солнечным светом, неверная настройка фокуса),

присутствие шумов и размытий, а также образов производственных

сооружений и агрегатов. Автоматизация этой сферы деятельности является

мало проработанной и, зачастую, выполняется вручную

Большой вклад в развитие методов обработки и локализации

изображений внесли Сойфер В.А., Прэтт У.К., Ярославский Л.П., Садыков

С.С., Визильтер Ю.В., Васин Ю.Г., Утробин В.А., Приоров А.Л., Фурман

Я.А., Дворкович В.П., Дворкович A.B., Ересько Ю.Н., Моттль В.В., Гонсалес

I

P., Sloan A., Crownover R., Vrscay Е., Peng F., Davis G., Freeman G., Lin H.,

Kaplan M., Keller M., Varma M., Barnsley M., Ghazel M., Zmeskal О., Sarkar N., Suzuki Y. и другие.

I

В настоящее время для локализации объектов на цифровых изображениях используются такие методы как скользящее окно, «сумка визуальных слов», SIFT, SURF, Viola Jones и многие другие. Однако существующие методы и алгоритмы не адаптированы для локализации промышленной продукции, т.к. зачастую предназначены для идентификации изображений в сфере сервиса и безопасности. Применение существующих методов локализации промышленных изделий не обеспечивают заданную оперативность и достоверность результата локализации маркировок.

Таким образом, разработка новых методов и алгоритмов локализации маркировок промышленных изделий является актуальной научно-технической задачей.

Цель работы: разработка методов и алгоритмов локализации штрих-кодовых и символьных маркировок на основе рекуррентного поиска усредненного максимума для повышения достоверности и оперативности идентификации промышленной продукции.

Для достижения поставленной цели необходимо решить следующие задачи:

1. Обзор и анализ систем и методов локализации объектов на изображениях.

2. Разработка методов и алгоритмов локализации маркировок промышленных изделий.

3. Экспериментальные исследования разработанных алгоритмов.

Объект исследований. Системы и средства идентификации маркировок

I

промышленных изделий на производственных сценах.

Предмет исследований. Методы и алгоритмы обнаружения и локализации изображений маркировок промышленных изделий на производственных сценах.

Достоверность и обоснованность обусловлена тем, что:

- в ходе экспериментальных исследований использовалось сертифицированное оборудование фирм Basler, Beward, Siemens, Computar, Lilin, Samsung и Lenovo; полученные результаты могут быть воспроизведены в различных условиях производства, что показано на примере металлопрокатного комплекса СТАН 5000, ОАО «Выксунский металлургический завод», г. Выкса;

- теоретическое исследование основано на проверяемых данных с применением теории эксперимента, теории вероятностей, теории множеств, теории моделирования, теории программирования и согласуется с опубликованными в журналах ВАК и РИНЦ экспериментальными данными по теме диссертации; I

- использованы сравнения авторских данных, и данных, полученных ранее по рассматриваемой тематике на складе металлопрокатного комплекса СТАН 5000, ОАО «Выксунский металлургический завод», г. Выкса;

- установлено качественное и количественное совпадение авторских результатов с результатами, полученными в ходе имитационного моделирования процесса при непосредственных измерениях с использованием сертифицированных приборов;

- использованы современные методики сбора и обработки исходной информации, а также новейшие способы и средства хранения информации с применением средств вычислительной техники.

Научная новизна работы:

1. Разработаны методы и алгоритмы локализации, отличающиеся:

- использованием рекуррентного поиска усредненного максимума;

- применением дополнительной метки;

обеспечивающие повышение оперативности и достоверности

локализации маркировок промышленных изделий на сценах

производственных площадей.

2. Предложен алгоритм управления системой автоматической идентификации маркировки, основанный на использовании данных о координатах изображения маркировки как результата разработанных алгоритмов локализации, позволяющий в отличие от существующих оперативно идентифицировать промышленные изделия.

3. Разработана методика настройки системы локализации, построенная на основе анализа системы изображения маркировок, их признаков, условий производства и алгоритмов локализации, позволяющая выбрать и настроить алгоритмы на определенный вид маркировки.

На защиту выносятся следующие результаты:

1. Алгоритмы обнаружения и локализации маркировок промышленных изделий, обеспечивающие повышение скорости работы и достоверности локализации изображений в системах контроля движения продукции.

2. Алгоритм управления системой автоматической идентификации маркировки, основанный на использовании данных о координатах изображения маркировки как результата разработанных алгоритмов локализации.

3. Методика настройки системы локализации, построенная на основе анализа системы изображения маркировок, их признаков, условий производства и алгоритмов локализации.

4. Результаты исследований разработанных алгоритмов.

I

5. Результаты внедрения разработанных алгоритмов на промышленных предприятиях.

Теоретическая значимость исследования обоснована тем, что:

- применительно к задаче диссертации результативно использованы комплексы базовых методов теорий цифровой обработки изображений, распознавания образов, математической статистики;

- изложены новые алгоритмы локализации маркировок промышленных изделий на цифровых изображениях;

- установлено отсутствие эффективных подходов, алгоритмов и систем в цифровой обработки изображений, позволяющих решить задачу локализации маркировок промышленных изделий;

- изучены применительно к задачам диссертации методы цифровой обработки изображений и распознавания образов.

Практическая значимость:

- разработаны и внедрены алгоритмы локализации изображений промышленных изделий, обеспечивающие оперативный контроль движения металлопрокатных заготовок на промышленном предприятии ОАО «Выксунский металлургический завод», что подтверждается соответствующим актом;

- определена область практического использования разработанных алгоритмов при создании промышленных систем автоматической локализации промышленных изделий;

- созданы практические рекомендации по составу технических средств системы автоматической идентификации промышленных изделий;

- представлены методические рекомендации по настройке системы автоматической локализации промышленных изделий.

Глава 1. Анализ систем технического зрения промышленных предприятий. Постановка задачи исследований 1.1 Определение локализации. Требования, предъявляемые к

процессу локализации

Локализация (от лат. localis - местный! locus - место), в общем представлении, отнесение чего-либо к определенному месту; ограничение места действия, распространения какого-либо явления, процесса, например, локализация движения [52, 58, 59, 74].

Задача локализации промышленных изделий в условиях реального производства зачастую является первым шагом в процессе решения задачи более высокого уровня, к примеру, их идентификации. Интерес к этой проблеме обусловлен появлением систем идентификации промышленных изделий и обеспечением новых возможностей в области безопасности и учета [53,54, 100-102].

Бесспорно, основой любой системы локализации объектов являются использующиеся алгоритмы поиска. Определяю^ следующие характеристики систем локализации [1, 5, 6, 12, 52, 62, 66, 69, 74, 77]:

- вероятность локализации;

- скорость работы;

- способность локализировать прямоугольные области на изображении с искажениями;

- способность работать с изображениями различного качества.

Локализация образов промышленных изделий на цифровых

изображениях является нетривиальной задачей из области технического зрения и искусственного интеллекта. Используемые алгоритмы локализации таких областей, как правило, являются коммерческой тайной и, естественно, не публикуются. Лишь немногие компании называют их типы и публикуют последовательность действий [8, 9, 19, 22]. '

1.2 Обзор методов нанесения промышленной маркировки

Для того, чтобы определить основные структурные и морфологические

I

особенности существующих маркировок необходимо провести их анализ. Определение основных особенностей существующих маркировок позволит разработать алгоритмы их локализации. Существует целый перечень способов нанесения промышленной маркировки [11,21, 29, 75, 79, 99, 94]:

- лазерная маркировка;

- каплеструйная маркировка;

- ударно-точечная маркировка.

Лазерная маркировка - нанесение на изделие различной информации и идентификационных данных, применяемая с бесконтактностью и быстротой процесса, а также имеющая надежность и стойкость изображения.

Каплеструйная маркировка - маркировка, которая может наноситься как на ровные, так и неровные, пористы и чувствительные поверхности, осуществляется посредством использования специального промышленного принтера.

Ударно-точечная маркировка осуществляется непосредственно на детали с помощью непрерывных линий и точек, производимых вибрацией вольфрамово-карбидного пробойника, установленного на электромагнитную иглу [10, 92, 93].

Наличие некоторых разновидностей методов и способов нанесения промышленных кодов повлекло за собой возникновение большого числа маркеров, которые применяются в различных типах производства.

Было произведено необходимое исследование, в результате которого

были получены наиболее часто использующиеся на производстве маркеры.

|

Так как от метода их нанесения могут зависеть признаки, способствующие процессу локализации, была произведена группировка, сведенная в следующую таблицу 1.1.

Таблица 1.1- Группировка маркеров по методу нанесения

Способ нанесения

Тип маркера

Пример маркера

Лазерная маркировка

Маркер, нанесенный на неметаллическое изделие

Лазерная маркировка

Маркер, нанесенный на металлического изделие

Лазерная маркировка

Маркировка на срезе изделия

■О

Не зависит от способа

Маркировочные таблички, располагаемые на изделии

Способ нанесения

Тип маркера

Пример маркера

Каплеструйная маркировка

Маркер на

неметаллическом

изделии

Каплеструйная маркировка

Маркер на

металлическом изделии

Ударно-точечная маркировка

Прочерчивание маркера на металлической табличке

Ударно-точечная маркировка

Маркер на металле

Также все эти маркеры обладают уникальными характеристиками, благодаря которым, их можно разбить на следующие группы:

- прямоугольные;

- круглые;

- цветные;

- текстурированные.

Исходя из найденных групп маркеров, можно выделить ряд характерных признаков, которые могут быть присущи отдельному виду или нескольким сразу:

- квадратная форма;

I

- округлая форма;

- сложная форма, в которой присутствуют признаки, как первого вида, так и второго;

- наличие определенного цвета;

- характерная текстура;

- различные метрические характеристики. В большинстве случае это евклидово расстояние, абсолютное расстояние, максимальное расстояние, число Эйлера, компактность, длина периметра объекта, центр масс, ориентация главной оси инерции, удлиненность (эксцентриситет), радиусы вписанных и описанных окружностей, моменты инерции, коэффициент формы;

- контрастность с фоном. I

В соответствии с перечисленными характеристиками могут применяться те или иные методы локализации областей интереса на изображении. Каждый метод показывает свою эффективность при получении различных априорных данных о каких-либо характеристиках [20, 28, 31, 64, 71, 84].

Для того чтобы понять какие признаки являются преобладающими для разного типа маркировок был проведен их системный анализ. По результатам

анализа было выявлено, что в настоящее время самыми часто используемыми стандартами маркировки промышленных изделий являются:

штрикоды - графическая информация, наносимая на поверхность, маркировку или упаковку изделий, представляющая возможность считывания ее техническими средствами — последовательность чёрных и белых полос либо других геометрических фигур;

(^И-коды - матричный код (двумерный штрихкод),

разработанный и представленный японской компанией «БепБо-ХУауе» в 1994

I

году;

символьно-цифровые - маркировки, состоящие из символов и цифр, разработанные специально для конкретных производственных процессов собственными силами;

комбинированные - маркировки, разработанные силами предприятий, которые могут включать в себя вышеперечисленные виды маркировок.

При анализе содержания маркировок были выявлены основные признаки, характеризующие их:

- яркостные;

- цветовые;

- текстурные. !

Результаты анализа по выявлению признаков у различных маркировок сведены в таблицу 1.2.

Таблица 1.2 - признаки различных типов маркировок.

Тип маркировки Яркостные Цветовые Текстурные

признаки признаки признаки

Штрихкоды + +/- +

РЯ-коды + +/- +/-

Символьно- + +/- -

цифровые

Комбинированные +/- +/- +/-

1.3 Анализ существующих систем локализации

Для того, чтобы повысить эффективность разрабатываемых алгоритмов, необходимо рассмотреть существующие системы-аналоги на рынке информационных систем мира. Анализ систем аналогов позволить выявить основные сильные и слабые места этих систем.

Исходя из того, что система локализации образов промышленных изделий на цифровых изображениях практически всегда используется в составе систем технического зрения, целесообразно рассмотреть уже готовые решения, использующие данную технологию. Наиболее подходящими аналогами можно указать системы локализации и распознавания государственных регистрационных знаков автомобилей, а также номеров железнодорожных вагонов и цистерн, в виду того, что данные системы работают с прямоугольными областями изображения - номерными пластинами и нанесенными цифровыми номерами.

В мире около тридцати компаний предлагают аналогичные решения по распознаванию номеров автомобилей, железнодорожных вагонов и цистерн. Как правило, все они имеет общую архитектуру, как аппаратную, так и программную. Многие системы уже имеют |Опыт внедрения. Продукты постоянно совершенствуются, появляются новые алгоритмы, и новые аппаратные решения, но базовая архитектура, как правило, принципиально не изменяется [2-8, 15-17, 67, 70].

На данный момент на рынке России присутствует достаточно много готовых программных и программно-аппаратных продуктов, решающих проблему распознавания номеров железнодорожных вагонов и цистерн. Среди российских компаний можно выделить:

- «Автоинспектор» (компания ISS);

- «Авто-Интеллект» (компания ITV);

- «SL-Traffic»;

-«ARSCIS»;

- «RailwayDisp SDK».

К сожалению, многие компании предоставляют очень мало информации о продаваемых ими продуктах. Таким образом, вполне вероятно, что

некоторая часть компаний продает не полностью свое решение. Многие,

!

например, покупают готовый SDK (набор программных компонент) и 1 соединяют его со своим аппаратным решением. В таком случае круг «чистых» разработчиков не так велик, как кажется на первый взгляд.

Все перечисленные компании в один голос заявляют о очень высоких показателях своих систем. У большинства точность распознавания (по данным их интернет-сайтов) составляет 95% - 98%. Однако, проверить эту информацию, к сожалению, не представляется возможным. Как правило, демо-версии предлагаемых решений не несут в себе ни какой информации о помехоустойчивости.

В настоящее время эта тема очень актуальна в России. Большое количество разработчиков трудится над этими задачами. Многие достигли значительных успехов. Однако, масштабного внедрения ни одна система не получила до сих пор. Это свидетельствует либо об излишней дороговизне продуктов, либо об их низкой точности. Таким образом, перспективы у данной работы, несомненно, есть [64, 75, 82, 87, 90].

Система АВТО-Ипспектор. «АВТО-Инспектор» - специальный аппаратно-программный модуль для регистрации и распознавания автомобильных номеров компании «СТБ-Сервис» действует следующим образом. Над контролируемой полосой движения устанавливается ТВ-камера. Камера подключена к системе «АВТО-Инспектор», программное обеспечение которого обнаруживает появление автомобиля в кадре, отбирает кадр с оптимальным размером и четкостью автомобильного номера и распознает номер автомобиля из кадра. В базе данных сохраняется этот стоп-кадр, либо весь видеофрагмент, связанный с данным автомобилем, а также распознанный номер автомобиля, дата и время проезда автомобиля.

Возможности системы:

-одновременное распознавание нескольких номеров автомобилей в одной зоне контроля;

- при обнаружении номера из списка (например, список машин в угоне) «АВТО-Инспектор» оповещает об этом оператора (подает звуковой сигнал);

-наличие архива и возможность работы с ним: вывод на печать изображения автомобиля, сортировка данных в базе по заданным признакам;

-распознаются все виды российских (однострочных) номеров и некоторые виды зарубежных;

- возможность адаптации к стандартам номеров любой страны;

- модуль успешно работает в любых погодных условиях; -эффективно взаимодействует с различными охранными системами

(охранного телевидения, контроля доступа);

-стоп-кадры номеров сохраняются в архиве с указанием точного времени проезда автомобиля;

-создание базы данных автомобильных номеров;

-создание сетевых систем на территориях большой протяженности;

- «живое видео»;

-записывается каждый проезд, въезд/выезд транспортного средства; -возможно создание базы данных из специальных стоп-кадров от 2-х ТВ-камер (фронтальный снимок автомобиля и вид сбоку);

- подключение к модулю светофора, шлагбаума, автоматических ворот. Технология распознавания автомобильных номеров состоит из этапов:

- исходное изображение приводится к виду, который не зависит от таких

условий регистрации изображения, как степень освещенности,

I

неравномерное распределение яркости от источников света, расфокуссировка, зашумленность, цветовая неравномерность символов (неравномерная окраска, грязь, пыль, блики), наличие рисунков или иной графики на подложке номера;

- на полученном изображении «быстрым» алгоритмом выделяются области, возможно содержащие номер, в этих областях проводится более "тонкий" анализ на основе формального представления масштабных характеристик номерного знака и его выделение;

- приведение к стандартному размеру графического изображения номера, выделение символов и их распознавание. Алгоритм распознавания анализирует символы по ключевым характеристикам независимым от масштаба, используемого шрифта, геометрических искажений оптикой, налипание грязи и разрывов;

-уточнение результатов распознавания на основе информации о типе номера и по результатам из предыдущих кадров;

- номер автомобиля распознан и отправлен Ь другие модули системы для принятия решений.

Итогом работы становится строка с распознанным номером и стоп-кадр с изображением автомобиля (рисунок 1.1), отправленным в базу данных.

Рисунок 1.1 - результат работы системы АВТО-инспектор

Система Авто-Интеллект. Компания 1ТУ разработала систему распознавания автомобильных номеров под названием «Авто-Интеллект». Система распознавания автомобильных номеров «Авто-Интеллект»

решает следующие задачи:

-повышение эффективности поиска угнанного автотранспорта в 6 раз, способствует задержанию скрывшегося с места аварии авто и другим розыскным мероприятиям;

-система распознавания автомобильных номеров способствует дисциплине участников дорожного движеиия;

-мониторинг загруженности перекрестков, ключевых магистралей и дорожной обстановки на аварийно-опасных участках трассы, а также сложных развязок - одна из функций системы распознавания автомобильных номеров «Авто-Интеллект»; '

-система распознавания автомобильных номеров «Авто-Интеллект» экономит существенные ресурсы, контролируя автомобильные туннели и мосты. Вовремя зафиксированная системой автомобильная пробка или авария в длинном туннеле могут быть быстро устранены, за счет оперативной реакции системы. К примеру, в случае аварии на место происшествия может быть вызвана скорая помощь или полиция, а на время пробки в туннели может быть активизирована система вентиляции туннеля;

- оперативный обмен видео- и аудиоинформацией, ведение баз данных;

- координация различных служб из единого центра управления в том числе в критических ситуациях, при ликвидации последствий аварии и при оказании помощи пострадавшим; ^

- контроль парковок, общественного транспорта, важных объектов городской инфраструктуры.

Принцип действия системы распознавания автомобильных номеров заключается в следующем: при движении автомобиля на участке дорожного полотна, в поле «зрения» телекамеры, происходит автоматическое распознавание государственного регистрационного знака, его запись в журнал и проверка на совпадение с номерами в базах данных.

Система распознавания автомобильных номеров «Авто-Интеллект»

формирует базу данных всех транспортных средств, прошедших через зону контроля, включая в базу изображение, номер, дату, время регистрации и направление движения каждого автомобиля (рисунок 1.2).

Рисунок 1.2- результат работы системы АВТО-интеллект

Система SL-Traffic. SL-Traffic - программный модуль считывания и распознавания автомобильных номеров в режиме реального времени компании «СпецЛаб». Модуль работает в качестве видео фильтра в системе GOALcity или может встраивается в любую систему видеорегистрации, в том числе и сторонних фирм.

Возможности системы SL Traffic:

-распознавание всех однострочных номеров, выдаваемых в России и ряде других стран ближнего и дальнего зарубежья;

- одновременное распознавание до 20 номеров на одном кадре (большее количество номеров просто не поместится в кадре при требуемом качестве изображения);

- нахождение наилучшего номера из последовательности определенных номеров для одной машины (в случае, если номер машины был определен несколько раз);

- ускоренная работа по зонам поиска;

- использование четырех алгоритмов распознавания номера для повышения эффективности;

-регулирование скорости распознавания;

- работа как с собственным архивом, так и с другими базами данных;

I

-формат входного изображения: оттенки серого, 10 бит на пиксель при оцифровке, 8 бит после АЦП;

- рекомендуемый размер кадра: 768x576;

- минимальная высота номера на кадре - 25 пикселей;

-допустимый угол наклона изображения номера на экране относительно

горизонтали кадра (достигается опытным путем при установке камеры путем поворота вокруг ее оси) - до 5 градусов в любую сторону;

-допустимое горизонтальное искажение (когда камера установлена сбоку от определяемого номера машины) - до 30 градусов;

-допустимое вертикальное искажение (когда камера установлена сверху или снизу от определяемого номера машины) - до 60 градусов.

Принцип действия. На контрольном! пункте устанавливается видеокамера согласно перечисленным выше требованиям. Видеосигнал с данной камеры вводится в компьютер посредством устанавливаемой в него платы видеозахвата и в режиме реального времени обрабатывается программным модулем считывания и распознавания автомобильных номеров 8Ь-ТпЛ1с в следующей последовательности:

-производится обнаружение движущегося автомобиля в зоне действия камеры;

-проводится поиск автомобильного номера (или нескольких номеров);

- осуществляется распознавание обнаруженного номера;

-делаются снимки проезжающего автомобиля (по желанию пользователя);

-осуществляется передача полученной ин(

юрмации для регистрации и

архивирования в выбранную по усмотрению пользователя базу данных;

- ведется архив.

Пользователю предлагается четыре вида алгоритмов распознавания номера. Выбор наилучшего из них производится пользователем самостоятельно с целью достижения наилучшего результата в конкретных условиях применения.

Работа программного модуля SL-Trafflc в комплексе с ПО «СпецЛаб Проверка регистрации» также ведется в режиме реального времени и практически мгновенно (в течение одной секунды) выполняет следующие операции (рисунок 1.3):

- проводит распознавание номеров;

- осуществляет поиск по всем существующим в ГИБДД базам данных;

- при обнаружении криминальной информации выдает звуковое оповещение и тревожное сообщение на экран монитора;

Список литературы диссертационного исследования кандидат наук Астафьев, Александр Владимирович, 2015 год

использован

нем дополнитель ной метки

Алгоритм локализаци и на основе двумерного усреднения

Черный штрихкод на белом фоне

Признаком маркировки является область ее фона

Чередование белых и черных полос штрихкода образует скопление перепадов яркости

1

Белый штрихкод на

Чередование белых и черных полос штрихкода образует скопление перепадов яркости

Черный штрихкод на

сером полутоновом фоне

»7001000

Чередование белых и черных полос штрихкода образует скопление перепадов яркости

Черный штрихкод на цветном фоне

Чередование белых и черных полос штрихкода образует скопление перепадов яркости

Признаком маркировки является область ее

фона, имеющая определенны й цвет

Штрихкод с цветными идентификат орами

Признаком маркировки является область ее

идентификат оров, имеющая определенны й цвет

Слабоконтра

стная маркировка

или маркировка с малоконтраст

ными идентификат

орами

Чередование белых и черных полос штрихкода образует скопление перепадов яркости

Алгоритм исключает

ложные вхождения

1

Слабоконтра стная цветная маркировка

или маркировка с малоконтраст ными цветными идентификат орами

Признаком маркировки является область ее

фона, имеющая определенны й цвет

Черный С>Я-код на белом фоне

Признаком маркировки является область ее фона

Чередование белых и черных элементов СЖ-кода образует скопление перепадов яркости

Белый

код на черном фоне

ш

Чередование белых и черных элементов С^Я-кода образует скопление перепадов яркости

Черный ОК-код на сером полутоновом фоне

""" :0

Чередование белых и черных элементов ОЯ-кода образует скопление перепадов яркости

Алгоритм позволяет исключить

ложные вхождения

Черный <ЗЯ,-код на цветном фоне

Чередование белых и черных элементов (^Л-кода образует скопление перепадов яркости

Признаком маркировки является область ее

фона, имеющая определенны й цвет

1

Цветной СЖ-код на цветном фоне

Признаком маркировки является область ее идентификат оров, имеющая определенны й цвет

Маркировки с черно -

белой текстурой

Маркировки с цветной текстурой

Признаком маркировки

являются повторяющи еся (черные и белые полосы

Признаком маркировки является область ее идентификат оров, имеющая определенны й цвет

Признаком маркировки

являются повторяющи

еся последовате льности цветных линий

Черные символы на белом фоне

93379

Последовате льность символов образует скопление перепадов яркости

Белые символы на черном фоне

937748

Последовате льность символов образует скопление перепадов

яркости

Черные символы на сером полутоновом фоне 9374785 - Последовате льность символов образует скопление перепадов яркости - ! - Алгоритм исключает ложные вхождения

Черные символы на цветном фоне ин - Последовате льность символов образует скопление перепадов яркости Признаком маркировки является область ее фона, имеющая определенны й цвет - - -

1 2 3 4 5 6 7

Цветные символы 846754 - - Признаком маркировки является область ее идентификат оров, имеющая определенны й цвет 1 - -

<омбиниро нная г ЧХ.ММ . *«... т-г-гю » Г*» .. 1К. 4 ДА . * 'т - • г»»*» л ¿Г -Л? А лЛ за - Основные элементы маркировки образовываю т скопление перепадов яркости Признаками маркировки могут являться области ее фона и идентификат оров, имеющие определенны й цвета Признаком маркировки могут являться повторяющи еся треугольник и - Алгоритм исключает ложные вхождения

Наличие в кадре других маркировок - - - - Дополнитель ная метка позволяет ограничить область локализации маркировки -

Подтверждение

Адекватность разработанной методики подтверждена в ходе внедрения разработанных алгоритмов на ОАО «Выксунский металлургический завод».

2.10 Алгоритм управления системой автоматической идентификации

маркировки

С целью повышения оперативности идентификации промышленных изделий необходима разработка нового алгоритма управления системой автоматической идентификации маркировки. Работа алгоритма основана на использовании данных о координатах изображения маркировки как результата разработанных алгоритмов локализации. Входными значениями для алгоритма являются: получаемое изображение с видеодатчика и данные о позиционировании груза. Разработанный алгоритм можно представить следующей последовательностью шагов:

1. Измерительные устройства формируют следующие сигналы:

- хй - координата груза, относительно крайней точки моста

I

крана, в мм;

- - координата груза, относительно уровня пола, вдоль оси подъема, в мм;

- ар -положение видеодатчика по горизонтали;

- Рр - положение видеодатчика по вертикали; :

- I - изображение с видеодатчика.

2. Полученные сигналы преобразуются в следующие параметры:

- координаты груза (х,у,г), в описанной системе координат математической модели;

- координаты положения видеодатчика (а, Р).

х — расстояние от видеодатчика до маркировки по троллее крана,

выражается из формулы: •

х=|хс1+с1х|, (32)

где ёх - коэффициент разницы показаний датчика и реальных

измерений.

ъ — расстояние от видеодатчика до маркировки по оси подъема груза, выражается из формулы:

12+Н8, (33)

где ¿2 - коэффициент разницы показаний датчика и реальных измерений; Н5 - высота сляба.

у — расстояние от камеры до маркировки по оси ОУ, вычисляется по формуле:

у=Ц/2-с1у, (34)

где с1у — коэффициент разницы показаний датчика и реальных измерений; — длина сляба.

Угол наклона видеодатчика по горизонтали (а), выражается из формулы:

а= аа*ар+Ьа, (35)

где аа - коэффициент перевода значения угла в вольтах в градусы; Ьа - коэффициент разницы показаний датчика и реальных измерений.

Угол наклона видеодатчика по вертикали (Р), выражается из формулы:

Р= ар*РР+Ьр, (36)

где ар - коэффициент перевода значения угла в вольтах в градусы; Ьр - коэффициент разницы показаний датчика и реальных измерений.

3. На основе анализа текущего положения груза и изображения полученного с видеодатчика, формируется управляющая команда и(хт,ут). (хт,ут) - Координаты метки на изображении (I), вычисляются на основе формулы (2.1).

(хт,ут) = ВД, г (37)

где Р]() - функция локализации маркировки промышленного изделия.

4. Видеодатчик принимает управляющие сигналы и(хт,ут), которые преобразует в механическое воздействие и(хш,ут).

5. Положение видео датчика изменяется в пределах механического воздействия и(хш,ут), после чего измерительные устройства получают обновленную информацию от датчиков.

Процесс повторяется до тех пор, пока устройство управления не подаст сигнал о том, что положение объекта управления находится в расчетном положении в рамках установленной погрешности (Ех, Еу), так как полное достижение расчетного состояния не достигается в силу влияния на устройства в реальной среде возмущающих воздействий и ограниченной точности измерительных датчиков. Блок - схема алгоритма представлена на рисунке 2.21

Рисунок 2.21 - блок-схема алгоритма управления системой автоматической идентификации маркировки В результате выполнения данного этапа положение видеодатчика корректируется таким образом, что маркировка изделия оказывается в центре изображения, что позволяет увеличить шанс успешного распознавания маркировки.

Выводы по главе 2

1. Разработана математическая модель, характеризующая цифровые

изображения, предназначенные для локализации.

2. Разработан алгоритм цифровой локализации на основе анализа скорости изменения яркости.

3. Разработан алгоритм цифровой локализации на основе анализа карты яркости изображения. I

4. Разработан алгоритм цифровой локализации на основе анализа карты цветов изображения.

5. Разработан метод локализации с использованием дополнительной метки.

6. Разработан алгоритм локализации на основе двумерного усреднения.

7. Предложен алгоритм управления системой автоматической идентификации маркировки, основанный на использовании данных о координатах изображения маркировки как результата разработанных алгоритмов локализации, позволяющий оперативно идентифицировать промышленные изделия.

8. Разработана методика настройки системы локализации, построенная на основе анализа системы изображения маркировок, их признаков, условий производства и алгоритмов локализации, позволяющая выбрать и настроить алгоритмы на определенный вид маркировки.

Глава 3. Экспериментальные исследования разработанных

алгоритмов

3.1 Описание лабораторной установки и опытных изображений

Лабораторная установка является физической моделью системы локализации символьной маркировки. На установке моделируется процесс цифровой локализации символьной маркировки на изображениях рассматриваемой предметной области, для экспериментальной проверки работоспособности алгоритмов. Цель моделирования заключается в тестировании разработанных алгоритмов и выявления влияния различных факторов на вероятность верной локализации символьной маркировки. Вид лабораторной установки представлен на рисунке 3.1.

Рисунок 3.1 - вид лабораторной установки системы цифровой локализации символьных маркировок

Лабораторная установка состоит из следующих модулей:

1. ЭВМ(ноутбук):

процессор - Core 2 duo (2.4ghz);

оперативной память 2gb;

графический процессор - NVidia GeForce 9200М GS;

2. Камера Basler BD2570. 5 мегапикселей (максимальная разрешающая способность 1920x1080);

3. Область размещения символьных маркировок. Символьная маркировка представляет собой изображение идентификатора, состоящий из вертикальных линий различной толщины и длины (штрих-кода), а также набора цифр. Макетное изображение маркера имеет размер 297мм х 105 мм.

На рисунке 3.2 приведена схема процесса работы лабораторной установки: I

Рисунок 3.2 - схема процесса работы Лабораторной установки

Для проведения экспериментальных исследований были использованы искусственно смоделированные изображения с применением символьных маркировок различных типов. К ним относятся: штрих-коды различных типов, государственные номера транспортных средств, маркировки,

нанесенные на промышленные и продовольственные изделия (Рисунок 3.3). С помощью аппаратных и программных средств было смоделировано 2 ООО изображений с изображениями символьных маркировок различного типа.

N # "74135

II Ш I ПИИ: III

/> /> /л /> /> /> />

О СЛЗ оз со слз сяз ш

РЕТЕ МОРЕ1

Ц>РЕ РР РЗ ООж

ШЯШЮВШЬ'Ш

•¿й?.' Ч"«М1': Ти

050-442-58-61

Изделие

Юг.

Обозначение Масса, кг ЗаВодской номер Лота изготовления

Рисунок 3.3 - виды маркировок для опытных изображений

3.2 Исследование алгоритма локализации на основе анализа

всплесков яркости

Для проведения экспериментальных исследований на лабораторной установке было проведено 1 200 экспериментов с использованием различных тестовых изображений (символьных маркировок) и условий локализации. Подробный отчет о ходе экспериментов сведен в таблицу 3.1. Примеры тестовых изображений, созданных с помощью лабораторной установки представлены на рисунке 3.4.

Рисунок 3.4 - примеры тестовых изображений

Таблица 3.1 - экспериментальные данных оценки работы алгоритма

№ п/п Координата метки Найденная координата Успешность локализации

по горизонтали по вертикали по горизонтали по вертикали

1 122-234 163-187 152 174 +

2 987-1024 588-602 1001 596 +

3 544-603 529-576 577 543 +

4 322-378 694-760 354 738 +

5 456-510 253-293 490 272 +

6 788-842 521-548 802 539 +

7 980-1024 648-690 223 138 -

8 233-295 686-706 268 692 +

9 672-702 267-314 941 764 -

10 895-952 333-367 925 +

- - - - - -

1190 267-303 414-450 288 430 +

1191 867-897 737-778 892 748 +

1192 573-633 544-573 613 566 +

1193 835-887 53-90 149 639 -

1194 482-524 220-260 499 238 +

1195 182-240 90-180 204 152 +

1196 113-157 132-201 128 163 +

1197 32-63 749-768 45 759 +

1198 784-808 694-753 341 257 - -

1199 456-491 737-807 473 782 +

1200 13-54 22-68 39 49 +

Процесс тестирования алгоритма локализации на основе всплесков яркости можно описать следующей последовательностью действий:

1. Получение изображений с камеры при различных условиях съемки.

2. Предварительная обработка изображения и настройка входных параметров алгоритма.

3. Локализация символьной маркировки на изображении и получение координат. '

4. Сопоставление реальных и полученных результатов.

5. Вывод об успешности эксперимента.

С целью получения достоверных результатов для исследований были взяты два набора условий:

- простой фон;

- сложный фон.

Результаты исследования сведены в таблицу 3.2.

Таблица 3.2 - Результаты исследования алгоритма локализации на основе всплесков яркости

Условия Эффективность алгоритма, в %

ПростДй фон Сложный фон

Высококонтрастная метка 99 94

Малоконтрастная метка 97 87

Хорошее освещение 99 94

Слабое освещение 96 88

Угол поворота маркера 10 градусов 98 90

Угол поворота маркера >20 градусов 91 89

Исходя из данных полученных результатов, построим график достоверности локализации (Рисунок 3.5):

и -

100° о 9S°o 96° о

02° о 90% S8° о S6°/o St°o S2°o SO0 о

Высококонт растная метка

□Простой фон

99%

□Сложный фон j

94%

Угол Угол

Малоконтра Хорошее Слабое поворота поворота

стная метка освещение освещение маркера 10 маркера >20

градусов градусов

97% 99% 96% 98% 91%

S7% 94% 88% 90% 89%

Рисунок 3.5 - график достоверности локализации алгоритма на основе всплесков яркости при различных условиях

Из результатов исследования можно сделать вывод, что успешность локализации с использованием разработанного алгоритма в условиях простого фона варьируется в диапазоне от ^1% до 99%, а в условиях сложного фона - от 88% до 94%.

Для проведения сравнительного анализа был выбран алгоритм локализации объектов на изображении с использованием дескрипторов SURF. Исследования проводились в условиях сложного фона. Результаты сравнительного анализа сведены в таблицу 3.3.

Таблица 3.3 - Результаты сравнительного анализа алгоритма локализации на основе всплесков яркости и алгоритма SURF

Достоверность, в %

Условия Алгоритм локализации на Алгоритм

основе всплесков яркости локализации SURF

Высококонтрастная метка 94% 89%

Малоконтрастная метка 87% 85%

Хорошее освещение 94% 89%

Слабое освещение 88%' 86%

Угол поворота маркера 10 градусов 90% 89%

Угол поворота маркера >20 градусов 89% 89%

График достоверности локализации рассматриваемых алгоритмов в условиях сложного фона представлен на рисун^ 3.6.

> =

- <

96° о 9 1° D 92° о 90° о SS°o Sö°o S4°o S2°o SO0 о

Высокок онтрастн ая метка

□Алгоритм локализации на основе всплесков яркости

□Алгоритм локализации SURF

94% 89%

Малокон трастная метка

87% 85%

освещен не

94%

Угол Угол

Слабое поворота поворота

освещен маркера маркера

не 10 >20

град> сов градусов

88% 90% S9%

86% 89% 89%

Рисунок 3.6 - график достоверности локализации алгоритмов на основе всплесков яркости и SURF при условиях сложного фона

По результатам сравнительного анализа можно сделать вывод, что разработанный алгоритм, в силу специфики решаемой задачи, более эффективен чем алгоритм SURF с достоверностью локализации от 85% до 89%.

Еще одним важным критерием оценки работы алгоритма является

скорость работы. Для того, чтобы оценить скорость работы алгоритма

локализации на основе всплесков яркости необходимо сравнить его с

существующими алгоритмами локализации. Для сравнительного анализа

скорости работы алгоритма был выбран алгоритм локализации с

I

использованием дескрипторов SURF. Результаты сравнительного анализа по скорости работы сведены в таблицу 3.4. График скорости работы алгоритмов локализации представлен на рисунке 3.7.

Таблица 3.4 - Результаты сравнительного анализа по скорости работы алгоритмов

Разрешение Скорость работы, сек.

Алгоритм на основе анализа всплесков яркости Алгоритм SURF

480x320 0,03 1,52

640x480 0,07 2,31

800x600 0,11 2,76

1024x768 0,27 7,52

1280x1024 0,31 10,51

1920x1080 0,4 11,88

14 12 10

5

6 4

0 480x320 640x4SO 800x600 1024x768 1280x1024 1920x1080

□ Алгоритм на основе анализа карты яркости 0.011 0.051 0,105 0.11 0.168 0.192

□ SURF 1.52 2.31 2,76 7,52 10,51 11,8

Рисунок 3.7 - График сравнительного анализа по скорости работы

алгоритмов

По результатам сравнительного анализа скорости работы алгоритма на основе анализа всплесков яркости и алгоритма ¡SURF можно сделать вывод, что разработанный алгоритм отличается высокой скоростью работы с цифровыми изображениями высокого разрешения. Скорость работы разработанного алгоритма варьируется от 0,03 до 0,4 секунд при разрешении цифрового изображения от 480x320 до 1920x1080 пикселей, а алгоритма SURF - от 1,52 до 11,88 секунд при разрешении цифрового изображения от 480x320 до 1920x1080 пикселей.

3.3 Исследование алгоритма локализации на основе яркостных

признаков

Для проведения экспериментальных исследований на лабораторной установке было проведено 1 200 экспериментов с использованием различных тестовых изображений (символьных маркировок) и условий локализации. Подробный отчет о ходе экспериментов сведен в таблицу 3.5. Примеры

тестовых изображений, созданных с использованием лабораторной

!

установки представлены на рисунке 3.8.

Таблица 3.5 - экспериментальные данных оценки работы алгоритма

№ п/п Координата метки Найденная координата Успешность локализации

по горизонтали по вертикали по горизонтали по вертикали

1 677-801 737-778 689 745 +

2 122-199 544-573 145 554 +

3 300-399 529-576 577 543 -

4 540-599 163-187 550 172 +

5 765-802 588-602 798 593 +

- - - - - -

1198 784-808 694-753 341 257 -

1199 456-491 737-807 473 782 +

1200 13-54 22-68 39 49 +

Рисунок 3.8 - примеры тестовых изображений

Для тестирования алгоритма на основе анализа карты яркости изображения были соблюдены те же условия, что и при тестировании алгоритма локализации на основе всплеска яркости. С целью получения достоверных результатов сравнения, был использован тот же набор условий: - простой фон; -сложный фон.

I

Результаты исследования сведены в таблицу 3.6.

Таблица 3.6 - Достоверность результатов исследований алгоритма локализации на основе всплеска яркости

Условия Эффективность алгоритма, в %

Простой фон Сложный фон

Высококонтрастная метка 98 93

Малоконтрастная метка 93 87

Хорошее освещение 98 93

Слабое освещение 97 92

Угол поворота маркера 10 градусов 96 91

Угол поворота маркера >20 градусов 94 89

Исходя из данных полученных результатов, построим график достоверности локализации (Рисунок 3.9):

100

95

96 94 92 90 ЙБ 36 54 52 КО

жуЛ

У/УУУ, УУУУУ

ХШ\

ЩУУу

#

уууу.

тт

щш

-----

Ууу: ШУ/,

в

Высококонт растная метка

уЩ У/Ш,

ш.

т

■щ

уф

ЛУУУ ЩА

■УУУУУ.

Малоконтра стная метка

Хорошее освещение

V/////. "УУ/У-'¿¡УУ ■УУ/УУ

МУ4

гт у;уу.

'У/УУ

'<:»/// УУУУ.У',.

ш

ш

■уу/Ууу 'уУУУУУ УУУУ/.

УУУ'У',-,

шу<-

щ.

■■У;;

ш

'У////-.

УУУУ,

■ж* Щ-.

УМУ//.

Слабое ; освещение I

Угол поворота маркера 10 градусов

Угол поворота маркера >20 градусов

□Простой фон '□Сложный фон

98 93

93 87

98 93

97 92

96 91

94 89

Рисунок 3.9 - график достоверности локализации алгоритма на основе анализа карты яркости изображения при различных условиях

Из результатов исследования можно сделать вывод, что успешность локализации с использованием данного алгоритма в условиях простого фона варьируется в диапазоне от 93% до 98%, а в условиях сложного фона - от 89% до 93%.

Для проведения сравнительного анализа так же был выбран алгоритм локализации объектов на изображении с использованием дескрипторов SURF.

График достоверности локализации рассматриваемых алгоритмов в условиях сложного фона представлен на рисунке 3.10.

Таблица 3.7 - Результаты сравнительного анализа алгоритма локализации на основе анализа карты яркости изображения и алгоритма SURF

Условия Достоверность, в %

Алгоритм локализации на основе анализа карты яркости изображения Алгоритм локализации SURF

Высококонграсшая метка 94% 89%

Малоконтрастная метка 87% 85%

Хорошее освещение 94% 89%

Слабое освещение 88% 86%

Угол поворота маркера 10 градусов 90% 89%

Угол поворота маркера >20 градусов 89% 89%

94° о 92° о 90эо S8°o S6% Ы°о S2°o SO3 о

¿□Алгоритм локализации на основе анализа яркости карты изображения

Высококо нтрастная метка

93%

□Алгоритм локализации SURF

89%

Мал о ко нт растная метка

87%

"/// £

V',,/ %

Хорошее освещенн е

Слабое освещен» е

93%

92%

899

S6%

ш\

т

Угол поворота маркера 10

град>сов

91%

89%

Угол | поворота | маркера >20 градусов

89%

89%

Рисунок 3.10 - график достоверности локализации алгоритмов на основе анализа яркости карты изображения и SURF при условиях сложного фона