Информационная система контроля качества производства многослойных тканых материалов на основе обработки их изображений тема диссертации и автореферата по ВАК РФ 05.13.01, кандидат наук Ньян Вин Хтет

• Ньян Вин Хтет
• кандидат наук
• 2020

Оглавление диссертации кандидат наук Ньян Вин Хтет

СОДЕРЖАНИЕ

СПИСОК СОКРАЩЕНИЙ

ВВЕДЕНИЕ

ГЛАВА 1. ТЕХНОЛОГИЯ КОМПЬЮТЕРНОГО ЗРЕНИЯ, МЕТОДЫ И СРЕДСТВА ИНФОРМАЦИОННОЙ СИСТЕМЫ КОНТРОЛЯ КАЧЕСТВА В ТКАЦКОЙ ПРОМЫШЛЕННОСТИ

1.1. Вопросы, связанные с качеством ткани и текстильная промышленность

1.2. ИНФОРМАЦИОННЫЕ СИСТЕМЫ КОНТРОЛЯ КАЧЕСТВА ТКАЦКОГО ПРОИЗВОДСТВА И ИХ ОСНОВНЫЕ ЗАДАЧИ

1.2.1. Проблемы и трудности обнаружения дефектов ткани в системе контроля качества в производстве многослойных тканых материалов

1.2.2. Компоненты информационной системы для контроля качества производства тканей

1.2.3. Современные системы контроля качества текстурных материалов

1.3. Методы и алгоритмы обработки изображений для обнаружения дефектов ткани

1.3.1. Корреляционные операции

1.3.2. Обнаружение краев

1.3.3. Морфологическая операция

1.3.4. Анализ изображения искусственной нейронной сети

1.3.5. Анализ изображений с использованием локальных бинарных шаблонов (LBP)

1.3.6. Анализ преобразования Фурье

1.3.7. Преобразование Хафа

1.3.8. Использование фильтров Габора для анализа изображений

1.3.9. Вейвлет-анализ (преобразование)

1.3.10. Обнаружение капли (BLOB)

1.3.11. Анализ вычислительных методов для выявления дефектов ткани

ВЫВОДЫ К ГЛАВЕ

ГЛАВА 2. РАЗРАБОТКА АЛГОРИТМОВ И МЕТОДОВ РЕШЕНИЯ ЗАДАЧ ДЛЯ ИНФОРМАЦИОННОЙ СИСТЕМЫ КОНТРОЛЯ КАЧЕСТВА ТКАНЕЙ

2.1. Анализ тканей и наиболее распространенных типов дефектов текстильной продукции

2.2. Имитация тканого полотна для моделирования

2.3. Анализ применяемых методов обнаружения дефектов ткани

2.3.1. Обнаружение дефектов с использованием коэффициента корреляции

2.3.2. Обнаружение контура

2.3.3. Преобразование Фурье

2.3.4. Преобразование Хафа

2.4. Моделирование обработки информационной системы контроля качества

2.4.1. Модуль контроля качества производства

2.4.2. Модуль контроля и управления текстильным производством

Выводы к главе

ГЛАВА 3. ПРИМЕНЕНИЕ РАЗРАБОТАННЫХ АЛГОРИТМОВ ДЛЯ ВЫПОЛНЕНИЯ ПРОЦЕССОВ ОБНАРУЖЕНИЯ ДЕФЕКТОВ ТКАНИ

3.1. Тестирование информационной системы обнаружения дефектов ткани

3.1.1. Используемые средства разработки программного обеспечения

3.1.2. Аппаратные средства для разработки

3.2. Вычисление плотности ткани с использованием разработанных методов

3.2.1. Измерение плотности по линиям

3.2.2. Измерение плотности по точкам

3.2.3. Измерение плотности с использованием корреляционной функции

Выводы к главе

ГАЛАВА 4. ТЕСТИРОВАНИЕ ОЦЕНКИ ОБНАРУЖЕНИЯ ДЕФЕКТОВ ТКАНИ И РЕАЛИЗАЦИЯ ИНФОРМАЦИОННОЙ СИСТЕМЫ КОНТРОЛЯ КАЧЕСТВА ТКАНИ

4.1. ОЦЕНКИ вероятности алгоритмов обнаружения дефектов такни с применением разных типов изображений с разными дефектами

4.2. Модель информационной системы для контроля качества производства многослойных тканых материалов

4.2.1. Диаграммы деятельности информационной системы контроля качества

4.2.2. Программное и аппаратное обеспечение информационной системы контроля качества

4.2.3. Результаты работы информационной системы контроля качества

ВЫВОДЫ К ГЛАВЕ

ЗАКЛЮЧЕНИЕ

СПИСОК ЛИТЕРАТУРЫ

ПРИЛОЖЕНИЕ

ПРИЛОЖЕНИЕ

ПРИЛОЖЕНИЕ

СПИСОК СОКРАЩЕНИЙ

ANN - Artificial Neural Network (Искусственная нейронная сеть). LBP - Local Binary Pattern (Локальные бинарные шаблоны). БД - база данных.

Open CV - Open Source Computer Vision Library. UML - Unified Modeling Language (Унифицированный Язык моделирования).

DFD - Data Flow Diagram (Диаграмма потоков данных).

ПК - Персональный компьютер.

ЭВМ - Электронная Вычислительная Машина.

НКК - Нормализованная Кросс-корреляция.

BLOB - Binary Large Object.

rgb - Red Green Blue (Красный Зеленый Синий)

Введение диссертации (часть автореферата) на тему «Информационная система контроля качества производства многослойных тканых материалов на основе обработки их изображений»

ВВЕДЕНИЕ

Сегодня одним из менее автоматизированных и компьютеризированных этапов технологии в текстильной и легкой промышленности является контроль качества или выявление дефектов текстильных материалов. Контроль качества - это часть управления производством, ориентированная на выполнение требований к качеству, в то время как обеспечение качества - это часть, нацеленная на обеспечение уверенности в том, что требования качества будут выполнены. Информационная система контроля качества позволит повысить производительность текстильного производства за счет автоматизации процесса выявления потенциальных дефектов продукции.

Актуальность работы заключается в разработке программно-аппаратных вариантов реализации информационной системы контроля качества для производства многослойных ткацких материалов, которая должна обеспечить заданную достоверность выявления дефектов при производстве в реальном времени. Эти виды систем используют видеоинформацию ткани для обнаружения дефектов и востребованы на рынке, так как снижают стоимость продукции и обеспечивают автоматизацию системы контроля качества продукции.

Цель работы: разработка методов и алгоритмов информационной системы для контроля качества производства тканей на основе развития технологии обработки изображений, увеличивающей достоверность выявления брака ткани.

Диссертация соответствует областям исследований, определенных в паспорте специальности 05.13.01 «Системный анализ, управление и обработка информации» (п.1, п.4 и п.5).

Для достижения поставленной цели необходимо решить следующие задачи:

1. На основе компьютерных методов обработки информации проанализировать критерии выявления дефектов ткани, используя обработку его изображения, изучить структуру системы контроля качества ткани на действующем предприятии и внедрить в нее разрабатываемую подсистему автоматического обнаружения дефектов.

2. Используя современные методы анализа видеоизображений в реальном времени, разработать методы и алгоритмы прогнозирования и оценки качества ткани.

3. Разработать методы и алгоритмы распределения задач для обнаружения дефектов ткани для реализации их в реальном времени на вычислительных средствах средней производительности.

4. Построить математическую модель изображений ткани с различными типами дефектов для выработки и тестирования алгоритмов оценки качества продукции.

5. Разработать систему визуализации и распознавания операторов с использованием сочетания антропометрических и биометрических характеристик человека для системы контроля и управления производством.

6. Внедрить на распределенных вычислительных устройствах разработанные методы и алгоритмы обнаружения дефектов ткани в систему контроля качества текстильного производства.

7. Разработать практические рекомендации по внедрению структуры информационной системы контроля качества ткацкого производства с аппаратным и программным обеспечением.

Методы исследования: в работе используются методы математического и системного анализа, методы расчета статистических характеристик пикселей изображения ткани, метод имитации тканых материалов, теории параллельного программирования, язык

программирования Python и библиотека компьютерного зрения с открытым исходным кодом (OpenCV).

Научная новизна работы: состоит в создании, проведении и реализации следующих научно обоснованных разработок:

1. Предложена концепция построения распределенного программно-аппаратного комплекса интегрированной системы контроля качества ткацкого производства.

2. На основании результатов исследований предложены оптимальная архитектура, структурные схемы и интерфейсы информационных систем контроля качества для производства тканей. Сформулированы рекомендации для используемых аппаратных и программных средств контроля и управления качеством для ткацкого производства.

3. Разработаны алгоритмы взаимодействия интегрированных микрокомпьютеров с сервером, представлены схемы построения информационных систем контроля качества ткацкого производства с использованием разработанных алгоритмов.

Практическая значимость заключается в следующем:

1. Разработаны принципы включения автоматизированной подсистемы обнаружения дефектов ткани в систему контроля качества продукции текстильного производства.

2. С использованием методов обработки изображений разработаны структурные и функциональные схемы информационной системы для контроля качества различных типов тканей с различными типами дефектов.

3. Разработана модель системы контроля качества и информационной системы для производства тканей, которая позволяет проводить исследование достоверности обнаружения дефектов на различных видах ткани.

4. Разработаны алгоритмы и методы решения задач обнаружения дефектов ткани, программное обеспечение, структурные и функциональные схемы информационной системы контроля качества, обеспечивающие оперативное управление производством при появлении признаков дефекта производимых тканей. Достоверность полученных результатов и теоретических исследований подтверждается данными моделирования по распознаванию дефектов на изображении тканей и экспериментальными результатами по обнаружению дефектов с использованием комбинации различных методов обработки изображений.

Основные научные положения, выносимые на защиту:

1. Предложена модель информационной системы контроля качества для текстильного производства, которая обеспечивается разработанным распределенным аппаратно-программным комплексом.

2. Разработана математическая модель для моделирования изображений тканей с различными типами дефектов.

3. Разработаны структурные и функциональные схемы информационной системы контроля качества и производства ткани.

4. Внедрены модель информационной системы контроля качества ткани и методика обнаружения дефектов ткани в режиме реального времени.

Личный вклад автора: представленные в данной работе результаты получены автором лично, либо в соавторстве при его непосредственном участии. Во всех совместных работах автор участвовал в постановке задач, разработке методов исследования, проведении экспериментов моделирования, написании статей, а также представлял результаты исследований на научно-технических конференциях.

Внедрение результатов: разработанные варианты реализации информационных систем контроля качества внедрены на предприятии АО «Три-Д» и на кафедре КИТиС в НИУ МИЭТ.

Апробация работы: материалы диссертации докладывались на

следующих конференциях:

1. Международная конференция "Инновационные подходы к решению технико-экономических проблем". Национальный Исследовательский Университет (МИЭТ) г. Москва, Зеленоград. 2014 г.

2. Международная конференция "Инновационные подходы к решению технико-экономических проблем". Национальный Исследовательский Университет (МИЭТ), г. Москва, Зеленоград. 2015 г.

3. Международная конференция "Инновационные подходы к решению технико-экономических проблем". Национальный Исследовательский Университет (МИЭТ), г. Москва, Зеленоград. 2016 г.

4. IEEE NW Russia Young Researchers in Electrical and Electronic Engineering Conference (2016 EIConRusNW) organized by ST. Petersburg, Electro technical University (LETI), Russia.

5. IEEE Conference of Russia Young Researchers in Electrical and Electronic Engineering (2017 EIConRus) organized by Moscow, National Research University of Electronic Technology "MIET".

6. IEEE Conference of Russia Young Researchers in Electrical and Electronic Engineering (2018 EIConRus) organized by Moscow, National Research University of Electronic Technology "MIET".

7. 24 - я Всероссийская межвузовская научно-техническая конференция студентов и аспирантов, «Микроэлектроника и информатика - 2017», г. Москва. МИЭТ,2017 г.

8. Международная научно-практическая конференция: «Интеллектуальные системы и микросистемная техника». Национальный исследовательский университет «МИЭТ» и Кабардино-Балкарский государственный университет им. Х.М. Бербекова. Россия, Кабардино-Балкария, пос. Эльбрус, 2017 г.

9. Международная конференция: «Инновационные подходы к решению технико-экономических проблем». Национальный исследовательский университет «МИЭТ». 15 сентября 2017 г.

10. Международная научно-практическая конференция: «Интеллектуальные системы и микросистемная техника».Национальный исследовательский университет «МИЭТ» и Кабардино-Балкарский государственный университет им. Х.М. Бербекова. Россия, Кабардино-Балкария, пос. Эльбрус, 2018 г.

11. Международная научно-практическая конференция: «Интеллектуальные системы и микросистемная техника».Национальный исследовательский университет «МИЭТ» и Кабардино-Балкарский государственный университет им. Х.М. Бербекова. Россия, Кабардино-Балкария, пос. Эльбрус, 2019 г.

12.IEEE Conference of Russia Young Researchers in Electrical and Electronic Engineering (2019EIConRus), organized by Moscow, National Research University of Electronic Technology "MIET".

Публикации по работе: основное содержание диссертационной работы опубликовано в 20 печатных работах, в числе которых две работы в журналах, входящих в список, утвержденный ВАК, пять - в материалах конференций, включенных в международную реферативную базу данных SCOPUS и 13 статей в сборниках научных конференций. Автором получено 1 свидетельство РФ на программу для ЭВМ.

Структура и объём диссертации: диссертация состоит из введения, четырёх глав, заключения, списка сокращений, списка литературы и приложения. Материал работы изложен на 113 страницах, включая 56 рисунков и 16 таблиц. Список литературы содержит 69 наименований.

ГЛАВА 1. ТЕХНОЛОГИЯ КОМПЬЮТЕРНОГО ЗРЕНИЯ, МЕТОДЫ И СРЕДСТВА ИНФОРМАЦИОННОЙ СИСТЕМЫ КОНТРОЛЯ КАЧЕСТВА В ТКАЦКОЙ ПРОМЫШЛЕННОСТИ

1.1. Вопросы, связанные с качеством ткани и текстильная

промышленность

Текстиль — вещи, изготовленные из мягких волокон и ниток любого

типа (натуральные и не натуральные), обычно производимые из пряжи ткацким станком. Пряжа производится путем прядения сырых волокон шерсти, льна, хлопка, конопли или других материалов для получения длинных прядей. Текстиль формируется путем плетения, вязания, вязания крючком, завязывания или плетения кружева, валяния или плетения [1].

В текстильной промышленности качество является актуальной проблемой. Поэтому все компании продвигают качество, как основную ценность для потребителей и считают его критическим фактором успеха для достижения конкурентоспособности [2,3]. Для этого современная ткацкая промышленность использует высокоскоростные ткацкие станки для производства тканей высочайшего качества в кратчайшие сроки. Кроме того, были разработаны системы обеспечения качества с целью предоставления клиенту высокого уровня доверия к способности производителя, которые постоянно поддерживают спецификации продукта в соответствии со стандартами и оригинальным техническим проектом [4].

Первоочередной задачей всех ткацких фабрик является уменьшение ткацких дефектов в конечном продукте на ранних этапах производственного процесса для обеспечения оптимизированной экономической жизнеспособности [5]. Помимо значительных дополнительных затрат, связанных с процессом обнаружения дефектов, установлено, что дефекты ткани являются причиной почти 85% дефектов, обнаруженных в швейной промышленности, что представляет собой потерю доходов для производителей. Таким образом, продукт со скрытым

дефектом будет продаваться всего за 45-65% от запланированной цены. Процесс контроля качества ткани является превентивным и может быть широко определен как процесс определения того, отличается ли продукт от данного набора спецификаций [6].

Обнаружение дефектов ткани имеет две различные особенности [7]. Первая - это проверка конечного продукта (в автономном режиме), при которой изготовленная ткань должна проверяться для обнаружения дефектов [8]. Вторая - это проверка в процессе изготовления (в реальном времени), при котором процесс ткачества (или его параметры) можно постоянно контролировать на наличие дефектов и управлять системой для устранения причин возникновения дефектов.

концепция контроля качества ткани состоит в сортировке материалов на основе общих характеристик текстуры, таких как материальная изотропия, однородность и грубость или серьезность его дефектов [9]. Традиционно эту процедуру должны выполнять хорошо обученные (экспертные специалисты) инспекторы. Существующие методы контроля ткани варьируются от фабрики к фабрике [10]. Традиционный контроль качества работал хорошо в течение многих лет отчасти потому, что объем данных был небольшим и управляемым. Наконец, при наличии современных ткацких станков скорость производства и, следовательно, производительность стала выше, чем когда-либо раньше. Однако есть трудности при использовании человека в системах контроля качества. Поскольку эти недостатки могут стать основным аргументом для появления другого, более надежного метода проверки, их можно собрать, обобщить и выделить следующим образом:

• экспертов трудно найти или удержать в отрасли;

• человек требует обучения, а его навыки требуют времени для развития;

• в некоторых случаях визуальный осмотр может быть утомительным или трудным даже для самых подготовленных экспертов;

• человек работает медленнее, чем машины, а это значит, что проверка относится к трудоемким задачам;

• инспектор вряд ли может определить уровень дефектов, который является приемлемым, в то время как сравнение такого уровня между несколькими инспекторами практически невозможно;

• с используемыми традиционными методами чрезвычайно сложно добиться 100% контроля качества ткани.

Из-за перечисленных проблем и для повышения точности и скорости обнаружения дефектов, традиционные системы контроля качества, основанные на визуальном контроле оператора, заменяются автоматизированной системой контроля качества, которая использует камеру и процедуры обработки изображений. Такие системы способны обеспечить наилучшую возможность объективной и последовательной оценки качества ткани. Обзор и анализ применения компьютерного зрения для контроля качества в ткацкой промышленности проведены в работе [11].

1.2. Информационные системы контроля качества ткацкого производства и их основные задачи

Информационные системы контроля качества предназначены для

повышения точности согласованности обнаружения дефектов в процессе изготовления ткани, снижения трудозатрат, улучшения качества продукции и повышения эффективности производства. Они называются системами контроля качества ткани в режиме реального времени, если контроль производства и само производство работают совместно или в режиме реального времени. Необходимость контроля в этой системе обусловлена тем, что проверка ткани, при использовании существующих методов, является задачей, не отвечающей современным требованиям, т. е до того, как обнаружены дефекты ткани будут изготовлены тысячи метров некачественной ткани. Таким образом, основной целью системы технического зрения является обнаружение дефектов на ранней стадии

производства. Чтобы предотвратить предсказуемые дефекты ткани при массовом производстве или, по крайней мере, обеспечить корректирующие действия в процессе ее изготовления. Основные требования, предъявляемые к информационной системе контроля качества, должны быть следующими:

• система должна обеспечивать работу в режиме реального времени с вероятностью обнаружения исследованных дефектов ткани, не меньше 95%;

• используемая система должна увеличить производительность основного производства;

• система должна допускать отклонения от заданных технологических параметров в диапазоне ± 5 % без отнесения их к дефекту ткани;

• система должна быть надежной и гибкой, она должна автоматически адаптироваться и достигать стабильно высоких характеристик при изменяющихся условиях производства (неравномерность освещения, маркировки или фоновых условий, неопределенности в углах, положениях и т. д.);

• процесс внедрения системы должен быть технологически простым, не требовать длительной остановки производственного процесса и не существенных финансовых вложений (не более 3000 $ на станок);

• система должна быть простой в эксплуатации и обслуживании.

Анализ возможного появления дефектов может производиться

внутри производственных процессов и для этого могут быть использованы диаграммы типа «что, если».

При построении информационной системы необходимо сохранить ряд основных правил и требований системы контроля качества, а также наличие определенных служб:

• описание конкретных обязанностей и задач: каждой ссылки, каждого лидера, каждой позиции;

• создание конкретных шаблонов с необходимой информацией для заполнения каждым сотрудником фирмы, со сроками и обязанностями;

• управление передачей информации, ответственность за ее создание, экспертизу, обработку, сроки выполнения;

• описание точек контроля информации - межведомственное предоставление отчета о результатах ее обработки;

• оценка затрат на внедрение и эффективность информационной системы.

1.2.1. Проблемы и трудности обнаружения дефектов ткани в системе контроля качества в производстве многослойных тканых материалов

Информационная система контроля качества текстильных материалов достаточно сложна, и в этой области предстоит еще многое изучить. В процессе внедрения информационной системы контроля качества при обнаружении дефектов ткани можно столкнуться со следующими трудностями [12]:

• задача является особенно сложной из-за большого количества типов дефектов ткани;

• есть сходство и разнообразие дефектов;

• характеристика дефектов в текстурных материалах обычно не четко определена;

• существует огромное разнообразие узоров ткани;

• проблема количественной оценки визуальных впечатлений в сложных ситуациях (например, при производстве тканей);

• задача имеет чрезвычайно высокий поток данных;

• информационная система подвержена случайным и шумовым воздействиям;

• большинство используемых алгоритмов вычислительно сложно для онлайн-приложений.

1.2.2. Компоненты информационной системы для контроля качества

производства тканей

Поскольку области применения технологии (машинного зрения) разнообразны, определенные компоненты в различных системах могут отличаться в зависимости от области их применения, что является основным фактором, определяющим требования к проектированию и разработке эффективной системы машинного зрения. Поэтому система связана со средой, которая будет выполнять поставленную задачу, скоростью обработки информации и так далее. По сути, система контроля качества ткани состоит, главным образом, из двух основных блоков: первый - блок получения изображения, который обычно является источником входного сигнала, оптики, системы освещения, датчиков, двигателей фрейм-граббера. Второй - это процессор, который имеет платформу ПК, программное обеспечение для проверки, цифровой ввод / вывод и сеть [13,14].

Камеры формируют цифровое изображение ткани, таким образом, достигается максимальный уровень контраста между дефектами и их фоном. В основном, есть два распространенных типа сканирования, используемых для проверки тканей: с использованием линейных и районных сканирующих камер. Необходимое количество камер для непрерывного сканирования полотна рассчитывается в зависимости от его ширины. Система обычно имеет несколько камер, расположенных в ряд, чтобы покрыть общую ширину полотна с перекрытием, примерно, на 5%, для захвата всей ширины без разрывов. Существует [15] три основные проблемы, которые приводят к тому, что оптические системы не могут

получать изображения необходимого качества: плохое освещение, нечеткое изображение и проблемы видимости.

Освещение является основной проблемой для многих систем машинного зрения и получения изображений, в которых тип и уровень освещения оказывают большое влияние на качество изображения [16]. Изображение ткани с камеры зависит от двух факторов: освещения и того, как ткань отражает это освещение. Есть три основания для выбора типа освещения при осмотре ткани: плотность ткани, виды дефектов и этап, на котором проводится проверка. Кроме того, некоторые дефекты ткани можно легче распознать в проходящем свете, тогда как другие дефекты можно быстрее обнаружить при отраженном свете. Модуль освещения предназначен либо для отражения, либо для пропускания света.

Транспортный кодер используется для предоставления основных синхронизирующих импульсов для камеры. Колесо транспортного датчика находится в непосредственном контакте с намотчиком ткани. При использовании камер с линейным сканированием, разрешение транспортного кодера, (т.е. число импульсов) определяет разрешение в пикселях. Камеры с линейным сканированием могут получать четкие изображения с любой скоростью, устанавливая скорость сканирования камеры в зависимости от скорости механической передачи [17].

Блок обработки изображения предназначен для того, чтобы понять конструкцию проверяемой ткани и принять решение в режиме реального времени, имеется ли дефект или нет. Функцию блока обработки можно классифицировать на три основные категории: обнаружение и классификация дефектов, освещение и контроль камеры, а также управление системой. В случае высокоскоростной (автономной) проверки, одного общего блока обработки недостаточно для обработки большого объема данных изображения. Поэтому большинство систем используют отдельный процессор для каждой камеры [18]. Кроме того, большинство систем контроля промышленных приложений должны обрабатывать

160000-240000 пикселей/сек на камеру, поэтому требуется определенное обрудование, как минимум, для части системы. Схема, использованных компонентов информационной системы для обнаружения дефектов ткани, показана на рисунке (1.1).

Рисунок 1.1. Структурная схема информационной системы обнаружения дефектов ткани.

1.2.3. Современные системы контроля качества текстурных

материалов

В настоящее время информационные системы контроля качества производства тканей широко используются в текстильной промышленности. Проблема контроля качества нетканых и тканых материалов очень важна, так как обычного визуального осмотра недостаточно. Из-за недостатков визуальной системы контроля качества, описанной ранее, в текстильной промышленности стали применяться автоматические системы контроля, которые позволяют повысить производительность труда и качество выпускаемой продукции, а также снизить трудозатраты. Некоторые производители автоматизированных систем обнаружения дефектов - Suntech, I2S Linescan, Cognex, Lenzing Instruments, Easyßraid Co и т. д производят различные системы, которые

необходимы для промышленности. Характеристики их продукции приведены в таблице (1.1).

Таблица 1.1.

Характеристики современных систем контроля качества ткацкой __промышленности __

№ Система Предприятие Тип обработки Ширина ткани (м) Размер обнаруживаемого дефекта (мм) Стоимость (доллар США)

1 ST-KFIM Suntech после производства 1.8~4 5 7,50010,000

2 Cyclops Вагсо после производства 2.8 5 5250

3 Cognex SmartView Cognex после производства 3 0.4 18000

4 Flawscan 4000 I2S Linescan после производства 2 0.5 15000

5 IQ-TEX 4 Elbit Vision Systems (EVS) после производства 2~4 1 10,00068,000

6 Fabriscan Zellweger Uster после производства 3 0,3 200,000 -650,000.

7 Разрабатываемая система ТриД В процессе производства 1.4 3 1000

Обработка изображений требует использования набора программ, отличающихся по своим возможностям сложностью настроек, объемом вычислений и необходимым временем для обработки массивов. Строгая количественная оценка таких разнообразных программ и методов обработки данных затруднена из-за большого разнообразия их применения и различных задач, которые необходимо решать. Для конкретных задач, связанных с выявлением дефектов в технических тканях, должна быть проведена система качественной оценки используемых программных продуктов.

1.3. Методы и алгоритмы обработки изображений для обнаружения

дефектов ткани

После того как изображение ткани захвачено блоком приема изображения, оно проходит через последовательность многих процессов, обычно используемых в методах обработки изображений. Эта процедура может включать множество различных процессов, таких как улучшение

изображения, восстановление, сегментация, извлечение признаков и распознавание. Все эти этапы выполняются по соответствующему алгоритму через системный блок обработки изображений информационной системы. Блок обработки изображений информационной системы управления качеством для обнаружения дефектов тканей требует надежного алгоритма обнаружения. В последние годы в связи с быстрым снижением стоимости датчиков и вычислительной мощности было предложено несколько новых алгоритмов. В ходе исследования были рассмотрены наиболее эффективные алгоритмы автоматического выявления дефектов тканей.

Для сравнения методов, используемых при анализе дефектов тканей, рассмотрена вычислительная сложность выполняемых операций в пяти уровнях градации. Наиболее простые методы не требуют специальных устройств и выполняются на универсальных ЭВМ. К очень сложным методам отнесены те, которые требуют специальных операций и алгоритмов. По сложности отладки методы делятся на пять уровней. Самый простой уровень включает в себя методы, которые не требуют специальной подготовки и находятся в открытом доступе, очень сложными являются те методы, которые требуют специальной подготовки и специального доступа к программному обеспечению.

Список литературы диссертационного исследования кандидат наук Ньян Вин Хтет, 2020 год

Рейтинг удобство использования для исследования

Рисунок 1.10. Рейтинговая оценка микро-ЭВМ для выявления

дефектов ткани.

ВЫВОДЫ К ГЛАВЕ 1

Задачи компьютерного зрения включают в себя методы сбора, обработки, анализа и понимания цифровых изображений, а также извлечение многомерных данных из реального мира, чтобы дать численную или символьную информацию в виде решений.

Большинство современных систем контроля качества текстиля имеют тенденцию выполнять многоцелевые функции и могут обнаруживать практически любые дефекты текстильных тканей. Производительность этих систем (IQ-TEX 4, Fabriscan) высокая, но системы отличаются сложностью реализации и требуют значительных материальных затрат. Разработка упрощенных и эффективных систем обнаружения дефектов в текстильных тканях поможет предприятиям контролировать качество продукции с меньшими затратами. Технология компьютерного зрения играет определяющую роль в комплексах автоматических систем такого рода. Разработано много методов контроля

качества текстильных материалов путем обработки их изображений в технологии компьютерного зрения.

Рассмотренные методы имеют определенные преимущества и недостатки. Некоторые методы проанализированы на уровне лабораторных исследований. Реализация некоторых алгоритмов (нейронная сеть, вейвлет-преобразование) усложняется высокой стоимостью разработки. Некоторые алгоритмы, такие как морфологическая операция, обнаружение капли требуют учета дополнительных возможностей (характеристик), при обнаружении объектов. Для достижения поставленных целей необходимо реализовать комбинацию рассмотренных доступных алгоритмов, сочетание которых обеспечит надежное определение дефектов ткани с использованием современных относительно дешевых вычислительных средств.

ГЛАВА 2. РАЗРАБОТКА АЛГОРИТМОВ И МЕТОДОВ РЕШЕНИЯ ЗАДАЧ ДЛЯ ИНФОРМАЦИОННОЙ СИСТЕМЫ КОНТРОЛЯ

КАЧЕСТВА ТКАНЕЙ

2.1. Анализ тканей и наиболее распространенных типов дефектов

текстильной продукции

Ткани изготавливаются из пряжи путем плетения их в разных

сочетаниях: плетением двух комплектов пряжи или нити из волокон, называемых основой и утком ткацкого станка.

Их растягивают только в направлениях смещения, между направлениями основы и утка, если нити не являются эластичными.

В продольном направлении более прочные вертикальные нити с большим количеством скручивания представляют собой основы или кирки, в то время как заполняющие по ширине нити называются утками или концами. Существуют основные три типа плетения: однотонные или простые, твиллы и атласные, представленные на рисунке (2.1).

А) Простое плетение Б) Твнл антенне В) Атласное плетение

Рисунок 2.1. Три типа ткани. Простое плетение - это основное плетение, которое создается, когда

нить ткут по принципу «один вверх» и «один вниз». Примеры некоторых

тканей простого плетения - это шамбре, шифон, ситцевое дерево, органза

и т. д.

Плетение саржевого переплетения производится, когда нить укладывается, изменяя порядок переплетения нитей так, чтобы по ткани создавались диагональные параллельные линии.

Атласное переплетение - это переплетение, которое создается, когда каждая пряжа основы плавает над четырьмя наполнителями и переплетается с пятым наполнением.

Общие дефекты тканей во время производственного процесса включают в себя нарушение цвета, дырки, узлы, смешанную пряжу и т. д. Общие дефекты и причины их появления приведены в таблице (2.1).

Таблица 2.1

Общие дефекты и причины их появления

№ Название дефекта

Причина дефекта

Пример

отверстие

Несовершенство ткани, при котором одна или несколько нитей достаточно повреждены, чтобы создать отверстие.

пятно

Изменение цвета на локальном участке основания, которое может быть стойким к удалению при стирке или химической чистке. Это происходит во время прядения, ткачества или отделки. Это также часто можно увидеть в тканой ткани, если на деталях ткацкого станка слишком много смазки.

1

2

плавающая пряжа

Дефект, существующий в ткацкой ткани, где нити основы и утка не переплетаются как на эталонном образце.

уточная пряжа

Когда ширина нити утка меньше или больше нормальной, образуется дефект плотности нити.

основная пряжа

Когда ширина нити основы меньше или больше нормальной, образуется дефект плотности нити.

двойная пряжа

Этот вид дефекта возникает в тканой ткани, когда два конца палочек основы собираются после калибровки.

недостаточная плотность пряжи

Когда количество пряжи в определенной области меньше стандартного значения, в ткани появится дефект недостаточной плотности утка.

чрезмерная плотность пряжи

Когда количество пряжи в определенной области больше стандартного значения, в ткани появится дефект чрезмерной плотности утка.

сломанная или отсутствующая пряжа.

Это происходит, когда пряжа основы сломана или отсутствует во время плетения. Ткань может закончиться отсутствующими концами, если ткач неправильно рисует сломанные концы на месте или движение остановки деформации не работает должным образом.

3

4

5

6

7

8

9

2.2. Имитация тканого полотна для моделирования

Компьютерные методы моделирования текстильных форм

представляют собой важный инструмент для разработки текстильных конструкций и методов обнаружения дефектов ткани с использованием обработки изображений.

Они позволяют проводить тестирование разработанных методов на смоделированных изображениях тканей, информация о дефектах существует в моделях изображений. Узор тканого переплетения ткани является различимой характеристикой для распознавания текстуры ткани, поскольку различные переплетения ткани представляют различные текстуры [56].

Моделирование текстильных форм всегда будет важной проблемой исследователей, поскольку модели, близкие к реальности, необходимы для понимания характеристик и поведения текстильных материалов.

Тканый материал представляет собой узор пересечения уток и коробок. Есть много типов образцов ткани. Базовая модель тканого материала показана на рисунке (2.2).

Рисунок 2.2. Базовая модель тканого материала Основа и уток лежат в форме креста. Для моделирования ткани

сначала имитируются форма утка и основы. В эксперименте ширина утка

длиннее, чем у основы. Формы утка и основы в матрице показаны на

рисунке (2.3).

Рисунок 2.3. Форма утка и основы в матрице Используемые функции для формирования основы и утка в Python

OpenCV приведены в предложении (1).

Форма ткани в направлении утка может быть смоделирована путем

повторения горизонтальной области совмещения утка и основы. Таким

образом, количество перекосов в конкретной ширине ткани можно

рассчитать по уравнению (2.1).

L

Nh=• (2.1) где: L - удельная ширина ткани. Nw - ширина утка, а Nh - ширина основы.

Плотность утков также можно рассчитать путем деления высоты ткани на высоту утка или основы.

Если ширина утка и основы одинакова, а первый фрагмент моделируемой ткани начинается с площади утка, то второй фрагмент, соответствующий продолжению ткани, должен начинаться с середины области основы. Координаты начального фрагмента утка второго фрагмента могут быть рассчитаны по следующему уравнению:

A —

2

S: + S h 2

f----S: — Sh

o th is e

(2.2)

где: А - длина утка, которая должна быть вычтена из начала утка. Sw и - ширина утка и основы, соответственно. Моделированные

:

изображения ткани, полученные по уравнению = Sh и Sw! = Sh показаны на рисунке 2.4.A и 2.4.Б.

Б)Текстнльное изображение с одинаковой А) Текстильное изображение с большей шириной утка, чем у шириной утка и основы

основы

Рисунок 2.4. Моделированные изображения ткани. А) Текстильное изображение с большей шириной утка, чем у основы. Б) Текстильное изображение с одинаковой шириной утка и основы. Моделирование выполняется с использованием библиотеки Python и

OpenCV в качестве программного обеспечения и Raspberry Pi3 B для

аппаратного обеспечения.

2.3. Анализ применяемых методов обнаружения дефектов ткани

Для обнаружения дефектов, изображение необходимо

отфильтровать и нормализовать. Обнаружение дефектов ткани с использованием алгоритма обработки изображений имеет несколько этапов:

• чтение изображения;

• преобразование двоичного изображения;

• фильтрация;

• функция извлечения;

• обнаружение.

После того, как камера захватила изображение, программа преобразует его из цветного в изображение в градациях серого. Есть несколько причин для выполнения функций обработки изображений в черно-белом формате [57]:

• для многих приложений обработки изображений информация о цвете не обеспечивает идентификации важных краев или других функций. Есть исключения: если есть край (ступенчатое изменение значения пикселя) в оттенке, который трудно обнаружить на изображении в оттенках серого, или если необходимо идентифицировать объекты известного оттенка (оранжевые плоды перед зелеными листьями), - в этих ситуациях информация о цвете может быть полезна;

• поиск краев на основе яркости и цветности требует больше вычислений, чем на черно-белом изображении. Это дополнительная работа по разработке более сложных программ и их сопровождении в производственном цикле. При решении прикладных задач дополнительная информация о цвете может не обеспечить должного эффекта;

• для обучения обработки изображений лучше сначала понять обработку в оттенках серого и понять, как она применяется к многоканальной обработке, а не начинать с обработки цветного изображения и упустить все важные идеи, которые можно (и нужно) изучить при обработке по одному каналу;

• алгоритм водораздела в черно-белых изображениях довольно легко понять, потому что человек может представить два пространственных измерения и одно измерение яркости как трехмерное изображение с холмами, долинами, водосборными бассейнами, гребнями и т. д. «Пиковая яркость» - это просто горная вершина в трехмерной визуализации изображения в градациях серого. Есть ряд алгоритмов, для которых интуитивная «физическая» интерпретация, помогает человеку определить проблему и найти пути ее решения. В rgb, hsi, lab и других цветовых пространствах этот вид визуализации намного сложнее,

поскольку существуют дополнительные измерения, которые нелегко визуализировать; • на современных компьютерах и при параллельном программировании можно выполнять простую попиксельно обработку мега пиксельного изображения за миллисекунды. Распознавание лиц, распознавание текста, изменение содержания с учетом содержания, сегментация среднего сдвига и другие задачи могут занять гораздо больше времени. Независимо от того, какое время обработки требуется для манипулирования изображением или извлечения из него некоторых полезных данных, большинство пользователей хотят, чтобы оно работало быстрее. Можно предположить, что обработка трехканального цветного изображения занимает в три раза больше времени, чем обработка изображения в оттенках серого, или, может быть, в четыре раза больше, потому что это может создать отдельный канал яркости. По этим причинам прочитанное изображение преобразуется в черно -белое изображение.

Когда изображение получено камерой, оно может быть искажено случайными изменениями интенсивности, изменениями освещенности или плохой контрастностью. Обработка изображения с повреждениями не может дать надежного результата. Изображение может быть отфильтровано либо по частоте, либо в пространственной области.

Как правило, извлечение признаков начинается с начального набора измеренных данных и формирования производных признаков, предназначенных для того, чтобы быть информативными и не избыточными, облегчая последующие этапы обучения и обобщения, а в некоторых случаях, приводя к лучшей интерпретации. Извлечение признаков связано с уменьшением размерности.

При обработке изображений, алгоритмы используются для обнаружения и выделения различных требуемых частей или форм (признаков) оцифрованного изображения или видео потока.

2.3.1. Обнаружение дефектов с использованием коэффициента

корреляции

Коэффициент корреляции является статистической мерой, которая вычисляет силу взаимосвязи между относительными изменениями двух переменных. Значения коэффициента корреляции находятся в диапазоне от -1,0 до 1,0. Расчетное число больше 1,0 или меньше -1,0 означает, что произошла ошибка в измерении корреляции. Корреляция -1,0 показывает идеальную отрицательную корреляцию, а корреляция 1,0 показывает идеальную положительную корреляцию. Корреляция 0,0 показывает отсутствие связи между изменениями двух переменных. Метрический коэффициент корреляции измеряет степень корреляции между двумя изображениями и может измерять структурное сходство между двумя изображениями. Схема алгоритма обнаружения дефектов ткани с использованием коэффициента корреляции показана на рисунке (2.5).

Рисунок 2.5. Схема алгоритма обнаружения дефектов ткани с использованием коэффициента корреляции.

Сначала изображение читается и преобразуется в оттенки серого. После преобразования в оттенки серого, изображение нормализуется используя выравнивание гистограммы. Выравнивание гистограммы выполняется по уравнению (2.3):

Л

gi, у = Аааг ((Ь - 1)Х Р )

п=0

(2.3)

где: f - данное изображение, представленное в виде матрицы целочисленных интенсивностей пикселей в диапазоне от 0 до L - 1. Ь -число возможных значений интенсивности, часто 256 (с 0 до 255). Рп -

нормализованная интенсивность пикселей с яркостью п.

Рп =

N

N

(2.4)

где: N" количество пикселей с интенсивностью п, п = 0,1,2,3,,,,,^-1,

N - общее количество пикселей.

Исходное изображение и нормализованное выравниванием гистограммы показано на рисунке (2.6).

Рисунок 2.6. Исходное изображение и изображение после выравнивания гистограммы В качестве обрезанного изображения выбирается одна уточная

область входного изображения для сравнения с входным изображением в

вертикальном направлении. Сравнивая коэффициент корреляции

обрезанного изображения вдоль входного изображения, можно определить

точное местоположение предстоящих положений утка во входном

изображении.

С 13 по 38, 25 строк входного изображения были выбраны в качестве обрезанного изображения, потому что это - площадь утка. Примерное обрезанное изображение в красном прямоугольнике показано на рисунке (2.7).

Рисунок 2.7. Исходное изображение и обрезанное изображение в красном прямоугольнике Сумма коэффициентов корреляции сравнения двух изображений в

пикселе в направлении «х» сохраняется в массиве и показано в виде графа

(рис.2.8). Пиковые элементы результирующего массива представляют

координаты утков вдоль «у» направления. Результаты вычисления

коэффициентов корреляции приведены в таблице (2.2).

Рисунок 2.8. Коэффициент корреляции сравнения изображений

Таблица 2.2.

Результаты вычисления коэффициентов корреляции

КК 834 789 795 724 728 775 855 851 873 881 885 859 895 918

Отклонение от среднего значения кк 1 -44 -38 -109 -105 -58 32 18 40 48 52 26 62 75

Координаты х высоких пиков 13 58 102 146 188 231 277 320 367 410 455 502 549 601

Растояние между нитями 45 44 44 42 43 46 43 47 43 45 47 47 52

В таблице (2.2) КК - значения коэффициентов корреляции на координатах высоких пиков. Среднее значение коэффициента корреляции

изображения равняется 833. Отличие координат высоких пиков не меньше 40 и не больше 55. Нахождение этого параметра в таком диапазоне соответствует отсутствию дефектов.

Если полученное значение коэффициента корреляции, ниже стандартного порогового, скорость вращения вала должна уменьшаться. Если значения коэффициента корреляции выше порогового, скорость вращения вала должна увеличиваться. Эта информация используется для управления скоростью вращения ведущего вала.

2.3.2. Обнаружение контура Контур объекта играет важную роль в таких областях, как семантическая сегментация и классификация изображений. Тем не менее, извлечение контура является сложной задачей, особенно когда контур неполный или незакрытый. Подходы обнаружения контуров можно разделить на три категории: основанные на пикселях, основанные на краях и основанные на регионах. Обнаружение контура можно использовать в качестве метода обнаружения дефекта ткани при наличии классификации особенностей тканей. Контурные точки пересечения основы и утка или точки места положений основы или утка могут определять шаблон ткани.

Контур, который называют репрезентативной особенностью объектов изображений, и, таким образом, его обнаружение является проблемой для компьютерного зрения. Алгоритмы обнаружения контуров, в основном, необходимы для выполнения практических задач, таких как распознавание объектов и понимание его особенностей. Схема алгоритма обнаружения дефектов ткани с помощью обнаружения контуров и сходное изображение ткани показано на рисунке (2.9) и (2.10).

Рисунок 2.9. Схема алгоритма обнаружения дефектов ткани с помощью обнаружения контура.

Рисунок 2.10. Исходное изображение.

Входное изображение сглаживается с помощью медианного размытия. Медианное размытие - это метод сглаживания изображения путем вычисления медианы изображения под окном ядра, представленного на рисунке (2.11). Центральный пиксель изображения под ядром заменяется полученным медианным значением.

Рисунок 2. 11 . Используемое ядро при расчете медианного

изображения.

} = М (к = I),

(2.5)

где: I - пиксель изображения в i и j, M - это медианное значение

изображения под ядром к Затем особенности размытого изображения

извлекаются с помощью пороговой обработки. Порог изображения

предоставляет алгоритм для определения контуров точек пересечения.

Д . = шв&ап(к), (2.6)

где: Ду - пиксель выходного изображения в / и у. / - пороговое

значение, а швёшп(к) является медиальным значением интенсивности пикселей изображения I подоконника к. Значение интенсивности пикселя Д1} используется с медианным пороговым значением, определенным из

подоконного входного изображения. Полученное изображение показано на рисунке (2.12).

Рисунок 2.12. Изображение после пороговой операции.

Когда получено пороговое значение изображения, обнаружение контура применяется к изображению. Изображение с полученным результатом показано на рисунке (2.13).

о

50 100 150 200 250 300 350

О О О 0 о 0 V) о 0 о

0 0 о о 0 О 0 0 О о

0 О 0 0 0 0 0 } с ) О

ь о о о с 0 0 С 0 О (1

0 о й 0 ООО О 0 О

100

200

300

400

500

600

700

Рисунок 2.13. Изображение после обнаружения контура и центральных точек обнаруженных контуров.

Обнаруженные контуры и их центральные координаты показаны в таблице (2.3).

Таблица 2.3

Координаты контуров_

№ координаты Х и У выделенных контуров

1 55, 13 134, 13 207, 13 285, 14 363, 15 439, 18 511, 19 592, 21 662, 22 737, 24

2 38, 87 114, 89 187, 90 267, 90 346, 95 416, 95 493, 97 567, 97 646, 98 717, 99

3 21, 162 94, 162 170, 164 247, 166 326, 168 402, 169 473, 170 549, 173 625, 177 695, 178

4 5, 232 77, 235 152, 238 230, 239 306, 240 382, 241 459, 243 533, 246 606, 247 679, 251

2.3.3. Преобразование Фурье

Преобразование Фурье используется при анализе частотных характеристик различных сигналов. Для изображений 2D дискретное преобразование Фурье (ДПФ) используется для нахождения частотной области. Быстрый алгоритм, называемый быстрым преобразованием Фурье (БПФ), используется для вычисления дискретного преобразования Фурье [58].

Преобразование Фурье является важным инструментом обработки изображений, который используется для разложения изображения на его синусоидальные и косинусные компоненты. Результат преобразования Фурье представляет изображение частотной области, в то время как входное изображение эквивалентно пространственной области. В изображении в области Фурье каждая точка представляет конкретную частоту, содержащуюся в изображении в пространственной области. Схема алгоритма обнаружение дефектов ткани с использованием преобразования представлена на рисунке (2.14):

Рисунок 2.14. Схема алгоритма преобразования Фурье при обнаружении дефектов ткани. Сначала изображение читается и преобразуется в изображение в градациях серого. Затем выравнивание гистограммы применяется к изображению в градациях серого, чтобы отрегулировать контрастность изображения путем изменения распределения интенсивности изображения. После выравнивания изображения вычисляется частотная область изображения, которая выводит изображение в виде сложного массива. Он имеет компонент нулевой частоты (компонент постоянного тока) в верхнем левом углу. Этот компонент перемещается в центр,

сдвигая результат N в обеих величинах. После этого верхние частоты

фильтруются с использованием прямоугольного окна размером 60х60, в качестве маски. Этот фильтр удаляет все низкие частоты изображения в частотной области. Полученное изображение показано на рисунке (2.15).

Рисунок 2.15. Результаты преобразования изображения с помощью преобразования Фурье для выделения дефектов ткани.

В работе [59] проведены результаты обнаружения дефектов ткани с использованием метода преобразования Фурье.

2.3.4. Преобразование Хафа

Плотность материала является одним из важнейших технических параметров производимой ткани. Этот параметр характеризуется расстоянием между поперечными нитями (нити утка) в результирующей ткани. Измерение и поддержание стабильности плотности материала позволяет избежать дефектов в структуре ткани на стадии производства. Преобразование «Hough-Line Transform» - это преобразование, используемое для обнаружения прямых линий. Чтобы применить преобразование, рекомендуется предварительная обработка для обнаружения края.

Утки и перекосы тканей можно принять за прямые линии. Если признаки утков и основ тканей извлекаются, местоположение этих утков и основ может быть вычислено с использованием преобразования неровных линий. Рассчитав размер, местоположение и расстояние между двумя линиями, можно классифицировать качество ткани. Схема алгоритма обнаружения дефектов ткани с использованием преобразования Хафа показана на рисунке (2.16).

Рисунок 2.16. Схема алгоритма обнаружения дефектов ткани с использованием преобразования Хафа.

Обнаружение дефектов с использованием преобразования неровных линий требует надежного выделения признаков. Чтобы избежать ненужных шумов, изображение нужно отфильтровать. На этом этапе используется фильтр Гаусса.

Размытие по Гауссу - это фильтр размытия изображения, который использует гауссову функцию (которая также выражает нормальное распределение в статистике) для расчета преобразования, применяемого к каждому пикселю изображения. Формула гауссовой функции в двух измерениях представлена следующим уравнением:

в.

1

е

X2 +/

" 2а2

(2.7)

2а

где: х - расстояние от начала координат по горизонтальной оси, у -расстояние от начала координат по вертикальной оси, а - стандартное отклонение распределения Гаусса.

При применении в двух измерениях эта формула создает поверхность, контуры которой представляют собой концентрические окружности с гауссовым распределением от центральной точки.

Рисунок 2.17. А) Исходное изображение. Б) Изображение после фильтрации Гаусса. В) Обнаружение краев Канни. Г) Обнаружение линии.

2.4. Моделирование обработки информационной системы контроля

качества

Успешный контроль качества и контроль качества являются критическими аспектами среды управления производством. Часто «контроль качества» и «обеспечение качества» используются взаимозаменяемо, и относится к мероприятиям, проводимым для обеспечения качества продукта, услуги или процесса. В настоящее время разрабатывается множество технологий для улучшения качества производства тканей.

Как правило, информационные системы производственной отрасли можно разделить на две категории: внешние и внутренние информационные системы. Внутренняя система состоит из внутренних

операций, таких как системы управления, системы контроля качества, система управления персоналом. Внешние системы состоят из маркетинговой информации, цены материала, финансового и фондового рынков, а иногда и информации о доставке товаров и их ценах. На рисунке (2.18) показана структура информационной системы текстильного производства.

Рисунок 2.18. Структура информационной системы в текстильном

производстве.

Информационная система контроля качества решает следующие задачи:

• выявление дефектов, связанных с качеством продукции;

• определение причин выявленных дефектов с качеством продукции;

• предложение вариантов по устранению причин возникающих дефектов;

• обеспечение мониторинга измененного процесса.

Высокие затраты из-за проблем, связанных с качеством продукции можно ожидать, когда процесс производства не изучен достаточно хорошо. Коррекция производственного процесса возможна на любом этапе выпуска продукта. Эффективная информационная система контроля качества позволяет производству переходить из режима «исправить продукт» в режим «исправить процесс», потому что она концентрируется на том, чтобы в первую очередь сделать продукт правильным, достигая лучшего понимания производственного процесса. Схема алгоритма

основных процессов информационной системы контроля качества показана на рисунке (2.19).

^^ Начало

11олучение информации заказов

Получить нужные материалы

Да

I

Отправка информации и продук те в производственный отедл

I [роизводства и контроль качества

Исправление и формирование отчета

Нет

Конец

Рисунок 2.19. Схема алгоритма основных процессов информационной системы контроля качества текстильной продукции.

Для достижения поставленной цели рекомендуется четырехэтапный подход:

• определить проблему, связанную с появлением дефекта ткани;

• определить причины возникновения этой проблемы. Система должна выяснить причину возникновения проблемы, чтобы сформировать алгоритм устранения проблемы в процессе производства;

• устранить причину выявленной проблемы. На этом этапе требуется действие;

• постоянно следить за процессом. Действительно, когда проблема остается, это означает, что есть и другие причины. Когда первая проблема решена, следующая может быть определена.

Такой четырехэтапный подход повышает эффективность работы отделов контроля качества и работников производства. Это также повысит их уверенность и способность справиться с возникающими проблемами. Избыточное тестирование продукта также может быть минимизировано и, следовательно, можно уменьшить производственные затраты.

Представленная система контроля качества включает в себя два модуля: модуль контроля качества и модуль контроля и управления производством.

2.4.1. Модуль контроля качества производства

Система контроля качества состоит из микрокомпьютера, веб-камеры, системы освещения и планшета. Система освещения помогает веб-камерам получать изображения ткани высокого разрешения без внешних шумов. Камеры снимают изображение с контролируемым интервалом и отправляют на микрокомпьютер. Микрокомпьютеры вычисляют изображение, снятое камерами. Если дефекты обнаружены, выполняются необходимые операции, такие как поиск дефектов, их исправление и отчетность о дефектах. Планшет представляет собой пользовательский интерфейс для оператора. Оператор может управлять микрокомпьютером с помощью планшета и выполнять такие операции, как остановка машины для исправления дефекта, поиск причин неисправности. Схема модуля контроля качества представлена на рисунке (2.14).

Рисунок 2.20. Схема модуля контроля качества

2.4.2. Модуль контроля и управления текстильным производством

Целью модуля контроля и управления производством является предоставление информации о статусе сотрудника и характеристиках выполняемого заказа и о состоянии его выполнения.

Когда оператор начинает управлять ткацким станком, ему необходимо войти в систему для доступа к машине. Все операторы имеют свои логин и пароль. Но, оператор тоже может получить доступ к машине, используя имена и пароли других пользователей. Это может привести к неверной информации и ненадежному анализу статуса сотрудника. Для решения этой задачи внедрена система распознавания лиц, которая установлена на машине и идентифицирует сотрудника. Если нет совпадения идентификатора лица и заданного оператора, он не может получить доступ к машине. Система распознавания лиц также может сообщать местонахождение операторов в режиме реального времени. Это позволяет администратору быстрее связаться с оператором в определенной ситуации, зная его точное местоположение. Схема модуля контроля и управления текстильным производством показана на рисунке (2.21).

Рисунок 2.21. Схема модуля контроля и управления текстильным

производством

2.4.2.1. Решение задачи обнаружения и распознавания лиц путем извлечения характеристик лица

В настоящее время для систем распознавания лиц определены основные 4 этапа:

• обнаружение;

• нормализация;

• извлечение;

• распознавание.

На этапе обнаружения происходит выделение области лица и его отделение от остального фона. Затем происходит нормализация сформированных областей, то есть приведение изображения к заранее определенным параметрам, таким как размер, поза, освещение и т. д [60] .

После приведения распознаваемых областей к стандартному виду, хранящихся в базе эталонных данных, осуществляется процесс по определению основных биометрических параметров и характеристик объекта. Схема алгоритма распознавания лиц с помощью алгоритма локальных бинарных шаблонов представлена на рисунке (2.22).

Рисунок 2.22. Схема алгоритма распознавания лиц с использованием локальных бинарных шаблонов 2.4.2.2. Обнаружение лиц и создание базы данных

В данном эксперименте использован алгоритм Виолы-Джонса для обнаружения лица в изображении (рис.2.23). После обнаружения лица, выделяются его границы. Выделенное изображение преобразуется в черно-белое и будет сравниваться с изображениями в базе данных.

Рисунок 2.23. Обнаружение лица на полученном снимке. База данных изображений построена с использованием 10

изображений с различным выражением и углом наклона для каждого

человека (рис.2.24).

Рисунок 2.24. Пример эталонных изображений одного человека в базе

данных.

Время, необходимое для добавления 10 опорных изображений в базу данных, составляет 28 миллисекунд, то есть 2,8 миллисекунды на фотографию.

2.4.2.3. Распознавания лиц с помощью алгоритма LBP

Для распознавания лица необходимо выполнить несколько этапов. Все пиксели изображения рассчитываются по алгоритму LBP. Затем изображение делится на несколько прямоугольных областей. Для каждой области формируется гистограмма так, чтобы описать частоту различных интенсивностей пикселя. Конкатенация гистограмм всех областей дает вектор признаков для всего изображения. Результаты распознавания лиц с помощью LBP представлены в работе [61].

Извлечение характеристик лица является процессом преобразования входных данных в набор признаков [62]. Это уменьшает количество вычислений цифровой информации для изображения.

Эффективность системы распознавания лиц во многом зависит от качества снятого изображения лица. Поскольку извлеченная особенность изображения низкого качества не может классифицировать черты лица. Вектор признаков изображения может быть построен, когда вычисляется локальный двоичный шаблон для каждого пикселя изображения. Для эффективного представления лица изображение делится на области. На рисунке (2.25) изображение лица разделено на 16 областей. Для каждой области формируется гистограмма со всеми возможными метками. Это означает, что каждая единица в гистограмме представляет определенный шаблон входного изображения и содержит количество его появления в кадре. Вектор признаков строится путем объединения областей гистограмм в одну большую гистограмму.

1с

г

IV

Рисунок 2.25. Изображение лица разделено на 16 областей, с гистограммой для каждой области.

Основываясь на проведенном выше изображении, гистограмма каждой области может быть получена путем представления интенсивности каждого пикселя входного изображения. Каждая гистограмма (из каждой сетки) будет содержать только 256 позиций (0 ~ 255). Гистограмма

характеристик изображения может быть построена путем объединения каждой гистограммы.

Чтобы сравнить два изображения лица, эталонное (S) и входное (M), необходимо измерить разницу между векторами признаков. Нормализованное пересечение используется на этом этапе решения (2.8).

D = Z" Imin(hists - histM) ^ g^

max( Z"=1 hists, Z histM )

Где: D - это разница между векторами признаков эталонного и входного изображения, n - это размер гистограммы, histM, hists - это гистограммы входного и эталонного изображения. Чем меньше разница двух гистограмм, тем больше они похожи.

На рисунке (2.26) дан результат обработки распознавания лица. Имя и достоверность распознавания лица показаны на изображении.

Рисунок 2.26. Результат обнаружения и распознавания лица.

Десять фотографий с различными выражениями лица используются для создания базы данных для одного человека. Надежность распознавания лиц составляет 96%. Это зависит от разницы изображений из базы данных и изображения, снятого камерой. Чем меньше разница, тем больше достоверность распознавания. Время обработки распознавания лиц данного изображения не превышает 0.1 секунд.

Программные коды формирования для распознавания лица приведены в приложении (1).

Выводы к главе 2

Результаты смоделированной работы дают возможность определить

оптимальные режимы предварительной обработки изображения и сформулировать правила обнаружения дефектов ткани, которые позволяют получить наилучшую производительность информационной системы контроля качества в режиме реального времени.

Анализ применяемых алгоритмов обнаружения дефектов ткани позволяет обнаружить наиболее распространенные дефекты для разного типа тканей.

Разработан метод обнаружения лица, и алгоритм извлечения его характеристик и промоделирован с использованием языка программирования Python и библиотеки компьютерного зрения OpenCV. Результаты моделирования позволяют определить оптимальные режимы предварительной обработки изображений и сформулировать правила извлечения характеристик лиц, позволяющие получить наилучшие показатели системы распознавания лиц при известных внешних условиях.

Создана схема информационной системы производства тканей для контроля качества и управления производством.

На основе результатов моделирования анализируются методы и алгоритмы обнаружения дефектов, допускающие возможность построения информационной системы контроля качества при наличии недорогих вычислительных ресурсов и выполнения требований работы с использованием выбранной программы в режиме реального времени.

ГЛАВА 3. ПРИМЕНЕНИЕ РАЗРАБОТАННЫХ АЛГОРИТМОВ ДЛЯ ВЫПОЛНЕНИЯ ПРОЦЕССОВ ОБНАРУЖЕНИЯ ДЕФЕКТОВ

ТКАНИ

3.1. Тестирование информационной системы обнаружения дефектов

ткани

Для использования разработанных алгоритмов было разработано программное обеспечение на языке Python [63] с помощью OpenCV (Open Source Computer Vision Library) [64]. Тестирование проведено на микрокомпьютере Raspberry Pi3 и с использованием двух видеокамер.

3.1.1. Используемые средства разработки программного обеспечения Для разработки информационной системы обнаружения дефектов ткани используются средства программного обеспечения: библиотека OpenCV и язык программирования Python. В настоящее время OpenCV поддерживает множество алгоритмов, связанных с компьютерным зрением и машинным обучением и расширяется с каждым днем. Библиотека OpenCV поддерживает широкий спектр языков программирования, таких как C++, Python, Java и т. д. Библиотека доступна на различных платформах, включая Windows, Linux, OSX, Android, iOS и т. д. Также активно разрабатываются интерфейсы на основе CUDA и OpenCL для высокоскоростных операций графического процессора. OpenCV-Python- это Python API для OpenCV. Он сочетает в себе лучшие качества OpenCV C++ API и языка Python. Программно -аппаратные средства информационной системы для контроля качества проведены в работе [65].

3.1.2. Аппаратные средства для разработки Желательно иметь обобщенную систему обнаружения дефектов ткани, которая должна справляться с широким спектром тканей и дефектов. Задача проверки ткани - это проблема сегментации и идентификации текстуры, и, следовательно, дефекты ткани можно

обнаружить путем мониторинга ее структуры. Информационная система контроля качества, в основном, состоит из двух основных блоков: первый - это блок получения изображения, который обычно является источником входного сигнала и к нему относятся: оптика, освещение, датчик положения. Второй - это процессор, который имеет платформу ПК, программное обеспечение для проверки, цифровой ввод / вывод и сеть.

В системе используются 2 ШВ-камеры для получения изображения, один датчик для захвата изображения, источник света для освещения ткани, один RaspberryPi для вычислений и один планшет с интерфейсом для управления процессом. Этот набор используется для каждого ткацкого станка.

Камера формирует цифровое изображение ткани таким образом, что достигается максимальный уровень контраста между дефектами и их фоном. В основном, существует два распространенных типа методов сканирования, используемых для проверки ткани: камеры линейного и сканирования области. Система обычно имеет несколько камер, расположенных в ряд, чтобы покрыть общую ширину полотна перекрытием, составляющим, примерно, 5%, чтобы охватить всю ширину без пропусков.

Основная задача блока обработки - понять структуру проверяемой ткани, чтобы в режиме реального времени решить, есть ли в ней дефект или нет. Функцию блока обработки можно разделить на три основные задачи: обнаружение дефектов и их классификация, освещение и контроль камеры, а также управление системой. В случае высокоскоростной (автономной) проверки одного общего блока обработки недостаточно для обработки большого объема данных изображения. Поэтому большинство систем используют отдельный процессор для каждой отдельной камеры.

Планшет (интерфейс) предоставляет оператору возможность выбирать типы шаблонов ткани и метод, который следует использовать для контроля качества этой ткани. Основная задача - обеспечивать

управление ткацким станком, когда дефект невозможно устранить автоматически.

3.2. Вычисление плотности ткани с использованием разработанных

методов

Плотности основы и утка в тканых тканях являются очень важными параметрами при проведении измерений текстильного производства. Определение плотности утка и основы в текстильном тканом материале зависит от принципа анализа вертикальных и горизонтальных частот текстильного изображения. Традиционный метод ручного контроля заключается в подсчете количества нитей основы и утка на единицу длины с помощью текстильного увеличительного стекла, что не только требует много времени, но и выполняется в лаборатории. Это не может предотвратить возникновение ошибок, пропущенных операторами, которым приходиться выполнять такую утомительную работу.

Таким образом, крайне желательно разработать автоматический метод измерения плотности ткани. Вместо традиционного ручного подсчета был предложен анализ изображения для автоматического контроля плотности ткани. Три метода измерения плотности ткани, наибольшим образом подходящие для решения поставленной задачи, проанализированы и доведены до практической реализации.

3.2.1. Измерение плотности по линиям

Вычисление плотности ткани с использованием извлечения линии выявляет особенности линии от направления утка ткани. Некоторые методы обработки изображений применяются для обнаружения утка или деформаций в качестве линейных элементов. Сначала изображение читается, после чего оно преобразуется в оттенки серого. Входное изображение показано на рисунке (3.1).

А) Исходное изображение Б) Черно-белое изображение

3.1. Исходное изображение и его представление в черно-белом

формате.

Затем изображение нормализуют, используя нормализацию

гистограммы, чтобы получить более гладкое изображение.

Нормализованное изображение ткани фильтруется для удаления ненужных шумов (рис.3.2).

А) Изображения после Б) Изображение после

нормализации фильтрации

Рисунок 3.2 А) Исходное изображение после нормализации. Б) изображение после фильтрации. Линии на изображении должны быть тоньше, потому что детектор

линии может обнаружить два края линии как две нитки ткани. Это может

привести к неправильному расчету.

. ч « Б) Изображение после

А) Изображение с линиями

обнаружения границ

Рисунок 3.3 А) Изображение с линиями. Б) изображение после обнаружения границ. После утончения линий и определения краев на изображение

наносится грубое преобразование и получается результат. Фрагмент

отчета по обнаруженным линиям и их координатам показан в таблице 3.1

и рисунке (3.4).

Таблица 3.1

Координаты обнаруженных нитей и расстояния между ними:

Номер нити 1 2 3 4 5 6 7 8 9

Координаты нити 0,7 0,32 0,52 0,77 0,97 0,117 0,142 0,162 0,182

Расстояние между нитями 25 20 25 20 20 25 20 20

Рисунок 3.4. Изображение фрагмента ткани с вычисленными линиями.

По координатам линий, полученным из таблицы (3.1), расстояние между двумя линиями составляет не менее 20 и не более 25. Это означает,

что качество ткани в пределах допустимых отклонений. Дефект не был обнаружен и алгоритм работает хорошо. Разработанный метод измерения плотности по линиям и полученные результаты приведены в работе [66].

3.2.2. Измерение плотности по точкам Измерение плотности ткани по точкам представляет собой метод обнаружения точек пересечения утка и основы или мест положений утка и основы. Этот метод похож на метод вычисления по линии, но получение особенностей точек изображения различается от особенностей линии. Измерение плотности ткани по точкам с использованием порогового значения и морфологических функций проведено и представлено в работе [67]. Изображение считывается центральным процессором и преобразуется в черно-белое. Пример такого преобразования представлен на рисунке (3.5).

А) Исходное изображение Б) Черно-белое изображение

Рисунок 3.5. Изображение исходное и в оттенках серого.

Изображение в градациях серого преобразуется с помощью нормализации гистограммы. Нормализованное изображение фильтруется с использованием морфологических операций, чтобы извлечь признаки утков и основ. На рисунке (3.6) дается нормализированное изображение и изображение после морфологической операции.

А) Нормализированное Б) Изображение после

изображение морфологический операций

Рисунок 3.6. Нормализированное изображение ткани и изображение после морфологической операции.

После морфологических операций изображение готово к обнаружению. Обнаружены контуры утков и указаны их координаты. Обнаруженные контуры выделены красным цветом и показаны на рисунке (3.7).

А) Исходное изображение Б) Изображение с

обнаруженными контурами

Рисунок 3.7. Исходное изображение и изображение с обнаруженными

контурами

Вычисление плотности ткани с использованием обнаружения линий намного проще, чем определение точек. По изображениям ребра утка и

основы определяют размер утка или координаты линии пересечения утка с ребрами. Для обнаружения точки детектор должен рассчитать все координаты утка, в то время как обнаружение линии имеет только 2 координаты. Горизонтальное и вертикальное расстояние 2 контуров утка можно получить по их координатам. Прямое расстояние для этих точек может быть вычислено, используя теоремы Пифагора.

Л2 + Б2 = С2 , (3.1)

где: A - вертикальное расстояние от точки A до точки B. B -

горизонтальное расстояние от точки A до точки B. C - гипотенуза. На

рисунке (3.8) показано место положения точек и метод вычисления

расстояния между ними.

1 2 3 4 5 6 7 8 9 10

1

2 2,2 2,6 2,10

3 \ \

4 \

5 5 4 5,8

6

7

8 8,2 8,6 8,10

Вертикальное расстояние от точки (2,2) до (5,4) -А Горизонтальное расстояние от точки (2,2) до (5,4) -Б Гипотенуза от точки (2,2) до (5,4) -В

Рисунок 3.8. Метод вычисления расстояния.

Длина гипотенузы вычисляется по уравнению 3.1:

А2=2*2=4 В2=1*1=1

С= БдП (5) = 2.23 = 2 р

В таблице (3.2) представлены результаты вычисления плотности ткани с помощью обнаружения контуров.

Таблица 3.2

Координаты обнаруженных контуров утков и их плотности:

Х 17 19 21 21 21 41 40 41 41 63 64 64 67 67

X, -Х-1 0 2 2 0 0 20 -1 1 0 22 1 0 3 3

У 27 105 180 254 323 68 137 214 291 31 105 181 254 323

У, -У,-1 0 78 75 74 69 0 69 77 77 0 74 76 73 67

По данным, представленным в таблице (3.2), расстояния между точками утков в вертикальном направлении не превышают 25. Расстояния между точками утков в горизонтальном направлении находятся в диапазоне между 65 и 80 единиц, поэтому плотность ткани в пределах допуска.

3.2.3. Измерение плотности с использованием корреляционной функции

Измерение плотности изображения ткани с использованием коэффициента корреляции основано на методе сопоставления с шаблоном обработки изображения. Задача нахождения количества нитей на ткани определенного размера с использованием коэффициента корреляции решена в работе [68]. Для использования этого метода предлагается коэффициент корреляции различных уточных признаков. Обрезанное окно сравнивается с входным изображением по пикселям. На рисунке (3.9) представляются изображения исходного и эталонного.

А) Изображение ткани образца Ь) Изображение дефектной ткани

Рисунок 3.9. Исходное изображение и входное изображение.

Изображение образца ткани (А) и дефектной ткани (Б) преобразуются в черно-белый формат. Затем изображения выравниваются с помощью выполнения анализа гистограммы (рис.3.10).

Тестируемый фрагмент ткани выделяется из его изображения по координатам 11, 0, 36, 355 (рис.3.12) и сравнивается с усредненным изображением эталонного образца.

О 50 100 150 200 250 300

Рисунок 3.10. Изображение сравнительного фрагмента.

Коэффициенты корреляции сравниваемого изображения и эталонного изображения рассчитываются для всех пикселей в координатах х. Эти значения коэффициента корреляции представлены в виде графика (рис.3.11).

А) Коэффициент корреляции образца Б)Коэффициент корреляции

изображения дефектного изображения

Рисунок 3.11. Коэффициент корреляции образца и дефектного

изображения.

1600,-т-I-