Методы и алгоритмы распознавания и классификации поверхностных дефектов листового проката на основе машинного обучения тема диссертации и автореферата по ВАК РФ 00.00.00, кандидат наук Евстафьев Олег Александрович

• Евстафьев Олег Александрович
• кандидат наук
• 2023

Оглавление диссертации кандидат наук Евстафьев Олег Александрович

Реферат

Synopsis

Введение

Глава 1. Анализ методов и средств контроля поверхностных

дефектов листового металлопроката

1.1 Анализ причин образования дефектов на металлопрокате

1.2 Виды и методы неразрушающего контроля металлопроката

1.3 Использование АСОК для контроля листового металлопроката

1.4 Средства формирования исходной информации

1.4.1 Средства освещения объекта контроля

1.4.2 Проекционное оформление световой метки в системах активного контроля

1.4.3 Технология структурированной подсветки в современных исследованиях

1.4.4 Системы формирования исходной информации в АСОК

1.4.5 Обработка цифровых изображений в АСОК

1.5 АСОК на основе машинного обучения и методов искусственного интеллекта

1.6 Выводы по Главе

Глава 2. Разработка метода и алгоритма предварительной обработки цифровых изображений, получаемых

средствами АСОК

2.1 Постановка задачи

2.2 Анализ существующих методов первичной обработки цифровых

изображений

2.2.1 Исследование методов распознавания образов

Стр.

2.2.2 Исследование основных параметров и признаков

поверхностных дефектов

2.3 Разработка метода и алгоритма предварительной обработки изображений

2.4 Экспериментальная отработка алгоритма

2.4.1 Экспериментальная установка

2.5 Выводы по Главе

Глава 3. Разработка метода распознавания и классификации

дефектов холоднокатаного листового металлопроката

3.1 Постановка задачи

3.2 Исследование методов машинного обучения

3.2.1 Исследование нейросетевых подходов

3.3 Метод распознавания и классификации дефектов холоднокатаного листового проката

3.3.1 Подготовка данных для обучения

3.3.2 Архитектура нейронной сети для распознавания дефектов

3.4 Экспериментальная отработка алгоритма

3.4.1 Разработка программной реализации алгоритма

3.4.2 Обучение модели предлагаемой архитектуры искусственной нейронной сети

3.5 Вывод по Главе

Глава 4. Экспериментальное исследование разработанных

методов и алгоритмов

4.1 Постановка задачи

4.2 Экспериментальное исследование разработанных методов и алгоритмов

4.2.1 Оценка качества обнаружения дефектов на полосе, точности определения размеров и координат дефектов

4.2.2 Экспериментальная апробация разработанных методов и алгоритмов распознавания и классификации поверхностных дефектов листового металлопроката

4.3 Анализ проведенных экспериментов

Стр.

4.4 Выводы по Главе

Заключение

Список сокращений и условных обозначений

Список литературы

Список рисунков

Список таблиц

Приложение А. Акт внедрения результатов диссертационной

работы

Приложение Б. Акт об использовании результатов

диссертационного исследования

Приложение В. Публикации по теме диссертации

Реферат Общая характеристика работы

Введение диссертации (часть автореферата) на тему «Методы и алгоритмы распознавания и классификации поверхностных дефектов листового проката на основе машинного обучения»

Актуальность темы.

Современное производство сталкивается с нарастающей потребностью в обеспечении контроля качества продукции, что является критически важным для оперативной аттестации изделий на производственных линиях. Одним из ключевых аспектов этого контроля является обнаружение поверхностных дефектов в изделиях, таких как листовой металлопрокат. Важность оперативного обнаружения и классификация дефектов в реальном масштабе времени не может быть переоценена, особенно в контексте оперативной аттестации металлопроката на производственных линиях. В ответ на эти потребности разрабатываются автоматизированные системы оптического контроля листового металлопроката, эффективность которых повышается благодаря использованию методов и алгоритмов оптического контроля и машинного обучения.

Листовой металлопрокат играет ключевую роль в производстве металло-продуктов, и его качество имеет прямое влияние на конечных потребителей. Обнаружение и классификация дефектов являются неотъемлемыми этапами обеспечения высокого стандарта качества. С развитием технологий в области машинного обучения и компьютерной визуализации становится актуальной задача разработки методов, алгоритмов и программного обеспечения для систем автоматизированного оптического контроля и диагностирования листового металлопроката.

В последние годы нейросетевые технологии получают все большее распространение в данной области. Они автоматизируют процесс обнаружения дефектов и значительно улучшают их классификацию. Нейросетевые модели способны обучаться на огромных объемах данных и обладают высокой способностью к обобщению. Несмотря на успешное обнаружение дефектов существующими системами, задача классификации остается сложной и актуальной.

Сегодня передовые мировые предприятия используют высокоскоростные камеры и автоматизированные системы оптического контроля, такие как Omron FH Series, Codnex, EES, Matra, Parsytec, Siemens-VAI, Sipar и другие. Это свиде-

тельствует о широкой представленности коммерческих решений на рынке. Тем не менее, продолжает оставаться открытой проблема достижения необходимой достоверности контроля поверхностных дефектов.

Степень разработанности темы исследования

Исследованиям в области оптического контроля изделий, в том числе автоматизированного оптического контроля листового холоднокатаного проката, посвящены работы отечественных (Логунова О.С., Бугаев Д.П., Кульчицкий А.А. и др.) и зарубежных ученых (Medina R., Zalama E., Dadong W. и др.). В работах Турлапова В.Е. представлены решения обнаружения и классификации объектов с использованием методов текстурного анализа, нейросетевых подходов и машинного обучения. В публикациях Кульчицкого А.А. приведены решения задач оптического контроля дефектов различных изделий, например, металлических канатов, и др. Основной акцент данных трудов сконцентрирован на исследовании средств оптического контроля, но не рассматривает вопрос распознавания и классификации дефектов, измерения их линейных размеров и создания программных алгоритмов.

Основой для разработки методов и алгоритмов для распознавания и классификации поверхностных дефектов листового холоднокатаного проката являются труды ведущих исследовательских групп из различных университетов и институтов. К российским ученым, вносящим значительный вклад в эту область, относятся: Мазур И.П. (Липецкий государственный технический университет), Шевченко Н.А. (Владимирский государственный университет), Трофимов В.Б. (Сибирский государственный индустриальный университет), Ульянов А.Н. (Санкт-Петербургский государственный университет аэрокосмического приборостроения), Ермаков А.А. (Новгородский государственный университет имени Ярослава Мудрого), Пчелинцев Д.О.(Саратовский государственный технологический университет), Бугаев Д.П. и Соловьев Н.А. (Оренбургский государственный университет), Логунова О.С. (Магнитогорский технологический университет им. Г.И. Носова), Котов В.В. (Тульский государственный университет), Коноваленко И.С. (Национальный исследовательский Томский политехнический университет), Костенецкий П.С. (Национальный исследовательский университет "Высшая школа экономики" (НИУ ВШЭ)), Кульчицкий А.А. (Санкт-Петербургский горный университет Императрицы Екатерины II). А также и международные исследователи: Medina R. (Институт CARTIF, Технологический центр Боэцилло, Испания), Zalama E. (Школа про-

мышленного машиностроения, Университет Вальядолида, Испания), Yang Liu и Ke Xu (Совместный инновационный центр стальных технологий, Пекинский университет науки и техники, Китай), Dadong W. (Организация научных и промышленных исследований, Марсфилд, Австралия), M. Chu, R. Gong, S. Gao (Школа электронной и информационной инженерии, Ляонинский университет науки и техники, Аньшань, Китай), J. Zhao (Государственная ключевая лаборатория робототехники и систем, Харбин, Китай), Fei Zhou, Guihua Liu, Feng Xu и Hao Deng (Школа информационной инженерии, Юго-Западный университет науки и технологий, Мяньян, Китай).

Следует отметить, что большинство опубликованных работ направлено на усовершенствование широко известных и применяемых методов обработки данных оптического контроля поверхностных дефектов листового холоднокатаного металлопроката, к которым относятся "классические" методы преобразования изображения, машинное обучение, генетические алгоритмы и подходы на основе искусственных нейронных сетей.

Однако в данных работах не учитываются факторы существенным образом влияющие на результаты регистрации цифровых изображений, такие как тип цифровой камеры (монохромная или цветная), способы и типы освещения объекта контроля и их комбинации. Например, царапины лучше регистрируются при боковом освещении, в то время как эмульсия — при направленном или рассеянном освещении. При этом предполагается, что применение комбинированного освещения объекта контроля позволит существенным образом повысить вероятность обнаружения поверхностных дефектов листового холоднокатаного металлопроката, а в дальнейшем и их классификации. Но до сих пор исследования в области алгоритмического и программно-технического обеспечения обработки результатов регистрации цифровых изображений, в том числе в области разработки методов и алгоритмов распознавания и классификации дефектов средствами автоматизированной системой оптического контроля, с учетом выше перечисленных факторов, не нашли должного отражения, а задача обеспечения требуемой достоверности автоматизированного оптического контроля листового холоднокатаного металлопроката не решена в окончательном виде. Например, в промышленной автоматизированной системе оптического контроля Parsytek в качестве средства измерения используются монохромные камеры и один тип освещения, а в качестве программно-алгоритмического обеспечения для выявления, распознавания и классификации

дефектов — деревья решений. Однако, недостатком данной системы с монохромными камерами является невозможность достоверно отличить грязь от коррозии. Если в этой системе использовать цветные цифровые камеры, то кратно вырастает объем обрабатываемой информации и, соответственно, существенно увеличивается вычислительная сложность алгоритма, что приводит к невозможности использования деревьев решений в режиме реального масштаба времени. Таким образом, тема диссертационной работы является актуальной.

Объектом исследования являются цифровые изображения листового холоднокатаного металлопроката, получаемые средствами автоматизированной системы оптического контроля.

Предметом исследования являются алгоритмическое и программно-техническое обеспечение обработки результатов регистрации цифровых изображений средствами автоматизированной системой оптического контроля листового холоднокатаного металлопроката.

Целью диссертационной работы является повышение достоверности автоматизированного оптического контроля листового холоднокатаного металлопроката на основе разработки методов и алгоритмов распознавания и классификации его поверхностных дефектов с применением машинного обучения.

Научно-техническая задача, решаемая в данной диссертации, заключается в разработке методов и алгоритмов обнаружения, распознавания и классификации поверхностных дефектов листового холоднокатаного металлопроката, а также программного обеспечения их реализации в режиме реального масштаба времени.

Для достижения поставленной цели необходимо решить следующие задачи:

1. Провести аналитический обзор методов и средств контроля листового холоднокатаного металлопроката.

2. Разработать метод и алгоритм первичной обработки цифровых изображений, получаемых средствами автоматизированной системы оптического контроля листового холоднокатаного металлопроката.

3. Разработать метод распознавания и классификации дефектов листового холоднокатаного металлопроката на основе архитектуры искусственной сверточной нейронной сети.

4. Выполнить экспериментальную апробацию разработанных методов и алгоритмов.

Научная новизна:

1. Разработан новый алгоритм предварительной обработки цифровых изображений, получаемых средствами автоматизированной системы оптического контроля листового холоднокатаного металлопроката, который основан на расчете их статистических характеристик и вычитания среднего значения интенсивности. Данный алгоритм в отличие от известных учитывает использование комбинированного освещения объекта контроля.

2. Впервые для распознавания и классификации поверхностных дефектов листового холоднокатаного металлопроката был разработан и использован метод, основанный на использовании двух искусственных нейронных сетей, обученных на цифровых изображениях, полученных при разных типах освещения объекта контроля.

Теоретическая значимость научных результатов диссертации характеризуется тем, что они вносят вклад в развитие методов и алгоритмов обработки результатов регистрации цифровых изображений средствами оптического контроля, что в совокупности содействует дальнейшему развитию автоматизированных систем оптического контроля, увеличению оперативности и достоверности контроля листового металлопроката.

Практическая значимость выполненной диссертационной работы заключается в том, что применение разработанных методов, алгоритмов и программного обеспечения позволяет осуществлять оптический контроль листового холоднокатаного металлопроката с достоверностью 0,92 без учета класса дефектов и с достоверностью 0,74 с учетом класса дефектов.

Основные результаты диссертационного исследования внедрены ООО "Лаборатория измерительных систем" при разработке конфигурации системы видеоинспекции холоднокатаного металлопроката на базе комплексированной системы технического зрения (Приложение А), и используются в учебном процессе подготовки бакалавров и магистрантов по образовательным программам "Робототехника и искусственный интеллект", "Системный анализ и управление" (Приложение Б).

Методология и методы исследования. В процессе исследований были использованы основные положения теории информации, методы математи-

ческого анализа, методы обработки сигналов и теории машинного обучения, методы статистического анализа, методы сравнительного анализа, методы компьютерного зрения, методы извлечения признаков, методы глубокого обучения, методы передачи обучения и методы статистической обработки результатов эксперимента.

Основные положения, выносимые на защиту:

1. Метод и алгоритм предварительной обработки цифровых изображений, основанный на расчете статистических характеристик изображения и вычитании среднего значения интенсивности, обеспечивающий достижение оптического контраста (контраст Вебера) не менее 0,25 и обнаружение поверхностных дефектов листового холоднокатаного металлопроката всех классов размерами не менее 0,5 х 0,5 мм.

2. Метод распознавания и классификации поверхностных дефектов листового холоднокатаного металлопроката, основанный на использовании двух искусственных нейронных сетей, обученных на цифровых изображениях, полученных при разных типах освещения объекта контроля, обеспечивающий повышение достоверности контроля не менее чем на 0,26, со следующими результатами:

— недобраковка без учета класса дефектов — не более 0,03;

— перебраковка без учета класса дефектов — не более 0,05;

— недобраковка с учетом класса дефектов — не более 0,11;

— перебраковка с учетом класса дефектов — не более 0,15.

Внедрение результатов работы

Результаты диссертационной работы имеют практическую значимость для предприятия ООО "Лаборатория измерительных систем" и были использованы для развития технологий неразрушающего контроля качества листового холоднокатаного металлопроката.

Использование результатов диссертационной работы позволило повысить достоверность контроля качества листового холоднокатаного проката на основе разработки методов и алгоритмов распознавания и классификации его поверхностных дефектов с применением машинного обучения. (Приложение А)

Достоверность полученных в работе результатов обеспечивается: корректным использованием теории информации, методов математического анализа, методов обработки сигналов и теории машинного обучения, методов статистического анализа, методов сравнительного анализа, методов компью-

терного зрения, методов извлечения признаков, методов глубокого обучения, методов передачи обучения, методов статистической обработки результатов эксперимента; использованием большого объема экспериментальных данных на реальных объектах контроля; воспроизводимостью результатов экспериментов; сопоставлением теоретических и экспериментальных данных; признанием основных положений диссертации широким кругом специалистов при апробировании результатов исследований на конференциях, а также их внедрением.

Апробация работы. Основные результаты работы докладывались на:

— 9th International Conference on Control, Decision and Information Technologies, CoDIT 2023, 03.07.2023-06.07.2023, международная, Рим, Италия, Инженерный факультет Римского университета Сапиенца;

— Юбилейная XXV конференция молодых ученых "Навигация и управление движением" (25 КМУ2023), 21.03.2023-24.03.2023, с международным участием, Санкт-Петербург, АО «Концерн «ЦНИИ «Электроприбор»;

— Пятьдесят вторая (LII) научно и учебно-методическая конференция Университета ИТМО 2022, 31.01.2023-03.02.2023, университетская, Санкт-Петербург, Университет ИТМО;

— Пятьдесят первая научная и учебно-методическая конференция Университета ИТМО 2022, 02.02.2022-05.02.2022, университетская, Санкт-Петербург, Университет ИТМО;

— 8th International Conference on Control, Decision and Information Technologies (CoDIT22), 17.05.2022-20.05.2022, международная, Стамбул, Турция;

— XXIII конференции молодых ученых "Навигация и управление движением" (23 КМУ2021), 16.03.2021-19.03.2021, с международным участием, Санкт-Петербург, АО «Концерн «ЦНИИ «Электроприбор».

— IEEE 17th International Conference on Automation Science and Engineering // Real-time Steel Surface Defect Recognition Based on CNN, 2021.

— 7th International Conference on Control, Decision and Information Technologies, 23.08.2021-27.08.2021, международная, Лион, Франция;

— 2nd International Conference on Cyber-Physical Systems & Control (CPS&C 2021), 29.06.2021-02.07.2021, международная, Санкт-Петербург, Россия, Политехнический университет им. Петра Великого.

— XI Всероссийский конгресс молодых ученых (КМУ), 04.04.202008.04.2020, всероссийский, Санкт-Петербург, Университет ИТМО.

— XII Всероссийский конгресс молодых ученых (КМУ), 17.04.201820.04.2018, всероссийский, Санкт-Петербург, Университет ИТМО.

Личный вклад. Личный вклад автора заключается в постановке цели и задач теоретических и экспериментальных исследований, разработке метода предварительной обработки цифровых изображений, получаемых с АСОК холоднокатаного металлопроката, и алгоритмического обеспечения, реализующего разработанный метод. Это способствует повышению уровня контрастности дефектов, расчету их статистических характеристик и визуализации на изображениях, метода и программы распознавания и классификации дефектов с использованием предварительно обработанных цифровых изображений, полученных от АСОК с использованием двух типов освещения (боковое и рассеянное), на основе архитектуры искусственной сверточной нейронной сети, а также алгоритмического обеспечения, реализующего разработанный метод, для АСОК контроля поверхностных дефектов холоднокатаного листового металлопроката, планирования и проведения экспериментов и обработки полученных результатов экспериментов. Все результаты, изложенные в диссертации и являющиеся ее научной новизной, были получены лично автором и будут вынесены на защиту. Подготовка публикаций проводилась с участием научного руководителя и соавторов, при этом вклад соискателя был определяющим.

Публикации. Основные результаты по теме диссертации изложены в 7 печатных изданиях, 4 — в периодических научных журналах, индексируемых Web of Science и Scopus [1—4], 3 работы в иных изданиях [5—7].

В изданиях, индексируемых базами данных Web of Science или Scopus:

1. Evstafev O., Shavetov S. Surface Defect Detection and Recognition Based on CNN // 8th International Conference on Control, Decision and Information Technologies, CoDIT 2022, 2022, pp. 1518-1523.

2. Litvintseva A., Evstafev O., Shavetov S.V. Real-time Steel Surface Defect Recognition Based on CNN//IEEE International Conference on Automation Science and Engineering, 2021, pp. 1118-1123.

3. Evstafev O., Bespalov V., Shavetov S.V. Estimation of the distance to moving vehicles in a traffic stream // 7th International Conference on

Control, Decision and Information Technologies, CoDIT 2020, 2020, pp. 379-384.

4. Evstafev O., Shavetov S. Tracking of Driver Behaviour and Drowsiness in ADAS // Lecture Notes in Networks and Systems, 2023, Vol. 460, pp. 325-334.

В прочих изданиях:

5. Евстафьев О.А. Разработка алгоритма предобработки изображений для улучшения качества детектирования поверхностных дефектов листового проката с использованием нейросетевой модели // Сборник тезисов докладов конгресса молодых ученых. Электронное издание. — 2023.

6. Евстафьев О.А. Детектирование и распознавание поверхностных дефектов с использованием сверточной нейронной сети // Сборник тезисов докладов конгресса молодых ученых. Электронное издание. -2022.

7. Евстафьев О.А., Литвинцева А.В., Шаветов С.В. Обнаружение дефектов поверхности стали с использованием машинного обучения // Навигация и управление движением: материалы XXIII конференции молодых ученых с международным участием (Санкт-Петербург, 16-19 марта 2021г.) — 2021. — С. 36-38.

Полный объем диссертации составляет 231 страницу, включая 42 рисунка и 34 таблицы. Список литературы содержит 120 наименований.

Основное содержание работы

Во введении обосновывается актуальность и степень разработанности темы исследования. Сформулированы цель и задачи исследования, выделена научная новизна и практическая значимость диссертационного исследования. Рассмотрены использованные алгоритмы и методы исследования, изложены положения, выносимые на защиту. Описана апробация, достоверность и внедрение результатов работы, приведены публикации соискателя по данной теме исследования, а также представлена структура и объем диссертации.

В Главе 1 приведен обзор видов и методов неразрушающего контроля (НК), на основе которого сделан вывод о перспективности использования автоматизированных систем оптического контроля (АСОК) для контроля поверхностных дефектов листового холоднокатаного металлопроката. Для приведены основные документы, устанавливающими требования к дефектам холоднокатаного металлопроката. В АСОК в качестве основного средства контроля применяются цифровые видеокамеры (камеры). Эти системы анализируют изображения, получаемые с помощью камер, установленных над металлопрокатной линией. Они способны обнаруживать дефекты на высоких скоростях проката (до 20 м/с), причем эффективность контроля не зависит от толщины листа металлопроката. Минимальный размер дефекта, который можно обнаружить, ограничен разрешением матрицы видеокамеры.

Использование высокоскоростных видеокамер с большим разрешением и цветных камер улучшает детализацию изображений. Цветные камеры позволяют более детально различать изменения цвета и текстуры поверхности металла, что является ключевым моментом для обнаружения таких дефектов, как коррозия и поверхностные пятна, которые могут быть не выявлены при использовании обычных монохромных камер.

В работе показано, что современные передовые предприятия используют различные АСОК на базе высокоскоростных камер. Несмотря на широкий спектр предлагаемых решений, количество приборов, фактически используемых в промышленности, остается относительно небольшим. Это связано с различными факторами, включая экономические аспекты и специфику производственных процессов в разных странах. Существующие на сегодняшний день АСОК способны распознать с вероятностью достоверности контроля 0,7 поверхностных дефектов и только 0,5 классифицировать.

Согласно полученным данным, АСОК поверхности металлопроката обычно включают в себя группы высокоскоростных матричных камер и осветителей. Эти компоненты обеспечивают равномерное освещение поверхности металлопроката в зонах их фиксации. Однако важно отметить, что часть дефектов, выявляются с использованием рассеянного освещения, тогда как другая часть дефектов — с использованием бокового освещения.

Современные АСОК, вопреки их развитым технологическим возможностям, имеют ограничение в использовании только одного типа освещения. Это может быть боковое освещение, диффузное (рассеянное) освещение, или осве-

щение с помощью лазера среди прочих вариантов. Каждый из этих методов освещения имеет свои уникальные характеристики и преимущества, однако ограничение использования только одного из них может влиять на общую эффективность системы в контексте выявления различных типов дефектов поверхности металлопроката.

В работе показано, что на данный момент уже подходы предполагают, что комбинирование бокового, рассеянного, лазерного и других видов освещения может значительно улучшить качество и информативность получаемых изображений, обеспечивая более точное и всестороннее выявление поверхностных дефектов на металлопрокате. Однако, на текущий момент нет информации о широком внедрении этих новых методов в АСОК. Это означает, что потенциал этих технических решений еще не был полностью реализован в промышленных условиях, в особенности программно-алгоритмического обеспечения, и их эффективность в контексте реальных производственных процессов остается предметом дальнейших исследований и экспериментов.

В рамках анализа в диссертационной работы было получено, что существующие методы и алгоритмы первичной обработки цифровых изображений, получаемых средствами АСОК, не обеспечивают требуемый уровень их оптической контрастности для распознавания и классификации поверхностных дефектов металлопроката, особенно при скоростях движения полосы от 6 м/с и выше.

При проведении исследования АСОК на основе машинного обучения и методов искусственного интеллекта, было выявлено, что несмотря на эти инновации и усовершенствования в области методов и алгоритмов АСОК, большинство существующих подходов не учитывают особенности обучения на цифровых изображениях, полученных при разных типах освещения объекта контроля поверхностных дефектов листового металлопроката. Это упущение ограничивает способность системы к выявлению всех возможных дефектов, особенно тех, которые лучше всего видны при определенных условиях освещения. Таким образом, интеграция подходов, позволяющих эффективно работать с данными, полученными при различных условиях освещения, представляет собой критически важное направление для дальнейшего развития АСОК в области контроля качества холоднокатаного металлопроката.

Для повышения достоверности результатов контроля необходимо совершенствование АСОК, которое в настоящее время проявляется в:

— использование высокоскоростных камер с повышенным разрешением и улучшенными цветовыми характеристиками. Это позволит выявлять и анализировать дефекты на поверхности металлопроката даже при высокой скорости производства. Высокое разрешение обеспечит более детальное изображение, а использование цветных камер даст возможность АСОК различать больше разных типов дефектов и снизить количество ложных срабатываний;

— применение комбинированного освещения, которое предполагает использование различных типов источников света в совместной схеме;

— внедрение методов и алгоритмов прикладного искусственного интеллекта (ИИ) и машинного обучения (МО) для более точного анализа данных и принятия решений.

Исходя из анализа методов и средств контроля поверхностных дефектов листового металлопроката была обоснована цель и сформированы задачи диссертационного исследования.

В Главе 2 разработан метод и алгоритм предварительной обработки цифровых изображений для использования в автоматизированной системе оптического контроля холоднокатаного листового металлопроката.

Для этого были решены следующие задачи:

1. Выполнено исследование методов текстурного анализа и определены наиболее подходящие подходы, применительные для обработки цифровых изображений.

2. Разработан метод предварительной обработки цифровых изображений, который позволил достичь высокого оптического контраста (контраст Вебера) изображений дефектов не менее 0,25 в динамических условиях перемещения объекта контроля на скоростях до 20 м/с, а также обеспечил возможность выявления поверхностных дефектов с размерами не менее 0,5 х 0,5 мм.

Список литературы диссертационного исследования кандидат наук Евстафьев Олег Александрович, 2023 год

ЛИТЕРАТУРА

1. J. P. Yun, S. H. Choi, Y. J. Jeon, D. C. Choi, and S. W. Kim, "Detection of line defects in steel billets using undecimated wavelet transform," in 2008 International Conference on Control, Automation and Systems, ICCAS 2008, 2008, pp. 1725-1728.

2. Liu, Y.; Hsu, Y.; Sun, Y.; Tsai, S.; Ho, C.; Chen, C. A computer vision system for automatic steel surface inspection. In Proceedings of the Fifth IEEE Conference on Industrial Electronics and Applications, Taichung, Taiwan, 15-17 June 2010; pp. 1667-1670.

3. I. Konovalenko, P. Maruschak, J. Brezinova, J. Vinas, and J. Brezina, "Steel surface defect classification using deep residual neural network," Metals (Basel)., vol. 10, no. 6, pp. 1-15, 2020.

4. Q. Luo, X. Fang, L. Liu, C. Yang, and Y. Sun, "Automated Visual Defect Detection for Flat Steel Surface: A Survey," IEEE Trans. Instrum. Meas., vol. 69, no. 3, 2020, doi: 10.1109/TIM.2019.2963555.

5. И. Байндорф, Т. Анстотс, А. Эберле, Л. Эрненпуч, Й.-Ф. Хольцхаузэр, «Оптимизация процесса и качества коррозионностойкой полосы на основе системы контроля поверхности» - Чёрные металлы, Т. 3, с 45-56, 2005.

6. Штольценберг М., Грубер К., Хенкенмайер Х., Йонкур К. Системы осмотра поверхности листовой стали: Результаты исследований // Черные металлы. 2002. № 12. С. 40-48.

7. Neogi, N., Mohanta, D. К. and Dutta, P. К.: Review of vision-based steel surface inspection systems, EURASIP - J. Image Video Process., vol. 2014, no. 1, p. 50, Dec. 2014.

8. O. Ronneberger, P. Fischer, and T. Brox, "U-net: Convolutional networks for biomedical image segmentation," in Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Biomformatics), 2015, vol. 9351, pp. 234-241.

9. D. P. Kingma and J. L. Ba, "Adam: A method for stochastic optimization," CoRR abs/1412.6980, 2015.

10. N. Kalchbrenner, E. Grefenstette, and P. Blunsom, "A convolutional neural network for modelling sentences," in 52nd Annual Meeting of the Association for Computational Linguistics, ACL 2014 - Proceedings of the Conference, 2014, vol. 1, pp. 655-665.

11. A. Usha Ruby, P. Theerthagiri, I. Jeena Jacob, and Y. Vamsidhar, "Binary cross entropy with deep learning technique for image classification," Int. J

12. M. A. Rahman and Y. Wang, "Optimizing intersection-over-union in deep neural networks for image segmentation," in Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Biomformatics), 2016, vol. 10072 LNCS, pp. 234-244.

13. Sorensen T. A method of establishing groups of equal amplitude in plant sociology based on similarity of species content // Kongelige Danske Videnskabernes Selskab. Biol. krifter. Bd V. № 4. 1948. P. 1-34.

O. A. Evstafev, A. V. Litvintseva, S. V. Shavetov (ITMO University, St. Petersburg). Steel surface features detection using machine learning

Abstract. In this paper, machine learning and computer vision techniques are described to solve the problem of detecting surface defects in steel plate, allowing to improve production standards and process efficiency. Defect detection and classification is performed using a convolutional neural network (CNN).

УДК 004.93'1

РАЗРАБОТКА АЛГОРИТМА ПРЕДОБРАБОТКИ ИЗОБРАЖЕНИЙ ДЛЯ УЛУЧШЕНИЯ КАЧЕСТВА ДЕТЕКТИРОВАНИЯ ПОВЕРХНОСТНЫХ ДЕФЕКТОВ ЛИСТОВОГО ПРОКАТА С ИСПОЛЬЗОВАНИЕМ НЕЙРОСЕТЕВОЙ МОДЕЛИ

Евстафьев О. А. (Университет ИТМО) Научный руководитель - к. т. н., Шаветов С. В.

(Национальный исследовательский университет ИТМО, г. Санкт-Петербург)

Введение. Исторически процесс контроля качества листового металлопроката выполнялся вручную. Однако, современные производственные условия, такие как высокие скорости производства, делают результаты такого человеческого контроля недостаточно эффективными. Важно обнаруживать дефекты в реальном времени, что помогает остановить производственный процесс и уменьшить объем бракованного материала. В связи с этим становится все более актуальной задача разработки автоматизированных систем контроля и диагностирования листового металлопроката [1]. Для повышения эффективности таких систем можно использовать методы компьютерного зрения и машинного обучения. Например, сверточные нейронные сети могут обеспечить более точный и быстрый контроль качества, путем распознавания и классификации дефектов поверхности проката [2]. Однако, для обучения таких моделей требуются большие наборы данных и высокопроизводительные вычислительные ресурсы. Разработка и применение подобных систем контроля качества металлопроката позволит значительно снизить количество бракованного продукта и улучшить его качество, что положительно скажется на экономической эффективности производства.

Основная часть. Целью работы является разработка алгоритма предобработки изображений для детектирования и классификации поверхностных дефектов листового проката на основе нейросетевой модели. Объектом исследования являются алгоритмы и методы предобработки изображений в компьютерном зрении. В [3] и [4] проведено сравнение архитектур и выявлены их преимущества и недостатки для задачи детектирования и классификации поверхностных дефектов проката. В этих исследованиях было обнаружено, что использование методов предобработки изображений [5] положительно влияет на выделение атрибутов (признаков) для сверточной нейронной сети. В работе была реализована процедура детектирования дефектов путем извлечения статистических характеристик изображения в области скользящего окна и структурной сетки с заданным шагом. Эта операция позволяет получить такие характеристики области дефекта, как дисперсия, среднеквадратическое отклонение, среднее значение, мера гладкости, мера однородности, третий момент и энтропия [6]. Кроме того, можно получить координаты области дефекта и подготовить данные для сверточной нейронной сети. Для решения задачи используется сверточная нейронная сеть Faster R-CNN [7], построенная на основе ResNet. Архитектура Faster R-CNN объединяет в себе Сеть предложения регионов (англ. Region Proposal Networks, RPN) и сеть Fast R-CNN для обнаружения объектов на изображении. RPN генерирует предложения регионов, которые затем подаются на вход сети Fast R-CNN для классификации и регрессии границы объекта. Благодаря такой архитектуре Faster R-CNN показал хорошие результаты на различных наборах данных, позволяя быстро и точно обнаруживать, и классифицировать дефекты на изображениях.

Выводы. Был разработан алгоритм предобработки изображений для детектирования и классификации поверхностных дефектов листового проката при наличии помех и окклюзий. Он используется совместно со сверточной нейронной сетью Fast R-CNN, а наилучший результат достигается при применении метода вычитания среднего значения. В настоящее

время ведутся работы над улучшением алгоритма обнаружения и классификации дефектов, а также дополнением обучающего набора данных для дальнейшего улучшения детекции.

Список использованных источников:

1. И. Байндорф, Т. Анстотс, А. Эберле, Л. Эрненпуч, Й.-Ф. Хольцхаузэр, «Оптимизация процесса и качества коррозионностойкой полосы на основе системы контроля поверхности» - Чёрные металлы, Т. 3, с 45-56, 2005.

2. Q. Luo, X. Fang, L. Liu, C. Yang, and Y. Sun, "Automated Visual Defect Detection for Flat Steel Surface: A Survey," IEEE Trans. Instrum. Meas., vol. 69, no. 3, 2020, doi: 10.1109/TIM.2019.2963555.

3. Evstafev O., Shavetov S. Surface Defect Detection and Recognition Based on CNN//8th International Conference on Control, Decision and Information Technologies, CoDIT 2022, 2022, pp. 1518-1523

4. Litvintseva A., Evstafev O., Shavetov S.V. Real-time Steel Surface Defect Recognition Based on CNN//IEEE International Conference on Automation Science and Engineering, 2021, pp. 1118-1123

5. Mohan, A.; Poobal, S. Crack detection using image processing: A critical review and analysis // Alex. Eng. J. 2018, Vol. 57. P. 787-798

6. ГОСТ Р 50779.10-2000. «Статистические методы. Вероятность и основы статистики. Термины и определения».

7. Ren S. et al. Faster r-cnn: Towards real-time object detection with region proposal networks //Advances in neural information processing systems. - 2015. - Т. 28.

Евстафьев О. А. (автор) Подпись

Шаветов С. В. (научный руководитель)

Подпись

УДК 004.93'1

ДЕТЕКТИРОВАНИЕ И РАСПОЗНАВАНИЕ ПОВЕРХНОСТНЫХ ДЕФЕКТОВ С ИСПОЛЬЗОВАНИЕМ СВЁРТОЧНОЙ НЕЙРОННОЙ СЕТИ

Евстафьев О. А. (Университет ИТМО) Научный руководитель - к. т. н., Шаветов С. В.

(Национальный исследовательский университет ИТМО, г. Санкт-Петербург)

Разработка и развитие систем детектирования и распознавания поверхностных дефектов для задач оптического неразрушающего контроля является сложной, важной и актуальной проблемой на сегодняшний день. Выявление и классификация поверхностных дефектов с использованием компьютерного зрения и алгоритмов машинного обучения служит эффективным инструментом для контроля производственных процессов, управления качеством и повышения рентабельности предприятий.

Введение. Одним из самых популярных направлений компьютерных наук в наше время является компьютерное зрение. Программные решения, использующие компьютерное зрение постепенно внедряются в нашу повседневную жизнь. Различные интеллектуальные системы, выполняющие разную работу, помогают людям во многих задачах. Системы неразрушающего контроля качества изделий являются одним из примеров таких приложений. Повышение уровня надёжности увеличение ресурса машин и других объектов техники возможно только при условии выпуска продукции высокого качества во всех отраслях машиностроения. Это требует непрерывного совершенствования технологии производства и методов контроля качества. Одной из наиболее распространенных тенденций является внедрение полного неразрушающего контроль продукции на отдельных этапах производства. Зачастую, человеческий фактор играет далеко не последнюю роль. Это сказывается на качестве выпускаемой продукции. Потеря должного внимания, концентрации, может привести к пропуску дефектов и отправке некачественных изделий в дальнейшее использование. Любая из таких систем не имеет универсального характера, постоянные изменения условий, таких как изменение освещения, местоположения и различное окружение объектов усложняют задачи распознавания. Но в то же время существует множество различных и принципиально разных подходов к решению подобных задач.

Основная часть. Целью работы является разработка и исследование алгоритма детектирования и классификации поверхностных дефектов по их изображениям с использованием сверточных нейронных сетей. Объектом исследования являются алгоритмы и методы искусственного интеллекта в компьютерном зрении. Рассматриваются различные свёрточные нейронные сети с одноэтапным обнаружением и двухэтапным обнаружением. Особое внимание выделено архитектуре свёрточной нейронной сети YOLOv5. YOLO представляет собой одноэтапный алгоритм обнаружения объектов, который делит изображения на сетку. Каждая ячейка сетки отвечает за обнаружение объектов внутри себя. YOLO — один из самых известных алгоритмов обнаружения объектов благодаря своей скорости и точности. В работе сравнивается эффективность и производительность различных моделей YOLOv5 для задач неразрушающего контроля поверхностных дефектов. Нейронные сети обучались собственно полученном наборе данных, который в данный момент также пополняется новыми изображениями. Набор данных содержит изображения с тремя классами дефектов, причем некоторые изображения содержат дефекты сразу нескольких классов. Все модели обучались на протяжении 100 эпох, использовались различные функции активации, функции потерь и оптимизаторы, а для сравнения выбиралась наилучшая модель за эпоху.

Выводы. В ходе выполнения работы разработана программа обнаружения и классификации дефектов поверхностных дефектов, а также проведено сравнение нескольких моделей YOLOv5 для текущей задачи. В настоящее время ведутся работы, по совершенствованию алгоритма обнаружения, а также сбор и дополнение учебного набора данных с целью дальнейшего улучшения детекции дефектов.

Евстафьев О. А. (автор) Подпись

Шаветов С. В. (научный руководитель)

Подпись