Алгоритмы компьютерного зрения для оценки состояния подводных сетчатых ограждений тема диссертации и автореферата по ВАК РФ 00.00.00, кандидат наук Смагин Алексей Сергеевич

• Смагин Алексей Сергеевич
• кандидат наук
• 2022

Оглавление диссертации кандидат наук Смагин Алексей Сергеевич

Введение

ГЛАВА 1. СРЕДСТВА И МЕТОДЫ АВТОМАТИЗАЦИИ ВИЗУАЛЬНОГО МОНИТОРИНГА ПОДВОДНЫХ ОБЪЕКТОВ

1.1. Современные рыбоводные фермы и их инфраструктура

1.2. Мониторинг в водной среде

1.2.1. Мониторинг с применением АНПА

1.3. Системы подводного видения АНПА

1.3.1. Условия съемки под водой

1.3.2. Свойства подводных изображений

1.4. Компьютерное зрение

1.5. Искусственные нейронные сети

1.5.1. Обучение нейронной сети

1.6. Сверточные нейронные сети

1.6.1. Слои сверточных нейронных сетей

1.6.2. Слои субдискретизации

1.7. Проблемы автоматизации мониторинга рыбоводных ферм

1.8. Выводы по главе

ГЛАВА 2. СЕГМЕНТАЦИЯ ИЗОБРАЖЕНИЙ СЕТЧАТЫХ ОГРАЖДЕНИЙ ПОДВОДНЫХ ФЕРМ

2.1. Сегментация изображений классическими методами компьютерного зрения

2.1.1. Выделение краев на изображении

2.1.2. Фильтрация и улучшение подводных изображений

2.1.3. Пороговая бинаризация

2.1.4. Сегментация на основе метода Оцу

2.2. Результаты предобработки реальных подводных изображений

2.3. Семантическая сегментация изображений

2.4. Выбор метрики для оценки точности

2.5. Подготовка обучающих выборок

2.5.1. Выбор метода разметки и сбор данных

2.5.2. Формирование итоговой выборки изображений

2.5.3. Разметка данных

2.5.4. Расширение обучающей выборки

2.5.5. Применение аугментаций и цветофильтров для расширения обучающей выборки

2.6. Выбор архитектуры нейросети

2.6.1. Архитектуры U-Net и Seg-Net

2.6.2. Обучение ИНС

2.6.3. Влияние аугментаций и цветовой коррекции на качество обучения

2.6.4. Обучение и оценка точности для U-Net и Seg-Net

2.6.5. Обучение и оценка точности для Mask R-CNN

2.7. Выводы по главе

ГЛАВА 3. ОПТИМИЗАЦИЯ АРХИТЕКТУРЫ НЕЙРОННОЙ СЕТИ ДЛЯ СЕМАНТИЧЕСКОЙ СЕГМЕНТАЦИИ ИЗОБРАЖЕНИЙ

3.1. Выбор функции ошибки

3.2. Программная реализация U-Net

3.3. Модификации архитектуры U-Net и их тестирование

3.3.1. U-Net с обучаемым Upsampling

3.3.2. U-Net с энкодером VGG16BN

3.3.3. U-Net с энкодером ResNet

3.3.4. U-net с Residual блоками

3.4. Выводы по главе

ГЛАВА 4. ПОИСК ПОВРЕЖДЕНИЙ СЕТЧАТОГО ОГРАЖДЕНИЯ

4.1. Алгоритм поиска повреждений по периметрам контуров

4.2. Алгоритм поиска повреждений по площадям ячеек

4.3. Комбинированный алгоритм поиска повреждений

4.4. Поиск повреждений нейронной сетью

4.4.1. Формирование обучающей выборки

4.4.2 Обучение нейронной сети

4.5. Структура программного комплекса

4.6. Выводы по главе

Заключение

Список сокращений и условных обозначений

Список литературы

Приложение А

Свидетельства о регистрации программ для ЭВМ

Приложение Б

Акты о внедрении результатов диссертационного исследования

Введение диссертации (часть автореферата) на тему «Алгоритмы компьютерного зрения для оценки состояния подводных сетчатых ограждений»

Введение

Актуальность. Сегодня предприятия различного профиля сталкиваются с необходимостью обработки больших объемов данных содержащих фото- и видеоинформацию об интересующих объектах и процессах. От скорости и качества обработки этих данных зависит эффективность работы компании и конечная стоимость произведенного продукта. Справиться с растущими информационными потоками помогают технологии искусственного интеллекта. В их основе лежат алгоритмы машинного обучения, сочетающие в себе искусственные нейронные сети и системы компьютерного зрения.

В данной работе технологии компьютерного зрения и искусственные нейронные сети рассматриваются применительно к мониторингу состояния ограждающих конструкций подводных ферм на предприятиях аква-культурного профиля. Условия эксплуатации конструкций подводных ферм накладывают жесткие ограничения на непосредственное участие человека в их мониторинге и обслуживании и стимулируют широкое применение и развитие безлюдных технологий производства морских биоресурсов. Используемые методы обработки фото- и видеоинформации и технологии искусственного интеллекта позволяют выполнять автоматизацию процессов распознавания поврежденных и загрязнённых участков ограждающих конструкций, находящихся под водой, и создавать системы компьютерного зрения, способные ограничить или исключить работу человека в сложных и опасных условиях подводного мира.

При анализе визуальной информации важную роль играют границы интересующих объектов на изображениях и методы их выделения, поскольку границы - это наиболее информативные части изображений. Несмотря на то, что проблема выделения границ известна и изучается давно, ей всегда уделяется большое внимание, ввиду ее сложности и важности для практического применения. Соответственно, и методов решения этой

проблемы предложено достаточно много. Тем не менее, появление новых задач, связанных с обработкой изображений, и повышение требований к качеству решений уже известных требуют развития новых подходов.

Степень разработанности темы. Большой вклад в развитие методов сегментации изображений внесли российские и зарубежные ученые: Журавлев Ю.И., Бакут П.Л., Потапов A.A., Сойфер В.А., Алпатов Б.А., Canny J.F., Pratt W.K., Prewitt J.P., Sobel I.E., Kirche R.A., Roberts L.G. и др. Работы этих авторов лежат в основе большинства классических подходов компьютерного зрения.

В области машинного обучения необходимо отметить Rozenblatt F., LeCun Y., Gonzalez R., Shapiro L., Zhang Y.-J., и др. чьи работы определили путь развития области искусственного интеллекта.

Область автоматизации мониторинга состояния ограждений рыбоводных ферм достаточно новая и работ по теме написано немного. Стоит выделить вклад Paspalakis S., Moirogiorgou K., Papandroulakis N., Giakos G., Zervakis M., Akram W., Casavola A., Kapetanovic N., Miskovic N., Lin T. X., Tao Q., Zhang F. и др. В их работах рассмотрены подходы к поиску повреждений сетчатого ограждения классическими методами компьютерного зрения и методами машинного обучения. Однако предложенные в этих работах методы и алгоритмы имеют ограничения и не способны работать в полностью автоматическом режиме.

Объект исследования. Фото- и видеоинформация о сетчатых ограждающих конструкциях подводных ферм предприятий аква-культурного профиля.

Предмет исследования. Методы и алгоритмы обработки изображений, предназначенные для решения задач мониторинга состояния сетчатых ограждающих конструкций в водной среде.

Цель исследования. Исследование направлено на решение фундаментальной проблемы - создание систем компьютерного зрения, способных ограничить или исключить работу человека в сложных и опасных

условиях, которые характерны для эксплуатации подводных аква-культурных ферм.

Целью работы является разработка и исследование алгоритмов обработки изображений, предназначенных для решения задач мониторинга целостности и загрязненности сетчатых ограждающих конструкций для подводных рыбоводных ферм.

Задачи исследования.

1. Провести анализ средств и методов автоматизации визуального мониторинга подводных объектов.

2. Изучить возможности сегментации изображений сетчатых ограждений подводных ферм методами классического компьютерного зрения и глубокого обучения для корректного выделения границ заданного объекта на подводных изображениях.

3. Разработать архитектуру искусственной сверточной нейронной сети и реализовать на ее основе модель глубокого машинного обучения для детектирования объектов в условиях подводной среды.

4. Разработать алгоритмы компьютерного зрения и машинного обучения для оценки состояния сетчатого ограждения на подводных снимках.

5. На примере фотографий подводных сетчатых ограждений провести анализ работоспособности разработанных алгоритмов и программ.

Научная новизна. Новизна исследования заключается в том, что для визуального мониторинга состояния подводных сетчатых ограждений впервые применяется подход, основанный на семантической сегментации их фото- и видеоизображений методами машинного обучения. Это позволяет свести поиск повреждений на снимке к их поиску на бинарной маске сетчатого ограждения. При этом получены следующие новые результаты.

1 . Разработаны новые алгоритмы компьютерного зрения для оценки состояния сетчатых ограждений по их бинарным маскам. При этом

исключается обработка лишних данных на снимке, сокращается время и повышается точность определения повреждений.

2. Разработана новая модификация архитектуры сверточной нейросети для задачи семантической сегментации сетчатого ограждения, вычислительная сложность которой ниже чем у базовых архитектур, описанных в научной литературе. Предложенный подход основан на использовании обучаемой регуляризации (Residual блоков), которая позволяет получать маску объекта более высокого качества, чем классические методы компьютерного зрения.

3. Впервые разработан программный комплекс для автоматизации визуального мониторинга подводных сетчатых ограждений, генерирующий и использующий бинарную маску ограждения для оценки его состояния.

Теоретическая значимость. В ходе научно-исследовательской работы исследованы новые возможности применения сверточных нейронных сетей для мониторинга подводных сетчатых ограждений, предложен и апробирован метод выделения границ сетчатого ограждения с использованием машинного обучения для анализа параметрических контуров, определения целостности и создания фильтрующей маски объекта с улучшенными характеристиками. Данный подход можно использовать и при решении других задач автоматического определения целостности структурных объектов по изображениям в условиях оптических искажений, недостаточной видимости и искусственного освещения.

Практическая значимость. В рамках исследования разработано алгоритмическое и программное решение проблемы автоматического поиска и распознавания дефектов подводных сетчатых ограждений рыбоводных ферм. Полученные результаты могут быть использованы при создании систем компьютерного зрения для автономных необитаемых подводных аппаратов, способных решать задачи мониторинга сетчатых ограждающих конструкций на предприятиях аква-культурного профиля.

Методы исследования. Теоретической основой для выполнения исследований послужили методы и подходы, применяемые в теории распознавания образов, такие как анализ частотных характеристик снимков с использованием преобразования Retinex, метод адаптивной бинаризации Оцу, составление вектора характерных визуальных признаков объекта. При разработке алгоритмов анализа параметрических контуров и фильтрующих масок объектов применялись технологии компьютерного зрения и машинного обучения. Предобработка изображений осуществлялась методами пороговой локальной фильтрации, дискретных косинусных преобразований, фильтрации частотных характеристик для низких и средних частот.

Личный вклад автора. Автор принимал активное участие в постановке и реализации задач исследования. Им предложена модифицированная архитектура искусственной нейронной сети для детектирования подводных ограждений; разработаны методы семантической сегментации изображений с помощью модифицированной сверточной нейронной сети; созданы алгоритмы компьютерного зрения и машинного обучения для оценки состояния сетчатого ограждения в условиях подводной среды; проведен анализ полученных результатов.

Положения, выносимые на защиту

1. Метод и алгоритм предобработки изображения с помощью сверточной нейронной сети для корректного выделения границ сетчатого ограждения на изображениях в сложных оптических условиях.

2. Архитектура сверточной нейронной сети для выделения границ и создания фильтрующей маски сетчатого ограждения по снимкам, сделанным в водной среде.

3. Алгоритмы компьютерного зрения и машинного обучения для оценки состояния сетчатого ограждения с использованием фильтрующей маски.

Достоверность и обоснованность работы подтверждается использованием фундаментальных физических принципов при построении математических моделей и интерпретации результатов натурных исследований, корректными математическими методами исследования решаемых задач, сравнением полученных результатов с опубликованными ранее результатами других авторов, а также вычислительными экспериментами.

Апробация результатов. Результаты исследований докладывались и обсуждались на Международной научно-практической конференции «Информационные технологии и высокопроизводительные вычисления», Хабаровск, 2019, 2021; Международной конференции «9th Computer Science On-line Conference», 2020; Всероссийской научно-практической конференции «Научно-техническое и социально-экономическое развитие транспорта и промышленности стран АТР», Хабаровск, 2021; Международной конференции «Актуальные теоретико-методологические и прикладные проблемы виртуальной реальности и искусственного интеллекта», Хабаровск, 2021; Всероссийской научно-практической конференции «Интеллектуальный потенциал молодежи - дальневосточный регион», Хабаровск, 2021; VIII Международной конференции и молодёжной школы «Информационные технологии и нанотехнологии» Самара, 2022; Международной конференции «International Workshop on Computing Technologies and Applied Mathematics», Владивосток, 2022.

Исследования выполнены при поддержке гранта РФФИ 19-37-90046 (аспиранты) «Алгоритмы компьютерного зрения и машинного обучения для оценки состояния сетчатого ограждения в водной среде» и стипендии имени Н.Н. Муравьева-Амурского на 2020 год обучения. Тематика научной работы неоднократно становилась основой для квалификационных работ бакалавров и магистрантов.

Соответствие диссертации паспорту специальности. Работа соответствует следующим пунктам паспорта специальности 2.3.1:

1. Теоретические основы и методы системного анализа, оптимизации, управления, принятия решений, обработки информации и искусственного интеллекта.

4. Разработка методов и алгоритмов решения задач системного анализа, оптимизации, управления, принятия решений, обработки информации и искусственного интеллекта.

5. Разработка специального математического и алгоритмического обеспечения систем анализа, оптимизации, управления, принятия решений, обработки информации и искусственного интеллекта.

Публикации. Результаты исследований опубликованы в 12 научных работах. Из них 3 работы опубликованы в периодических научных изданиях, индексируемых в базах данных Web оf Sciense или Scopus, в том числе 1 в издании из списка ВАК. Получено 6 свидетельств о государственной регистрации программ для ЭВМ.

Структура диссертации определена целью и задачами работы и состоит из введения, 4 глав, заключения, списка использованных источников и 2 приложений. Работа изложена на 145 страницах текста, включает 3 таблицы, 89 рисунков и список литературы из 133 наименований.

ГЛАВА 1. СРЕДСТВА И МЕТОДЫ АВТОМАТИЗАЦИИ ВИЗУАЛЬНОГО МОНИТОРИНГА ПОДВОДНЫХ ОБЪЕКТОВ

1.1. Современные рыбоводные фермы и их инфраструктура

Под термином "рыбоводная ферма" мы будем подразумевать предприятие интенсивного рыбоводства, где выполняются все действия, необходимые для надежного обеспечения процесса выращивания рыбы и достижения высоких показателей ее производства и качества. Для безопасной эксплуатации и легкого доступа к сервисным объектам, предназначенным для кормления, хранения, обработки и транспортировки выращенной рыбы большинство морских рыбоводных ферм расположено в защищенных, мелководных и прибрежных водах.

Рисунок 1.1 - Пример прибрежной рыбоводной фермы.

Инфраструктуру рыбоводных ферм составляют погруженные в воду рыбные клетки, основа которых чаще всего состоит из металлического каркаса, обтянутого сеткой из синтетического материала. Самые распространенные материалы сетки — это полиамид и полиэфир. Они отличаются устойчивостью к износу и к различным химическим реагентам и веществам, а также способностью сохранять форму продолжительное время

и выдерживать многократные изгибы. Эти материалы выдерживают значительные динамические и статические нагрузки, устойчивы к ультрафиолетовому излучению и обладает долгим сроком службы.

С ростом производственных показателей и экономической эффективности рыбоводных ферм значительная доля удобных прибрежных участков почти полностью освоена [1,2]. Современная практика прибрежного рыбоводства привела к конфликтам с местными сообществами, природоохранными и экологическими организациями. Конкуренция за общее морское пространство в прибрежных районах усилилась не только среди рыбоводов, но и с другими секторами, такими как судоходство, туризм и охрана природы. Основной критикой со стороны экологов в отношении прибрежного рыбоводства является ухудшение состояния окружающей среды из-за загрязнения воды [3,4,5,6]. Кроме того, происходят несчастные случаи, связанные со сбросом выращиваемой рыбы, и распространением болезней, которые могут угрожать местной популяции морских обитателей [7,8,9].

Рисунок 1.2 - Транспортировка современной рыбоводной фермы.

В ответ на критику экологов и давление со стороны регулирующих органов отрасль рыбоводства начала осваивать участки, которые позволят обеспечить устойчивое производство рыбы и использовать экологически чистые методы эксплуатации [10,11,12,13,14]. Это так называемые оффшорные участки, которые располагаются в открытом океане.

Очевидными плюсами для рыбоводных ферм на офшорных участках являются: сокращение конкуренции с другими пользователями морского пространства, большая глубина и постоянный поток свежей воды [1,4,12,14]. Морская среда может помочь избежать накопления отходов производства (например, несъеденного корма или фекалий) под клетками (садками) для рыбы, тем самым предотвращая размножение паразитов и болезней.

Рисунок 1.3 - Рыбоводная ферма на этапе строительства. CIMS Raffles, город

Яньтай, Китай.

Неизбежно, что для устойчивого ведения хозяйства, увеличения морского пространства и роста производства рыбы, рыбоводство будет

перемещаться на шельф. Однако морская эксплуатация, как правило, требует более высоких капитальных и производственных затрат [15]. Кроме того, конструкции рыбных клеток должны учитывать здоровье, рост, сбор и транспортировку рыбы на рынок.

Рентабельность морского рыбоводства может быть достигнута за счет разработки и внедрения новой многофункциональной и автономной инфраструктуры, которая была проверена в нефтяной и морской промышленности [16].

Одним из условий для эксплуатации рыбоводных ферм является достаточное снабжение кислородом и пищей для популяции рыб. Рост аквакультуры [17] становится настолько значительным в последние годы, что настоятельно необходимо принять меры, гарантирующие устойчивость производства. Ясно, что действия по техническому обслуживанию должны проводиться на регулярной и эффективной основе, чтобы сдерживать сбои и, как следствие, минимизировать общие эксплуатационные расходы объектов. Тенденция к удалению аквакультурной инфраструктуры от берега увеличивает затраты на транспортировку и инспекцию.

1.2. Мониторинг в водной среде

Мониторинг как процесс предполагает регулярное отслеживание определенного набора характеристик (параметров) выделенного объекта. В общем случае мониторинг - это составная часть управления данным объектом. Он заключается в непрерывном наблюдении и анализе состояния объекта, отслеживании динамики поведения соответствующих параметров с целью последующего вмешательства для их целенаправленного изменения (корректировки).

Среди множества возможных направлений применения систем подводного мониторинга можно выделить два основных вида работ, которые могут быть выполнены ими с максимальной эффективностью.

В первую очередь это работы исследовательского характера,

направленные на решение проблем современной океанологии - сбор информации о физических параметрах водной среды (температура, соленость и прочие). Другой вид касается подводно-технических работ, таких как обслуживание донных станций и измерительных систем, обеспечение прокладки и регламентное обслуживание подводных кабелей и трубопроводов, участие в аварийно-спасательных операциях [18].

Также можно выделить мультистатические системы подводного наблюдения, которые представляют собой системы пространственно-разнесенных гидролокационных станций с пересекающимися зонами обзора и выполняют следующие функции:

- подводный мониторинг акваторий с целью отслеживания перемещений морских животных и рыб;

- охрана акваторий от несанкционированного проникновения различных подводных объектов;

- получение данных по текущим координатам всех обнаруженных в акватории объектах и параметрам их движения;

- навигационное обеспечение для контроля и управления режимами движения подводных роботизированных средств [19].

При проведении практических работ по мониторингу в водной среде важнейшей задачей является повышение их эффективности, уменьшение затраченного времени и, соответственно, стоимости. Следовательно, большое значение в этом отношении имеют системы, выполняющие не только обзорно-поисковые функции, но и поисково-обследовательские.

Таким образом, для того чтобы появилась возможность решать обзорно-поисковые задачи, система должна соответствовать требованиям по проведению наблюдений в окрестностях заданной траектории движения.

Поисковые задачи, часто предполагают использование канала телеуправления для коррекции движения. Задачи поисково-обследовательского класса гораздо сложнее и подразумевают выполнение миссий, включающих этапы поиска, обнаружения и обследования объектов.

При этом миссии систем должны содержать описание поисковой части траектории и также поведение при обнаружении объекта [20].

По данным MarketsandMarkets порядка 85% операций, выполняемых подводными роботами, осуществляются в телеуправляемом режиме [21]. При этом необходимость работы в неструктурированном подводном окружении требует совершенствования систем управления подводных роботов в плане повышения их автономности и функциональности за счет технологий искусственного интеллекта. Исследования в этом направлении активно развиваются [22,23,24].

1.2.1. Мониторинг с применением АНПА

В настоящее время в мировой практике накоплен значительный методологический и практический опыт создания и использования подводных робототехнических систем для решения научно-исследовательских и прикладных задач в интересах различных отраслей. Прогресс в данной области заключается в создании более совершенных систем, технологий и многофункциональных комплексов, обеспечивающих решение широкого спектра задач в условиях сложной подводной среды. К числу наиболее актуальных из этих задач относятся:

• развертывание широкомасштабных долговременных систем наблюдения и мониторинга морских акваторий, рельефа дна, геологических образований, биологических объектов и гидрофизических полей;

• поиск, обнаружение и инспекция технических и природных объектов на морском дне;

• патрулирование морских акваторий, освещение подводной обстановки и другие задачи по охране подводных территорий.

Опыт создания автономных необитаемых подводных аппаратов (АНПА) показывает, что существенный прогресс в данной области возможен только при широкой кооперации, учитывающей все аспекты научно -

технического, технологического и производственного взаимодействия. Современные многоцелевые АНПА представляют собой новый класс подводных робототехнических объектов с присущими им практическими применениями, особенностями технологии и составом систем. Системы, входящие в состав АНПА, отличаются большим разнообразием по назначению и физическим принципам работы.

В зарубежной литературе АНПА обычно классифицируют по предельным рабочим глубинам погружения и массогабаритным характеристикам: переносные (масса до 20 кг); мини (20-100 кг); малые (100500 кг); средние (500-2000 кг) и большие (>2000 кг) [25].

Применение новых технологий значительно расширяет сферу применения АНПА. В настоящее время имеется значительное число проектов и действующих разработок, ориентированных не только на ранее сложившиеся, сравнительно доступные области использования АНПА, но и на выполнение совершенно новых работ по океанографии, обслуживанию различных отраслей и военных программ.

В решении отмеченных выше общих проблем можно отметить тенденцию к созданию относительно простых, надежных и эффективных аппаратов и сближению функциональных возможностей автономных и телеуправляемых подводных роботов. Создание малых автономных аппаратов с энергоемкими и возобновляемыми источниками питания дает возможность реализовать автоматизированную сеть океанографических измерений и освещения подводной обстановки на обширных просторах Мирового океана. Аналогичные успехи могут быть достигнуты при создании высокоточных интегрированных систем подводной навигации на основе бортовых автономных, гидроакустических и спутниковых технологий. Многие современные автономные аппараты уже имеют в своем составе навигационные комплексы, позволяющие осуществлять коррекцию своего местоположения [26]. В составе таких средств необходимым элементом является проблемно-ориентированная геоинформационная система,

предназначенная для интерактивного отображения подводной обстановки и управления роботом.

1.3. Системы подводного видения АНПА

Специалисты в процессе проведения визуального мониторинга различных подводных объектов, по большому счету, опираются на данные фото-видео камер и гидролокаторов. Поэтому, наряду с разработкой исполнительной и управляющей систем подводного робота, одной из важнейших задач проектирования подводного аппарата является задача разработки сенсорной системы в виде системы технического зрения. При использовании в качестве сенсорной системы подводного аппарата 3D-зрения необходимо разрабатывать специальные алгоритмы обработки изображений (в том числе стереозрения), так как методы и алгоритмы, применяемые для воздушной среды, не всегда будут работоспособны в подводных условиях. Это связано с проблемой робастности алгоритмов. А именно с тем, что подводные изображения обладают оптическими искажениями, слабой освещенностью и контрастностью. Так же отсутствует возможности передавать данные под водой по радиоканалу. Важные теоретические результаты по разработке алгоритмов обработки изображений в системе 3D-зрения представлены в работе [27].

Оснащение автономных или телеуправляемых необитаемых подводных аппаратов для работы на различных глубинах погружения системами подводного видения позволяет расширить спектр их применения для решения научных и прикладных задач освоения Мирового океана, успешнее выполнять поисковые и аварийно-спасательные операции, решать задачи оборонного значения.

При проектировании системы подводного видения для АНПА, в зависимости от его класса и решаемых задач, учитываются соответствующие требования к дальности видимости, разрешающей способности и качеству получаемых видео изображений. Из-за недостатка или полного отсутствия

естественной освещённости на рабочих глубинах система подводного видения помимо ТВ-камеры оснащается внешней подсветкой, обеспечивающей необходимый уровень освещённости объекта наблюдения. На дальность наблюдения и качество получаемых изображений системой подводного видения значительное влияние оказывают оптические характеристики водной среды, которая поглощает и рассеивает свет.

1.3.1. Условия съемки под водой

Основная сложность получения качественных снимков при решении задач мониторинга подводных объектов обусловлена поглощением и рассеянием света, как самой водой, так и растворенными в ней органическими веществами и малыми взвешенными частицами (рис. 1.4).

Рисунок 1.4 - Поглощение энергии солнечного света морской водой.

С увеличением дистанции наблюдения яркость и контрастность объекта уменьшаются. Это происходит не только из-за объёмного поглощения и рассеяния энергии светового пучка при прохождении через водную среду, но и из-за явления «размазывания» границ, связанного с рассеянием световых лучей, отражённых от поверхности объекта. Объёмное рассеяние воспринимается оптическим приёмником как свечение самой воды (световая дымка) и называется помехой обратного рассеяния (ПОР), которая в значительной степени снижает яркостной контраст объекта наблюдения [28], [29].

Список литературы диссертационного исследования кандидат наук Смагин Алексей Сергеевич, 2022 год

Список литературы

1 Huguenin J. E. The design, operations and economics of cage culture systems // Aquacultural Engineering. - 1997. - T. 16. - №. 3. - C. 167-203.

2 Stickney R. R., McVey J. P. (ed.). Responsible marine aquaculture. - Cabi,

2002.

3 Colbourne D. B. Another perspective on challenges in open ocean aquaculture development // IEEE Journal of Oceanic Engineering. - 2005. - T. 30. - №. 1. - C. 4-11.

4 Tidwell J. H. Aquaculture production systems. - John Wiley & Sons,

2012.

5 Shainee M. et al. Design theory in offshore fish cage designing // Aquaculture. - 2013. - T. 392. - C. 134-141.

6 Chu Y. I. et al. Review of cage and containment tank designs for offshore fish farming // Aquaculture. - 2020. - T. 519. - C. 734928.

7 Beveridge M. C. M. Cage aquaculture. - John Wiley & Sons, 2008.

8 Taranger G. L. et al. Risk assessment of the environmental impact of Norwegian Atlantic salmon farming // ICES Journal of Marine Science. - 2015. -T. 72. - №. 3. - C. 997-1021.

9 Verhoeven J. T. P. et al. Temporal bacterial surveillance of salmon aquaculture sites indicates a long lasting benthic impact with minimal recovery //Frontiers in Microbiology. - 2018. - T. 9. - C. 3054.

10 Buck B. H., Buchholz C. M. The offshore-ring: a new system design for the open ocean aquaculture of macroalgae // Journal of Applied Phycology. -2004. - T. 16. - №. 5. - C. 355-368.

11 Kapetsky J. M. D., Aguilar-Manjarrez J., Jenness J. A global assessment of offshore mariculture potential from a spatial perspective // FAO fisheries and aquaculture technical paper. - 2013. - №. 549. - C. I.

12 Kankainen M., Mikalsen R. Offshore fish farm investment and competitiveness in the Baltic Sea // Reports of Aquabest project. - 2014. - Т. 2. -С. 2014.

13 Bjelland H. V. et al. Exposed aquaculture in Norway // OCEANS 2015-MTS/IEEE Washington. - IEEE, 2015. - С. 1-10.

14 Sigsgaard E. E. et al. Seawater environmental DNA reflects seasonality of a coastal fish community // Marine Biology. - 2017. - Т. 164. - №. 6. - С. 1-15.

15 Serra-Llinares R. M. et al. Nearby farms are a source of lice for wild salmonids: a reply to Jansen et al. (2016) // Aquaculture Environment Interactions. - 2016. - Т. 8. - С. 351-356.

16 Сергеев Л. и др. Экономика рыбного хозяйства. Цифровизация управления. Учебное пособие для вузов. - Litres, 2022.

17 Metian M. et al. Mapping diversity of species in global aquaculture // Reviews in Aquaculture. - 2020. - Т. 12. - №. 2. - С. 1090-1100.

18 Кабанов А.А. Система 3D-зрения для подводного робототехнического комплекса / А.А. Кабанов, В.А. Крамарь, О.А. Крамарь // Прикаспийский журнал: управление и высокие технологии. - 2021. - № 2 (54). - С. 113-125.

19 Коваленко В.В. Современные подходы к созданию систем подводного наблюдения и информационному обеспечению скрытности подводных объектов / В.В. Коваленко, Е.А. Мареев, А.А. Родионов, И.А. Селезнев // Прикладные технологии гидроакустики и гидрофизики. труды XV Всероссийской конференции. - СПб., 2020. - С. 46-51.

20 Коваленко В.В. Вопросы оптимизации расположения в океанической среде акустических средств подводного наблюдения / В.В. Коваленко // Акустика океана. Доклады XVII Школы-семинара им. акад. Л.М. Бреховских, совмещенной с XXXIII сессией Российского акустического общества. - М.: Институт океанологии им. П.П. Ширшова Российской академии наук, 2020. - С. 114-121.

21 Unmanned Underwater Vehicles (UUV) Market worth 5.20 Billion USD by 2022 // Markets and Markets. - Режим доступа: https://www.marketsandmarkets.com/pressreleases/unmanned-underwater-vehicles.asp.

22 Casalino G. MARIS: A National Project on Marine Robotics for Interventions. 2014 22nd Mediterranean Conference on Control and Automation (MED) / G. Casalino, M. Caccia, A. Caiti, G. Antonelli, G. Indiveri, C. Mel-chiorri, S. Caselli // University of Palermo. June, 16-19, 2014, Palermo, Italy.

23 Lane D. M. PANDORA: Persistent Autonomy through Learning, Adaptation, Observation and Replanning / D. M. Lane, F. Maurelli, T. Larkworthy, D. Caldwell, J. Salvi, M. Fox, K. Kyriakopoulosy // IFACPaper-sOnLine. - 2015. -Vol. 48, iss. 2. - P. 238-243.

24 Sanz P. J. TRIDENT: An European Project Targeted to Increase the Autonomy Levels for Underwater Intervention Missions / P. J. Sanz, P. Ridao, G. Oliver, G. Casalino, Y. Petillot, C. Silvestre, C. Melchiorri, A. Turetta // OCEANS. - San Diego, September, 2013. - P. 23-27.

25 Мальцева С. В., Медведев А. В. О некоторых вопросах исследования и оптимизации конструктивных и гидродинамических характеристик при проектировании АНПА // Технические проблемы освоения Мирового океана. - 2007. - Т. 2. - С. 98-103.

26 Инзарцев А. В. и др. Подводные робототехнические комплексы: системы, технологии, применение. - 2018.

27 Бобков В. А., Машенцев В. Ю. Навигация подводного робота по стереоизображениям // Мехатроника, автоматизация, управление. - 2016. - Т. 17. - №. 2. - С. 101-109.

28 Долин Л. С. Справочник по теории подводного видения / Л. С. Долин, И. М. Левин. - Л.: Гидрометеоиздат, 1991. - 229 с

29 Войтов А. А. Формирование изображений в активных системах подводного видения / А. А. Войтов, В. В. Сергеев, В. А. Соколов, Б. Ю.

Форсов // Вопросы радиоэлектроники. Сер. Техника телевидения. 2015. Вып. 5. С. 21-31.

30 Виноградова К. А., Липницкая С. Н., Бугров В. Е. Оптоэлектроника светодиодов. Лабораторный практикум // СПб: НИУ ИТМО. - 2013.

31 Радомский Н. Сравнительный анализ продукции ведущих производителей белых светодиодов // Полупроводниковая светотехника. -2010. - Т. 4. - №. 6. - С. 6-12.

32 Сергеев В. В. и др. Активная система подводного видения для автономных необитаемых подводных аппаратов //Вопросы радиоэлектроники. Серия: Техника телевидения. - 2019. - №. 2. - С. 53-61.

33 Гринь Г. А., Мурзинцев П. П. О применении современных технических средств для высокоточной съемки рельефа дна и подводных объектов // Интерэкспо Гео-Сибирь. - 2011. - Т. 1. - №. 1. - С. 102-107.

34 Баранов П. С., Козлов В. В., Манцветов А. А. Чувствительность одноматричных цветных телевизионных камер //Вопросы радиоэлектроники, сер. Техника телевидения. - 2008. - №. 1. - С. 1-14.

35 Garcia R., Nicosevici T., Cufi X. On the way to solve lighting problems in underwater imaging // OCEANS'02 MTS/IEEE. - IEEE, 2002. - Т. 2. - С. 1018-1024.

36 Косткин И. В. и др. Алгоритм улучшения качества подводных изображений // Вестник Рязанского государственного радиотехнического университета. - 2012. - №. 40. - С. 40-46.

37 Slagle J. R. Artificial intelligence: The heuristic programming approach. - McGraw-Hill, 1971.

38 Редько В. Г. Эволюция, нейронные сети, интеллект. - URSS, 2009.

39 Krizhevsky, A. Imagenet classification with deep convolutional neural networks / A. Krizhevsky, I. Sutskever, G.E. Hinton // Advances in neural information processing systems. - 2012. - Т. 25.

40 Ma Z. et al. Fine-grained vehicle classification with channel max pooling modified CNNs // IEEE Transactions on Vehicular Technology. - 2019. - Т. 68. -№. 4. - С. 3224-3233.

41 Laith, A. Review of deep learning: concepts, CNN architectures, challenges, applications / A. Laith A., Z. Jinglan, J. Amjad [et al.] // Journal of big Data. - 2021. - Т. 8. - №. 1. - С. 1-74.

42 Rikiya, Y. Convolutional neural networks: an overview and application in radiology / Y. Rikiya, N. Mizuho, K. Richard [et al.] // Insights into imaging. -2018. - Т. 9. - №. 4. - С. 611-629.

43 Kaiming, H. Georgia Gkioxari, Piotr Dollar, Ross Girshick. Mask R-CNN / Kaiming, H., Georgia G., Piotr D. [et al.] // Proceedings of the IEEE international conference on computer vision. - 2017. - С. 2961-2969.

44 Schmidt-Hieber J. Nonparametric regression using deep neural networks with ReLU activation function // The Annals of Statistics. - 2020. - Т. 48. - №. 4.

- С. 1875-1897.

45 Bao J. et al. Integrated navigation for autonomous underwater vehicles in aquaculture: A review // Information processing in agriculture. - 2020. - Т. 7. -№. 1. - С. 139-151.

46 Karimanzira D. et al. First testing of an AUV mission planning and guidance system for water quality monitoring and fish behavior observation in net cage fish farming // Information Processing in Agriculture. - 2014. - Т. 1. - №. 2.

- С. 131-140.

47 Paspalakis S. et al. Automated fish cage net inspection using image processing techniques // IET Image Processing. - 2020. - Т. 14. - №. 10. - С. 2028-2034.

48 Исрафилов Х. С. Исследование методов бинаризации изображений //Вестник науки и образования. - 2017. - Т. 2. - №. 6 (30). - С. 43-50.

49 Akram W. et al. A Visual Servoing Scheme for Autonomous Aquaculture Net Pens Inspection Using ROV //Sensors. - 2022. - Т. 22. - №. 9. - С. 3525.

50 Lin T. X., Tao Q., Zhang F. Planning for Fish Net Inspection with an Autonomous OSV //2020 International Conference on System Science and Engineering (ICSSE). - IEEE, 2020. - С. 1-5.

51 Дмитриев Н. И. и др. Метод выбора упорядоченного набора фильтров предобработки для систем технического зрения реального времени // Механика, управление и информатика (см. в книгах). - 2012. - №. 3. - С. 291-295.

52 Muthukrishnan R., Radha M. Edge detection techniques for image segmentation // International Journal of Computer Science & Information Technology. - 2011. - Т. 3. - №. 6. - С. 259.

53 Гонсалес Р., Вудс Р. Цифровая обработка изображений. - 2012.

54 Кругль Г. Профессиональное видеонаблюдение. Практика и технологии аналогового и цифрового CCTV // М.: Секьюрити Фокус. - 2010. - Т. 360.

55 Petro A. B., Sbert C., Morel J. M. Multiscale retinex //Image Processing On Line. - 2014. - С. 71-88.

56 Jobson D. J., Rahman Z., Woodell G. A. A multiscale retinex for bridging the gap between color images and the human observation of scenes // IEEE Transactions on Image processing. - 1997. - Т. 6. - №. 7. - С. 965-976.

57 https://fstoppers.com/documentary/silent-killers-power-photography-change-oceans-180754

58 Интернет ресурс: http://www.theunderwaterwoman.com/science-storytelling/.

59 Smagin A. S., Applying Computer Vision Methods for Fencing Constructions Monitoring / A. Smagin, K. Dubrovin // Advances in Intelligent Systems and Computing. - 2020. - Vol. 1225. - P. 344-351. - DOI 10.1007/978-3-030-51971-1_28. - EDN NJGTSU.

60 A Digital Image Mapping System [Электронный ресурс]: A software and hardware solution for the various mapping tasks is being developed in a joint

project of research institutes and Teragon Context AB. Режим доступа:

http://www.isprs.org/proceedings/XXVII/congress/part2/380_XXVII-part2-

sup.pdf.

61 Johasz Z. An analytical method for predicting the performance of parallel image processing operations // The Journal of supercomputing. - 1998. - Т. 12. -№. 1. - С. 157-174.

62 Chate M. et al. Object detection and tracking in video sequences //ACEEE International Journal on signal & Image processing. - 2012. - Т. 3. №. 1.

63 Mohan A. S., Resmi R. Video image processing for moving object detection and segmentation using background subtraction // 2014 First International Conference on Computational Systems and Communications (ICCSC). - IEEE, 2014. - С. 288-292.

64 Hu W. et al. A survey on visual surveillance of object motion and behaviors // IEEE Transactions on Systems, Man, and Cybernetics, Part C (Applications and Reviews). - 2004. - Т. 34. - №. 3. - С. 334-352.

65 Aldhaheri A. R., Edirisinghe E. A. Detection and classification of a moving object in a video stream // Proc. of the Intl. Conf. on Advances in Computing and Information Technology-ACIT. - 2014.

66 Singla N. Motion detection based on frame difference method // International Journal of Information & Computation Technology. - 2014. - Т. 4. -№. 15. - С. 1559-1565.

67 Zivkovic Z. Improved adaptive Gaussian mixture model for background subtraction // Proceedings of the 17th International Conference on Pattern Recognition, 2004. ICPR 2004. - IEEE, 2004. - Т. 2. - С. 28-31.

68 Bouwmans T., El Baf F., Vachon B. Background modeling using mixture of gaussians for foreground detection-a survey // Recent patents on computer science. - 2008. - Т. 1. - №. 3. - С. 219-237.

69 Israfilov H. S. Research of methods for binarization of images // Herald of Science and Education. - 2017. - Т. 2. - №. 6. - С. 43-50.

70 Бинаризация черно-белых изображений: состояние и перспективы [Электронный ресурс] / А. Федоров. Режим доступа: http://itclaim.ru/Library/Books/ITS/wwwbook/ist4b/its4/fyodorov.htm.

71 Яковлева Е. С., Макаров A. А. О свойствах блочного алгоритма бинаризации цифровых изображений / Е. С.Яковлева, A. А Макаров // Компьютерные инструменты в образовании. — 2015. — № 4. — С. 26-36

72 Dawson-Howe K. A Practical Introduction to Computer Vision with OpenCV. Wiley-IS&T Series in Imaging Science and Technology.- 1 edition. -Wiley, 2014.

73 Xu X. et al. Characteristic analysis of Otsu threshold and its applications // Pattern recognition letters. - 2011. - Т. 32. - №. 7. - С. 956-961.

74 Otsu N. A threshold selection method from gray-level histograms // IEEE transactions on systems, man, and cybernetics. - 1979. - Т. 9. - №. 1. - С. 62-66.

75 Jassim F. A., Altaani F. H. Hybridization of Otsu method and median filter for color image segmentation // arXiv preprint arXiv: 1305.1052. - 2013.

76 Radke R. J. et al. Image change detection algorithms: a systematic survey // IEEE transactions on image processing. - 2005. - Т. 14. - №. 3. - С. 294-307.

77 Лошкарев А. С. Сегментация изображений с помощью кластеризации // Инфокоммуникационные технологии. - 2017. - Т. 15. - №. 4. - С. 388-393.

78 Смагин А. С., Об алгоритмах компьютерного зрения для поиска порывов в сетчатых ограждающих конструкциях / Дубровин К.Н. // Вычислительные технологии. - Т. 24. - № 6. - 2019. - С. 117-124.

79 Свидетельство о государственной регистрации программы для ЭВМ № 2021667633 Российская Федерация. Программа для тестирования методов фильтрации изображения: № 2021666930: заявл. 27.10.2021: опубл. 01.11.2021 / С. И. Смагин, А. С. Смагин; заявитель ФГБУН ХФИЦ ДВО РАН. - EDN LNXSDM.

80 Парасич А. В., Парасич В. А., Парасич И. В. Формирование обучающей выборки в задачах машинного обучения. Обзор // Информационно-управляющие системы. - 2021. - №. 4 (113). - С. 61-70.

81 Хомутов С. О. и др. Методика формирования обучающей выборки в задачах краткосрочного прогнозирования электропотребления гарантирующего поставщика // Известия Тульского государственного университета. Технические науки. - 2021. - №. 2. - С. 227-233.

82 Смагин, А. С. и др., Разработка 3D модели сетчатого ограждения для тестирования целостности объекта // Информационные технологии и высокопроизводительные вычисления: Материалы VI Международной научно-практической конференции, Хабаровск, 14-16 сентября 2021 года / Редколлегия: Р.В. Намм (отв. редактор) [и др.]. - Хабаровск: Тихоокеанский государственный университет, 2021. - С. 221-226. - EDN GLSRPO.

83 Свидетельство о государственной регистрации программы для ЭВМ № 2021668455 Российская Федерация. Программа для генерирования сетчатой поверхности, имитирующая оптические искажения, характерные для подводной съемки: № 2021666920: заявл. 27.10.2021: опубл. 16.11.2021 /

C. И. Смагин, А. С. Смагин; заявитель ФГБУН ХФИЦ ДВО РАН. - EDN RHRIDG.

84 Смагин А. С. и др. Инструментальные среды для формирования обучающей выборки нейросети // Научно-техническое и экономическое сотрудничество стран АТР в XXI веке. - 2021. - Т. 2. - С. 282-285. - EDN HAOGME.

85 Chakraverty, S. McCulloch-Pitts neural network model / S. Chakraverty,

D.M. Sahoo, N.R. Mahato // Concepts of Soft Computing. - Springer, Singapore, 2019. - С. 167-173.

86 Blais, A. An introduction to neural networks, [Электронный ресурс] / A. Blais / URL https://developer.ibm.com/articles/l-neural/ (дата обращения 10.05.2022)

87 Mehlig, B. Machine learning with neural networks / B. Mehlig // arXiv preprint arXiv:1901.05639. - 2019.

88 Cohen, M.A. Absolute stability of global pattern formation and parallel memory storage by compatitive neural networks. / M.A. Cohen, S.G. Grossberg // IEEE transactions on systems, man, and cybernetics. - 1983. - №. 5. - С. 815-826.

89 Нейронная сеть Хопфилда, [Электронный ресурс] / URL: https://vlab.fandom.com/ru/wiki/Нейронная сеть Хопфилда (дата обращения: 15.05.22)

90 Созыкин, А.В. Обзор методов обучения глубоких нейронных сетей / А.В. Созыкин Вестник Южно-Уральского государственного университета // Серия: Вычислительная математика и информатика. - 2017. - Т. 6. - №. 3. -С. 28-59.

91 Supervised vs. Unsupervised Learning: What's the Difference, [Электронный ресурс] / URL: https://www.ibm.com/cloud/blog/supervised-vs-unsupervised-learning (дата обращения 16.05.22).

92 A. 5 algorithms to train a neural network [Электронный ресурс] / URL: https://www.neuraldesigner.com/blog/5 algorithms to train a neural network (дата обращения 18.05.22).

93 Sebastian, R. An overview of gradient descent optimization algorithms / R. Sebastian // arXiv preprint arXiv: 1609.04747. - 2016.

94 Krizhevsky, A. Imagenet classification with deep convolutional neural networks / A. Krizhevsky, I. Sutskever, G.E. Hinton // Advances in neural information processing systems. - 2012. - Т. 25.

95 Laith, A. Review of deep learning: concepts, CNN architectures, challenges, applications / A. Laith A., Z. Jinglan, J. Amjad [et al.] // Journal of big Data. - 2021. - Т. 8. - №. 1. - С. 1-74.

96 Rikiya, Y. Convolutional neural networks: an overview and application in radiology / Y. Rikiya, N. Mizuho, K. Richard [et al.] // Insights into imaging. -2018. - Т. 9. - №. 4. - С. 611-629.

97 Kaiming, H. Georgia Gkioxari, Piotr Dollar, Ross Girshick. Mask R-CNN / Kaiming, H., Georgia G., Piotr D. [et al.] // Proceedings of the IEEE international conference on computer vision. - 2017. - С. 2961-2969.

98 Nwankpa, C. Activation Functions: Comparison of Trends in Practice and Research for Deep Learning / C. Nwankpa, W. Ijomah, A. Gachagan [et al.] // arXiv preprint arXiv:1811.03378. - 2018.

99 Витренко, Н. А., Обзор современных нейронных архитектур детектирования объектов на изображении / Н. А. Витренко, А. С. Смагин // Far East Math - 2021: Материалы национальной научной конференции, Хабаровск, 01-30 ноября 2021 года / Редакционная коллегия: Е.Г. Агапова (ответственный редактор) [и др.]. - Хабаровск: Тихоокеанский государственный университет, 2021. - С. 34-39. - EDN DWLBPB.

100 Ciresan, D.C. Neural Networks for Segmenting Neuronal Structures in EM Stacks / D.C. Ciresan, A. Giusti, L.M. Gambardella [et al.] // ISBI Segmentation Challenge Competition: Abstracts. - 2012.

101 Ronneberger O., Fischer P., Brox T. U-net: Convolutional networks for biomedical image segmentation // International Conference on Medical image computing and computer-assisted intervention. - Springer, Cham, 2015. - С. 234241.

102 Badrinarayanan, V. SegNet: A Deep Convolutional Encoder-Decoder Ar-chitecture for Image Segmentation / V. Badrinarayanan, A. Kendall, R. Cipolla // arXiv preprint arXiv:1511.02680. - 2015.

103 Смагин А. С. и др., Применение сверточных нейронных сетей для сегментации объектов на изображениях // Научно-техническое и экономическое сотрудничество стран АТР в XXI веке. - 2021. - Т. 2. - С. 308312. - EDN YQEEKX.

104 Рудой Г. И. Выбор функции активации при прогнозировании нейронными сетями //Машинное обучение и анализ данных. - 2011. - Т. 1. -№. 1. - С. 16-39.

105 Смагин, А. С. и др., Генерация маски изображения ограждающей конструкции с применением сверточной нейронной сети // Актуальные теоретико-методологические и прикладные проблемы виртуальной реальности и искусственного интеллекта: материалы Международной научной конференции, Хабаровск, 27-28 мая 2021 года / Хабаровск: Дальневосточный государственный университет путей сообщения, 2021. - С. 71-74. - EDN GOSJPK.

106 Свидетельство о государственной регистрации программы для ЭВМ № 2021668930 Российская Федерация. Программа для обнаружения объектов на изображениях: № 2021667915: заявл. 12.11.2021: опубл. 22.11.2021 / С. И. Смагин, А. С. Смагин, С. А. Орлов [и др.]; заявитель ФГБУН ХФИЦ ДВО РАН. - EDN NKKKJS.

107 Rezatofighi, H. Generalized Intersection over Union: A Metric and A Loss for Bounding Box Regression / H. Rezatofighi, N. Tsoi, J. Gwak [et al.] // Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. - 2019. - С. 658-666.

108 Смагин А. С. и др., Использование многопоточности при обучении сверточной нейронной сети на примере архитектуры power 8 // Far East Math - 2021: Материалы национальной научной конференции, Хабаровск, 01-30 ноября 2021 года / Редакционная коллегия: Е.Г. Агапова (ответственный редактор) [и др.]. - Хабаровск: Тихоокеанский государственный университет, 2021. - С. 52-58. - EDN DCHOXP.

109 Свидетельство о государственной регистрации программы для ЭВМ № 2021668602 Российская Федерация. Программа для оценки точности сегментации: № 2021667932: заявл. 12.11.2021: опубл. 18.11.2021 / С. И. Смагин, С. А. Орлов, Р. А. Секриеру [и др.]; заявитель ФГБУН ХФИЦ ДВО РАН. - EDN SLPNBN.

110 Smagin A. S., About semantic segmentation of meshed fencing constructions and searching breaks. // 2022 VIII International Conference on

Information Technology and Nanotechnology (ITNT), 2022, P. 1-5, doi: 10.1109/ITNT55410.2022.9848649.

111 Смагин А. С. и др., Применение сверточной нейронной сети для генерации маски изображения сетчатого ограждения // Информационные технологии и высокопроизводительные вычисления: Материалы VI Международной научно-практической конференции, Хабаровск, 14-16 сентября 2021 года / Редколлегия: Р.В. Намм (отв. редактор) [и др.]. -Хабаровск: Тихоокеанский государственный университет, 2021. - С. 233-238. - EDN TXKRTB.

112 Zhao H. et al. Loss functions for neural networks for image processing //arXiv preprint arXiv: 1511.08861. - 2015.

113 Liu, L. Learning effective binary descriptors via cross entropy / L. Liu, H. Qi // 2017 IEEE winter conference on applications of computer vision (WACV). - IEEE, 2017. - С. 1251-1258.

114 Marshall A. W., Olkin I. A family of bivariate distributions generated by the bivariate Bernoulli distribution //Journal of the American Statistical Association. - 1985. - Т. 80. - №. 390. - С. 332-338.

115 https://dev.to/_aadidev/3-common-loss-functions-for-image-segmentation-

545o#:~:text=In%20this%20blog%20post%2C%20I,and%20the%20Shape-Aware%20Loss

116 Milletari F.A. V-net: Fully convolutional neural networks for volumetric medical image segmentation / F. Milletari, N. Navab, S.A. Ahmadi // 2016 fourth international conference on 3D vision (3DV). - IEEE, 2016. - С. 565-571.

117 Lin, T.Y. Focal Loss for Dense Object Detection / Lin T.Y., P. Goyal, R. Girshick // Proceedings of the IEEE international conference on computer vision. - 2017. - С. 2980-2988.

118 Kervadec, H. Boundary loss for highly unbalanced segmentation / H. Kervadec, J. Bouchtiba, C. Desrosiers [et al.] // International conference on medical imaging with deep learning. - PMLR, 2019. - С. 285-296.

119 Shamir R. R. et al. Continuous dice coefficient: a method for evaluating probabilistic segmentations //arXiv preprint arXiv: 1906.11031. - 2019.

120 Кох Л. Ф. Индекс биологической дисперсности // Самарская Лука: проблемы региональной и глобальной экологии. - 2013. - Т. 22. - №. 2. - С. 181-188.

121 Salehi, S. S. M. Tversky loss function for image segmentation using 3D fully convolutional deep networks / S.S.M. Salehi, D. Erdogmus, A. Gholipour // International workshop on machine learning in medical imaging. - Springer, Cham, 2017. - С. 379-387.

122 Свидетельство о государственной регистрации программы для ЭВМ № 2021667839 Российская Федерация. Программа для выделения объектов на подводных изображениях: № 2021666973: заявл. 27.10.2021: опубл. 03.11.2021 / С. И. Смагин, А. С. Смагин; заявитель ФГБУН ХФИЦ ДВО РАН. - EDN NTMLIK.

123 Смагин А. С. и др., Структура искусственной сверточной нейронной сети для работы с изображениями // Информационные технологии и высокопроизводительные вычисления: Материалы VI Международной научно-практической конференции, Хабаровск, 14-16 сентября 2021 года / Редколлегия: Р.В. Намм (отв. редактор) [и др.]. - Хабаровск: Тихоокеанский государственный университет, 2021. - С. 227-232. - EDN FFETWI.

124 Iandola F. N. et al. SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and< 0.5 MB model size // arXiv preprint arXiv: 1602.07360. - 2016.

125 Бахов Т. Б., Погарцев К. М. Изучение влияния гиперпараметров на качество работы сети RESNET // Состояние и перспективы развития современной науки по направлению «Техническое зрение и распознавание образов». - 2021. - С. 71-75.

126 Fathi A. et al. Semantic instance segmentation via deep metric learning //arXiv preprint arXiv: 1703.10277. - 2017.

127 Rosebrock A. Intersection over Union (IoU) for object detection //Diambil kembali dari PYImageSearch https//www. pyimagesearch. com/2016/11/07/intersection-over-union-iou-for-object-detection. - 2016.

128 Papandreou G. et al. Weakly-and semi-supervised learning of a deep convolutional network for semantic image segmentation //Proceedings of the IEEE international conference on computer vision. - 2015. - С. 1742-1750.

129 Bradski G. The openCV library //Dr. Dobb's Journal: Software Tools for the Professional Programmer. - 2000. - Т. 25. - №. 11. - С. 120-123.

130 Смагин А. С. Об алгоритмах компьютерного зрения для поиска порывов в сетчатых ограждающих конструкциях / Дубровин К.Н. // Информационные технологии и высокопроизводительные вычисления: материалы V Международной научно-практической конференции, Хабаровск, 16-19 сентября 2019 года / Ответственный за выпуск: А.Л. Верхотуров. - Хабаровск: Тихоокеанский государственный университет, 2019. - С. 42-47. - EDN BELOAI.

131 Свидетельство о государственной регистрации программы для ЭВМ № 2021667673 Российская Федерация. Программа для определения целостности и загрязненности сетчатого ограждения подводных ферм: № 2021666914: заявл. 27.10.2021: опубл. 01.11.2021 / С. И. Смагин, А. С. Смагин; заявитель ФГБУН ХФИЦ ДВО РАН. - EDN WCHNOH.

132 Lin T. X., Tao Q., Zhang F. Planning for Fish Net Inspection with an Autonomous OSV // 2020 International Conference on System Science and Engineering (ICSSE). - IEEE, 2020. - С. 1-5.

133 Paspalakis S. et al. Automated fish cage net inspection using image processing techniques // IET Image Processing. - 2020. - Т. 14. - №. 10. - С. 2028-2034.

Приложение А

Свидетельства о регистрации программ для ЭВМ

Приложение Б

Акты о внедрении результатов диссертационного исследования

УТВЕРЖДАЮ

директор ООО «ИКРА» ожевников Ю.А.

«15» сентября 2022 г.

Акт

о внедрении результатов диссертации Смагина Алексея Сергеевича, представленной на сосискание ученой степени кандидата технических наук по специальности 2.3.1 «Системный анализ и обработка информации (технические науки)»

Настоящий акт подтверждает, что результаты диссертационного исследования Смагина А.С. на тему: «Алгоритмы компьютерного зрения для оценки состояния подводных сетчатых ограждений» внедрены и используются в ООО «ИКРА» для поддержки и развития создающихся на его базе специализированных систем компьютерного зрения для дистанционного мониторинга состояния рыбоводных садков.

Были использованы следующие научный разаработки, полученные соискателем:

□ модель глубокого обучения для создания маски сетчатого ограждения;

□ алгоритм компьютерного зрения для поиска повреждений сетчатого ограждения.

Это позволило автоматизировать процесс мониторинга, повысить оперативность устранения повреждений и сократить ежемесячные издержки.

директор ООО "ИКРА" Кожевников Ю.А.