Нейросетевой метод идентификации морских объектов по гидроакустическим шумам тема диссертации и автореферата по ВАК РФ 05.08.06, кандидат наук Кузин Денис Александрович

• Кузин Денис Александрович
• кандидат наук
• 2022

Оглавление диссертации кандидат наук Кузин Денис Александрович

Оглавление

Введение

1 Обзор по состоянию вопроса

1.1 Признаки гидроакустических сигналов, методы их обнаружения и классификации

1.2 Распознавание гидроакустических сигналов с помощью классических методов машинного обучения

1.3 Распознавание гидроакустических сигналов на основе глубокого обучения

1.4 Постановка задач диссертации

2 База данных гидроакустических шумов

3 Анализ эффективности распознавания объектов в зависимости от используемых признаков акустических сигналов во временной и частотной областях

3.1 Метрики для оценки точности предсказания моделей

3.2 Мел-частотные кепстральные коэффициенты (MFCC)

3.3 Гамматон частотные кепстральные коэффициенты (GFCC)

3.4 Хромаграмма

3.5 Спектральный центроид

3.6 Ширина полосы частот

3.7 Постоянное Q преобразование

4 Сравнительный анализ эффективности мел-частотных кепстральных коэффициентов с гамматон кепстральными коэффициентами (в совокупности с комбинацией других признаков)

5 Аппробация алгоритма классификации на зашумленных гидроакустических сигналах

Заключение

Список литературы

Приложение А

Приложение Б

Приложение В

Приложение Г

Приложение Д

Введение диссертации (часть автореферата) на тему «Нейросетевой метод идентификации морских объектов по гидроакустическим шумам»

ВВЕДЕНИЕ

Актуальность темы. В современном мире с активным развитием вычислительных мощностей компьютеров и портативных устройств возникает необходимость применения нейронных сетей и методов машинного обучения.

Машинное обучение представляет собой широкое семейство статистических методов для автоматического обнаружения шаблонов (паттернов) в данных и их дальнейшего использования. При наличии достаточного объема обучающих данных алгоритмы машинного обучения могут обнаруживать сложные взаимосвязи между признаками, особенностями сигналов и классами, к которым можно сигналы отнести. Кроме того, машинное обучение может обнаруживать связи между самими признаками сигналов. Используя большие объемы данных, машинное обучения может обнаруживать модели, которые описывают сложные акустические явления, например, шумы морских объектов, речь, музыка. Методы машинного обучения в области исследований процессов, происходящих в океане, быстро развиваются и имеют большие перспективы, благодаря продолжающемуся накоплению данных и развитию вычислительной техники.

Акустические данные применяются в широком диапазоне областей: локализация и распознавание источников звука в океане, распознавание эмоций по человеческой речи, вокализация животных, шумовое загрязнение городов и многие другие. Во всех этих областях анализ данных усложняется рядом проблем: повреждение данных, отсутствие достаточного объема данных, реверберация и многолучевость при распространении звука.

В смежных с гидроакустикой областях имеются значительные достижения, связанные с применением методов машинного обучения, которые являются перспективными и могут быть в дальнейшем внедрены в гидроакустику. Например, определение материала на основе характеристики

отраженной от объекта акустической волны, распознавание непрерывной речи с большим словарным запасом, идентификация личности по акустическим особенностям голоса, определение патологий по шумам сердца.

Количество морских судов растет ежегодно и представлено широким спектром классов: от частных катеров и моторных лодок, которые в основном используются в прибрежных районах, до коммерческих грузовых кораблей и пассажирских лайнеров. В связи с этим регистрируется увеличение подводного шума (особенно в диапазоне низких частот 10-100 Гц) по всему мировому океану. Разработка технологии автоматической идентификации судов в океане является важной задачей как для коммерческих, так и для военных целей.

Классификация подводных акустических сигналов и шумов активно развивается в настоящее время и интересует исследователей из-за широкого спектра возможностей ее применения: обнаружение и определение типа морских судов, оценка влияния шумов прибрежных городов и портов на окружающию среду, предсказание возможных природных катаклизмов, классификация подводной флоры и фауны.

В настоящее время успешно применяются системы принятия решения, основанные на анализе большого объема данных. В работе рассматривается алгоритмы обработки гидроакустических шумов для вычисления особенностей и закономерностей, присущих какому-либо классу биологического или техногенного шума, а также применение методов машинного обучения и нейронных сетей для анализа большого объема акустических данных, полученных с гидроакустического приемника или набора датчиков, собранных в сенсорную сеть и располагающихся в акватории, подлежащей охране.

Объект исследования. Акустические шумы подводных и надводных объектов и их спектральные характеристики.

Предмет исследования. Методы машинного обучения, алгоритмы предварительной обработки звукового сигнала, алгоритмы вычисления

признаков гидроакустического шума по спектральной характеристике, математические соотношения расчета точности работы моделей.

Основной целью работы является разработка нейросетевого алгоритма для распознавания и классификации гидроакустических шумов техногенного и биологического происхождения.

Для достижения указанной цели в научной работе были решены следующие задачи:

- Разработан алгоритм, позволяющий повысить точность и скорость классификации гидроакустических шумов за счет использования значимых спектральных признаков;

- разработаны алгоритмические решения обработки шумовых сигналов, полученных гидроакустическим приемником для извлечения спектральных и кепстральных признаков;

- реализован программный комплекс, осуществляющий нейросетевое обнаружение и распознавание гидроакустических шумов в режиме реального времени;

- сформирована база данных гидроакустических шумов техногенного и биологического происхождения, позволяющая обучать и тестировать модели машинного обучения и нейронные сети для решения задач классификации гидроакустических объектов по шумам;

- проведена серия натурных экспериментов, подтверждающих положения диссертационной работы.

Обоснованность и достоверность результатов исследования.

Достоверность результатов достигается благодаря использованию математического аппарата теории цифровой обработки сигналов и статистической теории машинного обучения. Научные рекомендации, выводы и положения обоснованы аналитически с помощью математических доказательств, а также экспериментально с помощью анализа собранной базы акустических шумов разработанным программным алгоритмом. При проведении экспериментов применялось современное измерительное

оборудование, прошедшее поверку. Своевременно выполнялся контроль и анализ погрешностей, а также технических параметров используемого экспериментального оборудования.

Научная новизна исследований заключается:

- в новой комбинации признаков гидроакустических шумов;

- в алгоритме вычисления признаков шумов, поступающих с гидроакустического приемника в режиме реального времени и их компактном представлении;

- в адаптивном нейросетевом алгоритме бинарной и многоклассовой классификации гидроакустических шумов биологического и техногенного происхождения.

Теоретическая и практическая значимость исследования состоит в повышении точности классификации гидроакустических объектов по спектральным признакам их шумов и увеличении скорости принятия решения о классе объекта.

Даны рекомендации по оптимизации процесса предварительной обработки звукового сигнала, по оптимизации процесса обучения разработанных моделей машинного обучения и нейронных сетей, по выбору спектральных характеристик для обучения моделей машинного обучения и нейронных сетей, по методологии оценки работы машинного обучения и нейронных сетей при решении задач бинарной классификации.

Реализован адаптивный алгоритм, позволяющий работать с базой данных гидроакустических шумов любого размера, а также осуществляющий классификацию отдельно записанного гидроакустического шума.

Собрана база данных гидроакустических шумов биологического и техногенного происхождения, благодаря которой возможно обучать и тестировать различные модели машинного обучения, проводить их комплексную оценку и анализ, выявлять их сильные и слабые стороны.

Работа рассматриваемых моделей машинного обучения и нейронных сетей была протестирована в серии натурных экспериментов в акваториях залива Петра Великого.

Использование результатов исследований

- Работа поддержана Российским фондом фундаментальных исследований в рамках договора N°19-37-90084\19 от 24.08.2018 (код конкурса «Аспиранты 2019») «Разработка фундаментальных подходов к распознаванию гидроакустических сигналов с помощью методов машинного обучения».

- Работа поддержана грантом Американского акустического общества (ASA CIRE) «Development of fundamental approaches to the recognition of hydroacoustic signals using machine learning methods» в 2019 г.

Апробация. Основные результаты диссертации докладывались и представлялись в материалах следующих конференций: международная мультидисциплинарная конференция по промышленному инжинирингу и современным технологиям «FarEastCon», г. Владивосток, 2019, 2020 гг; XVI школа-семинар им. акад. Л.М.Бреховских "Акустика океана", совмещенная с XXXI сессией Российского Акустического Общества, г. Санкт-Петербург,

2018 г.; вторая всероссийская молодежная научная конференция «Радиоэлектроника. Проблемы и перспективы развития», г. Тамбов, 2017 г.; VII Всероссийская научно-практическая конференция с международным участием «Защита от повышенного шума и вибрации», г. Санкт-Петербург,

2019 г.; II всероссийская национальная научная конференция студентов, аспирантов и молодых ученых «Молодежь и наука: актуальные проблемы фундаментальных и прикладных исследований», г. Комсомольск-на-Амуре, 2019 г.; международная конференция OCEANS (OTO (OCEANS / Techno-Ocean)), г. Кобе (Япония), 2018 г.; международная Евразийская конференция IoT, Инфокоммуникаций и технологий (Eurasia Conference on IOT, Communication and Engineering), Юньлинь (Тайвань), 2019 г., а также на научных семинарах Департамента электроники, телекоммуникации и приборостроения Политехнического института (Школы) ДВФУ.

Публикации. По результатам исследований опубликовано 3 статьи из перечня ВАК и 5 статей в журналах, индексируемых БД Scopus и Web of Science. Результаты работы были апробированы в рамках 10 всероссийских и международных конференций.

Структура и объем диссертации. Научная работа состоит из введения, пяти глав, заключения, списка литературы из 123 наименований и приложений, содержащих реализацию алгоритмов на языке программирования Python. Объем диссертации без приложений - 126 страниц, в том числе 60 рисунков и 16 таблиц.

Личный вклад автора состоит в решении поставленной задачи; оценке возможности применения нейросетевых алгоритмов и моделей машинного обучения для классификации гидроакустических шумов; реализации алгоритмов вычисления набора признаков гидроакустических шумов; сравнении достоверности классификации гидроакустических шумов различными методами машинного обучения в зависимости от используемых признаков; записи гидроакустических шумов различного происхождения и их маркировка соответствующим классом с целью формирования базы данных гидроакустических шумов; апробации разработанного алгоритма на новых гидроакустических шумах.

1 ОБЗОР ПО СОСТОЯНИЮ ВОПРОСА

1.1 Признаки гидроакустических сигналов, методы их обнаружения и

классификации

В главе представлены методы машинного обучения, включая методы глубокого обучения, используемые в области акустики и гидроакустики. Машинное обучение представляет собой широкое семейство статистических методов для автоматического обнаружения шаблонов (паттернов) в данных и их дальнейшего использования [43]. При наличии достаточного объема обучающих данных алгоритмы машинного обучения могут обнаруживать сложные взаимосвязи между признаками, особенностями сигналов и классами, к которым можно сигналы отнести [40, 62]. Кроме того, машинное обучение может обнаруживать связи между самими признаками сигналов. Используя большие объемы обучающих данных, машинное обучения может обнаруживать модели, которые описывают сложные акустические явления, например, человеческая речь. Методы машинного обучения в области исследований процессов, происходящих в океане, быстро развиваются и имеют большие перспективы, благодаря продолжающемуся накоплению данных и развитию вычислительной техники.

Методы машинного обучения позволили добиться прогресса в области автоматизированной обработки данных [81, 102, 112]. Широкое распространение получила возможность распознавания образов в различных областях: машинное зрение позволяет определить объект, находящийся перед автомобилем или устройством [53, 84, 87, 98]; обработка изображений позволяет обнаружить и классифицировать объекты на фотографиях [26, 49, 50]; обработка речевых сигналов помогает отличить голос взрослого человека от голоса ребенка [34, 91]; обработка изображений с морского дна позволяет точно идентифицировать объекты подводного мира - рыб, кораллы, планктон, водоросли и т.д. [31, 32, 78].

Акустические данные применяются в широком диапазоне областей: локализация и распознавание источников звука в океане, распознавание эмоций по человеческой речи, вокализация животных, шумовое загрязнение городов и многие другие. Во всех этих областях анализ данных усложняется рядом проблем: повреждение данных, отсутствие достаточного объема данных, реверберация и многолучевость при распространении звука [11, 19, 38].

В смежных с гидроакустикой областях имеются значительные достижения, связанные с применением методов машинного обучения, которые являются перспективными и могут быть в дальнейшем внедрены в гидроакустику.

Количество морских судов растет ежегодно и представлено широким спектром классов: от частных катеров и моторных лодок, которые в основном используются в прибрежных районах, до коммерческих грузовых кораблей и пассажирских лайнеров [18, 27]. В связи с этим регистрируется увеличение подводного шума (особенно в диапазоне низких частот 10-100 Гц) по всему мировому океану.

Распознавание цели - это метод определения типа цели посредством анализа подводного акустического сигнала. Аппаратной основой для подводного акустического распознавания является гидроакустическая аппаратура, которая с помощью акустических антенн преобразует подводную акустическую волну в цифровой сигнал. Далее с помощью различных методов цифровой обработки сигналов можно получить информацию о цели. Ключевыми этапами алгоритма распознавания цели является выделение признаков и классификация. Извлечение признаков - это процесс получения признаков сигнала, записанного приемной антенной. Используемые в настоящее время алгоритмы включают традиционный анализ в частотно-временной области и анализ на основе слухового восприятия. Алгоритм распознавания образов заключается в разделении сигналов на определенные классы в соответствии с их признаками.

Разработка технологии автоматической идентификации судов в океане является важной задачей как для коммерческих, так и для военных целей. Шумы кораблей, могут быть проанализированы и классифицированы. Отнести судно к одному из классов позволяет шум, излучаемый движущимися частями (вал, гребные винты), а также шум двигателя. Этот шум достаточно точно коррелирует с меткой класса судна.

Задача классификации гидроакустических шумов кораблей является актуальной и сложной. Акустический шум, производимый движущимися объектами, изменяется при прохождении через неоднородную среду. Это связано с тем, что океан представляет собой сложную акустическую среду [1, 3, 4]. Неоднородность морской среды в сочетании с временной дисперсией, изменяющейся во времени природой канала и фоновым шумов вызывает изменение принимаемого спектра акустического сигнала [12, 21]. Шум морского судна может изменяться и в пределах одного и того же класса из-за различных режимов работы двигателя. В прибрежных водах искажения, присутствующие в гидроакустическом канале больше влияют на распространяемый сигнал, чем в глубокой воде [20, 24]. На мелководье трудно отличить источник шума, находящийся на поверхности (грузовое судно, моторная лодка, пассажирское судно) от источника шума, находящегося под водой (подводный аппарат или подводная лодка) [67].

Важным аспектом решении задачи классификации гидроакустических шумов является выбор и разработка «эффективных» признаков, которые можно извлечь из шумов. Эффективность связана со степенью уникальности признака, присущего определенному классу, вне зависимости от изменения состояния окружающей среды. Существует множество работ, связанных с изучением и выбором признаков гидроакустических шумов, основанных на их спектральных характеристиках [2, 32, 75].

Классификация гидроакустических шумов является сложной задачей из-за высокого фонового шума, присутствующего в подводной среде, а также из-за сложных моделей распространения звука в морской среде. В последние

несколько лет некоторые исследователи занимались сбором и классификацией акустических шумов, но собранные ими данные не являются общедоступными, в отличие от акустических данных, используемых в других сферах (звуки птиц, шумы городов, и т.д.) Таким образом, существует еще одна задача, которую необходимо решить - накопление данных и их маркировка.

В настоящее время растет количество датчиков, которые помогают собирать и накапливать данные различной природы [7]. Применяя сенсорную сеть состоящую из гидроакустических антенн можно накапливать достаточный объем шумов биологического и техногенного происхождения [35, 59] для обучения и тестирования моделей машинного обучения.

Известно и широко используется на практике классический метод классификации морских судов по амплитудной модуляции подводного шумоизлучения. [23, 25, 33]. Тип судна, водоизмещения, тип движителя, количество гребных валов, количество лопастей гребного винта, скорость хода, изменение скорости движения или изменение курса - определяются на основе анализа параметров амплитудной модуляции. Подводные шумы морских судов подвержены двум видам модуляции: вально-лопастной модуляции (ВЛМ), обусловленной кавитацией, возникающей на гребном винте при его вращении на большой скорости, что характерно для быстродвижущихся объектов (надводных кораблей и судов, торпед), и модуляции качкой (МК), обусловленной качкой судна на волнении и, как следствие, периодическим изменением погруженной в воду части судна. Исследуется синтез алгоритма, который устанавливает только факт наличия или отсутствия АМ, т.е. позволяет отличить малошумные цели движущиеся в докавитационном режиме работы движителей, от сильношумящих целей, у которых имеет место кавитация на гребном винте [5, 14, 22]. Исследователи относят к классу «малошумящая цель» подводную лодку, а к классу «сильношумящая цель» - надводный корабль.

Вально-лопастная модуляция возникает вследствие работы гребного вала и гребного винта морского судна. При этом от скорости их вращения существенно зависит коэффициент модуляции. При малой (докавитационной) скорости вращения коэффициент модуляции достаточно мал и, как правило, не позволяет обнаруживать вально-лопастную модуляцию в излучаемых судами шумах при низком отношении сигнал/помеха. Коэффициент модуляции начинает резко расти со скорости, когда на гребном винте появляется кавитация. Эта скорость вращения вала называется критической скоростью вращения [16].

Частота вращения гребного вала (вальная частота) и частота, равная произведению частоты вращения вала и числа лопастей гребного винта (лопастная частота) являются дискретными и на их основе осуществляется модуляция шума. Таким образом, данный вид модуляции называется вально-лопастной модуляцией. У морских судов вальные частоты лежат в интервале 2-6 Гц, а лопастные 6-24 Гц [16].

Информация о классе цели содержится в факте наличия/отсутствия амплитудной модуляции принимаемого шума, а также в параметрах амплитудной модуляции, если установлено ее наличие. Параметрами амплитудной модуляции являются: количество дискретных составляющих в спектре амплитудной огибающей шума цели и их частоты, в случае вально-лопастной модуляции образующие звукоряд [22].

Классификация подводных акустических сигналов и шумов активно развивается в настоящее время и интересует исследователей из-за широкого спектра возможностей ее применения: обнаружение и определение типа морских судов, оценка влияния шумов прибрежных городов и портов на окружающию среду [30], предсказание возможных природных катаклизмов [13, 29, 52], классификация подводной флоры и фауны [6, 15, 76]. Запись и сбор базы данных гидроакустических шумов является одной из важных задач, которую необходимо решить. В настоящее время в общем доступе нет большого набора данных, которые можно использовать для исследований.

Существует множество ресурсов, предоставляющих доступ к базам данных акустических записей в других сферах, но не к базам данных гидроакустических шумов. Это связано со сложностью получения этих записей из-за большого уровня фонового шума, особенностей распространения звука под водой, а также со стоимостью гидроакустического оборудования. Кроме того, существуют записи, полученные военно-морским флотом, которые запрещены к открытой публикации.

В последние несколько лет наряду с классическими методами классификации [21-23], применяются и методы классификации, основанные на методах машинного обучения. Несмотря на большое число научных исследований в данной области, не удается достичь высокой точности классификации из-за малого объема накопленных данных. Методы машинного обучения основаны на данных, что означает следующее: чем выше объем обучающих данных, тем выше возможная точность классификации.

В качестве признаков гидроакустических шумов исследователи предлагают использовать амплитудную модуляцию, мел-частотные кепстральные коэффициенты (MFCC), мел-спектрограммы, вейвлет-пакеты, частотные кепстральные коэффициенты гамматона (GFCC), constant Q transform (CQT) и целый спектр. При этом сравнение может производиться как на основе признаков, вычисленных и сравниваемых в виде чисел, так на основе признаков, выраженных в виде графиков и спектров. Второй вариант является актуальным, поскольку на текущее время алгоритмы машинного обучения и нейронные сети очень хорошо работают с визуальными данными [97, 108, 121, 123].

Несмотря на активное развитие и большие успехи методов глубокого обучения, в научной литературе приводятся примеры применения классических методов, основанных на машинном обучении (логистическая регрессия, дерево решений, случайный лес). В исследованиях, применяющих классические методы машинного обучения, извлечение признаков и классификатор разрабатываются отдельно [47, 65, 106]. Это означает, что

полученные признаки не могут использоваться в том виде, в котором они представлены изначально для широкого диапазона классификаторов. Кроме того, классические модели машинного обучения хорошо работают с базами данных небольших размеров и не могут обеспечить высокой точности для баз данных большего размера, включающих признаки разнообразной природы (разнообразное пространство признаков). Большинство методов, которые основаны на глубоком обучении используют частотно-временные признаки гидроакустических шумов для решения задачи классификации [46, 92]. Применяя такие методы, исследователи часто используют лишь один из известных признаков, а не комбинацию признаков. Использование набора значимых признаков, позволит достичь большей точности классификации.

Самая большая открытая база данных гидроакустических шумов различных кораблей называется ShipsEar и собрана Университетом Виго [88]. Она включает в себя записи различных классов судов с привязкой к их местоположению, температуре воздуха, воды, влажности, а также скорости их движения.

Методы машинного обучения, используемые исследователями в настоящее время для классификации гидроакустических шумов, можно разделить на два класса: классические методы машинного обучения и методы глубокого обучения. В научной литературе встречаются примеры применения обоих подходов.

Распространенное для решения задач распознавания речевых образов кодирование с линейным предсказанием используется для вычисления признаков отраженного сигнала. При этом решении о классификации принимается нейронной сетью с обратным распространением [42]. В данном исследовании частотные спектры акустических сигналов раскладываются на поддиапазоны, содержащие полезную информацию об источнике сигнала. Разложение производится с помощью схемы на основе вейвлет-пакетов [9, 36]. Данная схема позволяет добиться оптимального разложения спектра сигнала на составляющие, аналогично схеме работы биологических слуховых

аппаратов. В работе М. Азими-Саджади математически моделируется слуховой аппарат летучих мышей. Далее к полученным спектрам в каждом поддиапазоне применяется широко используемое в задачах распознавания речи кодирование с линейным предсказания ^РС/КЛП) для извлечения признаков, которые в дальнейшем будут использоваться классификатором.

Кодирование с линейным предсказанием предполагает представление сигнала в виде отклика фильтра с переменными параметрами на сигнал возбуждения. Передаточная функция имеет следующий вид:

= , V? , (1)

1-£#=1 а! #

где G - коэффициент усиления сигнала возбуждения, ак - коэффициенты линейного предсказания.

Для расчета коэффициентов линейного предсказания сначала определяются первые р+1 элементов автокорреляционной последовательности для заданного окна входного сигнала:

= -

'=1

(2)

где i = 0...р,

N - отсчеты сигнала S(n), где п=1.К

С помощью вспомогательных коэффициентов отражения и коэффициентов частотной корреляции определяются коэффициенты линейного предсказания. Коэффициент отражения представлен в следующем

виде /к- |, где 1-1 - порядок фильтра. Коэффициент частотной корреляции представлен в следующем виде /а'-1 где i-1 - порядок фильтра.

Вычисление КЛП первого порядка производится в три этапа. Первый -вычисление нового набора коэффициентов отражения:

к® = к/-1), (3)

где j=1...i-1,

, (&) _ (г& _ £'=1а' %г&~]} к& _ Е&-1 ■

На втором этапе определяется значение энергии остатка предсказания по формуле:

Список литературы диссертационного исследования кандидат наук Кузин Денис Александрович, 2022 год

СПИСОК ЛИТЕРАТУРЫ

1. Акуличев В. А., Буланов В. А. Исследования неоднородностей морской среды методами акустического зондирования //Дальневосточные моря России. - 2007. - С. 129-231.

2. Афанасьев А. Н., Знаменская Т. К. Способ классификации гидроакустических сигналов шумоизлучения морского объекта. - 2015.

3. Буланов В. А. и др. Исследования рассеяния и затухания звука, акустической нелинейности и кавитационной прочности морской воды в приповерхностном слое моря //Подводные исследования и робототехника. -2016. - №. 2. - С. 56-66.

4. Буланов В. А., Стороженко А. В. ОСОБЕННОСТИ РАССЕЯНИЯ ЗВУКА И СТРУКТУРА МИКРОНЕОДНОРОДНОСТЕЙ В МЕЛКОМ МОРЕ //Технические проблемы освоения Мирового океана. - 2013. - Т. 5. - С. 299303.

5. Гавриков М. М., Мезенцева А. Ю. Алгоритмы идентификации основания вально-лопастного ряда гидроакустических сигналов шумоизлучения //Известия высших учебных заведений. Северо-Кавказский регион. Технические науки. - 2014. - №. 5 (180). - С. 3-7.

6. Градов О. В. Новейшие биоакустические методы для исследования морской фауны //Биомедицинская инженерия и электроника. -2016. - №. 1 (12). - С. 22-41.

7. Жебровский С. И., Кузин Д. А., Стрельцова М. М. ОБзор проблем и перспектив развития геоинформационных систем в эпоху всеобъемлющего интернета //Современные наукоемкие технологии. - 2018. - №. 12-1. - С. 237241.

8. Зо Хеин Мин, Довгаль В.М., Кудинов В.А. Построение системы распознавания речевых сигналов // Экономика. Информатика. 2019. №2. URL:

https://cyberleninka.ru/article/n/postroenie-sistemy-raspoznavaniya-rechevyh-signalov (дата обращения: 13.12.2021)

9. Зубаков А. П. Фурье и вейвлет-преобразования в проблеме распознавания речи //Вестник российских университетов. Математика. - 2010.

- Т. 15. - №. 6. - С. 1893-1899.

10. Йонушаускайте Р. С., Семенов Н. Н. Использование глубоких нейронных сетей и метода опорных векторов для классификации подводных объектов //Труды всероссийской конференции" Прикладные технологии гидроакустики и гидрофизики". - Федеральное государственное бюджетное учреждение науки Институт океанологии им. ПП Ширшова Российской академии наук, 2016. - №. 13. - С. 370-373.

11. Казначеев И. В. и др. Интерферометрический метод обнаружения движущегося источника звука векторно-скалярным приемником //Акустический журнал. - 2018. - Т. 64. - №. 1. - С. 33-45.

12. Кириченко И. А., Пивнев П. П., Старченко И. Б. К вопросу об обеспечении безопасности передачи данных по волноводному каналу в морской среде с дисперсией //Известия Южного федерального университета. Те

13. КИСЛОВ К. В., ГРАВИРОВ В. В. Глубокие искусственные нейронные сети как инструмент анализа сейсмических данных //Сейсмические приборы. - 2017. - Т. 53. - №. 1. - С. 17-28.

14. Колмогоров В. С. и др. О возможности выявления вально-лопастного звукоряда шумоизлучения подводного аппарата в условиях повышенного уровня шумов моря //Технические проблемы освоения Мирового океана. - 2015. - Т. 6. - С. 294-298.

15. Костромин Н. С., Сивова А. Н. Применение методов машинного обучения для решения экологических задач //Modern science. - 2019. - №. 5-3.

- с. 144-148.

16. Кудрявцев А. А., Лугинец К. П., Машошин А. И. Об амплитудной модуляции подводного шума морских судов //Акустический журнал. - 2003. -Т. 49. - №. 2. - С. 224-228

17. Кузин Д. А. и др. Применение методов машинного обучения для классификации акустических сигналов по спектральным характеристикам //Известия СПбГЭТУ ЛЭТИ. - 2021. - №. 3. - С. 48-54

18. Ларченко Л. В. и др. Может ли Северный морской путь стать конкурентоспособным международным транзитным путем //Инновации. -2018. - №. 10 (240). - С. 63-67.

19. Малышкин Г. С., Сидельников Г. Б. Оптимальные и адаптивные методы обработки гидроакустических сигналов (обзор) //Акустический журнал. - 2014. - Т. 60. - №. 5. - С. 526-526.

20. Мальцев Ю. В., Минаев Д. Д. Экспериментальные исследования статистических характеристик параметров акустических сигналов в мелководных районах с применением волноводных антенн бегущей волны //Проблемы и методы разработки и эксплуатации вооружения и военной техники ВМФ. - 2001. - №. 32. - С. 91-100.

21. Машошин А. И., Курышев И. В. Подход к повышению эффективности классификации шумящих целей в условиях интенсивных распределенных и локальных помех //Прикладные технологии гидроакустики и гидрофизики. - 2014. - С. 396-398.

22. Машошин А. И., Шафранюк Ю. В. Синтез алгоритма автоматической классификации целей на основе анализа амплитудной модуляции их шумов //Фундаментальная и прикладная гидрофизика. - 2014. -Т. 7. - №. 4. - С. 78

23. Машошин А.И. Оптимизация устройства обнаружения и измерения параметров амплитудной модуляции подводного шумоизлучения морских судов // Акуст. журн. 2013. Т.59. №3. С.347-353.

24. Минаев Д. Д. и др. Результаты экспериментальных исследований характеристик цифрового гидроакустического канала передачи информации в

мелководном районе при наличии ледового покрова //Подводные исследования и робототехника. - 2013. - №. 2. - С. 56-64.

25. Мироненко М. В., Василенко А. М., Пятакович В. А. Дальний параметрический прием и классификация морских целей //Морской сборник.

- 2017. - №. 11. - С. 72-75.

26. Михалевич Ю. С., Ткаченко В. В. Использование сверточных нейронных сетей для распознавания автомобильных номеров. Преимущества и недостатки по сравнению с шаблонным методом //Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета. - 2016. - №. 120. - С. 1706-1715.

27. Никитин В. С. и др. Развитие морской деятельности в российской Арктике //Арктика: экология и экономика. - 2015. - №. 2. - С. 18.

28. Пеховский Т. С., Сизов А. Ю. Сравнение различных смесей гауссовых PLDA-моделей в задаче текстонезависимого распознавания диктора //Известия высших учебных заведений. Приборостроение. - 2013. - Т. 56. - №. 2

29. Полунина П. А., Шапиро Н. М. ДЕТЕКТИРОВАНИЕ И КЛАССИФИКАЦИЯ ВУЛКАНИЧЕСКИХ ЗЕМЛЕТРЯСЕНИИ ПРИ ПОМОЩИ МЕТОДОВ МАШИННОГО ОБУЧЕНИЯ //Научная конференция молодых ученых и аспирантов ИФЗ РАН. - 2019. - С. 68-68.

30. Проскуряков А. Ю., Белов А. А., Кропотов Ю. А. Алгоритмы автоматизированных систем экологического мониторинга промышленных производств. - Directmedia, 2016.

31. Пятакович В. А., Василенко А. М. Технологии нейронных сетей в решении задач идентификации объектов системой мониторинга при обеспечении защиты Национальных интересов России в Мировом океане //Материалы конференций ГНИИ" НАЦРАЗВИТИЕ". Сентябрь 2017. - 2017.

- С. 150-173.

32. Пятакович В. А., Василенко А. М., Пятакович Н. В. Математическая модель распознавания и классификации морского объекта,

реализующая аппарат нечетких множеств //Вестник евразийской науки. -2017. - Т. 9. - №. 1 (38). - С. 49.

33. Римская-Корсакова Л. К., Шкодина А. П. Изучение свойств слухового восприятия сложных шумовых сигналов в интересах совершенствования средств субъективной классификации //Труды всероссийской конференции" Прикладные технологии гидроакустики и гидрофизики". - Федеральное государственное бюджетное учреждение науки Институт океанологии им. ПП Ширшова Российской академии наук, 2016. -№. 13. - С. 393-395.

34. Родькина О. Я., Никольская В. А. К проблеме распознавания психоэмоционального состояния человека по речи с использованием автоматизированных систем // Информационные технологии. 2016. № 10(22). С. 728-733.

35. Степаненко К. А., Родионов А. Ю. ИССЛЕДОВАНИЕ ОРГАНИЗАЦИИ РАДИОКАНАЛА ДЛЯ СБОРА ДАННЫХ ПОДВОДНОЙ СЕНСОРНОЙ СЕТИ //АКТУАЛЬНЫЕ ВОПРОСЫ В НАУКЕ И ПРАКТИКЕ. - 2018. - С. 188-192.

36. Хамухин А. А. О параллельном вычислении непрерывного вейвлет-преобразования в задаче обнаружения узкополосных шумовых гидроакустических сигналов на основе интегрального вейвлет-спектра //Техническая акустика. - 2012. - Т. 12. - С. 5

37. Чистяков Сергей Павлович Случайные леса: обзор // Труды КарНЦ РАН. 2013. №1. URL: https://cyberleninka.ra/artide/n/sluchaynye-lesa-obzor)

38. Шахтарин Б. И. и др. Применение сигналов с ортогонально частотным разделением в гидроакустическом канале //Вестник Московского государственного технического университета им. НЭ Баумана. Серия «Приборостроение». - 2015. - №. 5 (104). - С. 30-43.

39. Agarap A. F. Deep learning using rectified linear units (relu) //arXiv preprint arXiv:1803.08375. - 2018.

40. al Zamil M. G. H. et al. Multimedia-oriented action recognition in Smart City-based IoT using multilayer perceptron //Multimedia Tools and Applications. - 2019. - T. 78. - №. 21. - C. 30315-30329.

41. Amlathe P. Standard machine learning techniques in audio beehive monitoring: Classification of audio samples with logistic regression, K-nearest neighbor, random forest and support vector machine : gnc. - Utah State University, 2018

42. Azimi-Sadjadi M. R. et al. Underwater target classification in changing environments using an adaptive feature mapping //IEEE Transactions on neural networks. - 2002. - T. 13. - №. 5. - C. 1099-1111

43. Bishop C. M., Nasrabadi N. M. Pattern recognition and machine learning. - New York : springer, 2006. - T. 4. - №. 4. - C. 738.

44. Breiman L. Random forests //Machine learning. - 2001. - T. 45. - №. 1. - C. 5-32

45. Brown J. C. Calculation of a constant Q spectral transform //The Journal of the Acoustical Society of America. - 1991. - T. 89. - №. 1. - C. 425-434

46. Cao X. et al. Convolutional neural network with second-order pooling for underwater target classification //IEEE Sensors Journal. - 2018. - T. 19. - №. 8.

- C. 3058-3066

47. Choi J., Choo Y., Lee K. Acoustic classification of surface and underwater vessels in the ocean using supervised machine learning //Sensors. -2019. - T. 19. - №. 16. - C. 3492

48. De Seixas J. M. et al. Preprocessing passive sonar signals for neural classification //IET radar, sonar & navigation. - 2011. - T. 5. - №. 6. - C. 605-612

49. Deng N., Li X. R. Feeling a destination through the "right" photos: A machine learning model for DMOs' photo selection //Tourism Management. - 2018.

- T. 65. - C. 267-278

50. Dhruv P., Naskar S. Image classification using convolutional neural network (CNN) and recurrent neural network (RNN): A review //Machine Learning and Information Processing. - 2020. - C. 367-381.

51. Du X. et al. Detection of snapping shrimp using machine learning //Proceedings of ACOUSTICS. - 2018. - T. 7. - №. 9

52. Ekpezu A. O. et al. Using deep learning for acoustic event classification: The case of natural disasters //The Journal of the Acoustical Society of America. - 2021. - T. 149. - №. 4. - C. 2926-2935.

53. Elkholy H. A. et al. Path Planning of a Self Driving Vehicle Using Artificial Intelligence Techniques and Machine Vision //The International Conference on Artificial Intelligence and Computer Vision. - Springer, Cham, 2020. - C. 532-542.

54. Fei T., Kraus D., Zoubir A. M. Contributions to automatic target recognition systems for underwater mine classification //IEEE Transactions on Geoscience and Remote Sensing. - 2014. - T. 53. - №. 1. - C. 505-518.

55. Fernandes R. P., Apolinario Jr J. A. Underwater target classification with optimized feature selection based on Genetic Algorithms //Simposio Brasileiro de Telecomunicaçoes e Processamento de Sinais. SBrT. - 2020

56. Fouad Sakr, Francesco Bellotti, Riccardo Berta, and Alessandro De Gloria, "Machine learning on mainstream microcontrollers," Sensors, vol. 20, no. 9, pp. 2638, 2020

57. Gao B., Pavel L. On the properties of the softmax function with application in game theory and reinforcement learning //arXiv preprint arXiv:1704.00805. - 2017.

58. Garg U. et al. Prediction of Emotions from the Audio Speech Signals using MFCC, MEL and Chroma //2020 12th International Conference on Computational Intelligence and Communication Networks (CICN). - IEEE, 2020. -C. 87-91

59. Hecht-Nielsen R. Theory of the backpropagation neural network //Neural networks for perception. - Academic Press, 1992. - C. 65-93.

60. Hollinger G. A. et al. Underwater data collection using robotic sensor networks //IEEE Journal on Selected Areas in Communications. - 2012. - T. 30. -№. 5. - C. 899-911.

61. Hong F. et al. Underwater Acoustic Target Recognition with a Residual Network and the Optimized Feature Extraction Method //Applied Sciences. - 2021.

- T. 11. - №. 4. - C. 1442

62. Hossain M. S., Muhammad G. Environment classification for urban big data using deep learning //IEEE Communications Magazine. - 2018. - T. 56. - №. 11. - C. 44-50.

63. Hsu S. B. et al. Local Wavelet Acoustic Pattern: A Novel Time-Frequency Descriptor for Birdsong Recognition //IEEE Transactions on Multimedia.

- 2018. - T. 20. - №. 12. - C. 3187-3199

64. Jian L. et al. Underwater target recognition based on line spectrum and support vector machine //Proceedings of the International Conference on Mechatronics, Control and Electronic Engineering (MCE2014), Shenyang, China. -2014. - C. 29-31.

65. Karakos D. et al. Individual Ship Detection Using Underwater Acoustics //2018 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). - IEEE, 2018. - C. 2121-2125

66. Kattel, M., Nepal, A., Shah, A. K., & Shrestha, D. Chroma feature extraction //Conference: Chroma Feature Extraction using Fourier Transform. -2019

67. Kim K., Seong W., Lee K. Adaptive surface interference suppression for matched-mode source localization. IEEE J. Oceanic. Eng. 2010;35:120-130. doi: 10.1109/JOE.2009.2036948; Nicolas B., Mars J.I., Lacoume J. Source depth estimation using a horizontal array by matched-mode processing in the frequency-wavenumber domain

68. Kottege N. et al. Classification of underwater broadband bio-acoustics using spectro-temporal features //Proceedings of the Seventh ACM International Conference on Underwater Networks and Systems. - 2012. - C. 1-8

69. Kronvall, T., Juhlin, M., Sward, J., Adalbjornsson, S. I., Jakobsson, A. Sparse modeling of chroma features //Signal Processing. - 2017. - T. 130. - C. 105117

70. Le P. N., Ambikairajah E., Epps J., Sethu V., Choi E. H. Investigation of spectral centroid features for cognitive load classification //Speech Communication. - 2011. - T. 53. - №. 4. - C. 540-551

71. Li H. et al. A method based on wavelet packets-fractal and SVM for underwater acoustic signals recognition //2014 12th International Conference on Signal Processing (ICSP). - IEEE, 2014. - C. 2169-2173.

72. Li J. et al. Brief introduction of back propagation (BP) neural network algorithm and its improvement //Advances in computer science and information engineering. - Springer, Berlin, Heidelberg, 2012. - C. 553-558.

73. Liu G. K. Evaluating gammatone frequency cepstral coefficients with neural networks for emotion recognition from speech //arXiv preprint arXiv:1806.09010. - 2018

74. Luo X., Feng Y. An underwater acoustic target recognition method based on restricted Boltzmann machine //Sensors. - 2020. - T. 20. - №. 18. - C. 5399

75. M. -Z. Xu, Z. -X. Yao, X. -P. Kong and Y. -C. Xu, "Ships Classification Using Deep Neural Network Based on Attention Mechanism," 2021 OES China Ocean Acoustics (COA), 2021, pp. 1052-1055, doi: 10.1109/œA50123.2021.9519897

76. Malfante M. et al. Use of deep features for the automatic classification of fish sounds //2018 OCEANS-MTS/IEEE Kobe Techno-Oceans (OTO). - IEEE, 2018. - C. 1-5

77. Molau, S., Pitz, M., Schluter, R., Ney, H. Computing mel-frequency cepstral coefficients on the power spectrum //2001 IEEE international conference on acoustics, speech, and signal processing. Proceedings (cat. No. 01CH37221). -IEEE, 2001. - T. 1. - C. 73-76

78. Moniruzzaman M. et al. Deep learning on underwater marine object detection: A survey //International Conference on Advanced Concepts for Intelligent Vision Systems. - Springer, Cham, 2017. - C. 150-160

79. Moore B. C. J., Glasberg B. R. Suggested formulae for calculating auditory-filter bandwidths and excitation patterns //The journal of the acoustical society of America. - 1983. - T. 74. - №. 3. - C. 750-753

80. Necciari T. et al. The ERBlet transform: An auditory-based time-frequency representation with perfect reconstruction //2013 IEEE International Conference on Acoustics, Speech and Signal Processing. - IEEE, 2013. - C. 498502

81. Park J. K. et al. Machine learning-based imaging system for surface defect inspection //International Journal of Precision Engineering and Manufacturing-Green Technology. - 2016. - T. 3. - №. 3. - C. 303-310.

82. Patterson R. D. et al. A functional model of neural activity patterns and auditory images //Advances in speech, hearing and language processing. - 1996. -T. 3. - №. Part B. - C. 547-563

83. Patterson R. D. et al. An efficient auditory filterbank based on the gammatone function //a meeting of the IOC Speech Group on Auditory Modelling at RSRE. - 1987. - T. 2. - №. 7

84. Paul N., Chung C. J. Application of HDR algorithms to solve direct sunlight problems when autonomous vehicles using machine vision systems are driving into sun //Computers in Industry. - 2018. - T. 98. - C. 192-196.

85. Peng P. et al. Automatic classification of microseismic records in underground mining: a deep learning approach //IEEE Access. - 2020. - T. 8. - C. 17863-17876

86. Pezeshki A., Azimi-Sadjadi M. R., Scharf L. L. Undersea target classification using canonical correlation analysis //IEEE Journal of Oceanic Engineering. - 2007. - T. 32. - №. 4. - C. 948-955

87. Rehman T. U., Mahmud M. S., Chang Y. K., Jin J., Shin J. Current and future applications of statistical machine learning algorithms for agricultural machine vision systems //Computers and electronics in agriculture. - 2019. - T. 156. - C. 585-605.

88. Santos-Domínguez D. et al. ShipsEar: An underwater vessel noise database //Applied Acoustics. - 2016. - T. 113. - C. 64-69.

89. Schorkhuber C., Klapuri A. Constant-Q transform toolbox for music processing //7th sound and music computing conference, Barcelona, Spain. - 2010.

- C.3-64

90. Seo Y. et al. Underwater Cylindrical Object Detection Using the Spectral Features of Active Sonar Signals with Logistic Regression Models //Applied Sciences. - 2018. - T. 8. - №. 1. - C. 116.

91. Shahnawazuddin S., Adiga N., Kumar K., Poddar A., Ahmad W. Voice Conversion Based Data Augmentation to Improve Children's Speech Recognition in Limited Data Scenario //INTERSPEECH. - 2020. - C. 4382-4386

92. Shen S. et al. Ship type classification by convolutional neural networks with auditory-like mechanisms //Sensors. - 2020. - T. 20. - №. 1. - C. 253

93. Sherin B. M., Supriya M. H. Selection and parameter optimization of SVM kernel function for underwater target classification //2015 IEEE Underwater Technology (UT). - IEEE, 2015. - C. 1-5.

94. Sherin B. M., Supriya M. H. Underwater Target Classifier with Improved Success Rate using Meta-Optimal Support Vector Machines. - 2017.

95. Shi L., Li C., Tian L. Music genre classification based on chroma features and deep learning //2019 Tenth International Conference on Intelligent Control and Information Processing (ICICIP). - IEEE, 2019. - C. 81-86

96. Singh H., Hooda N. Prediction of Underwater Surface Target Through SONAR: A Case Study of Machine Learning //Microservices in Big Data Analytics.

- Springer, Singapore, 2020. - C. 111-117

97. Tang P., Wang H., Kwong S. G-MS2F: GoogLeNet based multi-stage feature fusion of deep CNN for scene recognition //Neurocomputing. - 2017. - T. 225. - C. 188-197

98. Theisen B. L., Lane G. R. 11th Annual Intelligent Ground Vehicle Competition: team approaches to intelligent driving and machine vision //Intelligent

Robots and Computer Vision XXI: Algorithms, Techniques, and Active Vision. -International Society for Optics and Photonics, 2003. - T. 5267. - C. 60-69.

99. Umair Khan and Javier Hernando, "I-vector transformation using knearest neighbors for speaker verification," in IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), Barcelona, Spain, 2020, pp. 7574-7578

100. Valero X., Alias F. Gammatone cepstral coefficients: Biologically inspired features for non-speech audio classification //IEEE Transactions on Multimedia. - 2012. - T. 14. - №. 6. - C. 1684-1689

101. W. Soares-Filho, J. Manoel de Seixas and L. Pereira Caloba, "Averaging spectra to improve the classification of the noise radiated by ships using neural networks," Proceedings. Vol.1. Sixth Brazilian Symposium on Neural Networks, 2000, pp. 156-161, doi: 10.1109/SBRN.2000.889731

102. Wang J. et al. Deep learning for smart manufacturing: Methods and applications //Journal of manufacturing systems. - 2018. - T. 48. - C. 144-156.

103. Wang L. et al. Doppler-shift invariant feature extraction for underwater acoustic target classification //2017 International Conference on Wireless Communications, Signal Processing and Networking (WiSPNET). - IEEE, 2017. -C.1209-1212

104. Wang W. et al. Feature extraction of underwater target in auditory sensation area based on MFCC //2016 IEEE/OES China Ocean Acoustics (COA). -IEEE, 2016. - C. 1-6.

105. Wang X. et al. Underwater acoustic target recognition: a combination of multi-dimensional fusion features and modified deep neural network //Remote Sensing. - 2019. - T. 11. - №. 16. - C. 1888

106. Wu Y., Li X., Wang Y. Extraction and classification of acoustic scattering from underwater target based on Wigner-Ville distribution //Applied Acoustics. - 2018. - T. 138. - C. 52-59

107. Xu X., Chen X., Yang D. Acoustic scene classification using autoencoder //rapport de recherche, DCASE2017 Challenge. - 2017. - C. 21

108. Yadav S. S., Jadhav S. M. Deep convolutional neural network based medical image classification for disease diagnosis //Journal of Big Data. - 2019. -Т. 6. - №. 1. - С. 1-18

109. Yang H. et al. A deep convolutional neural network inspired by auditory perception for underwater acoustic target recognition //Sensors. - 2019. - Т. 19. -№. 5. - С. 1104

110. Yang H. et al. Underwater acoustic research trends with machine learning: Passive SONAR applications //Journal of Ocean Engineering and Technology. - 2020. - Т. 34. - №. 3. - С. 227-236

111. Yang H. et al. Underwater acoustic target recognition using SVM ensemble via weighted sample and feature selection //2016 13th International Bhurban Conference on Applied Sciences and Technology (IBCAST). - IEEE, 2016. - С. 522-527.

112. Yang J. et al. Using deep learning to detect defects in manufacturing: a comprehensive survey and current challenges //Materials. - 2020. - Т. 13. - №. 24. - С.5755.

113. Yang W., Krishnan S. Combining temporal features by local binary pattern for acoustic scene classification //IEEE/ACM Transactions on Audio, Speech, and Language Processing. - 2017. - Т. 25. - №. 6. - С. 1315-1321

114. Yin X. et al. Underwater Acoustic Target Classification Based on LOFAR Spectrum and Convolutional Neural Network //Proceedings of the 2nd International Conference on Artificial Intelligence and Advanced Manufacture. -2020. - С. 59-63

115. Youngberg J., Boll S. Constant-Q signal analysis and synthesis //ICASSP'78. IEEE International Conference on Acoustics, Speech, and Signal Processing. - IEEE, 1978. - Т. 3. - С. 375-378

116. Yu L. et al. An underwater target recognition method based on tracking, trajectory, and optimum seeking data joint //Distributed Computing and Artificial Intelligence, 13th International Conference. - Springer, Cham, 2016. - С. 185-193

117. Yue H. et al. The classification of underwater acoustic targets based on deep learning methods //Adv. Intell. Syst. Res. - 2017. - T. 134. - C. 526-529

118. Zak, Andrzej. "Ships classification basing on acoustic signatures." WSEAS Transactions on Signal Processing 4.4 (2008): 137-149

119. Zeng X., Wang S. Bark-wavelet Analysis and Hilbert-Huang Transform for Underwater Target Recognition //Defence Technology. - 2013. - T. 9. - №. 2. - C. 115-120

120. Zhang Y., Hou H., Shi J. A new evidence classification algorithm for target recognition in underwater acoustic research //INTER-NOISE and NOISE-CON Congress and Conference Proceedings. - Institute of Noise Control Engineering, 2016. - T. 253. - №. 5. - C. 3145-3149.

121. Zhang Z. et al. Multi-information online detection of coal quality based on machine vision //Powder Technology. - 2020. - T. 374. - C. 250-262

122. Zheng Y., Gong Q., Zhang S. Time-Frequency Feature-Based Underwater Target Detection with Deep Neural Network in Shallow Sea //Journal of Physics: Conference Series. - IOP Publishing, 2021. - T. 1756. - №. 1. - C. 012006

123. Zhou P. et al. Two-stream neural networks for tampered face detection //2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops (CVPRW). - IEEE, 2017. - C. 1831-1839

Программа формирования файла с набором признаков, вычисленных из базы

данных гидроакустических шумов

#Настройка для MFCC и GFC

n_mfcc = 13

n_mels = 4 0

n_fft = 512

hop_length = 160

fmin = 0

fmax = 8000

sr = 22100

# ===============ФАЙЛ С ПРИЗНАКАМИ АКУСТИЧЕСКИХ

СИГНАЛОВ==============

# Получаем стартовое время для вычисления временных затрат алгоритма

start_time = time.time() print('Features import started') print(datetime.datetime.now())

# Для колонок в файле создаем подписи: имя файлаг набор признаков

header = 'filename spec_cent spectral_bandwidth' for i in range(1, 14):

header += f' mfcc{i}' for i2 in range(1, 14):

header += f' gfcc{i2}' for i3 in range(1, 13):

header += f' chroma{i3}' for i4 in range(1, 13):

header += f' cqt{i4}'

# Последняя колонка содержит метку класса header += ' label'

header = header.split()

# Создаём csv файлr производим в него запись

file = open('/Users/denis/Documents/2021sounds/HAFeatures.csv', 'w', newline='') with file:

writer = csv.writer(file) writer.writerow(header) #Объявляем классыr присутствующие в базе данных types = 'othership tanker'.split()

# Открываем базу данных гидроакустических шумов для вычисления признаков

for t in types:

for filename in

os.listdir(f'/Users/denis/Documents/2 021sounds/train/{t}'

songname =

f'/Users/denis/Documents/2 021sounds/train/{t}/{filename}'

y, sr = librosa.load(songname, mono=True)

chroma stft = librosa.feature.chroma stft(y=y, sr =sr)

spec cent = librosa.feature.spectral centroid(y=y ,

sr=sr)

spec bw = librosa.feature.spectral bandwidth(y=y, sr=sr)

mfccs = librosa.feature.mfcc(y=y, sr=sr, n fft=n fft,

n mfcc=n mfcc,

n mels=n mels,

hop length=hop length ,

fmin=fmin, fmax=fmax,

htk=False)

cqt = librosa.feature.chroma cqt(y=y, sr=sr,

n chroma=12)

gfccs = gfcc(y, fs=sr, num ceps = 13, nfilts=n mels,

nfft=n fft, low freq=fmin,

high freq=fmax, win len=n fft/sr,

win hop=hop length/sr, pre emph=0.0,

lifter=0, use energy=False,

win type='hamming', normalize=0)

gfccs = np.array(gfccs)

gfccs = np.transpose(gfccs)

#Записываем в файл .csv вычисленные значения признаков

to append = f'{filename} {np.mean(spec cent)}

{np.mean(spec bw)}'

for e in mfccs:

to append += f' {np.mean(e)}'

for g in gfccs:

to append += f' {np.mean(g)}'

for f in chroma stft:

to append += f' {np.mean(f)}'

for h in cqt:

to append += f' {np.mean(h)}'

to append += f' {t}'

file =

open('/Users/denis/Documents/2 021sounds/HAFeatures.csv', 'a',

newline='')

with file:

writer = csv.writer(file)

writer.writerow(to append.split())

#Выводим количество секундr затраченное на вычисление признаков

и сообщение о

#завершении импорта признаков

print("%s seconds" % (time.time() - start time))

print("Features import finished!")

# ФАЙЛ С ПРИЗНАКАМИ АКУСТИЧЕСКИХ

СИГНАЛОВ

Программа для обучения и тестирования трех алгоритмов машинного обучения (логистическая регрессия, метод опорных векторов, к-ближайших

соседей)

#Обращаемся к созданному ранее файлу с признаками ГА шумов data =

pd.read_csv('/Users/denis/Documents/2 021sounds/HAFeatures.csv') data['result'] = data['label'] == 'ships' #Получаем значения признаков X =

data[['spec_cent','spectral_bandwidth','mfcc1','mfcc2','mfcc3',' mfcc4', 'mfcc5', 'mfcc6', 'mfcc7', 'mfcc8', 'mfcc9', 'mfcc10', 'mfcc11', 'mfcc12','mfcc13',

'gfcc1','gfcc2','gfcc3','gfcc4','gfcc5','gfcc6','gfcc7','gfcc8', 'gfcc9','gfcc10','gfcc11','gfcc12','gfcc13','cqt1','cqt2','cqt3' ,'cqt4','cqt5','cqt6','cqt7','cqt8','cqt9','cqt10','cqt11','cqt1 2','chroma1','chroma2','chroma3','chroma4','chroma5','chroma6',' chroma7','chroma8','chroma9','chroma10','chroma11','chroma12']]. values

#Получаем значения классов y = data['result'].values #Классы для классификации

target_names = ['Другие шумы', 'Корабль'] #Разбиваем набор данных на обучающую и тестовую выборку X_train, X_test, y_train, y_test = train_test_split(X, y, test size=0.2, random state=10)

# #K-Fold кросс валидация для Логистической регрессии kf = KFold(n_splits=5, shuffle=True, random_state=5) def score_model_LogistRegression(X, y, kf): lr_as = [] lr_ps = [] lr_rs = [] lr_f1 = []

for train_index, test_index in kf.split(X):

X_train, X_test = X[train_index], X[test_index] y_train, y_test = y[train_index], y[test_index] lr_model = LogisticRegression() lr_model.fit(X_train, y_train) lr_y_pred = lr_model.predict(X_test) lr_as.append(accuracy_score(y_test, lr_y_pred)) lr_ps.append(precision_score(y_test, lr_y_pred)) lr_rs.append(recall_score(y_test, lr_y_pred)) lr_f1.append(f1_score(y_test, lr_y_pred)) #Выводим результаты метрик

print('Logistic Regression results') print("accuracy:", round(np.mean(lr_as),4)) print("precision:", round(np.mean(lr_ps),4)) print("recall:", round(np.mean(lr_rs),4)) print("f1 score:", round(np.mean(lr_f1),4))

#====Строим матрицу ошибок==== cm = confusion_matrix(y_test, lr_y_pred) cmn = cm.astype('float') cm.sum(axis=1)[:, np.newaxis] fig, ax = plt.subplots(figsize=(5,5)) sns.heatmap(cmn, annot=True, fmt='.2f', xticklabels=target_names,

yticklabels=target_names,cmap='Greys',annot_kws={"size": 30})

ax.set_yticklabels(target_names, va='center', rotation = 90, position=(0,0.28)) "

sns.set(font_scale=1.4)

plt.ylabel('На самом деле', fontsize=20) plt.xlabel('Предсказано', fontsize=2 0) plt.show(block=False)

# ====Выводим размеры выборок==== print('Dataset Shapes:')

print("whole dataset:", X.shape, y.shape) print("training set:", X_train.shape, y_train.shape) print("test set:", X_test.shape, y_test.shape)

# ===================Логистическая регрессия=================

# K-fold кросс валидация для Метода опорных векторов kf = KFold(n_splits=5, shuffle=True, random_state=5) def score_model_SVM(X, y, kf):

svm_as = [] svm_ps = [] svm_rs = [] svm_f1 = []

for train_index, test_index in kf.split(X):

X_train, X_test = X[train_index], X[test_index] y_train, y_test = y[train_index], y[test_index] svm_model =

make_pipeline(StandardScaler(),SVC(gamma='auto')) svm_model.fit(X_train, y_train) svm_y_pred = svm_model.predict(X_test) svm_as.append(accuracy_score(y_test, svm_y_pred)) svm_ps.append(precision_score(y_test, svm_y_pred)) svm_rs.append(recall_score(y_test, svm_y_pred)) svm_f1.append(f1_score(y_test, svm_y_pred)) #Выводим результаты метрик print('SVM results')

print("accuracy:", round(np.mean(svm_as),4)) print("precision:", round(np.mean(svm_ps),4)) print("recall:", round(np.mean(svm_rs),4)) print("f1 score:", round(np.mean(svm_f1),4))

# ====Строим матрицу ошибок====

cm = confusion_matrix(y_test, svm_y_pred) cmn = cm.astype('float') cm.sum(axis=1)[:, np.newaxis] fig, ax = plt.subplots(figsize=(5,5)) sns.heatmap(cmn, annot=True, fmt='.2f', xticklabels=target_names,

yticklabels=target_names,cmap='Greys',annot_kws={"size": 30})

ax.set_yticklabels(target_names, va='center', rotation = 90, position=(0,0.28)) "

sns.set(font_scale=1.4)

plt.ylabel('На самом деле', fontsize=20) plt.xlabel('Предсказано', fontsize=2 0) plt.show(block=False)

# ====Выводим размеры выборок==== print('Dataset Shapes:')

print("whole dataset:", X.shape, y.shape) print("training set:", X_train.shape, y_train.shape) print("test set:", X_test.shape, y_test.shape) # ===================SVM метод опорных векторов=================

# #K-Fold кросс валидация для метода K-ближайших соседей kf = KFold(n_splits=5, shuffle=True, random_state=5) def score_model_KNN(X, y, kf): knn_as = [] knn_ps = [] knn_rs = [] knn_f1 = []

for train_index, test_index in kf.split(X):

X_train, X_test = X[train_index], X[test_index] y_train, y_test = y[train_index], y[test_index] knn_model = KNeighborsClassifier() knn_model.fit(X_train, y_train) knn_y_pred = knn_model.predict(X_test) knn_as.append(accuracy_score(y_test, knn_y_pred)) knn_ps.append(precision_score(y_test, knn_y_pred)) knn_rs.append(recall_score(y_test, knn_y_pred)) knn_f1.append(f1_score(y_test, knn_y_pred)) #Выводим результаты метрик print('KNN results')

print("accuracy:", round(np.mean(knn_as),4)) print("precision:", round(np.mean(knn_ps),4)) print("recall:", round(np.mean(knn_rs),4)) print("f1 score:", round(np.mean(knn_f1),4))

# ====Строим матрицу ошибок====

cm = confusion_matrix(y_test, knn_y_pred)

# Normalise

cmn = cm.astype('float')

cm.sum(axis=1)[:, np.newaxis]

fig, ax = plt.subplots(figsize=(5,5))

sns.heatmap(cmn, annot=True, fmt='.2f', xticklabels=target_names,

yticklabels=target_names,cmap='Greys',annot_kws={"size": 30})

ax.set_yticklabels(target_names, va='center', rotation = 90, position=(0,0.28)) "

sns.set(font_scale=1.4)

plt.ylabel('На самом деле', fontsize=20) plt.xlabel('Предсказано', fontsize=2 0) plt.show(block=False) # ====Выводим размеры выборок==== print('Dataset Shapes:')

print("whole dataset:", X.shape, y.shape) print("training set:", X_train.shape, y_train.shape) print("test set:", X_test.shape, y_test.shape) # ===================k ближайших соседей=================

print("=====Logistic Regression Model with all features=====") score_model_LogistRegression(X, y, kf)

print("=====================================================")

print("=====SVM Model with all features=====")

score_model_SVM(X, y, kf)

print("=====================================================")

print("=====K-Nearest Neighbors Model with all features=====")

score_model_KNN(X, y, kf)

print("=====================================================")

Программа для обучения и тестирования искусственной нейронной сети

#получаем стартовое время start_time = time.time()

#=====Обучаем и тестируем искусственную нейронную

сеть =================

data =

pd.read_csv('/Users/denis/Documents/2 021sounds/HAFeatures.csv')

data = data.drop(['filename'],axis=1)

genre_list = data.iloc[:, -1]

encoder = LabelEncoder()

y = encoder.fit_transform(genre_list)

scaler = StandardScaler()

X = scaler.fit_transform(np.array(data.iloc[:, :-1], dtype = float)) "

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=10) model = Sequential()

model.add(layers.Dense(256, activation='relu', input_shape=(X_train.shape[1],))) model.add(layers.Dense(12 8, activation='relu')) model.add(layers.Dense(64, activation='relu')) model.add(layers.Dense(5, activation='softmax')) model.compile(optimizer='adam', loss='sparse_categorical_crossentropy' , metrics=['accuracy',f1_m,precision_m,

recall_m])

history = model.fit(X_train, y_train, validation_split=0.2, epochs=100, batch_size=128)

loss, accuracy, f1_score, precision, recall =

model.evaluate(X_test, y_test)

y_pred=model.predict(X_test)

Y_pred = model.predict(X_test)

y_pred = np.argmax(Y_pred, axis=1)

print('Classification Report') target_names = ['othership', 'tanker'] class_names= ['Другие корабли','Танкер'] print(classification_report(y_test, y_pred, target_names=target_names, digits=4)) print(y_pred.sum())

#

# Строим матрицу ошибок

cm = confusion_matrix(y_test, y_pred)

cmn = cm.astype('float')

cm.sum(axis=1)[:, np.newaxis]

fig, ax = plt.subplots(figsize=(5,5))

sns.heatmap(cmn, annot=True, fmt='.2f', xticklabels=class_names, yticklabels=class_names,cmap='Greys',annot_kws={"size": 30}) ax.set_yticklabels(class_names, va='center', rotation = 90, position=(0,0.28)) "

sns.set(font_scale=1.4 )

plt.ylabel('На самом деле', fontsize=20) plt.xlabel('Предсказано', fontsize=2 0)

plt.show(block=False)

#

print("--- %s seconds ---" % (time.time() - start_time))

Программа для обработки и классификации новых ГА шумов, записанных на

внешнем носителе информации

# =================== Тестируем нейронную сеть на абсолютно новых шумах без

метки класса -------

#Путь к файлу, где будут содержаться признаки ранее неизвестных ГА шумов

csv file path = ('/Users/denis/Documents/2C21sounds/UnknownHAFeatures.csv')

#-------------------Создаем файл с признаками новых сигналов из папки

# получаем стартовое время

print('Features import for prediction START')

print(datetime.datetime.now())

# Создаем подписи для колонок в файле

header = 'filename spec cent spectral bandwidth'

for i in range(1, 14):

header += f' mfcc{i}'

for i2 in range(1, 14):

header += f' gfcc{i2}'

for i3 in range(1, 13):

header += f' chroma{i3}'

for i4 in range(1, 13):

header += f' cqt{i4}'

header = header.split()

file = open(csv file path, 'w', newline='')

with file:

writer = csv.writer(file)

writer.writerow(header)

#Обращаемся к внешнему накопителю с записями ранее неизвестных ГА шумов

#Вычисляем признаки ГА шумов и заносим их в файл

for filename in os . listdir(f'/Volumes/KINGSTON/shiptest/' ):

songname = f'/Volumes/KINGSTON/shiptest/{filename}'

y, sr = librosa.load(songname, mono=True)

rms = librosa.feature.rms(y=y)

chroma stft = librosa.feature.chroma stft(y=y, sr=sr)

spec cent = librosa.feature.spectral centroid(y=y, sr=sr)

spec bw = librosa.feature.spectral bandwidth(y=y, sr=sr)

mfccs = librosa.feature.mfcc(y=y, sr=sr, n fft=n fft,

n mfcc=n mfcc, n mels=n mels,

hop length=hop length,

fmin=fmin, fmax=fmax, htk=False)

cqt = librosa.feature.chroma cqt(y=y, sr=sr, n chroma=12)

gfccs = gfcc(y, fs=sr, num ceps = 13, nfilts=n mels, nfft =n fft,

low freq=fmin, high freq=fmax, win len=n fft/sr, win hop=hop length/sr,

pre emph=0.0, lifter=0, use energy=False, win type='hamming', normalize=0)

gfccs = np.array(gfccs)

gfccs = np.transpose(gfccs)

to append = f'{filename} {np.mean(spec cent)} {np. ,mean(spec bw)}'

for e in mfccs:

to append += f' {np.mean(e)}'

for g in gfccs:

to append += f' {np.mean(g)}'

for f in chroma stft:

to append += f' {np.mean(f)}'

for h in cqt:

to append += f' {np.mean(h)}'

file = open(csv file path, 'a',

newline='')

with file:

writer = csv.writer(file)

writer.writerow(to append.split())

print('Features import for prediction FINISHED')

print(datetime.datetime.now())

#-------------------Создаем файл с признаками новых сигналов из папки

# Предсказываем обученной моделью нейронной сети классы ранее не известных ГА

шумов

X data test = pd.read csv(csv file path)

print(X data test['filename'])

X data test = X data test.drop(['filename'],axis=1)

print(X data test.shape)

X data test = scaler.transform(X data test, float)

ynew = model.predict classes(X data test)

print(encoder.inverse transform(ynew))

Набор программ для вычисления и визуализации признаков гидроакустических шумов

#Вычисление и визуализация хромаграммы

songname = f'/Users/denis/Documents/2021sounds/Звуки с разными классами/whale.wav'

y, sr = librosa.load(songname, mono=True, duration=5) S = np.abs(librosa.stft(y))

chroma = librosa.feature.chroma stft(S=S, sr=22100)

for i in chroma:

print(np.mean(i))

fig, ax = plt.subplots()

img = librosa.display.specshow(chroma, y axis='chroma', x axis='time', ax=ax) fig.colorbar(img, ax=ax)

ax.set(title='Хромаграмма звука касатки', xlabel = 'Время', ylabel='Полутон')

#Вычисление и визуализация спектра сигнала cmap = plt.get cmap('inferno') plt.figure(figsize=(8,8))

y, sr = librosa.load(f'/Users/denis/Documents/2 021sounds/tanker/173410.wav', duration=5)

D = librosa.stft(y)

Sdb = librosa.amplitude to db(np.abs(D), ref=np.max) fig, ax = plt.subplots()

img = librosa.display.specshow(S db, x axis='time', y axis='linear', ax=ax) ax.set(title='', xlabel='Время', ylabel='Частота (Гц)',) ax.set_ylim([0, 6000])

fig.colorbar(img, ax=ax, format="%+2.f dB")

#Вычисление и визуализация ширины полосы частот

songname = f'/Users/denis/Documents/2021sounds/Звуки с разными

классами/whale.wav'

y, sr = librosa.load(songname, mono=True, duration=5)

spec bw = librosa.feature.spectral bandwidth(y=y, sr= sr)

S, phase = librosa.magphase(librosa.stft(y=y))

freqs, times, D = librosa.reassigned spectrogram(y, fill nan=True)