Математическое моделирование и исследование алгоритмов обучения и выбора гиперпараметров искусственных нейронных сетей для классификации объектов на цифровых изображениях тема диссертации и автореферата по ВАК РФ 00.00.00, кандидат наук Толстых Андрей Андреевич

• Толстых Андрей Андреевич
• кандидат наук
• 2023

Оглавление диссертации кандидат наук Толстых Андрей Андреевич

ВВЕДЕНИЕ

ГЛАВА 1 МЕТОДЫ, МОДЕЛИ И АЛГОРИТМЫ ДЛЯ РАСПОЗНАВАНИЯ ОБЪЕКТОВ НА ЦИФРОВЫХ ИЗОБРАЖЕНИЯХ

1.1 Способы параметризации и фильтрации цифровых изображений

1.2 Методы классификации объектов на цифровых изображениях

1.3 Искусственный нейрон. Многослойные нейронные сети

1.4 Сверточные нейронные сети

1.5 Обучение искусственных нейронных сетей

1.6 Методы оценки эффективности распознавания

1.7 Выводы по главе

ГЛАВА 2 ЧИСЛЕННЫЙ МЕТОД И АЛГОРИТМ ОБУЧЕНИЯ ГЛУБОКИХ СВЕРТОЧНЫХ НЕЙРОННЫХ СЕТЕЙ В ЗАДАЧАХ КЛАССИФИКАЦИИ ОБЪЕКТОВ НА ЦИФРОВЫХ ИЗОБРАЖЕНИЯХ

2.1 Анализ эквивалентности сверточных и полносвязных слоев

2.2 Численный метод и гибридный алгоритм обучения сверточных нейронных сетей

2.3 Оценка вычислительной сложности предложенного гибридного алгоритма обучения сверточных нейронных сетей

2.4 Анализ эффективности гибридного алгоритма обучения сверточных нейронных сетей

2.5 Выводы по главе

ГЛАВА 3 МОДЕЛИ И АЛГОРИТМЫ ВЫБОРА ГИПЕРПАРАМЕТРОВ ИСКУССТВЕННОЙ НЕЙРОННОЙ СЕТИ ДЛЯ РАСПОЗНАВАНИЯ ОБЪЕКТОВ НА ЦИФРОВЫХ ИЗОБРАЖЕНИЯХ

3.1 Синтез алгоритмов распознавания объектов, при оптимальной параметризации цифровых изображений с использованием нейронных сетей

3.1.1 Эмпирические правила выбора гиперпараметров

3.1.2 Выбор гиперпараметров искусственной нейронной сети

3.1.3 Устойчивость искусственной нейронной сети

3.2 Модель и алгоритм выбора количества нейронов в нейроклассификаторе

3.3 Анализ эффективности параметризатора сверточной нейронной сети

3.3.1 Методика анализа эффективности нейропараметризатора

3.3.2 Применение методики анализа эффективности параметризатора сверточной нейронной сети

3.4 Модель и алгоритм выбора архитектуры нейропараметризатора на основе сверточных нейронных сетей

3.5 Выбор архитектуры искусственной нейронной сети на основе сравнения эффективности методов распознавания изображениях

3.6 Выводы по главе

ГЛАВА 4 ПРОГРАММНЫЕ РЕАЛИЗАЦИИ РАЗРАБОТАННЫХ МЕТОДОВ, МОДЕЛЕЙ И АЛГОРИТМОВ

4.1 Программа конструирования ИНС с различными гиперпараметрами для оценки эффективности распознавания

4.2 Программа построения и получения характеристик сверточных нейронных сетей

4.3 Программа тестирования методов обучения полносвязных ИНС

4.4 Выводы по главе

ЗАКЛЮЧЕНИЕ

СПИСОК ЛИТЕРАТУРЫ

ПРИЛОЖЕНИЕ А. АКТЫ ВНЕДРЕНИЯ

ПРИЛОЖЕНИЕ Б. ПРОГРАММА ТЕСТИРОВАНИЯ ЭФФЕКТИВНОСТИ РАСПОЗНАВАНИЯ ОБЪЕКТОВ НА ИЗОБРАЖЕНИЯХ СВЕРТОЧНЫМИ НЕЙРОННЫМИ СЕТЯМИ

ПРИЛОЖЕНИЕ В. ПРОГРАММА ПОСТРОЕНИЯ И ПОЛУЧЕНИЯ ХАРАКТЕРИСТИК СВЕРТОЧНЫХ НЕЙРОННЫХ СЕТЕЙ

ПРИЛОЖЕНИЕ Г. ПРОГРАММА ТЕСТИРОВАНИЯ РАЗЛИЧНЫХ АЛГОРИТМОВ ОБУЧЕНИЯ ПОЛНОСВЯЗНЫХ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ

Введение диссертации (часть автореферата) на тему «Математическое моделирование и исследование алгоритмов обучения и выбора гиперпараметров искусственных нейронных сетей для классификации объектов на цифровых изображениях»

ВВЕДЕНИЕ

Актуальность диссертационной работы. Задачи, связанные с классификацией и идентификацией объектов, явлений и сигналов, характеризующихся конечным набором некоторых свойств и признаков, возникают в таких отраслях, как робототехника, информационный поиск, мониторинг и анализ визуальных данных, например, изображения военной техники, изображения бытовых объектов. Интенсивные исследования в данной области ведутся уже многие годы, при этом за последнее время существенный прогресс в классификации визуальных образов был достигнут с появлением принципа снижения размерности. Пространство параметров цифрового изображения имеет высокую размерность, в связи с этим относительно малые визуальные изменения существенно осложняют работу классических методов машинного зрения. Для интеллектуальных систем важна, в первую очередь, робастность процедур классификации и идентификации при различных внешних условиях.

В настоящее время существует ряд подходов классификации изображений, которые для заданных условий в конкретных практических задачах позволяют обеспечить удовлетворительную точность классификации изображений. Одним из таких перспективных подходов являются нейросетевые технологии, которые в большом количестве практических приложений доказали свою эффективность. Однако, на сегодняшний день нейросетевые технологии не обладают возможностями классификации объектов, сравнимыми с биологическими зрительными системами. Например, способностью функционировать на широком, неограниченном множестве классов классификации и вариативности объектов в пределах категорий. Эффективность функционирования систем классификации образов, использующих нейросетевые технологии, определяется выбором гиперпараметров искусственных нейронных сетей. Под гиперпараметрами понимаются все параметры построения и обучения искусственных нейронных сетей (шаг обучения, размер мини-пакета и т. д.). Наиболее существенные

проблемы в данной области: низкая эффективность обучения нейроклассификаторов для классификации объектов на цифровых изображениях; низкая скорость процесса выбора гиперпараметров; отсутствие методики сравнения нейроклассификаторов с различными архитектурами, обученных на различных доменах изображений. Таким образом, актуальной научной задачей является совершенствование существующих, и разработка новых моделей и алгоритмов обучения и выбора гиперпараметров искусственных нейронных сетей для классификации объектов на цифровых изображениях.

Степень разработанности проблемы. Над проблемой развития и применения нейросетевых технологий работали такие ученые, как А. В. Созыкин, Д. П. Ветров, С. Осовский, Я. Гудфелло, С. Хайкин, Б. Видроу, Б. М. Вильямский. Однако в работах указанных авторов не в достаточной степени отражены вопросы построения устойчивых нейроклассификаторов, их обучения и выбора гиперпараметров - в контексте количества настраиваемых весов, что определяет актуальность темы выполненного исследования. В работах авторов вопросы выбора гиперпараметров в основном трактуются как эмпирические и заключаются в использовании известных архитектур искусственных нейронных сетей для решения той или иной задачи. Необходимо обучение искусственных нейронных сетей для задач классификации объектов на цифровых изображениях, однако анализ предметной области показал недостаточную разработанность численных методов.

Объект исследования - система классификации объектов на цифровых изображениях.

Предмет исследования - модели, алгоритмы и численные методы классификации объектов на цифровых изображениях.

Цель диссертационного исследования - разработка методов, моделей и алгоритмов автоматизированного выбора гиперпараметров для обучения искусственных нейронных сетей при решении задач классификации объектов на цифровых изображениях (в том числе военной техники, людей, животных),

обеспечивающих уменьшение времени обучения, за счет интегрирования методов обучения первого и второго порядка.

Научная задача - совершенствование существующих, и разработка новых методов моделей и алгоритмов интеграции методов обучения и автоматизированного выбора гиперпарметров искусственных нейронных сетей для решения задач классификации объектов на цифровых изображениях.

Для достижения цели и решения научной задачи необходимо решить следующие частные задачи:

1. Исследование существующих методов обработки цифровых изображений для выявления проблем математической формализации объектов для их классификации, определение наиболее эффективных методов классификации объектов на цифровых изображениях.

2. Разработка интегрированного метода обучения глубоких сверточных нейронных сетей первого и второго порядка для снижения времени обучения при решении задач классификации объектов на цифровых изображениях.

3. Разработка модели и алгоритма автоматизированного выбора гиперпараметров, основанных на оценке количества нейронов нейроклассификатора в виде полносвязной нейросети при ограничении вычислительной сложности алгоритма нейроклассификатора.

4. Разработка модели и алгоритма выбора архитектуры нейропараметризатора на основе сверточной нейронной сети при ограничении на точность классификации и вычислительную сложность.

5. Разработка методики сравнения различных архитектур искусственных нейронных сетей.

6. Разработка комплекса программ для проведения вычислительного эксперимента, направленного на верификацию и оценку эффективности предложенных методов, моделей и алгоритмов.

Научная актуальность диссертации определяется необходимостью разработки моделей и алгоритмов обучения и выбора гиперпараметров нейроклассификатора.

Научную новизну работы составляют:

1. Разработан численный метод и гибридный алгоритм обучения глубоких сверточных нейронных сетей, основанный на совместном применении методов обучения первого и второго порядков с возможностью настраивания вычислительной сложности, отличающийся фиксацией слоев, к которым применяется метод обучения первого порядка и слоев, к которым применяется метод обучения второго порядка, и неподверженностью эффекту паралича сети.

2. Разработаны модель и алгоритм определения гиперпараметров, основанные на оценке количества нейронов в полносвязном нейроклассификаторе, реализующем итерационный подход на основе фиксации величины ошибки обучения и классификации, отличающиеся контролем заданной метрики и величины ошибки обучения и снижением количества исходных данных алгоритма, реализующего предлагаемую модель.

3. Разработаны модель и алгоритмы выбора архитектуры нейропараметризатора на основе сверточной нейронной сети для задачи классификации объектов на цифровых изображениях, отличающиеся наличием процедур выбора автоматизированного гиперпараметров, основанных на оценке количества сверточных фильтров в слоях нейроклассификатора, позволяющих отказаться от использования предварительного задания матрицы поиска гиперпараметров.

4. Предложена методика сравнения архитектур искусственных нейронных сетей при классификации объектов, отличающаяся вычислением нормированных градиентов, применяемых для сравнительного анализа, и наличием процедур формализованной оценки расстояния в пространстве признаков цифрового изображения, что позволяет проводить сравнение архитектур независимо от входных данных.

5. Разработан комплекс программ, реализующий построение и обучение нейроклассификаторов на основе предлагаемых алгоритмов, а также анализ

результатов классификации объектов на основе сверточных нейронных сетей в качестве нейроклассификатора.

Теоретическая и практическая значимость. В работе развивается теория распознавания образов и теории принятия решений в части разработки научно-методического аппарата обучения, анализа и выбора гиперпараметров сверточных нейронных сетей, позволяющего: осуществлять итерационное изменение нейросетевой архитектуры; эффективно решать задачу классификации объектов на цифровых изображениях; проводить численное сравнение различных архитектур.

Практическая значимость диссертации заключается в разработке программных средств, позволяющих повысить эффективность построения, обучения, исследования свойств и выбор гиперпараметров сверточных нейронных сетей для задач классификации объектов на цифровых изображениях. Разработанный программный комплекс возможно использовать в системах поддержки принятия решений для классификации объектов на цифровых изображениях. Разработанный численный метод, реализующий интеграцию методов обучения искусственных нейронных сетей первого и второго порядка, возможно применять при построении нейроклассификаторов для решения задач классификации.

Методология и методы исследований. В работе использованы методы цифровой обработки изображений, распознавания образов, математической статистики, построения и обучения искусственных нейронных сетей.

На защиту выносятся следующие основные положения:

1. Численный метод и гибридный алгоритм обучения сверточных нейронных сетей, сочетающий в себе преимущества методов оптимизации первого и второго порядков (соответствует п. 1 паспорта специальности).

2. Математическая модель и алгоритм выбора количества нейронов в полносвязных слоях нейроклассификатора (соответствует п. 5).

3. Модель и алгоритм выбора архитектуры нейропараметризатора на основе сверточной нейронной сети (соответствует п. 5).

4. Методика сравнения архитектур искусственных нейронных сетей для классификации объектов на цифровых изображениях (соответствует п. 5).

5. Комплекс программ, с использованием которого верифицированы предложенные модели и алгоритмы, продемонстрирована эффективность разработанных методов обучения и выбора гиперпараметров нейроклассификаторов (соответствует п. 4).

Степень достоверности и апробация работы. Достоверность результатов и выводов, сформулированных в диссертационном исследовании, подтверждается апробированием математического аппарата, корректностью математических выкладок, корректным выбором используемых показателей и критериев, сходимостью результатов эксперимента с известными теоретическими данными.

Основные положения и результаты диссертации докладывались и обсуждались на следующих конференциях и семинарах: всероссийской научно-практической конференции «Актуальные вопросы эксплуатации систем охраны и защищенных телекоммуникационных систем» (Воронеж, 2016, 2017, 2018); международной научно-практической конференции «Общественная безопасность, законность и правопорядок в III тысячелетии» (Воронеж, 2016, 2017); международной научно-практической конференции «Охрана, безопасность, связь» (Воронеж, 2017); всероссийской научно-практической конференции «Авионика. Актуальные вопросы состояния, эксплуатации и развития комплексов бортового радиоэлектронного оборудования воздушных судов, проблемы подготовки специалистов» (Воронеж, 2017); XXVI международной научно-технической конференцией «Радиолокация, навигация, связь» (Воронеж, 2019); всероссийской научно-технической конференции «Состояние и перспективы развития современной науки по направлению «Техническое зрение и распознавание образов» (Анапа, 2021).

Публикации. По теме диссертации опубликовано 19 печатных работ (6 статей, 10 материалов научных конференций), в том числе 6 работ опубликованы без соавторов. Работы [1-5] опубликованы в изданиях, рекомендованных ВАК Минобрнауки России. Работа [6] опубликована в

издании, входящем в международную систему цитирования Scopus. Зарегистрированы 3 программы для ЭВМ [17-19, Приложение Б-Г].

Личный вклад автора заключается в получении следующих результатов: в [1, 2] проведен анализ применения нейроклассификаторов в задачах классификации изображений, выбор оптимальной архитектуры сверточных нейронных сетей, проведены численные эксперименты для оценки эффективности применения сверточных нейронных сетей в качестве нейроклассификатора в задачах классификации объектов на цифровых изображениях; в [3] разработан и применен метод сравнения архитектур нейроклассификаторов с различной архитектурой, обученных на различных наборах данных; в [4, 5] предложены модель и алгоритм выбора архитектуры нейропараметризатора на основе сверточных нейронных сетей; в [6] разработан гибридный метод обучения сверточных нейронных сетей и получены количественные оценки вычислительной сложности применения сверточных нейронных сетей в задачах классификации; в [7-9] проведен анализ математических моделей, применяемых при классификации изображений; в [10] проанализированы методы увеличения обучающей выборки, даны рекомендации по применению данных методов; в [11, 12] проанализированы практические вопросы применимости

нейроклассификаторов в различных задачах машинного зрения; в [13] проанализированы смежные области применения нейроклассификаторов -задачи детектирования объектов; в [14] проанализированы вопросы устойчивости нейроклассификаторов при обучении и классификации; в [15] разработан алгоритм выбора количества нейронов в полносвязных слоях сверточных нейронных сетей; в [16] предложен алгоритм выбора базовой архитектуры нейроклассификатора.

Реализация результатов работы: по материалам диссертации получено три свидетельства о регистрации программ для ЭВМ, результаты диссертационной работы внедрены в решениях по применению технологий искусственного интеллекта в автоматизированной системе управления тактического звена (АО «Концерн «Созвездие», г. Воронеж); в

образовательный процесс (Московский университет МВД России имени В.Я. Кикотя, г. Москва).

Структура и объем работы. Диссертация состоит из введения, четырех глав, заключения, списка литературы из 119 наименований. Основная часть работы изложена на 144 страницах машинописного текста, содержит 56 рисунков и 10 таблиц.

Во введении обоснована актуальность темы работы, сформулированы цель и частные задачи исследований, показана научная новизна и практическая значимость полученных результатов, выносимых на защиту.

В первой главе проведен анализ существующих подходов и проблем в области классификации образов на цифровых изображениях.

Анализ литературы показал, что в настоящее время наиболее перспективными методами классификации объектов на цифровых изображениях являются методы, основанные на математическом аппарате искусственных нейронных сетей (ИНС). Вместе с тем, существующие методы обучения ИНС подвержены эффектам паралича сети и не обеспечивают снижение ошибки обучения в некоторых случаях. С другой стороны, методы выбора гиперпараметров сверточных нейронных сетей (СНС) являются либо эвристическими, либо используют методы перебора точек наперед заданной матрицы гиперпараметров.

Во второй главе проведен анализ существующих моделей ИНС. В частности, рассмотрены математические модели искусственных нейронов, методы обучения ИНС, СНС, алгоритмы искусственного увеличения обучающей выборки. Выявлено, что нейроклассификаторы на основе СНС обладают наибольшей устойчивостью и эффективностью. Показана эквивалентность сверточного слоя и нескольких независимых полносвязных слоев. Установлено, что оптимальной границей расширения является количество искусственно созданных образцов на основе имеющихся, не превышающее более чем на порядок исходное количество образцов - в обучающей выборке. Разработан и проанализирован численный метод и гибридный алгоритм обучения, реализующий численный метод интеграции методов обучения первого и второго порядка СНС.

В третьей главе разработаны модель и алгоритм автоматизированного выбора количества нейронов в полносвязном нейроклассификаторе, проанализированы подходы к вычислению устойчивости нейроклассификатора к шумовому воздействию, разработана методика анализа эффективности нейроклассификатора, разработаны модель и алгоритм выбора гиперпараметров нейропараметризатора на основе СНС.

В четвертой главе описана структура использования полученных результатов, разработано 3 комплекса программ на языке программирования Python.

В заключении подведены итоги диссертационного исследования, сформулированы следующие основные результаты и выводы:

1. Проведен анализ теории классификации объектов и различных прикладных подходов к параметризации цифрового изображения, позволяющий сделать вывод об отсутствии конструктивного и эффективного подхода к построению и обучению нейроклассификаторов.

2. Разработан численный метод и гибридный алгоритм обучения сверточных нейронных сетей для задач классификации объектов на цифровых изображениях, обеспечивающий устойчивое обучение, при количестве эпох в 100 раз меньшем по сравнению с методами обучения первого порядка (что эквивалентно 20 кратному уменьшению времени обучения) для фиксированной точности обучения. При этом предложенный гибридный алгоритм возможно применять для обучения нейроклассификаторов с более чем 104 параметров, в условиях ограничения вычислительных ресурсов, когда невозможно применение алгоритмов второго порядка.

3. Разработана модель и алгоритм автоматизированного выбора количества нейронов в полносвязных слоях, выступающих в качестве нейроклассификатора, а также протестирована эффективность данной модели с помощью различных методов, в том числе, предложенного модифицированного метода интегральных градиентов.

4. Разработаны модель и алгоритм автоматизированного выбора гиперпараметров нейропараметризатора на основе сверточной нейронной

сети, позволяющий снизить количество настраиваемых весов нейропараметризатора на два порядка.

5. Разработана методика сравнения архитектур искусственных нейронных сетей на основе использования метода интегральных градиентов для количественной оценки эффективности в задачах классификации изображений для различных наборов тестовых выборок.

6. Проведено имитационное моделирование и разработан соответствующий комплекс программ для ЭВМ, подтверждающие адекватность разработанных моделей и эффективность предложенных методов и алгоритмов.

7. Рекомендации и перспективы исследования. Разработанные гибридный алгоритм обучения, модели выбора, методику оценки эффективности искусственных нейронных сетей целесообразно применять для повышения точности в задачах классификации объектов на изображениях и машинного зрения. Дальнейшие исследования целесообразно проводить в направлении совершенствования и объединения предложенных методов, моделей и алгоритмов.

ГЛАВА 1 МЕТОДЫ, МОДЕЛИ И АЛГОРИТМЫ ДЛЯ РАСПОЗНАВАНИЯ ОБЪЕКТОВ НА ЦИФРОВЫХ ИЗОБРАЖЕНИЯХ

Современные системы классификации объектов на цифровых изображениях способны решать некоторые задачи в качестве вспомогательных средств оператора или же в качестве полной замены оператора в различных технических приложениях, связанных с анализом изображений [20-22]. Распространенность и автономность подобных систем в прикладных областях промышленности является одним из интегральных показателей технологического уровня развития [20].

В настоящее время, состояние области машинного зрения ограничивает практическое применение классификации объектов на цифровых изображениях, в качестве средства автоматизации, параметрами освещения и разнообразием классифицируемых образов. В условиях плохо структурированного окружения машинное зрение используется в качестве дополнительного средства, которое может повысить эффективность работы оператора или скорректировать результаты аналитических решений. Необходимо отметить, что на данный момент не существует теоретического аппарата, позволяющего формализовать эмпирические правила построения систем распознавания объектов на цифровых изображениях.

В последнее время в России и за рубежом все большее значение приобретают исследования в области искусственного интеллекта [20], которое активно обсуждает руководство страны. Одним из векторов развития систем искусственного интеллекта является классификация объектов на цифровых изображениях.

1.1 Способы параметризации и фильтрации цифровых изображений

Обработка изображений с помощью компьютерных систем возможна только после выполнения операций дискретизации и квантования входного аналогово сигнала, несущего информацию об исходном изображении. Эффективность последующей обработки цифрового изображения зависит от адекватности и эффективности выбранной модели преобразования. Следует отметить, что необходимо принимать во внимание влияние передающей и приемной систем, а также канала связи на исходный сигнал, который содержит информацию об изображении. Математическая модель изображения представляет собой набор формализованных функций, которые описывают существенные характеристики изображения, такие как яркость, спектральные интенсивности или величины автокорреляции.

В общем случае существует возможность ввести метрику качества цифрового изображения, которая будет оперировать со статистическими, спектральными, яркостными характеристиками и давать оценку качеству преобразования исходного сигнала [23]. Наиболее часто подобные оценки интерпретируются как мера близости реального (преобразованного) и идеального (исходного) изображения. Используя данный подход, возможно оценивать субъективно (качественно) степень схожести изображений, или же получать объективные (количественные) оценки различных параметров сигналов, содержащих информацию об изображении: такие как: статистические моменты, отношение сигнал-шум (ОСШ), коэффициенты сжатия информации и т. д. [24].

Существуют следующие модели описания цифровых изображений: авторегрессивные модели случайных полей [24], тензорные модели случайных полей [24].

Представление информации [24] в цифровых изображениях в общем случае определяется выбранной моделью описания. Для черно-белого изображения определяют функцию яркости, зависящую от двух параметров,

которыми являются пространственные координаты. Производя операцию дискретизации по координатам и квантования по уровням яркости получают изображение в виде конечного набора точек [24]. Существуют различные модели представления цветных изображений, они делятся на линейные (например, RGB) и нелинейные (например, HSV).

Общий подход к фильтрации в цифровой обработке сигналов заключается в двух основных направлениях: фильтрации во временной и частотной областях [24]. Для более полного понимания вопроса цифровой фильтрации изображений необходимо провести классификацию ее методов. Данная классификация, представленная в виде схемы на рисунке 1.1.

Рисунок 1.1 - Классификация методов цифровой фильтрации изображений

Основные методы фильтрации: оптимальная линейная фильтрация [24], масочная фильтрация [24], рекуррентная каузальная фильтрация изображений [25], фильтр Калмана [26].

Таким образом, рассмотрены основные подходы, использующиеся для построения и фильтрации цифровых изображений в технических системах. При разработке систем классификации объектов на цифровых изображениях следует принимать во внимание способы получения исследуемого цифрового изображения. В работе использовалась библиотека OpenCV, содержащая большинство классических методов обработки цифровых изображений [27].

1.2 Методы классификации объектов на цифровых изображениях

Для классификации объектов на цифровых изображениях используются вторичные параметры. На рисунке 1.2 представлена схема методов выделения вторичных параметров на изображениях.

Рисунок 1.2 - Методы выделения вторичных параметров изображения

К классическим методам выделения контуров: градиентный метод [24], метод оператора Лапласа [28]. Общим недостатком методов выделения контуров является то, что, при их использовании усиливаются шумы изображения, что ведет к появлению ложных контуров.

Метод выделения признаков Хаара - методика получения вторичных параметров цифрового изображения, на основе модернизированных идей вейвлет-анализа [29]. Данная методика использовалась при первых попытках построения детектора лиц, который работал в режиме реального времени. В работе [25] был рассмотрен алгоритм с множеством признаков, основанных на вейвлетах Хаара. Эти идеи получили развитие в детекторе лиц [30] Они позиционируются на изображении, далее суммируются интенсивности пикселей в областях, после чего вычисляется разность между суммами. Данная разность будет являться значением конкретного признака, определенного размера, позиционированного на изображении. Развитие данный подход получил в [31].

Другим классическим подходом к выделению вторичных параметров является методика гистограмм. Гистограмма цветного изображения изображения может приенятся в качестве частотного представления

изображения [32]. Для построения гистограммы производится суммированием количества пикселей определенного типа.

Для выделения текстуры применяются матрицы вхождений -двумерный массив С, в которм индексы строк и столбцов образуют множество V допустимых значений пикселей [33]. Интерпритировать результаты применения метода матриц вхождений можно как вторичные параметры, отражающие характеристики текстуры изображения. На основе нормированой матрицы вхождений можно вычислить характерные признаки, такие как энергия, энтропия, контраст, однородность, корреляция [34].

Список литературы диссертационного исследования кандидат наук Толстых Андрей Андреевич, 2023 год

СПИСОК ЛИТЕРАТУРЫ

1. Толстых, А. А. Распознавание объектов на телевизионных изображениях с использованием аппарата сверточных нейронных сетей / А. А. Толстых, А. Н. Голубинский // Вестник Воронежского института МВД России. - 2017. - №1. - С. 7-17.

2. Толстых, А. А. Выбор архитектуры искусственной нейронной сети на основе сравнения эффективности методов распознавания / А. А. Толстых, А. Н. Голубинский // Вестник Воронежского института МВД России. - 2018. -Т. 1. - С. 27-37.

3. Толстых, А. А. Методика оценки эффективности параметризатора в виде сверточной нейронной сети / А. А. Толстых // Вестник Воронежского института МВД России. - 2019. - № 2. - С. 123-132.

4. Толстых, А. А. Оценка гиперпараметров сверточных нейронных сетей для классификации объектов / А. А. Толстых, А. Н. Голубинский // Автоматизация в промышленности. - 2021. - № 10. - С. 49-53. (001: 10.25728/а^ргош.2021.10.08)

5. Толстых, А. А. Сравнение эффективности методов изменения скорости обучения искусственных нейронных сетей в различных задачах классификации / А. А. Толстых, А. Н. Голубинский // Международный научно-исследовательский журнал. - 2022. - № 7-1 (121). - С. 102-106.

6. Толстых, А. А. Гибридный метод обучения сверточных нейронных сетей / А. А. Толстых, А. Н. Голубинский // Информатика и автоматизация (Труды СПИИРАН). - 2021. - Т. 20. - № 2. - С. 463-490.

7. Толстых, А. А. О математических моделях и критериях для распознавания объектов на телевизионных изображениях в интегрированных системах безопасности / А. А. Толстых, А. Н. Голубинский // Всероссийская научно-практическая конференция «Актуальные вопросы эксплуатации систем охраны и защищенных телекоммуникационных систем»: Сборник материалов. - 2016. - С. 260-262.

8. Толстых, А. А. Анализ параметров и математических моделей, используемых для распознавания объектов на телевизионных изображениях / А. А. Толстых, А. Н. Голубинский // Международная научно-практическая конференция «Общественная безопасность, законность и правопорядок в III тысячелетии»: Сборник материалов. - 2016. - С. 266-272.

9. Толстых, А. А. О построении классификаторов объектов на телевизионных изображениях с помощью аппарата сверточных нейронных сетей / А. А. Толстых, А. Н. Голубинский // Всероссийская научно-практическая конференция «Авионика. Актуальные вопросы состояния, эксплуатации и развития комплексов бортового радиоэлектронного оборудования воздушных судов, проблемы подготовки специалистов»: Сборник научных статей по материалам. - 2017. - С. 205-209.

10. Толстых, А. А. Искусственное расширение обучающей выборки изображений для сверточных нейронных сетей / А. А. Толстых, А. Н. Голубинский // «Актуальные вопросы эксплуатации систем охраны и защищенных телекоммуникационных систем»: Сборник материалов Всероссийской научно-практической конференции. - 2017. - С. 20-22.

11. Толстых, А. А. Обзор применения аппарата нейронных сетей в материаловедении / А. А. Толстых // Международная научно-практическая конференция «Охрана, безопасность, связь»: Сборник материалов. - 2017. -С. 34-38.

12. Толстых А. А. О возможности качественного анализа материалов при помощи сверточных нейронных сетей / А. А. Толстых // «Актуальные вопросы эксплуатации систем охраны и защищенных телекоммуникационных систем»: Сборник материалов всероссийской научно-практической конференции. - 2017. - С. 215-216.

13. Толстых, А. А. Обзор методов детектирования множества объектов на телевизионном изображении / А. А. Толстых // Международная научно-практическая конференция «Общественная безопасность, законность и

правопорядок в III тысячелетии»: Сборник материалов. - 2017. - Т. 3-2. -С. 317-322.

14. Толстых, А. А. Анализ устойчивости искусственных нейронных сетей в задачах классификации изображений / А. А. Толстых // «Актуальные вопросы эксплуатации систем охраны и защищенных телекоммуникационных систем»: Сборник материалов всероссийской научно-практической конференции. - 2018. - С. 362-364.

15. Толстых, А. А. Алгоритм выбора архитектуры полносвязной сети в задачах распознавания изображений на основе сверточных нейронных сетей / А. А. Толстых, А. Н. Голубинский // Радиолокация, навигация, связь. Сборник трудов XXV Международной научно-технической конференции, посвященной 160-летию со дня рождения А.С. Попова: в 6-ти томах. -2019. - С. 156-163.

16. Толстых, А. А. О выборе гиперпараметров сверточных нейронных сетей для распознавания объектов на цифровых изображениях / А. А. Толстых, А. Н. Голубинский // Сборник статей II всероссийской научно-технической конференции «Состояние и перспективы развития современной науки по направлению «Техническое зрение и распознавание образов» на базе Военного инновационного технополиса «ЭРА». - 2020. - Т. 2. - С. 100-105.

17. Свидетельство о государственной регистрации программы для ЭВМ № 2019618953 Российская Федерация. «Программа построения и получения характеристик сверточных нейронных сетей» заявл. 25.07.2019: опубл. 08.07.2019 / А. А. Толстых, А. Н. Голубинский; заявитель А. А. Толстых.

18. Свидетельство о государственной регистрации программы для ЭВМ № 2019616219 «Программа тестирования эффективности распознавания объектов на изображениях сверточными нейронными сетями» заявл. 26.04.2019: опубл. 26.05.2019 / А. А. Толстых, А. Н. Голубинский; заявитель А. А. Толстых.

19. Свидетельство о государственной регистрации программы для ЭВМ № 2020618473 «Программа тестирования различных алгоритмов обучения

полносвязных искусственных нейронных сетей» заявл. 28.07.2020: опубл. 17.08.2020 / А. А. Толстых, А. Н. Голубинский; заявитель А. А. Толстых.

20. Указ Президента Российской Федерации №2 490 от 10 октября 2019 г. «О развитии искусственного интеллекта в Российской Федерации» [Электронный ресурс]. - Документы системы ГАРАНТ | ГАРАНТ. - Режим доступа: https : //base. garant.ru/72838946/

21. Шапиро, Л. Компьютерное зрение / Л. Шапиро, Д. Стокман - М.: "Биом. Лаборатория Знаний", 2006. - 752 с.

22. Фор, А. Восприятие и распознавание образов / А. Фор - М: Машиностроение, 1989. - 272 с.

23. Коршунова, К. П. Задачи и методы автоматического описания изображений / К. П. Коршунова // Системы управления, связи и безопасности. - 2018. - Т. 1. - С. 30-77.

24. Гонсалес, Р. Цифровая обработка изображений / Р. Гонсалес, Р. Вудс - М: Техносфера, 2012. - 1104 с.

25. Papageorgiou C., General Framework for Object Detection / C. Papageorgiou, M. Oren T. A Poggio // 6th International Conference on Computer Vision. - 1998. - С. 555-562.

26. Strid, I. Block Kalman Filtering for Large-Scale DSGE Models / I. Strid, K. Walentin // Computational Economics (Springer). - 2009. - Т. 33. - С. 277-304.

27. Open Source Computer Vision [Электронный ресурс] - 2016. - Режим доступа: http://docs.opencv.org/.

28. Стренг, Г. Линейная алгебра и ее применения / Г. Стренг - М: Книга по Требованию. - 2012. - 460 с.

29. Коробейников, А. В. Предобработка изображений в системах машинного зрения на основе одномерного вейвлет-преобразования / А. В. Коробейников, О. Л. Макарова, Е. Н. Плостникова, В. В. Ситников // Информационные технологии в науке, промышленности и образовании. Сборник трудов Всероссийской научно-технической конференции. Ижевский

государственный технический университет имени М. Т. Калашникова. -2020. - С. 39-46.

30. Viola, P. Rapid Object Detection using a Boosted Cascade of Simple Features / P. Viola, M. Jones // proccedings IEEE Conf. on Computer Vision and Pattern Recognition (CVPR). - 2001. - С. 511-518.

31. Усилин, С. А. Алгоритмическое развитие Виола-Джонсовских детекторов для решения прикладных задач распознавания изображений: дис. канд. тех. наук: 05.13.01 / С. А. Усилин - М., 2017. - 149 с.

32. Bishop, M. Pattern Recognition and Machine Learning / M. Bishop -Springer, 2006. - 738 с.

33. Горбань, А. Н. Нейронные сети на персональном компьютере / А. Н. Горбань, Д. А. Россиев - Новосибирск: Наука, 1996. - 278 с.

34. Кобзарь, А. И. Прикладная математическая статистика /

A. И. Кобзарь - М: Физматлит, 2006. - 816 с.

35. Вьюгин, В. В. Математические основы теории машинного обучения и прогнозирования / В. В. Вьюгин М. 2013. - 387 с.

36. Буре, В. М. Теория вероятностей и математическая статистика /

B. М. Буре, Е. М. Парилина - СПб: Лань, 2013. - 416 с.

37. Растригин, Л. А. Метод коллективного распознавания / Л. А. Растригин, Р. Х. Эренштейн М: Энергоиздат, 2006. - 80 с.

38. Шепперд, Г. Нейробиология. Том 1 / Г. Шепперд - М: Мир, 1987. -227 с.

39. Куркин, С. А. Использование искусственных нейронных сетей для классификации электрической активности головного мозга в процессе воображения движений у нетренированных испытуемых / С. А. Куркин, Е. Н. Пицик, А. Е. Храмов // Управление в медицине и биологии. - 2019. -

C. 77-84.

40. Shepherd, G. M. Introduction to synaptic circuits, in The Synoptic Organization of the Brain/ G. M. Shepherd, C. Koch - 5-е изд - New York: Oxford University Press, 2004. - 736 с.

41. Хайкин С. Нейронные сети. Полный курс / С. Хайкин - 2-е изд. -М: Издательский дом "Вильямс", 2006. - 1104 с.

42. Гудфеллоу Я., Бенджио И., Курвилль А. Глубокое обучение / Я. Гудфеллоу, И. Бенджио, А. Курвилль - М: «ДМК Пресс», 2017. - 652 с.

43. Ясницкий, А. Н. Введение в искусственный интеллект / А. Н. Ясницкий - 3-е изд. М: издательский центр «Академия», 2010. - 126 с.

44. Hagan, M. Neural Network Design / M. Hagan, H. Demuth, M. Beale -Boulder: Campus Pub. Service, University of Colorado Bookstore, 2002. - 736 с.

45. Комашинский, В. И. Нейронные сети и их применение в системах управления и связи / В. И. Комашинский, Д. А. Смирнов - М: Горячая линия -Телеком, 2003. - 94 с.

46. Hopfield, J. J. Neurocomputing: Foundations of Research / J. J. Hopfield // Neural Networks and Physical Systems with Emergent Collective Computational Abilities - 1988. - С. 457-464.

47. Минаев, Ю. Н. Методы и алгоритмы решения задач идентификации и прогнозирования в условиях неопределенности в нейросетевом логическом базисе / Ю. Н. Минаев, О. Ю. Филимонова, Л. Бенамеур - М: Горячая линия -Телеком, 2003. - 205 с.

48. McCulloch, W. S. A logical calculus of the ideas immanent in nervous activity / W. S. McCulloch, P. Walter // The bulletin of mathematical biophysics -1943. - С. 115-133.

49. Немков, Р. М. Разработка нейросетевых алгоритмов инвариантного распознавания образов: дис. канд. техн. наук: 05.13.18 / Р. М. Немков -Ставрополь, 2015. - 162 с.

50. Wilamowski, B. M. Intelligent systems / B. M. Wilamowski, D. J. Irwin -2-е изд. - Бока-Ратон: CRC Press, 2011. - 568 с.

51. Каунг, М. С. Сверточные нейронные сети в задачах глубокого обучения / М. С. Каунг, Ю. А. Абрамов, С. А. Гинзгеймер // Международный студенческий научный вестник- 2018. - № 5. - С. 1-8.

52. Лагунов, Н. А. Нейросетевое моделирование распознавания многопараметрических объектов: дис. канд. тех. наук: 05.13.18 / Н. А. Лагунов. -Севастополь. 2016. - 158 с.

53. Басс, Л. П. Машинное обучение в задачах обработки спутниковых изображений / Л. П. Басс, Ю. А. Пластинин, И. Ю. Скрябышева // Метрология - 2020. - № 4. - С. 15-37.

54. Николаев, Е. И. Технология обучения глубоких моделей на синтезированном наборе данных для распознавания и детектирования жестов / Е. И. Николаев, В. В. Захаров, Н. В. Захарова // Вестник Северо-Кавказского государственного технического института. - 2017. - Т. 4. - №2 31. - С. 237-240.

55. Кипяткова, И. С. Разновидности глубоких искусственных нейронных сетей для систем распознавания речи / И. С. Кипяткова, А. А. Карпов // труды СПИИРАН. - 2016. - № 6(49). - С. 80-103.

56. Алексеев, А. А. Методы и алгоритмы детектирования объектов на основе нейронной сети с полносвязным ядром свертки / А. А. Алексеев - СПб: Университет ИТМО - 2019. - 239 с.

57. Srivastava, R. K. [1410.1165] Understanding locally competitive networks [Электронный ресурс] / R. K. Srivastava, J. Masci, F. Gomez, J. Schmidhuber // arXiv.org e-Print archive. - 2014. - Режим доступа: https://arxiv.org/abs/1410.1165.

58. Touvron, H. Fixing the train-test resolution discrepancy / H. Touvron, A. Vedaldi, M. Douze, H. Jegou // Advances in Neural Information Processing Systems - 2009. - Т. 32 - С. 1-11.

59. Rojas, R. Neural Networks: A Systematic Introduction / R. Rojas -Springer, 1996. - 522 с.

60. Скользящий контроль [Электронный ресурс] // Профессиональный информационно-аналитический ресурс, посвященный машинному обучению, распознаванию образов и интеллектуальному анализу данных - 2015. - Режим доступа:

http: //www.macЫneleammg.m/wiki/mdex.php?tШe=Скользящий_контроль.

61. Wong, S. [1609.08764] Understanding data augmentation for classification: when to warp? [Электронный ресурс] / S. Wong, A. Gatt, V. Stamatescu, M. McDonnell // arXiv.org e-Print archive. - 2016. Режим доступа: https://arxiv.org/abs/1609.08764.

62. Черноруцкий, И. Г. Методы оптимизации. Компьютерные технологии / И. Г. Черноруцкий - СПб: БХВ-Петербург, 2011. - 384 с.

63. Бояров, А. А. Стохастическая оптимизация для обучения признаков без учителя / А. А. Бояров // Стохастическая оптимизация в информатике. -2015. - Т. 11. - № 2. - С. 3-16.

64. Metz, L. Learning Unsupervised Learning Rules / L. Metz, N. Maheswaranathan, B. Cheung, J. Sohl-Dickstein // International Conference on Learning Representations. - 2019. - С. 1-27.

65. Созыкин, А. В. Обзор методов обучения глубоких нейронных сетей / А. В. Созыкин // Вестник Южно-Уральского государственного университета, серия Вычислительная математика и информатика. - 2017. -Т. 6. - № 3. - С. 28-59.

66. Rosenblatt, F. The perceptron: a probabilistic model for information storage and organization in the brain / F. Rosenblatt // Psychological review -1958. - Т. 65. - № 6. - С. 386-409.

67. Царегородцев, В. Г. Конструктивный алгоритм синтеза структуры многослойного персептрона / В. Г. Царегородцев // Вестник КазНУ им. Аль-Фараби, серия «Математика, механика, информатика». - 2008. - Т. 13. - № 4. -

C. 22-30.

68. Kingma, D. P. Adam: A Method for Stochastic Optimization /

D. P. Kingma, J. Ba // Computer Research Repository (CoRR). - 2014 - Т. abs/1412.6980.

69. Srivastava, N. Dropout: A Simple Way to Prevent Neural Networks from Overfitting / N. Srivastava, G. Hinton, A. Krizhevsky, I. Stuskever, R. Salakhudinov // Journal of Machine Learning Research. - 2014. - С. 1929-1935.

70. Lewkowycz, A. The large learning rate phase of deep learning: the catapult mechanism / A. Lewkowycz, Y. Bahri, J. Dyer, J. Sohl-Dickstein, G. Gur-Ari // Computer Research Repository (CoRR). - 2020. - Т. abs/2003.02218. -С. 1-25.

71. Ba, J. L. [1607.06450] Layer normalization [Электронный ресурс] / L. J. Ba, J. Ryan, G. E. Hinton // arXiv.org e-Print archive. - 2016. - Режим доступа: https://arxiv.org/abs/1607.06450.

72. Salimans, T. [1602.07868] Weight normalization: A simple reparameterization to accelerate training of deep neural networks [Электронный ресурс] / T. Salimans, D. P. Kingma // arXiv.org e-Print archive. - 2016. - Режим доступа: https://arxiv.org/abs/1602.07868.

73. Liao, Q. [1610.06160] Streaming normalization: Towards simpler and more biologically-plausible normalizations for online and recurrent learning [Электронный ресурс] / Q. Liao, K. Kawaguchi, T. Poggio // arXiv.org e-Print archive. - 2016. - Режим доступа: https://arxiv.org/abs/1610.06160.

74. Wilamowski, B. M. Improved computation for Levenberg-Marquardt training / B. M. Wilamowski, H. Yu // IEEE Transactions on Neural Networks. -2010. - Т. 21. - № 6. - С. 930-937.

75. Smith, J. Neural Network Training With Levenberg-Marquardt and Adaptable Weight Compression / J. Smith, B. Wu, B. M. Wilamowski // IEEE Transactions on Neural Networks and Learning Systems - 2018. - С. 1-8.

76. Shepherd, A. J. Second-Order Methods for Neural Networks: Fast and Reliable Training Methods for Multi-Layer Perceptrons / A. J. Shepherd - New York: Springer, 1997. - 160 с.

77. Camm, J. Essentials of Business Analytics / J. Camm, J. Cochran, M. Fry, J. Ohlmann, D. Anderson - Бостон: Cengage Learning, 2014. - 696 с.

78. Fawcett, T. An Introduction to ROC Analysis / T. Fawcett // Pattern Recognition Letters. - 2006. - Т. 8. - № 27. - С. 861-874.

79. Елисеева, И. И. Общая теория статистики: Учебник. / И. И. Елисеева, М. М. Юзбашев - 4-е изд. - М: Финансы и Статистика, 2002. 480 с.

80. He, K. [1502.01852] Delving Deep into Rectifiers: Surpassing HumanLevel Performance on ImageNet Classification / K He, X. Zhang, S. Ren, J. Sun [Электронный ресурс] // arXiv.org e-Print archive. - 2015. - Режим доступа: https://arxiv.org/abs/1502.01852.

81. Голубинский, А. Н. О построении архитектур и оценке параметров искусственных нейронных сетей / А. Н. Голубинский // Теория и техника радиосвязи. - 2020. - № 1. - С. 72-87.

82. Абрамов, С. А. Лекции о сложности алгоритмов / С. А. Абрамов - М: МЦНМО, 2012. - 248 с.

83. Максимушкин, В. В. Сравнительная оценка вычислительной сложности обучения искусственной нейронной сети с жестким ядром и сети с классической структурой / В. В. Максимушкин, А. А. Арзамасцев // Вестник российских университетов. Математика. - 2006. - № 2. - С. 190-197.

84. Zaccone, G. Deep Learning with TensorFlow: Explore neural networks with Python / G. Zaccone, R. Karim, A. Menshawy - Бирмингем: Packt Publishing, 2017. - 320 с.

85. Yann LeCun's Home Page [Электронный ресурс] // MNIST handwritten digit database, Yann LeCun, Corinna Cortes and Chris Burges. - 2012. - Режим доступа: http://yann.lecun.com/exdb/mnist/.

86. Ranzato, М. A. What is the best multi-stage architecture for object recognition? / M. A. Ranzato, K. Jarret, K. Kavukcuoglu, Y. LeCun // IEEE Computer Society. - 2009. - С. 2146-2153.

87. Szegedy, С. Going deeper with convolutions / C. Szegedy, W. Liu, Y. Jia, P. Sermanet, S. Reed, D. Angueloy, D. Ethan, V. Vanhoucke, A. Rabinovich // IEEE Conference on Computer Vision and Pattern Recognition. - 2014. - С. 1-9.

88. Zhang, X. [1502.01852] Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification [Электронный ресурс] / X. Zhang, S. Ren, J. Sun, K. He // arXiv.org e-Print archive. - 2015. - Режим доступа: https://arxiv.org/abs/1502.01852.

89. Matuszyk, P. A Comparative Study on Hyperparameter Optimization for Recommender Systems / P. Matuszyk, R. T. Castillo, D. Kottke, M. Spiliopoulou // Workshop on Recommender Systems and Big Data Analytics (RS-BDA'16). -2016. - С. 13-21.

90. Larsson, G. [1605.07648] FractalNet: Ultra-Deep Neural Networks without Residuals [Электронный ресурс] / G. Larsson, M. Maire, G. Shakhnarovich // arXiv.org e-Print archive. - 2017. - Режим доступа: https://arxiv.org/abs/1605.07648.

91. Chollet, F. [1610.02357] Xception: Deep Learning with Depthwise Separable Convolutions / F. Chollet // arXiv.org e-Print archive. - 2017. - Режим доступа: http://arxiv.org/abs/1610.02357.

92. Huang, G. [1603.09382] Deep networks with stochastic depth [Электронный ресурс] / G. Huang, Y. Sun, Z. Liu, D. Sedra, K. Weinberger // arXiv.org e-Print archive. - 2016. - Режим доступа: https: //arxiv.org/abs/1603.09382.

93. Bergstra, J. Random Search for Hyper-Parameter Optimization / J. Bergstra, B. Yoshua // Journal of Machine Learning Research (JMLR). - 2012. -С. 281-305.

94. Царьгородцев, В. Г. Определение оптимального размера нейросети обратного распространения через сопоставление средних значений модулей весов синапсов / В. Г. Царьгородцев // Материалы 14 международной конференции по нейрокибернетике. - 2005. - Т. 2. - С. 56-62.

95. Springenberg, J.T. Striving for Simplicity: The All Convolutional Net / J. T. Springenberg, A. Dosovitskiy, T. Brox, M. A. Riedmiller // Computer Research Repository (CoRR). - 2014. - Vol. abs/1412.6806.

96. He, K. [1512.03385] Deep Residual Learning for Image Recognition / K. He, X. Zhang, S. Ren, J. Sun [Электронный ресурс] // arXiv.org e-Print archive. - 2015. - Режим доступа: https://arxiv.org/abs/1512.03385.

97. Xie, K. Eliminating the permutation ambiguity of convolutive blind source separation by using coupled frequency bins / K. Xie, G. Zhiu, J. Yang, Z. He,

S. Xie // IEEE Transactions on Neural Networks and Learning Systems. - 2020. -Т. 31. - № 2. - С. 589-599.

98. Murphey, Y. L. Neural Learning from Unbalanced Data / Y. L. Murphey, H. Guo, L. A. Feldkamp // Applied Intelligence. - 2004. - № 21. - С. 117-128.

99. Ratner, A. [1605.07723] Data programming: Creating large training sets, quickly. / A. Ratner, Sa C. De, S. Wu, D. Selsam, C. Re [Электронный ресурс] // arXiv.org e-Print archive. - 2017. - Режим доступа: https://arxiv.org/abs/1605.07723.

100. Ioffe, S. [1502.03167] Batch normalization: Accelerating deep network training by reducing internal covariate shift [Электронный ресурс] / S. Ioffe,

C. Szegedy // arXiv.org e-Print archive. - 2015. - Режим доступа: https://arxiv.org/abs/1502.03167.

101. Лебедев, В. В. Алгоритмы ускорения сверточных нейронных сетей / В. В. Лебедев - М: Московский физико-технический государственный университет, 2018. - 218 с.

102. Алексеенко Ю. В. Применение распределенных вычислений для реализации алгоритмов Deep Learning / Ю. В. Алексеенко // Современные тенденции развития науки и технологий. - 2015. - № 6-1 - С. 95-100.

103. Mahajan, D. Exploring the Limits of Weakly Supervised Pretraining /

D. Mahajan, R. B. Girshick, V. Ramanathan, K. He, M. Paluri, Y. Li, A. Bharambe, L. van der Maaten // Computer Research Repository (CoRR). - 2018. -Т. abs/1805.00932 - С. 1-23.

104. Голубинский, А. Н. О применении сверточных нейронных сетей для классификации моторики на основе сигналов ЭЭГ интерфейса мозг-компьютер / А. Н. Голубинский, А. А. Толстых // Наукосфера. - 2021. -№ 2 (1). - С. 85-88.

105. Snoek, J. [1206.2944] Practical Bayesian Optimization of Machine Learning Algorithms [Электронный ресурс] / J. Snoek, H. Larochelle, R. P. Adams // arXiv.org e-Print archive. - 2012. - Режим доступа: https://arxiv.org/abs/1206.2944.

106. Xu, C. An Actor-Critic Algorithm For Learning Rate / C. Xu, T. Qin, G. Wang, T. Y. Liu // 5th International Conference on Learning Representations (ICLR 2017). - 2017. - С. 1-12.

107. Breiman, L. Random Forests / L. Breiman // Machine Learning. - 2001. - Т. 45. - № 1. - С. 5-32.

108. Chen, T. XGBoost: A Scalable Tree Boosting System / T. Chen, C. Guestrin // Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. - 2016. - С. 785-794.

109. ГОСТ Р ИСО 3534-1-2019. «Статистические методы. Словарь и условные обозначения. Часть 1. Общие статистические термины и термины, используемые в теории вероятностей». - М: Стандартинформ, 2019. - 147 с.

110. Bergstra, J. Algorithms for Hyper-Parameter Optimization / J. Bergstra, R. Bardenet, Y. Bengio, B. Kegl // 25th Annual Conference on Neural Information Processing Systems (NIPS 2011). - 2011. - С. 35-44.

111. Колмогоров, А. Н. О представлении непрерывных функций нескольких переменных в виде суперпозиции непрерывных функций одного переменного / А. Н. Колмогоров // Доклады АН СССР. - 1957. - Т. 114. - №№ 5 -С. 953-956.

112. Hecht-Nielsen, R. Kolmogorov's Mapping Neural Network Existence Theorem / R. Hecht-Nielsen // IEEE First Annual Int. Conf. on Neural Networks. -1987. - Т. 3. - С. 11-13.

113. Ribeiro, R. Noise Tolerance in Reinforcement Learning Algorithms / R. Ribeiro, A. L. Koerich, F. Enembreck // International Conference on Intelligent Agent Technology (IAT'07). - 2007. -С. 265-268.

114. Kozuno, T. Gap-Increasing Policy Evaluation for Efficient and Noise-Tolerant Reinforcement Learning / T. Kozuno, D. Han, K. Doya // Computer Research Repository (CoRR). - 2019. - Т. abs/1906.07586. - С. 1-18.

115. Sundararajan, M. Axiomatic Attribution for Deep Networks / M. Sundararajan, A. Taly, Q. Yan // Computer Research Repository (CoRR). -2017. - Т. abs/1703.01365 - С. 3319-3328.

116. Alain, G. Understanding intermediate layers using linear classifier probes / G. Alain, Y. Bengio // Computer Reseach Repository (CoRR). - 2019. -Т. abs/1610.01644. - С. 1-9.

117. Visualizing Higher-Layer Features of a Deep Network: Tech. rep / D. Erhan, Y. Bengio, A. Courville, P. Vincent - Montreal: University of Montreal, -2009. - 42 c.

118. Лемешко, Б. Ю. Критерии проверки отклонения распределения от равномерного закона. Руководство по применению / Б. Ю. Лемешко, П. Ю. Блинов - М: Инфра-М, 2015. - 184 с.

119. Hinton, G. Distilling the Knowledge in a Neural Network / G. Hinton, O. Vinyals, J. Dean // NIPS Deep Learning and Representation Learning Workshop. - 2015. - С. 1-9.

ПРИЛОЖЕНИЕ А. АКТЫ ВНЕДРЕНИЯ

УТВЕРЖДАЮ Научный руководитель :Ж|Ц<<Концерн «Созвездие»

ических наук, профессор

В.И. Борисов _ 203.1 г.

АКТ

о внедрении материалов диссертационной работы Толстых Андрея Андреевича

Комиссия в составе: председателя комиссии - руководителя Аппарата научного руководителя доктора технических наук А.Н. Голубинского, членов комиссии - начальника отдела 1801 кандидата технических наук М.Н. Данильченко, руководителя проекта отдела 1801 доктора физико-математических наук А.Б. Муравника составила настоящий акт о том, что результаты кандидатской диссертации Толстых A.A., в том числе разработанные математические модели сверточных нейронных сетей для решения задач распознавания цифровых изображений, гибридный алгоритм обучения сверточных нейронных сетей, а также разработанная методика определения эффективности параметризатора сверточных нейронных сетей использованы в решениях по применению технологий искусственного интеллекта и определению их места и роли в автоматизированной системе управления тактического звена (ОКР шифр «Созвездие 2015»),

Председатель комиссии:

руководитель Аппарата научного руководителя доктор технических наук

Члены комиссии:

начальник отдела 1801 кандидат технических наук

М.Н. Данильченко

руководитель проекта отдела 1801

доктор физико-математических наук

А.Б. Муравник

ПРИЛОЖЕНИЕ Б. ПРОГРАММА ТЕСТИРОВАНИЯ ЭФФЕКТИВНОСТИ РАСПОЗНАВАНИЯ ОБЪЕКТОВ НА ИЗОБРАЖЕНИЯХ СВЕРТОЧНЫМИ НЕЙРОННЫМИ СЕТЯМИ

ПРИЛОЖЕНИЕ В. ПРОГРАММА ПОСТРОЕНИЯ И ПОЛУЧЕНИЯ ХАРАКТЕРИСТИК СВЕРТОЧНЫХ НЕЙРОННЫХ СЕТЕЙ

ПРИЛОЖЕНИЕ Г. ПРОГРАММА ТЕСТИРОВАНИЯ РАЗЛИЧНЫХ АЛГОРИТМОВ ОБУЧЕНИЯ ПОЛНОСВЯЗНЫХ ИСКУССТВЕННЫХ

НЕЙРОННЫХ СЕТЕЙ