Алгоритмы вычисления отклика нейронных сетей на динамически перестраиваемых вычислительных средах тема диссертации и автореферата по ВАК РФ 00.00.00, кандидат наук Шатравин Владислав

• Шатравин Владислав
• кандидат наук
• 2023

Оглавление диссертации кандидат наук Шатравин Владислав

Введение

1 Анализ состояния применения однородных сред для вычисления отклика искусственных нейронных сетей

1.1 Искусственные нейронные сети

1.1.1 Вводные понятия

1.1.2 Функции активации нейрона

1.1.3 Обучение сети

1.1.4 Свёрточные нейронные сети

1.1.5 Рекуррентные нейронные сети

1.2 Проблемы прикладного применения нейронных сетей

1.2.1 Алгоритмические способы уменьшения вычислительной сложности сетей

1.2.2 Аппаратные способы увеличения быстродействия и энергоэффективности сетей

1.2.3 Переиспользование данных в аппаратных ускорителях

1.2.4 Применение вычислителей параллельно-конвейерного типа в аппаратных ускорителях

1.2.5 Перестраиваемые аппаратные ускорители

1.3 Перестраиваемые вычислительные среды

1.3.1 Неперестраиваемые и перестраиваемые автоматы

1.3.2 Перестраиваемые вычислительные среды

1.4 Выводы по первому разделу

2 Разработка алгоритмов вычисления отклика искусственных нейронных

сетей на перестраиваемых вычислительных средах

2.1 Разработка базовых алгоритмов перестраиваемых вычислительных сред

для вычисления отклика искусственных нейронных сетей

2.1.1 Концепция вычисления отклика нейронных сетей на перестраиваемых вычислительных средах

2.1.2 Выбор параметров архитектуры вычислительной среды

2.1.3 Синтез модели элемента среды

2.1.4 Определение режимов функционирования среды

2.1.5 Настройка среды

2.2 Разработка алгоритмов реализации функций активации нейрона на перестраиваемых вычислительных средах

2.2.1 Реализация сигмоидной функции

2.2.2 Реализация гиперболического тангенса

2.2.3 Реализация функции войтах

2.3 Разработка алгоритмов реализации отдельных слоёв нейронных сетей на перестраиваемых вычислительных средах

2.3.1 Реализация свёрточного слоя

2.3.2 Реализация слоя субдискретизации

2.3.3 Реализация слоя преобразования матриц в вектор

2.3.4 Построение рекуррентных сетей

2.4 Архитектура программно-аппаратного комплекса на основе перестраиваемых вычислительных сред

2.5 Выводы по второму разделу

3 Имитационное моделирование перестраиваемых вычислительных сред для вычисления отклика искусственных нейронных сетей

3.1 Программная реализация модели вычислительного элемента и состоящей из них среды

3.2 Имитационное моделирование полносвязного слоя

3.3 Имитационное моделирование функций активации нейрона

3.3.1 Моделирование сигмоидной функции активации

3.3.2 Моделирование функции активации войтах

3.4 Выводы по третьему разделу

4 Применение перестраиваемых вычислительных сред для вычисления отклика искусственных нейронных сетей на программируемых логических интегральных схемах

4.1 Определение модели сети

4.2 Определение конфигурации вычислительной среды

4.3 Реализация перестраиваемой среды на РРСЛ

4.4 Выводы по четвёртому разделу

Заключение

Список сокращений

Список использованной литературы

Приложение А (обязательное) Акты внедрения результатов работы

Приложение Б (рекомендуемое) Функции активации нейронов

Приложение В (рекомендуемое) Блок-схемы разработанных алгоритмов

Приложение Г (справочное) Коэффициенты аппроксимации экспоненты

Введение диссертации (часть автореферата) на тему «Алгоритмы вычисления отклика нейронных сетей на динамически перестраиваемых вычислительных средах»

Введение

Актуальность темы исследования. Последние десятилетия характеризуются всё более активным применением алгоритмов машинного обучения, и нейронных сетей в частности. Их способность эффективно решать плохо формализованные задачи открывает широкие возможности для построения интеллектуальных информационных систем. На сегодняшний день нейронные сети применяются для задач распознавания образов, обработки естественного языка, классификации объектов, предсказательной аналитики, восстановления изображений и других [5, 12, 17, 38, 44, 45]. Целевые системы, опирающиеся на применение нейронных сетей, варьируются от маломощных мобильных устройств до облачных систем и центров обработки данных [43, 48, 61, 64].

Значительная вычислительная сложность нейронных сетей делает неэффективным применение вычислительных устройств классических архитектур. Всё большую роль играют устройства на основе многоядерных графических процессоров, а также специализированных вычислителей, построенных на основе программируемых логических интегральных схем (ПЛИС, FPGA) и интегральных схем специального назначения (ASIC) [44, 47, 57, 86]. Это связано с их способностью выполнять вычисления с высокой степенью параллелизма, что позволяет значительно ускорить наиболее трудоёмкие операции нейросетевых алгоритмов. Вычислительные устройства, специализированные на реализацию нейронных сетей, называют аппаратными ускорителями нейронных сетей.

На сегодняшний день наблюдается явная тенденция к усложнению архитектур нейронных сетей, что приводит к необходимости постоянного совершенствования программно-аппаратных средств их реализации. В связи с этим разработка новых моделей и алгоритмов функционирования аппаратных ускорителей играет большую роль в обеспечении прикладного применения современных архитектур нейронных сетей.

Степень разработанности темы исследования. Наиболее перспективным направлением развития специализированных под алгоритмы машинного обучения

вычислительных устройств являются вычислители с архитектурой параллельно-конвейерного типа, поддерживающие несколько параллельных потоков исполнения команд, каждый из которых использует конвейеризацию, то есть выполнение последовательности из нескольких команд над разными фрагментами данных [9, 22, 55, 64, 67].

В развитие и применение вычислителей параллельно-конвейерного типа значительный вклад внесли выдающиеся отечественные и зарубежные учёные: Э. В. Евреинов, А. В. Каляев, И. А. Каляев, В. Б. Кудрявцев, А. С. Подколзин, И. В. Прангишвили, В. Г. Хорошевский, А. А. Шалыто, В. И. Шмойлов, Y. H. Chen, T. Hoefler, S. Matsuoka, R. Duncan, M. T. Sterling, J. L. Traff и другие.

В области теории искусственных нейронных сетей большую роль сыграли такие видные учёные, как И. А. Бессмертный, М. В. Воронов, А. И. Галушкин, А. Г. Ивахненко, А. С. Кронрод, С. Николаенко, Я. З. Цыпкин, Y. Bengio, I. J. Goodfellow, S. Haykin, G.E. Hinton, J. J. Hopfield, N. P. Jouppi, Y. A. LeCun, F. Rosenblatt и многие другие.

В связи с обширной сферой применения нейронных сетей, архитектуры используемых для их расчёта вычислительных устройств сильно различаются. Настольные, серверные и облачные системы опираются на мощные энергозатратные реализации аппаратных ускорителей, повышение производительности которых достигается не только качественным улучшением вычислительных устройств, но и масштабированием вычислительной системы.

Совсем иначе обстоит дело для маломощных устройств, к которым, в частности, относится широкий класс мобильных и автономных интеллектуальных систем. Примерами таких систем являются мобильные роботы, БПЛА, мобильные телефоны, умные датчики интернета вещей, спутниковые системы и многие другие. Их объединяют жёсткие ограничения энергопотребления, массы, высокие требования к надёжности, а также частичная или полная недоступность их аппаратного обеспечения для перенастройки после начала эксплуатации. При этом подавляющее большинство предлагаемых архитектур аппаратных ускорителей ориентированы только на улучшение быстродействия и энергоэффективности

вычислений в рамках конкретных архитектур нейронных сетей, жертвуя при этом гибкостью, которая может являться решением многих упомянутых ранее проблем [43, 44].

Ключевой особенностью функционирования автономных мобильных устройств является долговременное пребывание в потенциально изменчивой среде. В некоторых случаях определить условия функционирования устройства до начала эксплуатации невозможно или крайне затруднительно. Более того, изменяться могут и поставленные перед устройством задачи. Эти два фактора оказывают непосредственное влияние на параметры и архитектуры используемых устройством моделей нейронных сетей. Как следствие, применяемые в маломощных информационных системах вычислительные устройства должны поддерживать удалённое изменение реализуемых алгоритмов. Одним из путей обеспечения таких изменений является применение перестраиваемых устройств.

На сегодняшний день предлагаются различные подходы к построению перестраиваемых аппаратных ускорителей, имеющие свои достоинства и недостатки [47, 65, 66]. С учётом упомянутых преимуществ параллельно-конвейерной архитектуры, а также в связи с необходимостью обеспечения динамической перенастройки вычислителя, большой интерес вызывает разработка моделей аппаратных ускорителей нейронных сетей на основе концепции перестраиваемых вычислительных сред. Эта концепция предлагает построение вычислительного устройства в виде геометрически правильной сетки, узлами которой являются простые вычислительные элементы. Каждый элемент настроен на выполнение определённой операции и способен обмениваться данными с соседними элементами. Благодаря независимой настройке и функционированию каждого отдельного элемента, устройствам на основе перестраиваемых сред свойственна естественная параллельность и динамическая реконфигурируемость.

Несмотря на преимущества перестраиваемых вычислительных сред, на сегодняшний день вопрос их применения для улучшения характеристик специализированных под задачи машинного обучения вычислительных устройств не проработан в должной степени. Данная работа направлена на устранение этого

пробела в целях расширения возможностей применения искусственных нейронных сетей в широком классе прикладных задач.

Соответствие паспорту специальности. Результаты исследования соответствуют научной специальности 2.3.8. «Информатика и информационные процессы»:

Пункт 9. Разработка архитектур программно-аппаратных комплексов поддержки цифровых технологий сбора, хранения и передачи информации в инфокоммуникационных системах, в том числе, с использованием «облачных» интернет-технологий и оценка их эффективности.

Пункт 13. Разработка и применение методов распознавания образов, кластерного анализа, нейросетевых и нечетких технологий, решающих правил, мягких вычислений при анализе разнородной информации в базах данных.

Цель исследования. Повышение гибкости вычисления отклика нейронных сетей в программно-аппаратных комплексах при помощи перестраиваемых вычислительных сред.

Задачи:

1. Сформировать концепцию синтеза алгоритмов вычисления отклика нейронных сетей предварительно заданных архитектур на перестраиваемых вычислительных средах.

2. Разработать алгоритм вычисления отклика нейронных сетей заданного множества архитектур на перестраиваемой вычислительной среде.

3. Синтезировать для предложенной модели перестраиваемой вычислительной среды алгоритмы, реализующие функции активации нейрона: линейный выпрямитель (ЯеЬи), сигмоида, гиперболический тангенс, войтах.

4. Синтезировать для предложенной модели перестраиваемой вычислительной среды алгоритмы, реализующие слои нейронной сети: полносвязный, свёрточный, субдискретизации, преобразования матриц в вектор.

5. Оценить корректность и быстродействие синтезированных в рамках исследования алгоритмов посредством проведения экспериментов на имитационных моделях и физическом вычислительном устройстве.

Научная новизна работы:

1. Предложена концепция синтеза алгоритмов вычисления отклика нейронных сетей, отличающаяся применением перестраиваемых вычислительных сред с динамической подстройкой тактовой частоты, что обеспечивает параллельное вычисление всех нейронов одного слоя, высокую эффективность использования ресурсов и масштабируемость.

2. Разработан алгоритм вычисления отклика нейронных сетей на перестраиваемых вычислительных средах, отличающийся вычислением нескольких слоёв сети и локальной перенастройкой за один такт работы среды, что позволяет повысить скорость.

3. Разработаны алгоритмы вычисления функций активации нейронов (сигмоиды, гиперболического тангенса, softmax) на основе операций заданного базиса, выполняемые на независимых вычислителях за один такт, что позволяет вычислять отклик нейронных сетей.

4. Разработаны алгоритмы вычисления отклика слоёв нейронных сетей (полносвязных, свёрточных, субдискретизации, преобразования набора матриц в вектор), адаптированные к вычислительным средам, что обеспечивает выполнение всех этапов вычисления отклика сетей соответствующих архитектур на одной вычислительной среде.

Теоретическая и практическая значимость диссертации. Полученные в рамках работы результаты расширяют сферу применения теории однородных структур в задачах, решаемых с применением искусственных нейронных сетей.

Предложенные алгоритмы открывают перспективы разработки аппаратных ускорителей нейронных сетей на основе перестраиваемых сред. Подобные ускорители не только будут обладать высоким быстродействием и энергоэффективностью при компактных размерах, но и обеспечат функционирование нейронных сетей разнообразных архитектур с произвольным числом слоёв и нейронов, допуская их динамическое изменение, подстройку тактовой частоты, а также восстановление работоспособности через перераспределение вычислений.

Полученные в рамках исследовательской работы результаты демонстрируют высокую эффективность применения перестраиваемых сред для вычисления моделей нейронных сетей полносвязных, свёрточных и рекуррентных архитектур. Разработанные алгоритмы могут быть применены на специализированных вычислительных устройствах, удовлетворяющих требованию полной или локальной однородности и реализующих операции заданного базиса. Предложенные модели и алгоритмы были использованы при разработке информационной системы анализа дорожного движения, что подтверждено актами внедрения.

Связь работы с научными проектами. Исследования выполнены в рамках:

- научного проекта № 20-37-90034 Аспиранты при финансовой поддержке ФГБУ «Российский фонд фундаментальных исследований» по теме «Исследование и разработка моделей и алгоритмов перестраиваемых вычислительных сред для задач машинного обучения» (2020-2022);

- научного проекта № 14.578.21.0241 в рамках федеральной целевой программы «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2014-2020 годы» по теме «Разработка системы автономного интеллектуального функционирования беспилотным летательным аппаратом на базе реконфигурируемых алгоритмов управления, навигации и обработки информации и создание на ее основе аппаратно-программного комплекса защиты от малогабаритных летательных аппаратов» (2017-2020);

- научного проекта № 19-29-06078 мк при финансовой поддержке ФГБУ «Российский фонд фундаментальных исследований» по теме «Разработка и исследование конфигурируемых быстродействующих алгоритмов распознавания изображений для оценки дорожной ситуации на базе специализированных мобильных устройств с параллельно-конвейерной архитектурой» (2019-2022);

- научного проекта №2 21-71-00012 при финансовой поддержке «Российского научного фонда» по теме «Исследование и разработка бинарных нейронных сетей для классификации и распознавания изображений» (2021-2023);

- научного проекта № 5.4.4.22 ПИШ «Разработка общей концепции и требований к цифровой инфраструктуре для управления сельскохозяйственными процессами в области точного земледелия» в рамках программы развития Передовой инженерной школы Томского государственного университета «Агробиотек» (2022);

- стипендиальной программы научно-исследовательского центра компании «Huawei» (2020-2021).

Методология и методы исследования. Для решения поставленных задач использовались методы теории нейронных сетей, теории булевой алгебры, теории вычислительных систем. Экспериментальные исследования проводились с использованием методов имитационного моделирования на ПК и прототипирования на программируемых логических интегральных схемах (БРОЛ).

Положения, выносимые на защиту:

1. Концепция синтеза алгоритмов вычисления отклика нейронных сетей на перестраиваемых вычислительных средах.

2. Алгоритм вычисления отклика нейронных сетей, рассматривающий слои сети как шаги конвейера со скользящим окном настройки, предназначенный для перестраиваемых вычислительных сред.

3. Алгоритмы вычисления функций активации нейронов (сигмоиды, гиперболического тангенса, войтах) за один такт, предназначенные для вычислительных сред, поддерживающих операции заданного базиса.

4. Алгоритмы реализации слоёв нейронных сетей (полносвязных, свёрточных, субдискретизации, преобразования набора матриц в вектор), разработанные для применения на вычислительных средах.

5. Результаты имитационного моделирования искусственного нейрона, функций активации сигмоида и войтах, а также опытной реализации нейронной сети.

Степень достоверности и апробация результатов исследования.

Достоверность полученных в рамках данной диссертационной работы результатов

подтверждается экспериментами, проведёнными при помощи имитационного моделирования и с применением испытательного стенда.

Результаты работы представлялись и обсуждались на научных конференциях различного уровня, среди которых:

- Международная школа-конференция «Инноватика-2019» (г. Томск, 2019);

- Международный форум «Интеллектуальные системы 4-й промышленной революции» (г. Томск, 2019);

- Международная школа-конференция «Инноватика-2020» (г. Томск, 2020);

- Международный форум «Интеллектуальные системы 4-й промышленной революции» (г. Томск, 2021);

- Международная конференция «International Conference on Information Technology» (Иордания, г. Амман, 2021);

- Международная конференция «Distributed Computer and Communications Networks: Control, Computation, Communications» (г. Москва, 2021);

- Международная конференция «Информационные технологии и математическое моделирование» (Узбекистан, г. Карши, 2022);

- Всероссийская научно-практическая конференция «Перспективные системы и задачи управления» (Карачаево-Черкессия, п. Домбай, 2022).

Публикации. По теме диссертации опубликовано 16 работ, в том числе 4 статьи в журналах, включенных в Перечень рецензируемых научных изданий, в которых должны быть опубликованы основные научные результаты диссертаций на соискание ученой степени кандидата наук, на соискание ученой степени доктора наук (из них 1 статья в российском научном журнале, входящем в Web of Science, 1 статья в зарубежном научном журнале, входящем в Scopus), 3 статьи в сборниках материалов конференций, представленных в изданиях, входящих в Scopus и Springer, 2 свидетельства о государственной регистрации программ для ЭВМ, 6 публикаций в сборниках материалов международных конференции и форумов, школ-конференций, всероссийской научно-практической конференции. В опубликованных работах достаточно полно изложены материалы диссертации.

Структура работы. Диссертационная работа изложена на 143 страницах печатного текста. Состоит из введения, четырёх разделов, заключения, списка сокращений, списка использованной литературы, четырёх приложений. Содержит 11 таблиц и 69 рисунков. Список литературы включает 86 источников, из них 50 на иностранном языке.

Автор выражает благодарность научному руководителю - доктору технических наук С. В. Шидловскому за неоценимый вклад в выполнение научных исследований, связанных с написанием данной работы.

Автор благодарит кандидата технических наук Д. В. Шашева за оказанную им помощь в проведении исследований и анализе полученных результатов.

1 Анализ состояния применения однородных сред для вычисления отклика искусственных нейронных сетей

1.1 Искусственные нейронные сети

1.1.1 Вводные понятия

Искусственные нейронные сети (НС) - широкий класс математических моделей, основанных на структуре и процессах, протекающих в нервных системах живых организмов, а также их аппаратные и программные реализации. По аналогии с биологическими нейронными сетями, искусственные состоят из большого числа простых вычислительных узлов - нейронов, соединённых друг с другом определённым образом при помощи синапсов. С нейронами и синапсами ассоциированы некоторые числовые значения. У нейронов они называются смещениями, а у синапсов - весами. Совокупность всех смещений и весов НС называют параметрами сети. Ключевыми особенностями НС являются обобщение и обучение. Обобщением называется способность нейронных сетей формировать правильный результат для незнакомых им прежде входных сигналов. Обучение сети - процесс извлечения из набора исходных данных модели предметной области в виде совокупности параметров. Благодаря обобщению и владению моделью предметной области, НС способны решать плохо формализованные задачи при искаженных входных данных.

В классических НС нейроны группируются в слои, причём входы нейронов одного слоя соединены с выходами нейронов предыдущего слоя (рисунок 1). В НС выделяют входной, выходной и один или более скрытых слоёв. Сети, имеющие большое количество скрытых слоёв, называют глубокими (ГНС) [38]. В процессе функционирования сети каждый синапс умножает проходящий через него сигнал на величину собственного веса. Нейрон суммирует собственное смещение с значениями входящих в него синапсов, применяет к полученной сумме некоторую функцию, называемую функцией активации нейрона, и передаёт полученный

результат на нейроны следующего слоя (рисунок 2). Принято, что все нейроны одного слоя используют одну и ту же функцию активации. Значение, формируемое на выходе нейронной сети в результате подачи на неё определённых входных воздействий, называют откликом сети или предсказанием.

Таким образом, архитектура НС определяется количеством слоёв в сети, распределением нейронов в слоях, организацией соединений, а также применяемыми функциями активации. В частности, выделяют два крупных класса архитектур НС - сети прямого распространения и рекуррентные сети. Сети прямого распространения представляют собой направленные ациклические графы (рисунок 1), в то время как рекуррентные сети имеют внутренние циклы, что позволяет им накапливать информацию. Особую роль играют свёрточные нейронные сети, являющиеся частным случаем сетей прямого распространения и получившие сильное развитие в связи со способностью к распознаванию образов на изображениях.

-> *-► <-► •»-

Входной спой 1-й скрытый спой 2-й скрытый слой Выходной слой

Рисунок 1 - Искусственная нейронная сеть с двумя скрытыми слоями

Рисунок 2 - Искусственный нейрон с тремя входами

Нейросетевым алгоритмом называют вычислительную процедуру, полностью или преимущественно реализованную в виде НС определённой структуры с заданным алгоритмом настройки весовых коэффициентов. Разработка

нейросетевых алгоритмов осуществляется посредством представления процесса решения задачи в виде функционирующей во времени динамической системы. Для построения такой системы необходимо определить входной сигнал НС, фактический выходной сигнал, требуемый выходной сигнал, структуру нейронной сети, функцию потерь (функция, характеризующая отклонение фактического и требуемого значений на выходе сети), критерий качества сети, а также значения весовых коэффициентов [6]. Систему, для которой определены все указанные атрибуты, называют моделью нейронной сети. Количество нейронов в слоях сети, их функции активации, а также количество и тип слоёв выбираются исходя из специфики решаемых задач и требований к качеству получаемого решения.

1.1.2 Функции активации нейрона

Функция активации (передаточная функция) нейрона (ФА) - функция, применяемая искусственным нейроном к взвешенной сумме своих входов. Несмотря на то, что ФА в общем случае может быть линейной, только нелинейные ФА позволяют нейронным сетям аппроксимировать сложные функции [5]. Другим требованием к ФА является непрерывная дифференцируемость во всех точках. Это необходимо для осуществления обучения сети методом обратного распространения ошибки, основанном на градиентном спуске. Стоит заметить, что производные некоторых ФА (например, рассматриваемого в данной работе линейного выпрямителя) всё же имеют точки разрыва, что, впрочем, не мешает им активно применяться для решения прикладных задач.

На сегодняшний день применяется множество различных функций активации, различающихся вычислительной сложностью, точностью и устойчивостью. В данной работе будут рассмотрены наиболее широко используемые функции активации - линейный выпрямитель, сигмоидная (логистическая) функция, softmax (многомерная логистическая функция) и гиперболический тангенс. Математическая запись и графическое представление указанных ФА приведены в приложении Б.

1.1.3 Обучение сети

Для того чтобы НС с заданной архитектурой была способна решать поставленные задачи, необходимо соответствующим образом определить её параметры. Итеративный процесс формирования совокупности параметров сети на основе некоторых исходных данных называют обучением. Совокупность исходных данных, используемых для обучения сети, называют обучающей выборкой. Обучающая выборка представляет собой унифицированный список объектов, каждый из которых представляет собой вектор значений, называемых признаками. Целью обучения является минимизация функции потерь сети. Функция потерь -функция, которая отражает расхождение между текущим и ожидаемым результатами работы сети. Процесс обучения заключается в многократной подаче на вход сети объектов обучающей выборки с последующей модификацией параметров в направлении уменьшения значения функции потерь. Выделяют три основных типа обучения нейронных сетей: обучение с учителем, обучение без учителя, обучение с подкреплением.

Обучение с учителем опирается на применение специально подготовленной обучающей выборки, в которой каждому объекту ставится в соответствие ожидаемый результат. Такую выборку называют размеченной. Обучение с размеченной выборкой представляет собой итеративный процесс, в котором на вход сети последовательно подаются объекты обучающей выборки, а полученный на выходе сети результат при помощи функции потерь сравнивают с ожидаемым значением, определяя величину ошибки. Затем осуществляется обратный проход по сети, при котором к параметрам применяется поправка, пропорциональная их вкладу в полученную ошибку. Этот алгоритм называется методом обратного распространения ошибки, который является развитием классического метода градиентного спуска. Недостатком обучения с учителем является необходимость в обучающей выборке, формирование которой часто производится вручную, что приводит к высокой трудоёмкости и наличию ошибок.

При обучении без учителя нейронная сеть самостоятельно выявляет взаимосвязи и закономерности в исходных данных, производя тем самым кластеризацию объектов обучающей выборки по нескольким категориям. В качестве исходных данных обычно выступают векторы признаков или матрица расстояний между объектами. Обучение без учителя не нуждается в разметке данных и позволяет выявить неочевидные на первый взгляд шаблоны в обучающей выборке, что позволяет разработанным моделям более эффективно решать плохо формализованные задачи. При этом она в меньшей степени подходит для решения задач со строгой формулировкой, так как результаты обучения без учителя обычно сложнее интерпретировать [17].

Обучение с подкреплением в некоторой степени объединяет оба описанных способа. При обучении используются неразмеченные данные, однако в зависимости от полученного результата сеть «наказывается» или «поощряется». Алгоритм обучения выстроен таким образом, что на каждом шаге сеть изменяет некоторые свои параметры, в случае поощрения эти изменения применяются, а следующее изменение будет идти в том же направлении. В случае наказания -текущее изменение параметров отменяется и процесс повторяется с иной модификацией параметров. Таким образом, изначально сеть меняет свои параметры случайным образом, а при получении первого поощрения - начинается корректировка весов в найденном направлении. Оценка, получаемая сетью, может задаваться человеком или некоторым правилом. Классическим примером задачи обучения с подкреплением являются игры, где получение игроком-сетью игровых очков рассматривается как поощрение, а проигрыш - как наказание.

Независимо от способа обучения результатом является модель нейронной сети с точными значениями параметров. Так как параметры формируются на основе данных из обучающей выборки, полученная модель отражает взаимосвязи между признаками объектов в соответствующей предметной области. Это позволяет применять разработанную модель для объектов, не представленных в обучающей выборке. При этом следует иметь в виду проблему переобучения сети,

Список литературы диссертационного исследования кандидат наук Шатравин Владислав, 2023 год

Список использованной литературы

1. Белоусов А. И. Дискретная математика: учебник для вузов / А. И. Белоусов, С. Б. Ткачев, под ред. В. С. Зарубина, А. П. Крищенко. -М. : МГТУ, 2004. - 744 с.

2. Бессмертный И. А. Системы искусственного интеллекта : учеб. пособие для вузов / И. А. Бессмертный. - 2-е изд. - М. : Юрайт, 2022. - 157 с.

3. Бирюков А. А. Процессор 1879ВМ6Я. Реализация глубоких свёрточных нейронных сетей [Электронный ресурс] / А. А. Бирюков, М. В. Таранин, С. В. Таранин // Веб-сайт АО НТЦ «Модуль». Публикации в рамках семинара Радиоэлектроника и приборостроение - 2018. - Электрон. дан. - 2018. - 5 с. - URL: https://www.module.ru/uploads/media/1534165451-18796-68958c488f.pdf (дата обращения 25.04.2022).

4. Воронов М. В. Системы искусственного интеллекта: учебник и практикум для вузов / М. В. Воронов, В. И. Пименов, И. А. Небаев. - М. : Юрайт, 2022. - 256 с.

5. Галушкин А. И. Нейронные сети: основы теории / А. И. Галушкин. - М. : Горячая линия-Телеком, 2010. - 496 с.

6. Галушкин А. И. Нейронные сети [Электронный ресурс] // Большая российская энциклопедия. - Электрон. дан. - 2016. - URL: https://bigenc.ru/technology_and_technique/text/4114009 (дата обращения 25.04.2022).

7. Евреинов Э. В. Цифровые автоматы с настраиваемой структурой (однородные среды) / Э. В. Евреинов. - М. : Энергия, 1974. - 240 с.

8. Каляев И. А. Реконфигурируемые мультиконвейерные вычислительные структуры / И. А. Каляев [и др.]. - Ростов н/Д : ЮНЦ РАН, 2008. - 393 с.

9. Кобайло А. С. Особенности архитектурной организации вычислительных систем реального времени. Параллельно-конвейерные вычислители / А. С. Кобайло // Труды БГТУ. Сер. 3, Физико-математические науки и информатика. - Минск : БГТУ, 2018. - № 1 (206). - С. 115-119.

10. Кориков А. М. Нейро-нечеткая классификация объектов и их состояний /

A. М. Кориков, А. Т. Нгуен // Системы анализа и обработки данных. - 2018. -№ 3 (72). - С. 73-86.

11. Круг П. Г. Нейронные сети и нейрокомпьютеры: учеб. пособие / П. Г. Круг. - М. : МЭИ, 2002. - 176 с.

12. Круглов В. В. Искусственные нейронные сети. Теория и практика /

B. В. Круглов, В. В. Борисов. - М. : Горячая линия-Телеком, 2002. - 382 с.

13. Кудрявцев В. Б. Основы теории однородных структур / В. Б. Кудрявцев,

A. С. Подколзин, А. А. Болотов. - М. : Наука, 1990. - 296 с.

14. Кузнецов О. П. Дискретная математика для инженера. 3-е изд., перераб. и доп. / О. П. Кузнецов. - СПб. : Лань Энергия, 2004. - 400 с.

15. Лазарев В. Г. Построение программируемых управляющих устройств /

B. Г. Лазарев, Е. И. Пийль, Е. Н. Турута. - М. : Энергоатомиздат, 1984. - 192 с.

16. Мараховский Л. Ф. Основы теории автоматов и синтеза реконфигурируемых систем: монография / Л. Ф. Мараховский, Н. Л. Михно. - К. : КНЭУ, 2010. - 276 с.

17. Николаенко С. Глубокое обучение / С. Николаенко, А. Кадурин, Е. Архангельская. - СПб. : Питер, 2019. - 480 с.

18. Павский К. В. Методы расчета показателей и анализ эффективности функционирования большемасштабных распределенных вычислительных систем : автореф. дис. ... докт. техн. наук / К. В. Павский. - Новосибирск, 2013. - 36 с.

19. Прангишвили И. В. Микроэлектроника и однородные структуры для построения логических и вычислительных устройств / И. В. Прангишвили [и др.]. - М. : Наука, 1967. - 228 с.

20. Свидетельство о государственной регистрации программы для ЭВМ № RU 2021610860. Программная модель ячейки перестраиваемой вычислительной среды для реализации полносвязной искусственной нейронной сети / Д. В. Шашев ^Ц), В. В. Шатравин С. И. Пославский правообладатель: федеральное государственное автономное образовательное учреждение высшего образования «Национальный исследовательский Томский государственный университет» (КУ).

- Заявка № 2020667609; дата поступления - 28.12.2020; дата государственной регистрации в Реестре программ для ЭВМ - 19.01.2021.

21. Свидетельство о государственной регистрации программы для ЭВМ № RU 2022660840. Программа реализации перестраиваемой вычислительной среды для кусочно-линейной интерполяции экспоненциальной функции / Д. В. Шашев (RU), В. В. Шатравин (KZ); правообладатель: федеральное государственное автономное образовательное учреждение высшего образования «Национальный исследовательский Томский государственный университет» (RU).

- Заявка № 2022660339, дата поступления - 09.06.2022; дата государственной регистрации в Реестре программ для ЭВМ - 10.06.2022.

22. Хорошевский В. Г. Архитектура вычислительных систем / В. Г. Хорошевский. - 2-е изд., перераб. и доп - М. : МГТУ им. Баумана, 2008. -520 с.

23. Черников А. В. Высокопроизводительное процессорное ядро NMC4 для обработки векторных данных в форматах с плавающей и фиксированной точками /

A. В. Черников [и др.]. // Наноиндустрия. - 2018. - № 9. - С. 124-128.

24. Шатравин В. В. Подготовка модели искусственной нейронной сети и модуля её обучения для реализации на ПЛИС / В. В. Шатравин, С. В. Шидловский // Интеллектуальные системы 4-й промышленной революции : сб. мат. III Международного форума. - Томск : СТТ, 2020. - С. 122-126.

25. Шатравин В. Моделирование полносвязной искусственной нейронной сети в среде MATLAB / В. Шатравин // Инноватика-2019 : сб. мат. XV Международной школы-конференции студентов, аспирантов и молодых ученых. - Томск : СТТ, 2019. - С. 441-445.

26. Шатравин В. Применение вычислительных сред для ускорения рекуррентных нейронных сетей / В. Шатравин, Д. В. Шашев // Цифровая экономика. - 2023. - № 22 (1). - С. 27-35.

27. Шатравин В. Применение концепции перестраиваемых вычислительных сред в задачах построения новых архитектур искусственных нейронных сетей /

B. Шатравин, Д. В. Шашев // Телекоммуникации. - 2020. - № 6. - С. 30-38.

28. Шатравин В. Разработка алгоритма настройки перестраиваемой вычислительной среды в составе аппаратного ускорителя искусственных нейронных сетей / В. Шатравин, Д. В. Шашев // Цифровая экономика. - 2022. -№ 20 (4). - а 11-18.

29. Шатравин В. Разработка аппаратных ускорителей искусственных нейронных сетей на основе перестраиваемых вычислительных сред для интеллектуальных робототехнических систем / В. Шатравин, Д. В. Шашев, С. В. Шидловский // Перспективные системы и задачи управления: мат. XVII Всероссийской научно-практической конференции и XIII молодежной школы-семинара «Управление и обработка информации в технических системах».

- Таганрог : Марук, 2022. - С. 173-179.

30. Шатравин В. Режимы функционирования многотактных перестраиваемых вычислительных сред в задачах машинного обучения / В. Шатравин, Д. В. Шашев // Интеллектуальные системы 4-й промышленной революции : сб. мат. IV Международного форума. - Томск : СТТ, 2022. - С. 52-54.

31. Шашев Д. В. Алгоритмы динамически перестраиваемых вычислительных сред для обработки изображений : автореф. дис. ... канд. техн. наук / Д. В. Шашев.

- Томск, 2016. - 18 с.

32. Шашев Д. В. Перестраиваемые вычислительные среды в задачах построения нейросетевых алгоритмов / Д. В. Шашев, В. Шатравин // Инноватика-2020 : сб. мат. XVI Международной школы-конференции студентов, аспирантов и молодых ученых. - Томск : СТТ, 2020. - С. 84-87.

33. Шашев Д. В. Реализация сигмоидной функции активации с помощью концепции перестраиваемых вычислительных сред / Д. В. Шашев, В. Шатравин // Вестник Томского государственного университета. Управление, вычислительная техника и информатика. - 2022. - № 61. - С. 117-127.

34. Шидловский С. В. Автоматическое управление. Перестраиваемые структуры / С. В. Шидловский. - Томск : ТГУ, 2006. - 288 с.

35. Шидловский С. В. Автоматическое управление. Реконфигурируемые системы: учеб. пособие / С. В. Шидловский. - Томск : ТГУ, 2010. - 168 с.

36. Шидловский С. В. Исследование функциональных возможностей многофункционального логического модуля, реализующего операции удаления аргументов из булевых функций / С. В. Шидловский, А. А. Светлаков // Вестник Сибирского отделения АН ВШ. - 2002. - № 1 (8). - С. 72-78.

37. Alford S. Pruned and Structurally Sparse Neural Networks. / S. Alford, R. Robinett, L. Milechin, J. Kepner // 2018 IEEE MIT Undergraduate Research Technology Conference (URTC). - 2018. - P. 1-4.

38. Bengio Y. Learning Deep Architectures for AI // Foundations and Trends in Machine Learning. - 2009. - № 2 (1). - P. 1-127.

39. Bethge C. MeliusNet: An Improved Network Architecture for Binary Neural Networks / J. Bethge [et al.] // IEEE Winter Conference on Applications of Computer Vision (WACV). - 2021. - P. 1438-1447.

40. Biswas S. Integrated multilayer stretchable printed circuit boards paving the way for deformable active matrix. / S. Biswas [et al.] // J. Nature Communications. -2019. - 10, 4909 - P. 1-8.

41. Bourley A. Sparse Neural Network Topologies / A. Bourley, J. P. Boueri, K. Choromonski // arXiv[cs.LG]. - 2017. - P. 1-12 - arXiv:1706.05683.

42. Capra M. An Updated Survey of Efficient Hardware Architectures for Accelerating Deep Convolutional Neural Networks / M. Capra [et al.] // MDPI: Future Internet. - 2020. - № 12 (7).

43. Carrio A. A Review of Deep Learning Methods and Applications for Unmanned Aerial Vehicles / A. Carrio [et al.] // Journal of Sensors. - 2017. - Vol. 2017. - P. 1-13.

44. Chajan E. GPU based model-predictive path control for self-driving vehicles. / E. Chajan [et al.] // IEEE Intelligent Vehicles Symposium (IV). - 2021. - P. 1243-1248.

45. Chen J. Make Every Feature Binary: A 135B Parameter Sparse Neural Network for Massively Improved Search Relevance [Электронный ресурс] / J. Chen, J. Li, R. Majumder // Блог компании Microsoft. - Электрон. дан. - 2021. - URL: https://www.microso^.com/en-us/research/blog/make-every-feature-binary-a-135b-

parameter-sparse-neural-network-for-massively-improved-search-relevance/ (дата обращения 2.03.2022).

46. Chen T. "BNN - BN = ?": Training Binary Neural Networks without Batch Normalization / T. Chen [et al.] // 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW). - 2021. - P. 4614-4624.

47. Chen Y. Eyeriss: An Energy-Efficient Reconfigurable Accelerator for Deep Convolutional Neural Networks / Y. Chen, T. Krishna, J. S. Emer, V. Sze // IEEE J.-Solid-State Circuits. - 2017. - Vol. 52. - P. 127-138.

48. Chen Y. -H. Eyeriss v2: A Flexible Accelerator for Emerging Deep Neural Networks on Mobile Devices / Y. -H. Chen, T. -J. Yang, J. Emer, V. Sze, // J. on Emerging and Selected Topics in Circuits and Systems. - 2019. - Vol. 9. - № 2. - P. 292-308.

49. Chunyu Y. A comprehensive review of Binary Neural Network / Y. Chunyu, S. A. Sos // arXiv[cs.NE]. - 2022. - P. 1-33. - arXiv: 2110.06804.

50. Cook M. Universality in Elementary Cellular Automata / M. Cook // J. Complex Systems. - Complex Systems Publications, 2004. - Vol. 15. - P. 1-40.

51. Cybenko G. V. Approximation by Superpositions of a Sigmoidal function // Mathematics of Control, Signals, and Systems. - Springer International, 2006. -P. 303-314.

52. Faiedh H. Digital Hardware Implementation of Sigmoid Function and its Derivative for Artificial Neural Networks / H. Faiedh, Z. Gafsi, K. Besbes // The 13 International Conference on Microelectronics. - 2001. - P. 189-192.

53. Fukushima K. Visual Feature Extraction by a Multilayered Network of Analog Threshold Elements. / K. Fukushima // IEEE Transactions on Systems Science and Cybernetics. - 1969. - Vol. 5. - № 4. - P. 322-333.

54. Gao Y. Design and Implementation of an Approximate Softmax Layer for Deep Neural Networks / Y. Gao, W. Liu, F. Lombardi // IEEE International Symposium on Circuits and Systems (ISCAS). - 2020. - P. 1-5.

55. Ghimire D. A Survey on Efficient Convolutional Neural Networks and Hardware Acceleration / D. Ghimire, D. Kil, S.-H. Kim // MDPI: Electronics. - 2022. -Vol. 945. - P. 1-23.

56. Glorot X. Deep Sparse Rectifier Neural Networks / X. Glorot, A. Bordes, Y. Bengio // Proceedings of the Fourteenth International Conference on Artificial Intelligence and Statistics, PMLR. - 2011. - P. 315-323.

57. Guo J. AccUDNN: A GPU Memory Efficient Accelerator for Training Ultra-Deep Neural Networks. / J. Guo [et al.] // IEEE 37th International Conference on Computer Design (ICCD). - 2019. - P. 65-72.

58. Hennessy J. L. Computer Architecture / J. L. Hennessy, D. A. Patterson. -5th ed. - MA : Morgan Kaufmann, 2012. - 856 p.

59. Hochreiter S. Long Short-term Memory / S. Hochreiter, J. Schmidhuber // Neural computation. - 1997. - № 9 (8). - P. 1735-1780.

60. Hoekstra A. G. Simulating complex systems by cellular automata / A. G. Hoekstra, J. Kroc, P. Sloot. - Springer, 2010. - 384 p.

61. Howard A. Searching for MobileNetV3 / A. Howard [et al.] // IEEE/CVF International Conference on Computer Vision (ICCV). - 2019. - P. 1314-1324.

62. Hussain M. A. An Efficient and Fast Softmax Hardware Architecture (EFSHA) for Deep Neural Networks / M. A. Hussain, T. -H. Tsai // IEEE 3rd International Conference on Artificial Intelligence Circuits and Systems (AICAS). - 2021. - P. 1-4.

63. Iris Data Set [Электронный ресурс] // UCI Machine Learning Repository. -Электрон. дан. - URL: http://archive.ics.uci.edu/ml/datasets/Iris (дата обращения 2.12.22).

64. Jouppi N. P. In-Datacenter Performance Analysis of a Tensor Processing Unit. / N. P. Joupi [et al.] // 44th Annual International Symposium on Computer Architecture (ISCA '17). - 2017. - P. 1-12.

65. Kan Y. A Multi-grained Reconfigurable Accelerator for Approximate Computing / Y. Kan, M. Wu, R. Zhang, Y. Nakashima // IEEE Computer Society Annual Symposium on VLSI (ISVLSI). - 2020. - P. 90-95.

66. Khalil K. A Novel Reconfigurable Hardware Architecture of Neural Network / K. Khalil, O. Eldash, B. Dey, A. Kumar, M. Bayoumi // IEEE 62nd International Midwest Symposium on Circuits and Systems (MWSCAS). - 2019. - P. 618-621.

67. Kung S. Y. VLSI Array Processors / S. Y. Kung. - Prentice Hall Information and System Sciences Series. Englewood Cliffs : Bergen, NJ, USA, 1988 - 600 p.

68. LeCun Y. Backpropagation Applied to Handwritten Zip Code Recognition / Y. LeCun [et al.] // MIT : Neural Computation. - 1989. - № 4. - P. 541-551.

69. Maji P. On the Reduction of Computational Complexity of Deep Convolutional Neural Networks / P. Maji, R. Mullins // Entropy. - 2018. - Vol. 20. - № 4. - P. 1-20.

70. Nurvitadhi E. Accelerating Binarized Neural Networks: Comparison of FPGA, CPU, GPU, and ASIC / E. Nurvitadhi [et al.] // International Conference on Field-Programmable Technology (FPT). - 2016. - P. 77-84.

71. Pan Z. A Modular Approximation Methodology for Efficient Fixed-Point Hardware Implementation of the Sigmoid Function / Z. Pan, Z. Gu, X. Jiang, G. Zhu, D. Ma // IEEE Transactions on Industrial Electronics. - 2022. - Vol. 69. -P. 10694-10703.

72. Patel A. A. Hands-On Unsupervised Learning Using Python / A. A. Patel. -O'Reilly Media, 2019. - 362 p.

73. Prost-Boucle A. Scalable high-performance architecture for convolutional ternary neural networks on FPGA / A. Prost-Boucle [et al.] // 27th International Conference on Field Programmable Logic and Applications (FPL). - 2017. - P. 1-7.

74. Sakai Y. Quantizaiton for Deep Neural Network Training with 8-bit Dynamic Fixed Point. / Y. Sakai // 7th International Conference on Soft Computing & Machine Intelligence (ISCMI). - 2020. - P. 126-130.

75. Shatravin V. Application of the Piecewise Linear Approximation Method in a Hardware Accelerators of a Neural Networks Based on a Reconfigurable Computing Environments / V. Shatravin, D. V. Shashev // Distributed Control and Communication Networks. DCCN 2022. Communications in Computer and Information Science. - 2023.

- Vol. 1748. - P. 63-74.

76. Shatravin V. Applying the Reconfigurable Computing Environment Concept to the Deep Neural Network Accelerators Development / V. Shatravin, D. V. Shashev, S. V. Shidlovskiy // International Conference on Information Technology (ICIT). - 2021.

- P. 842-845.

77. Shatravin V. Designing high performance, power-efficient, reconfigurable compute structures for specialized applications / V. Shatravin, D. V. Shashev // Journal of Physics : Conference Series. - 2020. - Vol. 1611. - P. 1-6.

78. Shatravin V. Developing of models of dynamically reconfigurable neural network accelerators based on homogeneous computing environments / V. Shatravin, D. V. Shashev, S. V. Shidlovskiy // proc. of the XXIV international scientific conference Distributed Computer and Communication Networks: Control, Computation, Communications (DCCN). - 2021. - P. 102-107.

79. Shatravin V. Sigmoid Activation Implementation for Neural Networks Hardware Accelerators Based on Reconfigurable Computing Environments for Low-Power Intelligent Systems / V. Shatravin, D. Shashev, S. Shidlovskiy // MDPI: Applied Sciences. - 2022. - Vol. 12. - № 10. - P. 1-16.

80. Sun Q. A High Speed SoftMax VLSI Architecture Based on Basic-Split / Q. Sun [et al.] // 14th IEEE International Conference on Solid-State and Integrated Circuit Technology (ICSICT). - 2018. - P. 1-3.

81. Tagliavini G. A transprecision floating-point platform for ultra-low power computing / G. Tagliavini, S. Mach, D. Rossi, A. Marongiu, L. Benin // Design, Automation & Test in Europe Conference & Exhibition (DATE). - 2018. -P. 1051-1056.

82. Trusov A. Fast Implementation of 4-bit Convolutional Neural Networks for Mobile Devices / A. Trusov [et al.] // Proceedings of the 2020 25th International Conference on Pattern Recognition (ICPR). - 2021. - P. 9897-9903.

83. Van Veen F. The Neural Network Zoo [Электронный ресурс] / F. Van Veen, S. Leijnen // Asimov Institute. - Электрон. дан. - 2019. - URL: https://www.asimovinstitute.org/neural-network-zoo/ (дата обращения 20.04.2022).

84. Wangchao L. Sparse algorithm for feed-forward neural networks. / L. Wangchao, Y. Yongbin, Z. Jie, W. Liyang // IJCNN'99. International Joint Conference on Neural Networks. Proceedings. - 1999. - Vol. 3. - P. 1805-1808.

85. Wanhammar L. DSP Integrated Circuits / L. Wanhammar. - Academic Press Series in Engineering. Cambridge, MA, USA, 1999. - 561 p.

86. Zhang H. A High-Efficient and Configurable Hardware Accelerator for Convolutional Neural Network / H. Zhang, Z. Li, H. Yang, X. Cheng, X. Zeng // IEEE 14th International Conference on ASIC (ASICON). - 2021. - P. 1-4.

Приложение А (обязательное) Акты внедрения результатов работы

УТВЕРЖДАЮ

проректор по научной и инновационной деятеле ости/Томского государственного ун и вере [Дета ^ ^ "X ^ |/ А. Б. Ворожцов /

2023 г.

АКТ

внедрения результатов диссертационной работы на соискание учёной степени кандидата технических наук Шатравина Владислава «Алгоритмы вычисления отклика нейронных сетей на динамически перестраиваемых вычислительных средах»

Комиссия в составе:

Председатель комиссии:

Члены комиссии:

зам. декана ФИТ по научной работе, доц. каф. УК, канд. техн. наук Шашев Дмитрий Вадимович

зав. каф. УК, д-р техн. наук, профессор Сыричкин Владимир Иванович

доц. каф. ИОИД, канд. техн. наук Погуда Алексей Андреевич

составила настоящий акт о том, что результаты диссертационной работы «Алгоритмы вычисления отклика нейронных сетей на динамически перестраиваемых вычислительных средах» Шатравина В. используются на факультете инновационных технологий Томского государственного университета в учебном процессе с 2021/2022 уч. года:

-для студентов направления подготовки 09.04.02 - «Информационные системы и технологии» по магистерской программе «Компьютерная инженерия: искусственный интеллект и робототехника» в лекционных курсах по дисциплинам «Искусственный интеллект и машинное обучение» и «Встраиваемые системы».

Диссертационные исследования выполнены в рамках:

- научного проекта № 20-37-90034 Аспиранты при финансовой поддержке ФГБУ «Российский фонд фундаментальных исследований» по теме «Исследование и разработка моделей и алгоритмов перестраиваемых вычислительных сред для задач машинного обучения» (2020-2022);

тж:

ВЕРНО

ВЕДУЩИЙ ДОКУМЕНТОВ*д

Л андркеько И.В. &

-научного проекта №14.578.21.0241 в рамках федеральной целевой программы «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2014-2020 годы» по теме «Разработка системы автономного интеллектуального функционирования беспилотным летательным аппаратом на базе реконфигурирусмых алгоритмов управления, навигации и обработки информации и создание на ее основе аппаратно-программного комплекса защиты от малогабаритных летательных аппаратов» (2017-2020);

- научного проекта № 19-29-06078 мк при финансовой поддержке ФГБУ «Российский фонд фундаментальных исследований» по теме «Разработка и исследование конфигурируемых быстродействующих алгоритмов распознавания изображений для оценки дорожной ситуации на базе специализированных мобильных устройств с параллельно-конвейерной архитектурой» (2019-2022);

- научного проекта № 21-71-00012 при финансовой поддержке «Российского научного фонда» по теме «Исследование и разработка бинарных нейронных сетей для классификации и распознавания изображений» (2021-2023);

- научного проекта № 5.4.4.22 ПИШ «Разработка общей концепции и требований к цифровой инфраструктуре для управления сельскохозяйственными процессами в области точного земледелия» в рамках программы развития Передовой инженерной школы Томского государственного университета «Агробиотек» (2022);

- стипендиальной программы научно-исследовательского центра компании «Ниа\уеЬ> в 2020/2021 уч. году.

Председатель комиссии: Члены комиссии:

и—-—^ / Д. В. Шашев / О _! В. И. Сырямкин /

I .., ' / А. А. Погуда /

ВЕРНО

ВЕДУЩИЙ ДОКУМЕНТОВЕД „АНДРИЕНКС В.В.

Приложение Б

(рекомендуемое) Функции активации нейронов

Таблица Б.1 - Функции активации нейронов

Функция активации

Ступенчатая функция

_ (1,х > 0,

У(*) = {-1

График

Линейный

выпрямитель (ReLU)

, л (х,х > 0, У(х) = {о

4 -

0-

-б 4 2 ( 6

Продолжение таблицы Б.1

Линейный выпрямитель с утечкой (leaky ReLU)

, ч (х,х > 0,

у(х) = lo,oi*

0.5 0.4 0.3 0.2 0.1 0.0 -0.1 -0.2

1 1 1 2.0 -1 Т 1 1 ..5 -1 » Т 1 ..0 -С Т 1 1 | 1 Т 1 | 1 1 1 1.5 0.0 0.5 1

Параметрический линейный выпрямитель (PReLU)

УО) = {

х,х > 0, рх

Окончание таблицы Б.1

Сигмоида

(логистическая

функция)

у(х) =

1 +

Бойтах (многомерная логистическая функция)

=

X,-

Гиперболический тангенс

у(х) =

Приложение В

(рекомендуемое) Блок-схемы разработанных алгоритмов

Рисунок В. 1 - Блок-схема алгоритма вычисления полносвязного слоя на ПВС

п - кол-во точек во входном сигнале х-| ...хп - точки входного сигнала т - количество точек в ядре свёртки

,..шт - точки ядра свёртки Цр, в) - функция принадлежности точки р

ядру свёртки для шага э к - количество точек карты признаков У1-Ук - точки карты признаков

^ КОНЕЦ ^

Рисунок В. 2 - Блок-схема алгоритма вычисления свёрточного слоя на ПВС

^ НАЧАЛО^--

/ ввод /

/ '|.хь хг, хь/

- код операции /,1 - код направления

/а - значение аргумента

Х|, К| хь - входные сигналы (левый, верхний, правый и нижний) у . у, у.. уь - выходные сигналы (левый, верхний, правый и нижнйй)

У| - хг

—Г~

У1 = Хь

01^

Хр х Хр X, Хр Х|- Хр = Хь

01Ив

У| хг Уг *ь У.= "Х| Уь X,

МАС, МАХ, М1КСАТ

Уг = Хь

—Г~

SRC! РШ,

0Е1_

Уг = *ь

Уг ~ хр

Уг = хр

МАС, МАХ, М1Ы вАТ

Уь = *р

X

У| - Хр

SRC, РИ_, 0Е1_

I!

х

У| = хг

У| - хг

=П=

Уг ~ хр

х

У| - хг

МАС. МАХ, ЭИС, РИ..

М1М, вАТ йЕ1_

Уг ~ хр

X

VI = Хр

УЬ "X, уь = х, Уь = X, уь = хр уь = х, уь = х, уь = Х[ уь = Хр уг = хр у, = Х| уг = Х|

X

У| - хг

=п=

МАС, МАХ, М1И САТ

х

У| ~ хг

=С=

5Р!С, РИЦ РЕЬ

1Е

X

У1 - хг

Уг ~ хр

X

У| - Хр

z

X

31

Определение аргументов операции Хр - основной х5 - дополн-ый

Выполнение

заданной

операции

У1 = 0

Формирование

выходных

сигналов

Уг = О

У,-О

УЬ = 0

вывод 7

VI. Уг. Уг. Уь / I --

^ КОНЕЦ^

Рисунок В.З - Блок-схема алгоритма функционирования элемента ПВС

00

(начало)- -

Настройка среды на Э первых слоев нейронной сети

1 = 0

Xj - 1-й входной сигнал

Б - кол-во сегментов среды

I - кол-во слоёв сети

Р(а,Ь) - функция расчёта выхода слоя Ь для сигнала а М(а,Ь) - функция определения остатка от деления а на Ь

(1 индекс последнего настроенного слоя

с 0 с индекс последнего поступившего на вход среды сигнала

81 = 1 ... индекс слоя, на который настроен ¡-й сегмент среды

хэ. входной сигнал ¡-го сегмента

«в = 3 У3| выходной сигнал ¡-го сегмента

"С

I - количество отработанных средой тактов

(< 3

Э-

(конец)

J - количество тактов обработки всех входных сигналов и = (1+0(1М,5-1))Ч. + М(Ы-1,Б-1) при N > 0, иначе и = О 0(а,Ь) - функция целочисленного деления а на Ь N - количество входных сигналов

Рисунок В.4 - Блок-схема алгоритма вычисления отклика нейронной сети на сегментированной ПВС

n - кол-во точек в карте признаков

*1,.,хп - точки карты признаков

Р(х, г) - функция принадлежности точки х

области г к - количество точек результата

субдискретизации Ут...уц - точки результата субдискретизации

С КОНЕЦ

Рисунок В. 5 - Блок-схема алгоритма вычисления слоя субдискретизации на ПВС

)

Рисунок В. 6 - Блок-схема алгоритма вычисления сигмоиды на ПВС

^ КОНЕЦ ^

Рисунок В. 7 - Блок-схема алгоритма вычисления гиперболического

тангенса на среде

^ КОНЕЦ

Рисунок В. 8 - Блок-схема алгоритма аппроксимации экспоненты с переменным шагом на ПВС

Рисунок В. 9 - Блок-схема алгоритма вычисления функции softmax

с тремя входами на ПВС

Приложение Г (справочное) Коэффициенты аппроксимации экспоненты

Таблица Г.1 - Коэффициенты аппроксимации экспоненты

№ п/п Интервал а (множитель) Ь (слагаемое)

1 [-2,5; -2,0) 0,1015625 0,3359375

2 [-2,0; -1,5) 0,1796875 0,4921875

3 [-1,5;-1,0) 0,2890625 0,65625

4 [-1,0; -0,5) 0,4765625 0,84375

5 [-0,5; 0,0) 0,7890625 1

6 [0,0; 0,5) 1,296875 1

7 [0,5; 1,0) 2,1328125 0,58203125

8 [1,0; 1,5) 3,53125 -0,81640625

9 [1,5; 1,75) 5,09375 -3,16015625

10 [1,75; 2,0) 6,53125 -5,67578125

11 [2,0; 2,25) 8,390625 -9,39453125

12 [2,25; 2,5] 10,78125 -14,7734375