Нейросетевые системы управления прецизионным физико-термическим оборудованием тема диссертации и автореферата по ВАК РФ 05.13.06, кандидат наук Зо Мин Кхаинг

• Зо Мин Кхаинг
• кандидат наук
• 2018

Оглавление диссертации кандидат наук Зо Мин Кхаинг

ВВЕДЕНИЕ

Глава.1. Анализ эффективности применения нейронных сетей для систем управления

1.1 Исскуственый нейрон и архитектуры искусственных нейронных сетей

1.2 Методы обучение искусственной нейронной сети

1.2.1 Обучение с учителем

1.2.2 Обучение без учителем

1.2.3 Обучения с подклеплением

1.2.4 Алгоритм обратного распространения

1.3 Аппаратнаяреализация искусственных нейронных сетей

1.4 Анализ отличие харакреристики нейронной сети от традиционных вычислительных систем

1.5 Применение нейронной сети в системах управления

1.5.1 Топология управления при использовании нейронной сети

1.5.2 Идентификация нелинейной системы

1.5.3 Адативное управление с этолонной моделью

1.5.4 Управление с упреждением

1.5.5 Линеаризация обратной связью с использованием нейронных сетей

1.5.6 Анализ некоторых практических применений нейронной сети в системе управления

Выводы по первой главе:

Глава.2. Современные интеллектуальные методы для настройки параметров ПИД-регулятора

2.1 Обычные ПИД-регуляторы и методы настройки параметров

2.2 Структура и основные принципы работы нечеткой логики.... 57 2.2.1 Самонастройка параметров нечеткого ПИД-регулятора

2.3 Обобщенная структура генетического алгоритма

2.3.1 Основные понятия негетичесих алгоритмов

2.3.2 Самонастройка параметров с использованием генетического алгоритма

2.3.3 Результаты моделирования

2.4 Применение нейронных сетей для настройки ПИД-регуляторов

2.4.1 Искусственные нейронные сети в ПИД регуляторах

2.4.2 Самонастройка параметров с использованием нейронной сети

2.5 Управление скоростью электродвигателя постоянного тока с помощью нейронной сети

2.5.1 Математическая модель двигателя постоянного тока

2.5.2 Структура и обучение ИНС

2.5.3 Система контроля скорости постоянного тока двигателя с помощью нейроной сети

Выводы по второй главе:

Глава.3. Применение методов распознавания образов в системах управления

3.1 Анализ методов распознавания образов

3.1.1 Основные задачи по обработке изображений

3.1.2 Классификация и регрессия

3.2 Статистические методы распознавание образов

3.3 Анализ методов распознавания образов для распознаванной рукописной цифре

3.3.1 Базаданных MNIST

3.3.2 Метод к-ближайшихсоседей

3.3.3 Методопорныхвекторов

3.3.4 Искусственная нейронная сеть для классификации образов

3.4 Разработка системы управления классификацией фруктов на основе сверточной нейронной сети

3.4.1 Набор данных для изображений фруктов

3.4.2 Реализация сверточных нейронных сетей для классификации фруктов

3.4.3 Система управления автоматизированной системой принятия решений на основе компьютерного зрения

Выводы по третьей главе

Глава.4. Разработка системы управления с использованием нейронныхсетей для классификации и распознавания дефектов фотошаблонов

4.1 Типы дефектов фотошаблонов

4.2 Использование стандартного типа нейронной сети для обнаружения дефектов шаблона фотографии

4.3 Разработка системы распознавания типы шаблонов с использованием нейронной сети

4.3.1 Сбор данных и предварительная обработка изображений

4.3.2 Математическое описание для обучения нейронной сети

4.3.3 Анализ результатов обучения нейронной сети

4.4 Разработка системы распознавания шаблонов с использованием сверточной нейронной сети

Выводы по чтвертой главе:

ЗАКЛЮЧЕНИЕ

Основные результаты работы

Ссылки и список использванной летературы

ПРИЛОЖЕНИЕ

ПРИЛОЖЕНИЕ

Введение диссертации (часть автореферата) на тему «Нейросетевые системы управления прецизионным физико-термическим оборудованием»

ВВЕДЕНИЕ

Актуальность темы. В последние несколько лет наблюдается значительный рост в области разработки и применения искусственных нейронных сетей (ИНС). Применение нейронных сетей распространяется на такие области науки, как распознавание образов, медицина, распознавание и синтез речи, обработка изображений, робототехника и системы управления.Первое упоминание о нейронных сетяхпоявилось в разработке теорий биологического обучения (Мак Каллоха и Питтса,1943; Хэбба,1949), реализация первых моделей, названных персептроном (Розенблатт,1958), позволяла обучать всего один нейрон.Второй этап революции нейронных сетей начался в период 1980-1995 г. c подхода, основанного на подключении алгоритма обратного распространения (Румельхарт,1986), для обучения нейронной сети с одним или двумя скрытыми слоями.В течение 1990 -х годов исследователи добились значительных успехов в моделировании различных архитектур, содержащих нейронные сети. Зепп Хохрайтер (Sepp Hochreiter,1991) и Иошуа Бенджио (Yoshua Bengio,1994) определили некоторые фундаментальные математические трудности при моделировании длинных последовательностей слоев нейронных сетей. В 1997 году Зепп Хохрайтер (Sepp Hochreiter) и Юрген Шмидхубер (Jürgen Schmidhuber) представили новый подход, получивший название LSTM (Long Short-TermMemory - длинная краткосрочная память), который широко используется для многих задач моделирования последовательностей, включая задачи обработки естественного языка.Кунихико Фукушима (Kunihiko Fukushima,1980) предложил архитектуру нейронной сети, которая называется когнитрони является мощной модельной архитектурой для обработки изображений, прообразом которойявлялась структура визуальной системы млекопитающих. Структура когнитрона затем легла в основу идеи и архитектуры современной сверточной сети(ЯннЛеКун, 1998).

Физическая реализация нейронных сетей обычно представляется как устройство, предназначенное для построения архитектур нейронных сетей и алгоритмов обучения, особенно структур, имеющих параллельный характер, свойственный искусственным нейронным сетям. Попытки моделирования поведения нервной ткани осуществлялись в течение многих лет, начиная с распознавания образов небольших размеров, моделируемых Фарли и Кларком (1954, 1955) с использованием цифрового компьютера IBM 704. Первое крупномасштабное моделированиеработы мозга в Европе, проводившееся в рамках проектаBlueBramProject, в основном было сосредоточено на суперкомпьютерных симуляциях с

высокопроизводительными вычислительными ресурсами (Markram, 2006). Благодаря наличию параллельных вычислительных систем ряд исследовательских групп реализовали параллельные версии симуляторов нейронных сетей с использованием суперкомпьютерных кластеров (Gewaltig и др., 2007), графических процессоров (Beyeler et al., 2015, Nowotny, 2010) , и даже специализированныхнейроморфных чипов (Esseretal., 2013; Thomas et al., 2013).

Россия также не стоит в стороне от современных исследований нейронных сетей. В частности,в настоящее время ЗАО НТЦ «Модуль» ведет успешные работы по созданию и внедрению nmDCNNk (NeuroMatrix® DeepConvolutionalNeuralNetworkKit) - комплекта для портирования обученных глубоких нейронных сетей на нейропроцессор1879ВМ6Я. Комплект nmDCNNk, разработанный ЗАО НТЦ «Модуль»,включает в себя следующие современные компоненты:вычислительный модуль МС121.01 с процессором 1879ВМ6Я, программный пакет DLDT

(DeepLearningDeploymentTool) для портирования смоделированных и обученных на персональном компьютере глубоких сверточных сетей на модуль МС121.01, приложение DLE (DeepLearningEngine), реализующее на модуле МС121.01 глубокую сверточную сеть заданной топологии,

библиотеку оптимизированных функций DLCL

(DeepLearningComputeLibrary), обеспечивающую эффективную реализацию сверточнойнейронной сети на модуле МС121.01, направленные на моделирование сверточных сетей.

Глубокие сверточные нейронные сети состоят из многих сверточных слоев, после которых применяются нелинейные пороговые операции и прореживания. Обучение этих сетей происходит на мощных серверах и может занимать достаточно много времени. Для обучения в данное время существует большое число специализированных программных пакетов. Самые известные из них: Microsoft®CNTK, СаГГе, TensorFlow. Эти пакеты поддерживают различные архитектуры сетей и позволяют экспортировать веса и другие параметры для применения в пользовательских приложениях, что свидетельствует о проведении современных научных исследований в этой области [69].

В системах управления использование технологий ИНС относится к разработкам со сложной структурой, которые можно использовать в качестве построения интеллектуальных контроллеров и идентификации любого объекта. Во многих промышленных приложениях наиболее часто используется пропорционально-интегрально-дифференциальные (ПИД) регуляторы, которые широко используются в управлении с обратной связью в промышленных процессах. Очень важным фактором в промышленных применениях ПИД регуляторов, является выбор коэффициентов при реализации функций нелинейного управления и управления объектами с изменяющимися параметрами. Для сокращения времени настройки и улучшения характеристик регуляторов могут применяться традиционные контроллеры реализующие функции самонастраивающихся ПИД -регуляторов, однако в настоящее время представляет большой исследовательский интерес искусственная нейронная сеть из -за её

способности к параллелизации и способности к обучению, позволяющая строить интеллектуальные регуляторы.

Другой способ использования нейронных сетевых технологий в системе управления - это сочетание информационных, цифровых и сетевых технологий для разработки более эффективных приложений для систем управления. Использование методов распознавания образов в системах управления и контроля является еще одним подходом к разработке более эффективных и интеллектуальных систем. Распознавание образов также является основной частью большинства систем интеллектуального анализа данных, которые предназначены для принятия решений. а также очень важно в области машинного зрения. Требования к практическому применению распознавания образов увеличиваются с появлением оптических систем контроля с высоким разрешением и мощных компьютеров, а распознавание образов становится важной областью информатики и электротехники, которая изучает работу и проектирование систем для распознавания дефектов шаблонов и контроля качества печатных плат. Важными задачами, которые были решены, являются анализ изображений, распознавание символов, анализ параметров, диагностика, идентификация, промышленный контроль и т.д. ИНС представляет собой систему обработки информации и состоит из множества простых процессоров с высокой степенью взаимосвязи между каждым блоком. Процессорные блоки взаимодействуют друг с другом и обеспечивают параллельную, распределенную обработку. К преимуществам нейронных сетей относятся их адаптивные методы обучения, самоорганизации и отказоустойчивость. Благодаря этим возможностям нейронные сети могут эффективно использоваться для классификации дефектов фотошаблонов и обнаружения дефектов топологий печатных плат и интегральных микросхем.

Цель и задачи диссертационной работы. Целью данной работы является анализ и разработка методов применения нейросетевых технологий в

системах управления и контроля технологическими процессами и установками в микроэлектронике; разработка математической модели нейросетевого, самонастраивающегося ПИД-регулятора для управления физико-термическими процессами при производстве изделий микроэлектроники; а также создание системы контроля, распознавания и обнаружения дефектов фотошаблонов и готовых изделий микроэлектроники с использованием нейросетевых технологий, что является важным фактором повышения качества, производительности и повышения выхода годных при изготовлении изделий микроэлектронной техники.

Поставленная цель достигается благодаря решению следующих задач:

- анализ проблем применения ИНС в системах автоматического управления и контроля. Исследования методов достижения повышения качества систем автоматического управления при использовании нейронных сетей в системах управления;

- разработка интеллектуальных контроллеров, обеспечивающих автоматическую настройку параметров ПИД-регулирования с использованием нечеткой логики, генетического алгоритма и нейронной сети;

- разработка системы управления двигателем постоянного тока с использованием нейронной сети;

- разработка и отладка математических моделей звеньев нейрорегулятора;

- программная реализация для обучения и тестирования различных типов нейронный сетей;

- исследование влияния различных методов распознавание образов на производительность и достоверность распознавания рукописных цифр;

- разработка системы управления классификацией на основе сверточной нейронной сети;

- разработка системы управления для класификация дефектов фотошаблонов и обнаружения дефектов топологий, вытекающих из особенностей фотошаблонов.

Методы исследований. Для решения поставленных задач в диссертации использовались методы теории автоматического управления, методы математического моделирования, теории вероятностей, математической статистики, теории алгоритмов. При реализации задачи использовались современные компьютерные технологии, средства разработки и отладки ПО.

Научная новизна диссертации состоит в создании, проведении и реализации научно-обоснованных разработок:

• Разработаны модели и структурные схемы самонастраивающихся ПИД-регуляторов с использованием нечеткой логики, генетического алгоритма, нейронной сети и даны теоретически обоснованные, рекомендации по реализации на их основе высокоточных систем управления физико-термическим оборудованием.

• Разработана структура прецизионного регулятора температуры реактора трехзонной диффузионной установки на основе искусственной нейронной сети (ИНС) обратного распростренения, состоящая из двух частей: а именно, микроконтроллерного устройства и нейронной сети.

• Разработана модель системы управления сервоприводами с использованием нейронной сети, обеспечивающая по сравнению с классическим регулятором уменьшение времени выхода на заданный режим до 0,05 сек.

• Реализованы методы обучения нейронной сети в приложении к задачам контроля и управления прецизионным физико -термическим оборудованием, а именно при создании ПИД-нейрорегуляторов, что позволило существенно улучшило качество управления тепловыми процессами.

Практическую значимость работы имеют:

1. Методы построения и модель интелектуальной системы управления физико-термическим оборудованием диффузионной установки.

2. Математическая модель управления классификацией на основе сверточной нейросети.

3. Структурные и функциональные схемы системы контроля и распознования дефектов фотошаблонов и печатных плат с использованием нейронной сети.

4. Алгоритмы и программное обеспечение, разработанные для обучения и тестирования систем управления и контроля с использованием нейросетевых технологий.

5. Результаты математического моделирования регуляторов с использованием нечеткой логики, генетического алгоритма и нейронной сети.

Достоверность полученных результатов подтверждается высокой степенью совпадения теоретических исследований с результатами имитационного моделирования и результатами успешных проверок и испытаний экспериментальных узлов.

Личный вклад автора.Все основные теоретические и практические результаты получены автором лично.

Внедрение результатов. Отдельные результаты диссертационной работы внедрены в учебный процесс МИЭТ в рамках дисциплин «Информационно-промышленные сети», «Алгоритмические и технические средства обработки сигналов».

На защиту выносятся следующие положения:

1. Анализ эффективности применения нейронных сетей в системах управления и контроля. Метод построения интеллектуального нейрорегулятора. Программное обеспечение и аппаратная реализация.

2. Разработка интеллектуальных контроллеров, а именно методы настройки параметров автоматической настройки ПИД -регулирования с использованием нечеткой логики, генетического алгоритма и нейронной сети. В качестве объекта управления использовался объект третъего порядка. Моделирование проводилось с использованием среды моделирования MATLAB для получения выходного отклика системы на входные данные.

3. Разработанные структурные и функциональные схемы для управления скоростью электродвигателя постоянного тока с помощью нейронной сети.

4. Анализ методов распознавания образов и разработка системы управления классификацией на основе сверточной нейронной сети (СНС).

5. Разработка системы управления с использованием нейронных сетей для классификации и распознавания дефектов фотошаблонов и печатных плат.

Публикации по работе. Основные положения диссертационной работы опубликованы в 20 печатных работах, в том числе 3 работы в журналах, входящих в список, утвержденный ВАК и 6 работ в международной реферативной базе данных SCOPUS, а также 10 - тезисов докладов на российских и международных конференциях, входящих в систему цитирования РИНЦ. Без соавторов опубликовано 6 работ. Получено одно авторское свидетельство о государственной регистрации программы для ЭВМ.

Структура и объем работы. Диссертационная работа состоит из введения, 4 глав, заключения, ссылки и списка литературы из 68 наименований, 2 приложений и 1 акта использования результатов диссертационной работы. Работа содержит 158 страницы, из них -136 страниц основного текста и 8 страниц приложения, 65 рисунка и 17 таблиц.

Глава.1. Анализ эффективности применения нейронных сетей для систем управления.

Использование нейронных сетей в системах управления можно рассматривать как естественное в методологии эволюции для решения новых задач. Эволюция в области контроля подпитывалась тремя основными потребностями: необходимостью справляться со все более сложными системами, необходимостью выполнять все более требовательные требования к дизайну и необходимость достижения этих требований с менее точными знаниями о контролируемом объекте и его окружении, то есть необходимость контроля в условиях повышенной неопределенности. Сегодня необходимость более эффективно контролировать все более сложные динамические системы при значительной неопределенности привела к переоценке традиционных методов контроля, и это потребовало разработки новых методов. Это также привело к более общей концепции контроля, которая включает в себя принятие решений на более высоком уровне планирования и обучения, которые являются необходимыми, когда желательно иметь более высокий уровень автономности системы.

1.1 Исскуственый нейрон и архитектуры искусственных нейронных сетей.

Искусственная нейронная сеть (ИНС) - это математическая модель, которая пытается имитировать структуру и функциональные возможности биологической нейронной сети, которая является основной структурой человеческого мозга, и состоит из ряда структур: коры больших полушарий, базальных ганглиев, таламуса, мозжечка, ствола мозга. Эти структуры соединены между собой нервными волокнами (проводящие пути). Фундаментальным процессорным элементом нейронной сети является нейрон. В основном, биологический нейрон принимает входные сигналы от других источников, в некотором роде объединяет их, выполняет нелинейную

операцию, а затем выводит на конечный результат. Нарисунке1.1 показаныосновныефункциональныечастипростогонейрона.

Дсндриты

1 ело клетки

Рис.1.1. Структрура простого биологического нейрона.

Все нейроны имеют одни и те же четыре основных компонента.Эти компоненты известны своими биологическими названиями - дендриты, сомы, аксоны и синапсы.Дендриты идут от тела нервной клетки (сома) к другим нейронам, где они принимают сигналы в точках соединения, называемых синапсами.Принятые синапсом входные сигналы подводятся к телу нейрона.Они суммируются,причем одни входы стремятся возбудить нейрон, другие - воспрепятствовать его возбуждению. Когда суммарное возбуждение в теле нейрона превышает некоторый порог,нейрон возбуждается, посылая по аксону сигнал другим нейронам. У этой основной функциональной схемы много усложнений и исключений, тем не менее большинство искусственных нейронных сетей моделируют лишь простые свойства.Искусственные нейроны стимулируют эти четыре основные функции биологических нейронов и аналогии между биологическим и искусственным нейроном приводятся в следующей таблице 1.1.

Табл. 1.1. Сравнительный анализ биологического и искусственного

нейрона.

Биологическийнейрон Искусственныйнейрон

нейрон обрабатывающийэлемент

дендрит вход

Сома блок обработки

(суммирования и

функция активации)

Аксон выход

синапсы коэффициентывеса

Математическая модель нейрона имеет три простых набора правил: умножение, суммирование и активацию. При входе в искусственный нейрон входные данные взвешиваются, что означает, что каждое входное значение умножается на соответствующие весовые значения. В средней части искусственного нейрона есть суммарная функция, суммирующая все взвешенные входы и смещения. На выходе из искусственного нейрона сумма ранее взвешенных значений входов и значений смещения проходит через функцию активации, называемую также передаточной функцией (рис. 1.2).

Рис. 1.2. Принцип работы искусственного нейрона.

На рисунке 2 математическим символом х(т) обозначены различные входы сети. Каждый элемент из этих входов умножают на соответствующие весовые соединения. Эти весовые коэффициенты обозначены w(m). В простейшем случае, каждый элемент входа соответственно умножается на весовые элементы, а взвешенные значения передаются на сумматор, после чего их подают на выход через функцию активации для получения результата.

Как обычно ИНС содержит большое количество искусственных

нейронов, называемых единицами, расположенными в серии слоев. Типичная

ИНС включает в себя различные слои, а именно входной слой, скрытый слой

и выходной слой. Искусственные нейронные сети различаются своей

архитектурой, то есть структурой связи между нейронами, числом слоев,

функцией активации нейронов и алгоримом обучения. С этой точки зрения

среди известных ИНС можно выделить статические, динамические сети и

структуры нечетких множеств, однослойные и многослойные сети. Различия

17

вычислительных процессов в сетях часто обусловлены способом взаимосвязи нейронов, поэтому выделяют следующие виды сетей :

• Сети прямого распространения - сигнал проходит по сети от входа к выходу в одном направлении;

• Сети с обратными связями;

• Сети с боковыми обратными связями;

• Гибридные сети;

В целом, по струтуре связей ИНС можно сгруппировать в два класса: сети прямого распространения - без обратных связей в струтуре и рекуррентные сети - с обратными связями. К первому классу относятся многослойные нейронные сети, где искусственные нейроны расположены слоями и, которые являются наиболее известными и чаще используемыми. Связь между слоями однонаправленная и, в основном, выход каждого нейрона связан со всеми входами нейронов последующего слоя. Такие сети являются статическими, т.к. не имеют в своей структуре ни обратных связей, ни динамических элементов, а выход зависит от заданного множества на входе и не зависит от предыдущих состояний сети. Сети второго класса являются динамическими, т.к. из-за обратных связей состояние сети в каждый момент времени зависит от предшествующего состояния. На рисунке 1.3 представлена классификация наиболее используемых типов нейронных сетей.

Рис. 1.3.Классификация структуры искусственных нейронных сетей.

1.2 Методы обучение искусственной нейронной сети.

Одной из наиболее важных особенностей искусственных нейронных сетей является способность к обучению из представления образцов (паттернов), которые выражают поведение системы[1]. ИНС готова для обучения после того, как она построена, чтобы использовать ее для выполнения конкретной задачи. Способность к обучению является самой важной и основной причиной использования техники искусственного интеллекта. Для того, чтобы начать этот процесс с начала весовые коэффициенты выбираются случайным образом. Затем, начинается процесс обучения. Существуют три концептуальных подхода к обучению нейронных сетей: обучение с учителем, обучение без учителя и обучение с подкреплением (рис. 1.4).

\ / [я создания

„ \ { алгоритмов учатся \

Заданы кластеризации

! \ реагировать на у / Ч^итуации в среде .

Рис. 1.4. Типы методов обучения нейрнной сети.

1.2.1 Обучение с учителем.

Метод обучения с учителем содержит желаемые значения выходов для заданного набора входных сигналов; другими словами, каждая обучающая выборка состоит из входных сигналов и их соответствующих выходов. В дальнейшем для этого требуется таблица со входными/ выходными данными, также называемая таблица атрибутов/значений или обучающей таблицей, которая представляет процесс и его поведение. Именно из этой информации нейронные структуры будут формулировать «гипотезу» об обучаемой системе. В этом случае приложение обучения с учителем зависит только от доступности этой таблицы атрибутов / значений и ведет себя так, как будто «тренер» обучает сеть правильному ответу на каждый образец, представленный для его ввода.Синаптические веса и пороги сети постоянно корректируются с помощью сравнительных действий, выполняемых алгоритмом обучения, которые контролируют несоответствие между производимыми выходами относительно желаемых выходов, используя эту разницу в процедуре настройки. Сеть считается «обученной», когда несоответствие находится в допустимом диапазоне значений, с учетом целей обобщающих решений.

I ]роблемы классификации и регрессии

1.2.2 Обучение без учителем.

Обучение нейронной сети без учителя является намного более правдоподобной моделью обучения с точки зрения биологических корней искусственных нейронных сетей. Обучающее множество состоит лишь из входных векторов. Алгоритм обучения нейронной сети подстраивает веса сети так, чтобы получались согласованные выходные векторы, т.е. чтобы предъявление достаточно близких входных векторов давало одинаковые выходы. Целью обучения без учителя является моделирование базовой структуры или распределения данных, чтобы узнать больше о данных.Это называется обучением без учителя, потому что в отличие от обучения с учителем у него нет правильных ответов и нет учителя. Типы этих алгоритмов пытаются найти свою собственную структуру, чтобы обнаружить и представить интересную структуру данных. Методы обучения без учителя могут быть дополнительно сгруппированы в проблемы кластеризации и объединения.

1.2.3 Обучения с подклеплением.

Методы, основанные на обучении с подкреплением, рассматриваются как вариация методов обучения с учителем, поскольку они непрерывно анализируют разницу между ответом, полученным сетью, и соответствующим желаемым выходом. Алгоритмы обучения, используемые в обучении с подкреплением регулирует внутренние нейронные параметры, опирающиеся на какой-либо качественной или количественной информации, полученной в результате взаимодействия с системой (среда) привязывается, используя эту информацию для оценки эффективности обучения. Процесс обучения сети обычно делается методом проб и ошибок, потому что единственный доступный ответ для данного входа, было ли оно удовлетворительным или неудовлетворительным. Если удовлетворительно, синаптические веса и пороги постепенно увеличиваются, чтобы усилить (вознаградить) это поведенческое состояние, связанное с системой.

Несколько алгоритмов обучения, используемых для обучения с подкреплением, основаны на стохастических методах, которые должны вероятностно выбрать действия регулирования, учитывая ограниченный набор возможных решений, которые могут быть вознаграждены, если у них есть шансы создания удовлетворительных результатов. В процессе обучения вероятности, связанные с корректировкой действий, изменяются для повышения производительности сети. Эта стратегия корректировки имеет некоторое сходство с некоторыми методами динамического программирования [2].

1.2.4 Алгоритм обратного распространения.

Существуют различные алгоритмы, которые могут быть использованы при обучении искусственных нейронных сетей, каждый со своими отдельными преимуществами и недостатками [3]. Среди них алгоритм обратного распространения является широко используемым методом для обучения нейронной сети. Алгоритмы обучения чрезвычайно полезны, когда речь идет о некоторых задачах, которые либо не могут быть практически написаны программистом или могут быть написаны с помощью алгоритма обучения и быть более эффективными при работе с ними. Обучение с помощью алгоритма обратного распространения ошибки предполагает два прохода по всем слоям сети: прямого и обратного. В прямом проходе входной вектор подается на входной слой нейронной сети, после чего распространяется по сети от слоя к слою. В результате генерируется набор выходных сигналов, который и является фактической реакцией сети на данный входной образ. Во время прямого прохода все синаптические веса сети фиксированы. Во время обратного прохода все синаптические веса настраиваются в соответствии с правилом коррекции ошибок, а именно: фактический выход сети вычитается из желаемого, в результате чего формируется сигнал ошибки. Эта ошибка затем используется математически для изменения весовых коэффициентов таким образом, что ошибка будет

Список литературы диссертационного исследования кандидат наук Зо Мин Кхаинг, 2018 год

Ссылки и список использванной летературы

1. Mazidi, M. Ali, (2007). The 8051 Microcontroller and embedded System, Second Edition Prentice Hall. India, NewDelhi.

2. Р.С.Саттон, Э.Г.Барто. Обучение с подкреплением.

3.Тимошенко Л.И.Методы обучения нейронных сетей. //Научно-технический журнал «теория. практика. инновации»

4.Yihua Liao.Neural Networks in Hardware: A Survey.

5.R. Rojas.Hardware for Neural Networks. //Neural Networks, Springer-Verlag, Berlin, 1996

6. YufengHao. A General Neural Network Hardware Architecture on FPGA.

7. Т. А. Кочкар, А. С. Мазнев.Нейронные сети в системах управления преобразователями электрического подвижного состава.

8. Мельников Д.А.Применение нейронных сетей в системах управления двигателем внутреннего сгорания.

9. В.М.Буянкин.Применение искусственной нейронной сети в режиме индентификации динамических параметров электродвигателя .//ISSN 0236-

3933. Вестник МГТУ им. Н.Э. Баумана. Сер. "Приборостроение". 2006. №3 25.

10. TarekA. Tutunji. Parametric system identification using neural networks. // Appl. Soft Comput. J. (2016), http://dx.doi.org/10.1016/j.asoc.2016.05.012

11. ЗоМинКхаинг, А.В. Щагин.Управление угловым положением вала электродвигателя посотянного тока с помощью адативного нейросетевого регулятора. //ИЗВЕСТИЯ ВЫСШИХ УЧЕБНЫХ ЗАВЕДЕНИЙ .Т. 59, № 8/2 ФИЗИКА 2016.

12. Ayachi ERRACHDI, Mohamed BENREJEB. Model Reference Adaptive Control based-on Neural Networks for Nonlinear time-varying System. // Proceedings of the 2013 International Conference on Systems, Control and Informatics.

13. В.М.Буянкин. Нейросетевые методы повышения точности систем управления техническими объектами с нелинейными и нечеткими характеристиками. //АВТОРЕФЕРАТ диссертации на соискание ученой степени доктора технических наук, Москва 2013г.

14. В.М.Буянкин. Нейросетевым методы повышения точности систем управления техническими объектами с нелинейными и нечеткими характеристиками.

15. Zaw Min Khaing, SchaginAnatolii. Research of temperature controller for diffusion process based on Neural Network. //2016 IEEE NW Russia Young Researchers in Electrical and Electronic Engineering Conference (EIConRusNW)

16. Щагин А. В,Йе Тун Тэйн. Оптимальное управление нагревом диффузионной установки. Известия вузов. ЭЛЕКТРОНИКА №6 (104) 2013.

17.ZawMinKhaing, YeNaung, SchaginAnatolii, HtinLinOo.Special features of neuro controller in the automaticcontrol systems. //2017 IEEE Conference of Russian Young Researchers in Electrical and Electronic Engineering (EIConRus)

18. В.М.Буянкин.Синтез нейрорегуляторов для сложных технических установок с применением бинарных нечетких отношений. // Науко исследования града,№ 1 (3) январь-март 2013.

19. М. В. Бураков, А. П. Кирпичников.Нечеткий регулятор ПИД-типа для нелинейного объекта. //Вестник технологического университета. 2015. Т.18, №4, с.242-244.

20. О.С. Вадутов.Настройка типовых регуляторов по методу Циглера-Никольса.

21.М. В. Бураков. Генетический алгоритм:теория и практика. //учеб. пособие / М. В. Бураков. - СП б.: ГУАП , 2008. - 164 с.: ra.ISBN 978-5-8088-0298-8

22. Зо Мин Кхайнг. Использование нейронной сети для оценки и контроля скорости двигателя постоянного тока. // Инновационные, информационные и коммуникационные технологии ( ИНФО 2017 ), Г.Сочи, с. 51-54.

23. Людмила Николаевна Чабан. Теория и алгоритмы распознавания образов.//Учебное пособие.М.: МИИГАиК. 2004. - 70с.

24. Ю.И.Неймарк, И.В.Котельников, Л.Г.Теклина.Новый подход к численному исследаванию конкретных динамических систем методами распознавания образов и статистического моделирования. //Изв. Вузов «ПНД», т.18,№2,2010.

25. Ю.А. Брюхомицкий. Статические мнтоды распознавания клавиатурного почерка. //Известия ЮФУ. Технические науки Тематический выпуск, с.139-147.

26. М.П. Лазеева, А.В. Дерюшев.Программная реализация вероятностно-статического непараметрического метода распознавания образов. //Информационные технологии, с,117-119.

27. Anil K.Jain, Robert P.W.Duin, Jianchang Mao.Statistical Pattern Recognition: A Review.

28. http://yann.lecun.com/exdb/mnist/

29. ZawMinKhaing, YeNaung, SchaginAnatolii, PhyoHylamHtut.Development of control system for fruit classification based on convoultional neural network. //2018 IEEE Conference of Russian Young Researchers in Electrical and Electronic Engineering (EIConRus)

30. HartmutSuemann, BenhurKiziloglu, Ulrich Ruckert, Karl Goser. // Neural nets for defect recognition on masks and integrated circuits: first results

31. Sischka, D., Bisek, R.: "Detection of Defects on the Surface of Microelectronic Structures", IEEE Transaction on Electron Devices, Vol. 36, No. l, January 1989, pp 8-13.

32. ZaritaZainuddin, Ong Pauline. Function Approximation Using Artificial Neural Networks. //12th WSEAS Int. Conf. on APPLIED MATHEMATICS, Cairo, Egypt, December 29-31, 2007.

33. Paul C. Kainen, Vera Kurkova, and Marcello Sanguineti. Approximating Multivariable Functions by Feedforward Neural Nets.

38. Кудухов А.Н. Аппроксимация функции с помощью нейронной сети.// Труды молодых ученых владикавказского научного центра РАН. Том:4, Номер:4, Год:2013, с.91-95.

39. P.J. Antsaklis, "Neural Networks in Control Systems," // IEEE Control Systems Magazine, Vol.10, No.3, pp.3-5,April 1990.

40. Sherif A. Elbeladya, H. E. Fawazb, A. M. Abdul Aziza.Online Self Tuning PID Control Using Neural Network for Tracking Control of a Pneumatic Cylinder Using Pulse Width Modulation Piloted Digital Valves. // International Journal of Mechanical & Mechatronics Engineering IJMME-IJENS Vol.: 16 No: 03

41.Genetic Algorithm and Direct Search Toolbox, TheMathWorks, Inc., Natick, Massachusetts, United States.

42. Nobuyuki Yoshioka,TsuneoTerasawa. Advanced Mask Inspection and Metrology.//Characterization and Metrology for VLSI Technology: 2003 International Conference.

43. AlexandruFloares.Feedback Linearization Using Neural Networks Applied to Advanced.// IEEE International Joint Conference on Neural Networks, 31 July-4 Aug. 2005. ISBN: 0-7803-9048-2. DOI: 10.1109/IJCNN.2005.1555825.

44.AntoYasaka, Fumio Aramaki, TomokazuKozakai, Osamu Matsuda. Nanoscale Imaging, Material Removal and Deposition for Fabrication of Cutting-edge Semiconductor Devices.//Hitachi Review Vol. 65 (2016), No. 7 233.

45. Jed Rankina, Zhengqing John Qia , Mark Lawlissa, EisukeNaritab, Kazunori Sekib, Karen Badgera,RaviBonamc, Scott Hallec, Christina Turleya.EUV Photomask Defects: What prints, what doesn't, and what isrequired for HVM. //Proc. of SPIE Vol. 9635 96350L.

46. Фотолитографические технологии в производстве оптических деталей : учебное пособие / Д. Ю. Кручинин, Е. П. Фарафонтова. - Екатеринбург : Изд-во Урал. ун-та, 2014. - 51, [1] с.

47. Шутов Д.А., Ситанов Д.В. Процессы микро- и нанотехнологий: Лабораторный практикум. Том 1/ Иван. гос. хим. -технол. ун-т.-Иваново,2006, -141 с.ISBN.

48. K.J.Hunt, D.Sbarbaro, R.Zbikowski, P.J.Gawthrop. Neural networks for control systems - A survey. //Automatica Volume 28, Issue 6, November 1992, Pages 1083-1112.

49. Shu-Min Lu1, Dong-Juan Li2. Adaptive Neural Network Control for Nonlinear Hydraulic Servo-System with Time-Varying State Constraints. // Complexity Volume 2017, Article ID 6893521, 11 pages https://doi.org/10.1155/2017/6893521.

50. YimingJiang,ChenguangYang,JingNa,GuangLi,YananLi,JunpeiZhong.A Brief Review of Neural Networks Based Learning andControl and Their Applications for Robots. //Hindawi ComplexityVolume 2017, Article ID 1895897, 14 pages. https://doi.org/10.1155/2017/1895897.

51. HengZhong, Dingyuan Li, Kun Tu.A Study of Adaptive Neural Network Control System. //International Conference on Intelligent Computing for Sustainable Energy and Environment ICSEE 2014, LSMS 2014: pp 9-17.

52. Amin Mansouri1, Babak Majidi1, Abdollah Shamisa2. Anomaly detection in industrial control systems using evolutionary-based optimization of neural networks. //Communications on Advanced Computational Science with Applications, Volume 2017, No. 1 (2017), Pages 49-55, Article ID cacsa-00074, 7 Pages, doi: 10.5899/2017/cacsa-00074.

53. Yechiel O, Guterman H (2017) A Survey of Adaptive Control. //Int Rob Auto J 3(2): 00053. DOI: 10.15406/iratj.2017.03.00053.

54. Nobuyuki Yoshikawa, NacimBelkhir, Sinji Suzuki. Recurrent Neural Network-based Fault Detector for Aileron Failures of Aircraft. ASCC 2017 - The 2017 Asian Control Conference , Dec 2017, Gold Coast, Australia.

55. Ankita Gupta, GurunathGurrala, Pidaparthy S Sastry. Instability Prediction in Power Systems using Recurrent Neural Networks. //Proceedings of the Twenty-Sixth International Joint Conference on Artificial Intelligence (IJCAI-17), Page:1795-1801.

56. Парыгин Н.С. Применение нейронных сетей в электроприводе / Н.С. Парыгин, Ю.С. Смирнов, Е.Р. Баташова // Научные исследования и разработки студентов : материалы III Междунар. студенч. науч.-практ. конф. (Чебоксары, 31 март 2017 г.) / редкол.: О.Н. Широков [и др.] - Чебоксары: ЦНС «Интерактив плюс», 2017. - С. 144-145. - ISBN 978-5-9909794-3-7.

57. А.В. Шаламов, П.Г. Мазеин. НЕЙРОННЫЕ СЕТИ КАК НОВЫЙ ПОДХОД К УПРАВЛЕНИЮ ТЕХНОЛОГИЧЕСКИМ ОБОРУДОВАНИЕМ. // Известия Челябинского научного центра, вып. 1 (18), 2003.

58. А.Н. Шулешко, П.А. Лонцих. Применение систем искусственного интеллекта для прогназирования параметров качества машин. //ВЕСТНИК ИрГТУ №11 (82) 2013.

59. Г. А. Доррер, М. С. Корюкин. Семантическая сегментация изображений с применением сверточных нейронных сетей. // АКТУАЛЬНЫЕ ПРОБЛЕМЫ АВИАЦИИ И КОСМОНАВТИКИ - 2017. Том 2, с.141-143.

60.Н. В. Воробьев, Е. В. Пучков. Классификация текстов с помощью сверточных нейронных сетей. //Молодой исследователь Дона. №6(9) 2017. http ://mid-journal.ru/

61. А.Н. Голубинский, А.А. Толстых. Выбор архитектуры искуссвенной нейронной сети на основе сравнения эффективности методов распознавания изображений. //Вестник Воронежского института МВД России №1 / 2018, с.27-36.

62.А.Н. Голубинский, А.А. Распознование объектов на телевизионных изображениях с использованием аппарата сверточных нейронных сетей. //Вестник Воронежского института МВД России №1 / 2017, с.71-81.

63. А. В. Григорьев, Н. К. Юрков,А. В. Затылкин, Е. А. Данилова, А. Л. Држевецкий. Струетурное обноружение и различение вырывов проводящего рисунка печатных плат. //№ 4 (28), 2013 Технические науки. Электроника, измерительная и радиотехника.

64.Ы1рв://га.Ьт8Ш.,шк1/Предварительная_обработка_изображений

65. Рутковская Д., Пилиньский М., Рутковский Л. Нейронные сети, генетические алгоритмы и нечеткие системы. //-М.: Горячная линия -Телеком,2008.- 452 с.: ra.ISBN 5-93517-103-1.

66.Виктор Денисенко. ПИД регуляторы: принципы построения и модификации. //https://www.cta.ru/cms/f/352167.pdf

67. Доля П.Г. Методы обработки изображений. // Харьковский Национальный Университет механико - математический факультет

2013 г.

68.Михалевич Юрий Сергеевич. Использование сверточных нейронных сетей для распознавания автомобильных номеров. Преимущества и недостатки по

сравнению с шаблонным методом.//Научный журнал КубГАУ, №120(06),

2016. http ://ei.kubagro.ru/2016/06/pdf/112.pdf.

69. https://module.ru/catalog/cifrovaya obrabotka/neural networks/

ПРИЛОЖЕНИЕ 1.

1. Программа для для классификации и определения точности набора данных MNIST с использованием метода k-ближайших соседей.

#Tensor flow import importtensorflow as tf importnumpy as np importmatplotlib.pyplot as plt fromsklearn.metrics import confusion_matrix

# MNIST dataset import

fromtensorflow.examples.tutorials.mnist import input_data mnist = input_data.read_data_sets('MNIST_data/',one_hot=True)

X_traning,Y_traning=mnist.train.next_batch(5000) X_test,Y_test=mnist.test.next_batch(200)

#Declaring placeholders for variable to be used in model xtr=tf.placeholder(tf.float32,[None,784]) #traning input ytr=tf.placeholder(tf.float32,[None,10]) #traning label xte=tf.placeholder(tf.float32,[784]) #testing input

#Defining the number of K in KNN algorithm K=5 #how many neighbors

nearest_neighbors=tf. Variable(tf.zeros( [K])) #Creating KNN_model(L1_distance)

distance= tf.negative(tf.reduce_sum(tf.pow(tf.add(xtr,tf.negative(xte)),2),axis=1)) values,indices=tf.nn.top_k(distance,k=K,sorted=False)

#a normal list to save nn = []

fori in range(K):

nn.append(tf.argmax(ytr[indices[i]], 0)) #taking the result indexes nearest_neighbors=nn

y, idx, count = tf.unique_with_counts(nearest_neighbors)

pred=tf.slice(y, begin=[tf.argmax(count, 0)], size=tf.constant([1],

dtype=tf.int64))[0]

accuracy=0

#initialize of all variables init=tf.global_variables_initializer() #start of tensor session withtf.Session() as sess: fori in range(X_test.shape[0]):

predicted_value=sess.run(pred,feed_dict={xtr:X_traning,ytr:Y_traning,xte:X _test[i,:]})

print("Prediction is",predicted_value,"True Value is:",np.argmax(Y_test[i])) ifpredicted_value == np.argmax(Y_test[i]): accuracy += 1. / len(X_test) print(K,"-th neighbors' Accuracy is:",accuracy)

2. Программа для классификации и определения точности рукописной цифры набора данных MNIST на основе нейронной сети.

importtensorflow as tf

fromtensorflow.examples.tutorials.mnist import input_data fromtensorflow.examples.tutorials.mnist import input_data mnist = input_data.read_data_sets("MNIST/", one_hot=True)

initialization parametres iteration = 1000 batch_size = 100

X = tf.placeholder(tf.float32,[None,784]) W = tf.Variable(tf.zeros([784,10])) inint = tf.global_variables_initializer()

#creating model

Y_pred = tf.nn.softmax(tf.matmul(X,W)) Y_correct = tf.placeholder(tf.float32,[None,10])

#calculation error and optimization process

cross_entropy = -tf.reduce_sum(Y_correct * tf.log(Y_pred))

is_correct = tf.equal(tf.argmax(Y_pred,1),tf.argmax(Y_correct,1))

optimizer = tf.train.GradientDescent0ptimizer(0.003).minimize(cross_entropy)

correct_pred = tf.equal(tf.argmax(Y_pred,1), tf.argmax(Y_correct,1)) accuracy = tf.reduce_mean(tf.cast(correct_pred, tf.float32))

#training neural network

sess = tf.Session()

sess.run(inint)

for step in range(iteration):

batch_X, batch_Y = mnist.train.next_batch(batch_size) train_data= {X :batch_X,Y_correct:batch_Y} sess.run(optimizer, feed_dict=train_data)

#testing and calculation accuracy

testing = sess.run(accuracy, feed_dict={X:mnist.test.images,

Y_correct:mnist.test.labels})

print('Accuracy: {: .4}%'.format(testing* 100))

ПРИЛОЖЕНИЕ 2.

IEEE

Certificate of Attendance

is given to

2a uz Q/ttth <tät>ain<

For participating in the 2017 IEEE Conference of Russian Young Researchers in Electrical and Electronic X Engineering

; - (2017 ElConRus), February 01-03, 2017, Moscow, Russia

- ' c

ce-rector fo

iesearch MIET

Sergei A. Gavrilov

XIV МЕЖДУНАРОДНАЯ НАУЧНО-ПРАКТИЧЕСКАЯ КОНФЕРЕНЦИЯ

«ИННОВАЦИОННЫЕ, ИНФОРМАЦИОННЫЕ И КОММУНИКАЦИОННЫЕ ТЕХНОЛОГИИ»

СЕРТИФИКАТ УЧАСТНИКА

Зо

Мин Кхайнг