Нейросетевое моделирование и оптимизация многоэтапных процессов в условиях зашумленности исходных данных тема диссертации и автореферата по ВАК РФ 05.13.18, кандидат технических наук Коротков, Евгений Алексеевич

• Коротков, Евгений Алексеевич
• кандидат технических наук
• 2013

Оглавление диссертации кандидат технических наук Коротков, Евгений Алексеевич

ОГЛАВЛЕНИЕ

ВВЕДЕНИЕ

1. ОБЗОР И АНАЛИЗ СРЕДСТВ И МЕТОДОВ МОДЕЛИРОВАНИЯ И ОПТИМИЗАЦИИ МНОГОЭТАПНЫХ ПРОЦЕССОВ

1.1. Ограничения использования регрессионного анализа

1.2. Прикладные возможности нейронных сетей

1.3. Элементы теории нейронных сетей

1.4. Архитектура нейронной сети

1.4.1. Классификация нейронных сетей и их применение

1.4.2. Многослойные нейронные сети

1.4.3. Радиальные нейронные сети

1.5. Теоретические основы аппроксимационных свойств многослойных нейронных сетей

1.6. Понятие профиля компактности и предобработка данных в задаче классификации

1.7. Масштабирование данных

1.8. Определение необходимого числа нейронов в сети

1.9. Обучение нейронной сети

1.9.1. Алгоритмы обучения нейронных сетей

1.9.2. Понятие о задаче оптимизации

1.9.3. Обучение нейронной сети как задача оптимизации

1.9.4. Алгоритмы оптимизации функции ошибки выхода сети

1.10. Критерий окончания обучения нейронной сети

1.11. Показатели значимости входных параметров

1.12. Инверсия нейронной сети

1.13. Выводы

2. РАЗРАБОТКА МАТЕМАТИЧЕСКОЙ МОДЕЛИ

2.1. Применение понятия профиля компактности для предобработки

данных в задаче моделирования

2.2. Алгоритм получения равномерного распределения точек на поверхности решения задачи оптимизации с помощью инверсии нейронной сети

2.3. Алгоритм поиска смежных точек в пространстве

2.4. Начальные значения весовых коэффициентов

2.5. Функция активации нейронов

2.6. Выводы

3. РАЗРАБОТКА АВТОМАТИЗИРОВАННОЙ СИСТЕМЫ

3.1. Программное обеспечение

3.2. Информационное обеспечение

3.3. Выводы

4. АНАЛИЗ РЕЗУЛЬТАТОВ МОДЕЛИРОВАНИЯ И ОПТИМИЗАЦИИ НА ОСНОВЕ РАЗРАБОТАННОЙ МОДЕЛИ

4.1. Применение разработанного обеспечения

4.2. Параметры модели

4.2.1. Горячая прокатка

4.2.2. Холодная прокатка

4.2.3. Непрерывный отжиг

4.2.4. Дрессировка

4.3. Описание производства проката в ОАО «Новолипецкий металлургический комбинат»

4.4. Нейросетевая модель

4.5. Апробация системы на производственных данных

4.6. Выводы

ЗАКЛЮЧЕНИЕ

ЛИТЕРАТУРА

ПРИЛОЖЕНИЯ

Введение диссертации (часть автореферата) на тему «Нейросетевое моделирование и оптимизация многоэтапных процессов в условиях зашумленности исходных данных»

ВВЕДЕНИЕ

Актуальность работы. Сложные многоэтапные процессы характеризуются наличием большого количества факторов, влияющих как на отдельные стадии этих процессов, так и на протекание нескольких процессов одновременно.

Большинство факторов оказывают существенное влияние на выходные параметры процессов, причем закономерности этого влияния имеют сложный характер. Кроме того, значения некоторых факторов можно определить только приближенно (например, они могут иметь усредненный характер, как химический состав сырья, или измерены с некоторой погрешностью [49], как геометрические параметры), а значения других вообще могут быть неизвестны (например, коэффициенты трения, параметры упрочнения [24]).

В качестве примера многоэтапных процессов можно привести металлургическое, целлюлозно-бумажное, нефтехимическое производство. В частности в металлургическом производстве холоднокатаного листа для автомобильной промышленности можно выделить следующие этапы: выплавка чугуна (более 50 параметров), конвертерное производство стали (более 100 параметров), горячая прокатка (более 100 параметров), травление (около 10 параметров), холодная прокатка (более 30 параметров), отжиг (более 20 параметров) и дрессировка (около 10 параметров).

Зависимости между факторами и выходными параметрами (математические модели) могут быть построены аналитически на основании анализа процессов, однако при этом полученные модели имеют нелинейный вид, очень сложны и их практическое использование весьма затруднительно [16].

Другой подход к моделированию предполагает использование методов идентификации, основанных на наблюдении за реальным процессом и измерении соответствующих значений факторов и выходных параметров. Полученные в результате идентификации математические модели обычно имеют

более простой вид, однако использование таких моделей для оптимизации процессов не обеспечивает требуемого уровня качества.

Таким образом, разработка эффективных методов идентификации сложных многоэтапных процессов в условиях зашумленности исходных данных является актуальной задачей.

Работа выполнена в рамках целевой программы технологических мероприятий по повышению качества продукции и эффективности производства ОАО «Новолипецкий металлургический комбинат» на 2010-2011 годы.

Целью работы являются создание и исследование эффективных методов и средств для решения задачи моделирования и оптимизации сложных многоэтапных процессов на основе нейронных сетей в условиях зашумленности исходных данных.

Основные задачи. В соответствии с поставленной целью в работе решались следующие задачи:

- исследовать возможность применения нейронных сетей в задачах моделирования и оптимизации сложных многоэтапных процессов;

- разработать на основе нейронных сетей модель для построения зависимостей между параметрами процессов;

- создать метод оптимизации сложных многоэтапных процессов, использующий инверсию нейронной сети;

- разработать комплекс программ, реализующих построенную математическую модель и алгоритм оптимизации;

- экспериментально проверить разработанные средства на реальных производственных данных и провести сравнительный анализ с другими моделями.

Методы исследования. В работе использованы методы теории искусственных нейронных сетей, оптимизации, математической статистики, теории вероятности, векторной алгебры, аналитической геометрии, кластерного анализа, объектно-ориентированного программирования, проектирования реляционных баз данных. Программная реализация выполнена на языке С++ в

среде программирования Borland С++ Builder 6.0, хранение данных организовано на базе СУБД FireBird 2.1.

Научная новизна. В диссертационной исследовании были получены результаты, которые характеризуются научной новизной:

- численный метод решения задачи оптимизации параметров многоэтапных процессов на основе инверсии нейронной сети, обеспечивающий равномерную аппроксимацию поверхности решения и отличающийся использованием градиентного метода уточнения дополнительных точек решения;

- алгоритм поиска смежных точек, обеспечивающий равномерное покрытие поверхности решения, отличающийся заполнением наименее представленных областей поверхности решения;

- метод подготовки зашумленных данных, основанный на понятии профиля компактности и комбинаторном анализе, отличающийся проведением процедуры кластерного анализа над выходными параметрами и обеспечивающий подготовку данных с непрерывной выходной величиной;

- структура программного комплекса моделирования и оптимизации, позволяющего проводить построение нейросетевой модели и инверсию нейронной сети, отличающегося реализацией разработанных методов оптимизации и предобработки данных.

Практическая значимость. Предложенные методы моделирования и алгоритм оптимизации сложных многоэтапных процессов могут быть использованы для получения качественной продукции при реализации сложных технологических режимов производства, а также позволяют разрабатывать технологические режимы новых видов продукции с заданными показателями качества.

Реализация и внедрение результатов работы. Теоретические и практические результаты работы прошли апробацию в ОАО «Новолипецкий металлургический комбинат» (Дирекция по информационным технологиям).

Разработанное программное обеспечение планируется использовать при построении информационных систем производственного уровня для данного предприятия.

Результаты диссертационного исследования применяются в учебном процессе Липецкого филиала Международного института компьютерных технологий при подготовке инженеров по специальности «Вычислительные машины, комплексы, системы и сети».

Апробация работы. Основные положения и результаты работы докладывались и обсуждались на следующих конференция, семинарах: V Всероссийская ш кола-семинар мол одых ученых «Управление большими системами» (Липецк, 2008), X Международная научно-техническая конференция «Информационно-вычислительные технологии и их приложения» (Пенза, 2009), IX Всероссийская научно-практическая конференция «Информационные технологии» (Йошкар-Ола, 2009), VIII Всероссийская научно-практическая конференция с международным участием «Информационные технологии и математическое моделирование» (Анжеро-Судженск, 2009), X Международная научно-методическая конференция «Информатика: проблемы, методология, технологии» (Воронеж, 2010), научно-образовательный семинар «Математическое моделирование, информационные технологии и проблемы управления» (Липецк, 2010, 2011, 2012), Международная научно-техническая конференция «Искусственный интеллект. Интеллектуальные системы ИИ-2010» (Донецк, 2010), Межвузовская научно-практическая конференция «Актуальные проблемы современного научного знания» (г. Липецк, 2011), Областной профильный семинар «Школа молодых ученых по проблемам технических наук» (Липецк, 2012).

Программная реализация подтверждена свидетельством об отраслевой регистрации разработок [45] и свидетельством о государственной регистрации программ для ЭВМ, выданным Роспатентом [46].

Публикации. По материалам диссертационного исследования опубликовано 13 научных работ, среди которых 3 - в изданиях, рекомендованных

ВАК РФ. В опубликованных в соавторстве работах лично соискателем выполнено: в [52] - проведен анализ возможности применения нейронных сетей в управления качеством продукции металлургического производства; [38] -проведен анализ имеющихся архитектур нейронных сетей для решения задачи моделирования и оптимизации; [43] - предложено применять для подготовки данных в моделировании метод, основанный на профиле компактности и комбинаторных формулах эффективного вычисления функционала скользящего контроля; [39] - разработан алгоритм поиска смежных точек в пространстве, позволяющий находить наименее представленные области поверхности в пространстве, и предложен метод получения равномерного распределения точек на поверхности решения инверсии нейронной сети; [37] -оценено влияние вида функции активации и отрезка генерации начальных значений весов на качество обучения нейронной сети; [48] - проведено сравнение обучения нескольких связанных нейронных сетей и одной укрупненной сети; [41, 42] - разработана структура функциональных связей технологических параметров и показателей качества в многоэтапной технологии производства холоднокатаного проката; [47] - предложена структура взаимодействия программных модулей; [40] - построена классовая диаграмма на языке ЦМЬ разработанного программного обеспечения реализации многослойных нейронных сетей; [44] - разработана модель данных для задачи моделирования и оптимизации сложных многоэтапных процессов.

Структура и объем работы. Диссертация состоит из введения, четырех глав, заключения, библиографического списка литературы из 96 наименований, 3 приложений и содержит 132 страницы, 7 таблиц и 38 рисунков.

Во введении обосновывается актуальность темы диссертационной работы, формулируются задачи исследования, цель, практическая значимость и научная новизна полученных результатов, приводится краткое содержание диссертации по главам.

В первой главе проанализированы существующие методы и средства моделирования и оптимизации параметров сложных многоэтапных процессов, определена возможность применения нейронных сетей.

Во второй главе разработан метод предобработки зашумленных данных, основанный на профиле компактности и комбинаторных формулах, обеспечивающий исключение шумовых и нетипичных данных при нейросетевом моделировании сложных многоэтапных процессов. Предложен численный метод оптимизации, обеспечивающий равномерную аппроксимацию поверхности решения и использующий предложенный метод поиска смежных точек. Определен диапазон генерации начальных значений весовых коэффициентов, выбрана функция активации нейронов, обеспечивающая получение более точных результатов обучения нейронной сети и последующего моделирования.

В третьей главе разработана структура специального программного обеспечения моделирования и оптимизации на основе оригинальных методов, позволяющих проводить подготовку данных, построение нейросетевой модели и инверсию нейронной сети, в состав которой включены модули, реализующие разработанные методы.

В четвертой главе представлены правила использования разработанного комплекса программ, проведена проверка на данных производства горячего и холодного проката ОАО «Новолипецкий металлургический комбинат».

Разработана структура функциональных связей технологических параметров и показателей качества в многоэтапной технологии производства холоднокатаного проката (для горячей прокатки, холодной прокатки, отжига и дрессировки).

В заключении приведены основные результаты диссертационной работы.

1. ОБЗОР И АНАЛИЗ СРЕДСТВ И МЕТОДОВ МОДЕЛИРОВАНИЯ И ОПТИМИЗАЦИИ МНОГОЭТАПНЫХ

ПРОЦЕССОВ

1.1. Ограничения использования регрессионного анализа

Классическим методом решения задачи линейной идентификации является регрессионный анализ. Регрессионный анализ - метод статистического анализа зависимости переменной у от независимых переменных ^ (у = 1, и), которые рассматриваются в данном анализе в качестве неслучайных величин, в независимости от настоящего закона распределения переменных х,.

Как правило считается, что случайная величина у описывается нормальным законом распределения и имеет математическое ожидание у, являющееся функцией от переменных х, и постоянной, не зависящей от этих переменных дисперсии СГ2 .

В общем случае модель регрессионного анализа имеет вид:

где /?, - коэффициенты модели; ср] - некоторые функции переменных

х,,д;2,...,л:п, которые выбираются эмпирически на основе анализа данных; е —

случайная величина с нулевым математическим ожиданием и дисперсией а2.

Уравнение регрессии (неизвестные коэффициенты /?,) находится с помощью метода наименьших квадратов, т.е. минимизируется сумма квадратов отклонений реально наблюдаемых значений у, от их оценок у„ рассчитанных по уравнению регрессии:

п

(1)

т

^ку, -У,)2 -> тт,

(2)

1=1

где т - объем выборки [2, 29].

Регрессионный анализ наиболее целесообразно использовать для раскрытия причинно-следственных связей, например при оценке вход-выходных зависимостей объекта. Однако ограничения, лежащие в основе регрессионного анализа, значительно сужают область его практического применения для описания нормально функционирующих процессов. Наиболее существенными ограничениями при использовании регрессионного анализа для определения вход-выходных зависимостей сложных многоэтапных процессов является необходимость измерения без существенных погрешностей входных параметров объекта, включенных в уравнение регрессии, и отсутствие значительных корреляционных связей между входами.

Погрешности измерения существенно увеличивают интервальные оценки коэффициентов регрессии и не позволяют осуществлять расчеты величины у с необходимой точностью. Существенная корреляция между входными параметрами приводит к плохой обусловленности системы нормальных уравнений Гаусса при решении методом наименьших квадратов, и, следовательно, к ненадежным оценкам коэффициентов уравнения регрессии. Кроме того, корреляция усиливает пагубное влияние ошибок измерения. Эти два ограничения обычно не удовлетворяются в сложных многоэтапных процессах.

Также регрессионные уравнения можно рассчитать только для конкретной категории процессов. Отклонения фактических параметров от базовых могут привести к значительному нарастанию погрешности. В регрессионных уравнениях используется относительно ограниченное число факторов, сложные нелинейные зависимости заменяются упрощенными линейными [30].

Более эффективным современным способом идентификации является использование нейронных сетей. Это универсальный механизм для моделирования функций и классификации объектов. Нейронные сети успешно применяются для решения трудно формализуемых задач: распознавание руко-

писных текстов, прогнозирование осложнений инфарктов миокарда, интерпретация рентгенограмм и т.п.

Нейронные сети - мощный метод для решения задач моделирования, который позволяет аппроксимировать сложные зависимости. Нейронные сети не линейны по своей природе [54].

Нейронные сети позволяют также моделировать зависимости в случае большого числа разнотипных переменных. В ситуациях, когда сложно построить четкую функциональную зависимость, а исходные данные содержат в себе некоторый «шум», предпочтительно использовать аппарат искусственных нейронных сетей.

1.2. Прикладные возможности нейронных сетей

Нейронные сети представляют собой вычислительные структуры, моделирующие простые биологические процессы, которые обычно ассоциируются с процессами человеческого мозга. Они являются распараллеленными системами, которые способны обучаться с помощью анализа воздействий. Роль преобразователя данных сетей выполняет искусственный нейрон или просто нейрон, который так называется по аналогии с биологическим нейроном.

В настоящее время изучено большое число нейроподобных элементов [55].

Термин «нейронные сети» сформировался в 40-е годы прошлого века исследователями, которые изучали функционирование и организацию биологических нейронных сетей. Наибольший вклад в эту область внесли Ф.Розенблатт, Д.Хебб, М.Минский, У.Маккалох, Дж.Хопфилд и др.

Нейронная сеть используется как самостоятельная система представления знаний, выступающая в практических приложениях как один из компонентов в системе управления либо в модуле принятия решений, которые передают сигнал другим элементам, не связанным с искусственной нейронной сетью. Функции, выполняемые сетью, можно разделить на несколько задач:

управление; распознавание и классификация образов; аппроксимация и интерполяция; прогнозирование; идентификация; сжатие данных; ассоциация.

В каждой из указанных задач нейронная сеть выполняет роль аппрок-симатора функции нескольких переменных, реализуя при этом нелинейную функцию

У =А*\ (3)

где х - вектор входных переменных, у - векторная функция векторного аргумента. Большая часть задач моделирования, идентификации и обработки сигналов могут быть приведены к задаче аппроксимационного представления.

Важное свойство нейронных сетей, которое свидетельствует об огромном потенциале и прикладных возможностях, заключается в параллельной работе всех нейронов одновременно. Благодаря этому в случае большого количества связей между нейронами получается значительное увеличение скорости обработки информации. В большинстве случаев обработка сигналов выполняется в режиме реального времени.

Большое число соединений между нейронами приводит к тому, что нейронная сеть перестает быть чувствительной к ошибкам, которые возникают в некоторых контактах. Другие элементы принимают на себя функции поврежденных соединений, поэтому в работе сети не возникают существенные нарушения. Этим свойством пользуются для поиска оптимальной архитектуры нейросетевой модели с помощью разрыва некоторых связей. Алгоритм поиска архитектуры «Optimal Brain Damage» прекрасно иллюстрирует это свойство нейронных сетей.

Другая не менее важная особенность нейронных сетей заключается в способности обучаться и обобщать полученные знания. Сеть обладает свойствами искусственного интеллекта. Обученная на некотором множестве выборок, нейронная сеть обобщает полученную информацию и формирует ожидаемый результат на данных, которые не обрабатывались во время обу-

чения. Несмотря на значительное количество уже известных практических приложений искусственных нейронных сетей, возможности их дальнейшего использования для обработки сигналов не изучены окончательно, и можно высказать предположение, что нейронные сети еще в течение многих лет будут средством развития информационной техники [32, 66].

1.3. Элементы теории нейронных сетей

Искусственный нейрон является упрощенной математической моделью биологического нейрона. Нейрон - это составная часть нейронной сети. На рис. 1 показана ее структура.

Сумматор

Рис. 1. Модель нейрона Нейрон состоит из сумматора входных сигналов (синапсов), нелинейного преобразователя и точки ветвления на выходе. С помощью синапсов реализуется связь нейронов, и входной сигнал умножается на число, которое характеризует силу связи (вес синапса). Сумматор осуществляет сложение сигналов, которые поступают через синаптические связи от других нейронов, и внешних пороговых сигналов. Нелинейная функция одного аргумента реализуется нелинейным преобразователем над выходом сумматора. Эту функцию называют функцией активации, которая выступает как передаточная функция нейрона. Нейроном реализуется скалярная функция векторного аргумента. Математическую модель нейрона можно описать следующими соотношениями:

* = (4)

(=і

р = ф,а), (5)

где ж, - весовые коэффициенты связей между нейронами сети; х, - входные сигналы нейрона; ґ - пороговый уровень нейрона, при котором происходит передача выходного сигнала нейрона другим нейронам сети; £ - состояние нейрона; а - вектор значений параметров функции активации; (р - нелинейная функция активации (передаточная функция); р - выходной сигнал нейрона [82].

В таблице 1 приведены примеры активационных функций [11, 54, 55, 61,71,80, 82].

Таблица 1. Разновидности передаточных функций нейронов

вид запись диапазон значений

линейная с насыщением Ф) =' -1,5 <-1, 5,-1 < 5 < 1, 1,5 >1 (-1, О

треугольная Ф) = ■ 5 ,|5| < 1, 0,|5|>1 (0,1)

логистическая Ф) = л 1 + 6 (0,1)

линейная ф) = 5 (-со, оо)

полулинейная [>5,5 > 0, Ф) = [0,5 <0 (0, оо)

гиперболичекий тангенс в 5 е +е ИЛ)

знаковая Гі,5>0, Ф) = У [-1,5 <0 -1, 1

вид запись диапазон значений

полулинейная с насыщением [0,5<0, = 5,0 < 5 < 1, (0,1)

радиальная базисная ф) = е~51 (0,1)

пороговая ГО, 5 < в, Ф) = IV 0,1

Нейрон полностью описывается своими весами м>1 и функцией активации (р. Получив значения входных сигналов хь на выходе нейрон выдает число р.

Представленный вычислительный элемент имитирует в упрощенном виде работу биологических нейронов - клеток нервной системы у животных и человека.

Чтобы отметить различие между биологическими и математическими нейронами, искусственные нейроны принято называть нейроподобными элементами или формальными нейронами [55].

1.4. Архитектура нейронной сети

1.4.1. Классификация нейронных сетей и их применение

Искусственные нейронные сети отличаются своей архитектурой: структурой связей между нейронами (рис. 2), функциями активации нейронов, количеством слоев, алгоритмами обучения. Среди широко распространенных искусственных нейронных сетей выделяются статические сети, динамические сети и йдггу-структуры; одно- или многослойные сети [80].

б)

в)

г) д) е)

Рис. 2. Структуры искусственных нейронных сетей: а - однослойная сеть; б - многослойная сеть; в - сеть с «боковыми соединениями»;

г - сеть Кохонена; д - сеть Хопфилда; е - сеть адаптивной резонансной теории В целом по структуре связей искусственные нейронные сети могут быть сгруппированы в следующие классы:

1. Сети прямого распространения. Сигнал по сети проходит только в одном направлении: от входа к выходу. Наиболее известными и используемыми являются многослойные нейронные сети (многослойные пер-септроны по Ф. Розенблатту), где искусственные нейроны расположены слоями [15, 20].

2. Рекуррентные нейронные сети. На входы нейронов входного слоя подается сигнал нейронов скрытого слоя или выходных нейронов (обратная связь). Рекуррентные сети являются динамическими, так как в каждый момент времени состояние сети зависит от предыдущего состояния из-за обратных связей. Рекуррентная сеть Хопфилда отсеивает данные на входе, переходя в устойчивое состояние и позволяет решить задачу сжатия данных и ассоциативной памяти. Частным случаем рекуррентных сетей являются двунаправленные сети, в которых между слоями существуют связи от входного слоя к выходному и в обратном

направлении. Примерами также являются сеть Коско, сеть Хемминга [54].

3. Радиальные нейронные сети. В общем случае понимается сеть, в которой имеется слой скрытых нейронов с радиально-базисными функциями активации. Каждый слой выполняет функцию хранения эталонного вектора (вектора весов) [54, 80].

4. Самоорганизующиеся карты. Данный вид сетей имеет двумерную структуру нейронов. Перед обучением нейроны имеют равномерное распределение, структура произвольная. При обучении для каждой входной строки массива данных определяется точка, которая соответствует ей в структуре сети. Нейрон, который расположен рядом с искомой точкой, называют нейроном победителем. Увеличиваются значения весов связей, которые соединяют нейрон с другими, структура упорядочивается таким образом. Весовые связи от нейронов, которые находятся рядом с нейроном победителем, к другим нейронам тоже становятся больше. Чем больше нейрон «побеждает» при сравнении с признаком, тем «плотнее» к нему расположены другие нейроны. После обучения сеть представляет собой несколько зон скопления нейронов, каждая из которых называется кластером [5, 20].

Отметим основы функционирования нейронных сетей, про которые необходимо знать при разработке структуры сети:

- при увеличении количества нейронов, количества выделенных слоев, с введением обратных связей, увеличении плотности связи между нейронами возрастают возможности сети;

- сложность алгоритмов работы (такие, как включение нескольких видов синапсов, добавление обратной связи) усиливают возможности нейронных сетей.

Архитектура нейронной сети определяется в большей степени типом задачи, для выполнения которой создается сеть [33, 54].

Представим наиболее распространенные структуры нейронных сетей и типы решаемых задач в таблице 2 [20, 54, 62, 65, 66, 82].

Таблица 2. Структуры нейронных сетей и решаемые задачи

Тип сети классификация кластеризация аппрок прок-сима-ция моделирование комбинаторная оптимизация ассоциативная память оптимизация

Многослойная нейронная сеть + + + + +

Сеть Хопфилда + + +

Сеть Хемминга + +

Двунаправленная ассоциативная память + +

Сеть радиального базиса + + + +

Карта Кохонена + +

Сеть адаптивной резонансной теории + +

Сеть встречного распространения + +

Как видно из таблицы, для решения задачи моделирования и оптимизации могут быть использованы многослойные и радиальные нейронные сети.

1.4.2. Многослойные нейронные сети

Двухслойный персептрон образуется из однослойного путем добавления второго слоя, представленного двумя нейронами (рис. 3).

Многослойный персептрон представляет собой классический пример однонаправленной нейронной сети, в которой отсутствуют обратные связи, так и соединения между нейронами одного и того же слоя. Нейронная сеть содержит лишь один скрытый (ассоциативный) слой, связывающий входы сети и выходной слой. Как видно из рисунка, скрытый слой (или несколько слоев в случае персептрона более высокого порядка) не имеет прямых связей с выходным слоем.

Перцептронные нейроны

Слой 1 Слой 2

У\

^ У 2

Рис. 3. Двухслойный персептрон

Использование скрытого слоя в архитектуре многослойного персеп-трона определяется необходимостью более точного приближения набора сигналов на входе множеству сигналов на выходе. Увеличение количества скрытых слоев позволяет выделять статистические закономерности высших порядков, что является важным обстоятельством в случае многомерного входного сигнала. Число входов сети и нейронов выходного слоя в многослойном персептроне соответствует размерностям входного и выходного векторов соответственно.

Входные сигналы нейронной сети могут передаваться не на все нейроны первого слоя. Веса синаптических связей могут быть при этом фиксированными и оставаться неизменными в процессе обучения. Напротив, синап-тические связи между выходами нейронов первого слоя и входами нейронов второго слоя присутствуют всегда.

Функционирование сети происходит следующим образом:

1. На каждый из входов передается определенный сигнал, который представляет собой число.

2. Входы сети передают их нейронам скрытого слоя.

3. Каждый скрытый нейрон принимает выходные значения с предшествующего слоя и модифицирует их с учетом весовых коэффициентов. У каждой линии связи есть собственное значение весового коэффициента, в начале принимается случайное число.

4. Находится сумма скорректированных значений, на основании этого значения рассчитывается выходное значение с учетом вида функции активации.

5. Посчитанные значения выходов нейронов подаются нейронам следующего слоя.

6. Выходы нейронов последнего слоя представляют собой выход сети.

Данную процедуру называют прямым ходом и используют для определения выходов сети при обучении и при функционировании обученной сети. Но во время обучения сети необходимо проводить процедуру обратного хода для изменения весов в соответствии с посчитанным значением ошибки выхода сети. Модификация весов выполняется по специальному алгоритму обучения, предназначена уменьшить ошибку по всем выходам сети [73].

Нелинейным многослойным нейросетям свойственны недостатки. Из-за того, что зависимость между весовыми коэффициентами и выходными параметрами является нелинейной, задача обучения нейронной сети представляет задачу многоэкстремальной оптимизации с множеством локальных минимумов, из которых стандартный алгоритм обучения не выводит. Взаимосвязь настройки весовых коэффициентов всех базовых элементов сети существенно увеличивает время обучения [73].

1.4.3. Радиальные нейронные сети

Нейронные сети с радиально-базисными функциями активации свободны от упомянутых недостатков обучаемых многослойных нейронных сетей и в этом смысле рассматриваются как альтернатива многослойным сетям,

хотя, как и многослойные сети, они служат аналогом биологических нейросетей.

Доказано, что радиальные нейронные сети являются универсальными аппроксиматорами и могут применяться в задачах аппроксимации непрерывных функций.

Радиальные нейронные сети представляют собой двухслойные сети, в которых при обучении участвует скрытый слой с нелинейным преобразованием входных сигналов, т.е. с не настраиваемыми во время работы весами. Данный слой выполняет преобразование входных переменных г е Я" в переменные <?(1) = • Второй слой «взвешивает» эти переменные с изменяемыми весами м>, = (м?,таким образом, что, например, г'-й скалярный выход сети записывается в виде

т

д^=д, = + = 1,2,...,/С (6)

Структура радиальной сети с вектором входа г е Я" и вектором выхода д{2) -деЯк изображена на рис. 4. Функции активации /^г):Я" ->Я1 выбираются в классе «радиальных» симметричных функций:

/;(Я) = А\\г-а]\\;к),а]еЯ" (7)

Они имеют оптимум при изменении входов г около определенных весов скрытого (первого) слоя:

Рис. 4. Структурная схема радиальной нейронной сети

Настраиваемые весовые коэффициенты второго слоя wt = w^, параметр h, положения так называемых «центров поля восприимчивости», зависящие от установленных значений весовых коэффициентов в первом случае w= а*, форма функций f} (г) и их число т в совокупности определяют

свойства радиальной нейронной сети.

В качестве функций f{z) выбирается одна из функций:

exp(-z2); exp(-z); 1/(1 + z)2; 1/(1 + z2); ze log z\z2+ az + P (9)

Как правило, применяют первую функцию в форме Гаусса:

//г) = ехр(Ь),5о;л\\г а]\\2), (Ю)

к—1

где а* - (a*j, а* 2,..., а]п) - числовой вектор, а О}^ - «ширина» функции Гаусса.

Специфика радиальных сетей заключается в том, что в рабочем режиме меняются веса линейного слоя. Ошибка аппроксимации считается, как в многослойных нейронных сетях, но настройка линейного слоя решает проблему глобального оптимума и ускоряет процесс обучения.

Требуемое число радиальио-базисных функций находится в экспоненциальной зависимости от количества входных параметров, поэтому целесообразно применять радиальные сети в тех задачах, где размерность входного множества ограничена. Другая проблема состоит в необходимости предварительной настройки скрытого слоя [80]. Кроме того, в случае радиальных нейронных сетей отсутствует возможность экстраполяции данных[81], что может существенно сузить область использования построенных моделей. Вследствие указанных недостатков в работе используются многослойные нейронные сети.

1.5. Теоретические основы аппроксимационных свойств многослойных нейронных сетей

Многослойные нейронные сети вычисляют линейные и нелинейные функции одной переменной, а также всевозможные суперпозиции - функции от функций.

Теорема Колмогорова утверждает, что любую непрерывную функцию п переменных можно точно представить через операции сложения, умножения и суперпозиции из непрерывных функций одного переменной. В теореме доказано следующее соотношение:

/(х,,х2,...,х„) — ^ X,

9=1

2и+1

У<7

р=\

(11)

где Хч>¥т— непрерывная функция одной переменной, хч~ функция специального вида для каждой из функций /(х,,х2,...,хп); непрерывные функции одной переменной, причем хч — специальные функции для каждой функции /(х],х2,...,хп); ц/т- независимо от /(х,,х2,...,хп)некоторые функции, которые являются стандартными в своем классе. Есть доказательство, что функ-

ция %q может быть заменена функцией х ■> а функции у/рч- на арчц/р, где множители арч = const и ц/р - монотонно возрастающие функции [54].

Нейрон принимает вектор х, находит скалярное произведение с вектором весов w и некоторую функцию одной переменной (р. Результат передается другим нейронам или на выход сети. Нейронными сетями реализуется вычисление суперпозиции простых функций одной переменной и их линейных комбинаций.

С помощью нейронных сетей можно с заданной точностью вычислить значение непрерывной функции f{sx,s2,..., sn). Значит, на основе нейронных сетей можно аппроксимировать любую непрерывную функцию нескольких переменных [80].

1.6. Понятие профиля компактности и предобработка данных в задаче

классификации

В данных для обучения нейронной сети могут присутствовать данные с большой погрешностью, что может привести к противоречивости экспериментальных значений - одинаковые векторы независимых признаков и разные векторы зависимых признаков [79, 86, 87, 91]. К противоречивости приводят ошибки измерения, ошибки, связанные с ручным вводом данных (также противоречивость будет наблюдаться, если в модель не включены значимые входные параметры, но это уже ошибка выбора параметров). Такие примеры следует исключать из обучающей выборки.

В [12, 13] рассматривается метод предобработки данных, основанный на понятии профиля компактности. Метод применяется для задач классификации, где выходной величиной является принадлежность к какому-либо классу объектов. С помощью метода выполняется разделение обучающих данных на три группы: шумовые выбросы (противоречивые примеры), неинформативные периферийные объекты (на границе классов - нетипичные

примеры) и опорные объекты. Удаление из обучающей выборки периферийных и шумовых объектов позволяет повысить способность метода обучения к обобщению информации.

По данному методу последовательно удаляются объекты, начиная с исходной выборки. Из выборки удаляется тот объект, удаление которого уменьшает функционал. Процесс удаления объектов выполняется в два этапа. Первоначально удаляются шумовые объекты, после этого происходит удаление периферийных неинформативных объектов. Процедура удаления завершается, когда остались объекты, удаление которых приводит к увеличению функционала, после этого в выборке остаются столпы, или опорные объекты.

Основным результатом использования формул комбинаторного анализа в вычислении функционала полного скользящего контроля является то, что она позволяет точно вычислить значение функционала и выполнить точную оценку во время удаления шумовых объектов [13].

Данный метод основывается на предположении, которое называют гипотезой компактности: похожие объекты должны находиться в одном классе, а не в разных. Тогда граница между классами будет иметь простую форму, а классы будут образовывать компактно расположенные области в пространстве объектов (под компактными областями в математическом анализе принято понимать замкнутые ограниченные множества, в гипотезе компактности с этим понятием нет ничего общего).

Обычно объекты из массива данных не являются равнозначными. В массиве могут быть типичные представители - эталоны. Если объект находится очень близко к эталону, то он должен относиться к этому классу.

Существует другая категория объектов - периферийные, или неинформативные, которые расположены рядом с объектами того же класса. Если удалить неинформативные объекты из массива данных, то это не повлияет на адекватность получаемой модели.

В выборке может оказаться другая категория объектов - шумовые выбросы, которые находятся в другом классе. Как правило удаление таких объектов заметно увеличивает качество классификации.

Удаление из массива данных неинформативных и шумовых объектов дает следующие преимущества: уменьшается объем хранимых данных, повышается качество классификации, сокращается время классификации, которое затрачивается на нахождение ближайших эталонов [12].

Рассмотрим минимизируемый функционал выборки. Пусть существует некоторое множество объектов X и множество классов У. Имеется выборка данных для обучения Хт = {(х],у:),...,(хт,ут)} е XхУ в виде пар «объект-ответ».

Пусть имеется функция расстояния р(х,х'), заданная на «множестве объектов. К функции расстояния предъявляется требование, что она должна отражать сходство объектов: чем меньше значение функции, тем больше похожи объекты х, х'.

Для некоторого объекта и упорядочим объекты из обучающей выборки х, в порядке увеличения расстояний до него:

где хш - элемент обучающей выборки, который является /-м соседом объекта и. Аналогичное обозначение введем и для ответа на г-м соседе - уш. Каждый объект иеХ получает свои номера элементов массива.

Рассмотрим метод ближайшего соседа, по которому классифицируемый объект и относится к тому классу, к которому относится ближайший к и объект обучающей выборки:

р(и, х1ц) < р(и, х2и )<...< р{и, хти),

(12)

а(и,Хт) = у1

и

(13)

Профиль компактности Хт вычисляется по формуле:

1 т

Яи,Хт) = - 1е„,гдес9=<

1, если у( Ф у О, если у 1 =у

Другими словами, профиль компактности R(j) -часть объектов в выборке, для которых j-й сосед относится к другому классу.

Профиль компактности представляет собой формальное выражение гипотезы компактности - похожие объекты часто находятся в одном классе, чем в разных.

Выборка XL разбивается N = СkL способами на две подвыборки, которые не пересекаются: X1 = X™ и Хкп, где X™ - подвыборка для обучения длиной т, Хкп - подвыборка для тестирования длиной k-L-m, п = 1 ,...,N -номер разбиения.

Для каждого разбиения п строится алгоритм ап{и,Х™). Функционал полного скользящего контроля (complete cross-validation, CCV) вычисляется как средняя (по всем разбиениям) ошибка на контроле:

IV „_1 К

1, если а п (х1,Х™)±у1 О, если ап (х,,Х™) = у,

(15)

Функционал полного скользящего контроля в методе ближайшего соседа является характеристикой обобщающей способности.

Существует формула расчета функционала скользящего контроля через профиль компактности:

CCV{XL) = Y.R{j,XL)r{j),mQ ГЦ)=

7=1 LA

(16)

С ростом у быстро убывает комбинаторный множитель -Г(у'). Для минимизации функционала ССУ достаточно, чтобы профиль 11(],Х1) при малых _/ принимал значения около нулю. Это значит, что близкие объекты как правило будут относиться к одному классу. Таким образом, профиль компактности представляет собой формальное выражение гипотезы компактности [12, 13].

1.7. Масштабирование данных

Обучение нейронной сети сводится к задаче оптимизации. Требуется подобрать такие весовые коэффициенты нейронов, которые бы обеспечивали минимальное отклонение выходных сигналов нейронной сети относительно фактических значений:

М N

т (17)

1=1 }=\

где М- число строк массива обучающей выборки данных; И— число выходных параметров нейронной сети;

уу - фактическое значениеу'-го выходного параметра из /-ой строки данных; у*1} - значениеу'-го выходного параметра, рассчитанного по /-ой строке данных.

В формуле (17) фактические значения параметров отмасштабированы к отрезку [-1; 1] так, что наименьшему значению соответствует значение -1, а наибольшему - значение 1. Масштабирование выполняется по формуле:

2(х, -ттх)

(тахх - minx)

-1, (18)

где х, - отмасштабированное значение, х, - действительное значение параметра, minx и тахх - минимальное и максимальное значения параметра, вычисленные по выборке для обучения и тестирования сети.

Для обучения нейронной сети масштабирование фактических значений выполняется по всем входным и выходным параметрам для того, чтобы параметры, принимающие большие значения, и параметры с малыми значениями учитывались в модели одинаково [74].

1.8. Определение необходимого числа нейронов в сети

При решении задачи определения необходимого количества нейронов есть два возможных подхода. По первому подходу увеличение количества

нейронов приводит к тому, что нейронная сеть получается более надежной. О пользе данного подхода говорит пример человеческого мозга. С увеличением числа нейронов увеличивается количество связей между нейронами, и нейронная сеть становится способна решать более сложные задачи. Также известен тот факт, что большее количество нейронов должно обеспечить обучение сети. Обратное утверждение не справедливо: обучение сети с небольшим количеством нейронов может привести к тому, что сеть не обучится решать задачу из-за простоты такой сети. Тогда обучение нейронной сети нужно будет повторить, используя большее количество нейронов.

Второй подход основывается на правиле: с возрастанием количества подбираемых параметров становится хуже аппроксимация функции в тех областях, на которых не проводилось обучение сети. С точки зрения математики задача обучения нейронной сети сводится к продолжению функции, которая задана на некотором множестве точек, на всю область определения. В данном случае входные параметры сети представляют собой аргументы, выходы сети - значением функции. При таком подходе входные данные сети считаются аргументами сети, а ответ сети - значением функции. На рис. 5 представлен пример аппроксимации функции, заданной в виде таблиц, с помощью полиномов 3-й и 7-й степени.

х 12 3 4 /(*) 5 4 6 3

полином 3-й степени

полином 7-й степени

-20

о

2

3

4

5

-10 -1

Рис. 5. Аппроксимация функции, заданной в виде таблицы

Очевидно, что аппроксимация, полученная с помощью полинома 3-й степени, больше соответствует внутреннему представлению о правильной аппроксимации. Несмотря на свою простоту этот пример достаточно наглядно демонстрирует суть проблемы.

По второму подходу необходимое количество нейронов определяется как минимально возможное, но которого достаточно, чтобы нейронная сеть сохранила способность решать поставленные задачи. Отрицательной стороной в таком подходе является то, что минимальное количество нейронов неизвестно заранее, определение количества нейронов потребует значительного времени и связано с размерностью задачи и количеством примеров, на которых происходит обучение сети.

Сеть, содержащая минимальное количество нейронов, будет более качественно аппроксимировать функцию, нахождение этого необходимого количества нейронов займет большое время при экспериментах с обучением сети.

Если окажется, что количество нейронов будет избыточным, то может получиться, что сеть очень быстро обучится, но есть вероятность, что такая сеть будет аппроксимировать несуществующую зависимость, так как при большом количестве нейронов сеть пройдет обучение и на случайно сгенерированных данных [21, 62].

В теореме Хехт-Нильсена в 1987 году доказано, что для представления функции будет достаточно использовать двухслойную нейронную сеть, содержащую прямые полные связи, п нейронов во входном слое, (2п + 1) нейрона в скрытом слое (ограниченные функции активации известны заранее) и т нейронов в выходном слое (функции активации неизвестны). Здесь п - количество параметров на входе, т - количество параметров на выходе [54].

1.9. Обучение нейронной сети

1.9.1. Алгоритмы обучения нейронных сетей

Процесс обучения нейронной сети может рассматриваться как настройка весовых коэффициентов и архитектуры для эффективного выполнения поставленной задачи. Обычно последовательная настройка весовых коэффициентов осуществляется при подстановке данных обучающей выборки. Возможность нейронной сети обучаться на данных делает их более привлекательными по отношению к системам, которые используют правила функционирования, сформулированные экспертами.

Для организации процесса обучения, во-первых, необходимо иметь модель внешней среды, в которой функционирует нейронная сеть. Эта модель определяет парадигму обучения. Во-вторых, необходимо понять, как модифицировать весовые параметры сети.

Существуют три парадигмы обучения: с учителем, без учителя (самообучение) и смешанная. В первом случае для каждого входного примера есть требуемый ответ. Веса подстраиваются так, чтобы выходные параметры сети были как можно ближе к требуемым ответам. Более «жесткий» вариант обучения с учителем предполагает, что известна только критическая оценка правильности выхода нейронной сети, а не сами требуемые значения выхода. Для обучения без учителя не требуется знать ответы на каждый пример обучающей выборки. В этом случае происходит распределение образцов по категориям (кластерам) в соответствии с внутренней структурой данных или степенью корреляции между образцами. При смешанном обучении весовые коэффициенты одной группы нейронов настраиваются посредством обучения с учителем, а другой группы - на основе самообучения.

В процессе обучения учитываются следующие свойства нейронных сетей: сложность образцов, вычислительная сложность и емкость сети. Под емкостью сети понимают количество запоминаемых образцов с учетом сформированных функций и границ принятия решений. Сложность образцов

определяет объем обучающего массива данных, который необходим для достижения способности сети обобщить данные.

Существует четыре основных правила обучения, которые обусловлены связанными с ними архитектурами сетей (таблица 3): метод соревнования, правило Хебба, правило Больцмана и коррекция ошибки [50].

По первому правилу для каждого входного примера задан требуемый выход с1, который может не совпадать с реальным у. Правило обучения при коррекции по ошибке заключается в применении разницы (с1 - у) для изменения весов с целью уменьшения ошибки рассогласования. Обучение проводится только при ошибочном результате. Существуют различные модификации этого правила обучения.

Правило Больцмана относится к стохастическим правилам обучения, которые обусловлены аналогией с термодинамическими принципами. В соответствии с этим правилом осуществляется настройка весов синаптических связей с учетом требуемого распределения вероятности. Обучение на основе правила Больцмана может быть рассмотрено как отдельный случай корректировки по ошибке, в котором под ошибкой понимают разницу корреляций состояний при двух режимах.

Правило Хебба является самым распространенным алго ритмом обучения нейросетей, смысл которого сводится к следующему: если нейроны с обеих сторон синапса возбуждаются одновременно и регулярно, то сила си-наптической связи возрастает. Важной особенностью является то, что изменение весового коэффициента определяется только активностью нейронов, связанных через этот синапс. Разработано большое число модификаций этого правила, которые различаются правилом корректировки синаптических весов.

В отличие от правила Хебба, в котором множество нейронов выходного слоя может возбуждаться одновременно, в методе соревнования нейроны последнего слоя соревнуются друг с другом. И выходной нейрон с максимальным значением взвешенной суммы является «победителем» («по-

бедитель забирает все»). Выходы других нейронов выходного слоя принимают неактивное состояние. При обучении происходит изменение только весов нейрона-«победителя» в сторону увеличения близости к данному входному примеру.

Таблица 3. Известные алгоритмы обучения

Парадигма Обучающее правило Архитектура нейронной сети Алгоритм обучения Задачи

с учителем коррекция ошибки однослойный и многослойный персептрон алгоритмы обучения персептрона; обратное распространение; Adaline и Madeline классификация образов; аппроксимация функций; предсказание; управление

соревнование соревнование векторное квантование категоризация внутри класса; сжатие данных

Хебб многослойная прямого распространения линейный дис-криминантный анализ анализ данных; классификация образов

Больцман рекуррентная алгоритм обучения Больцмана классификация образов

сеть адаптивной резонансной теории ART Map классификация образов

без учителя карта Кохонена SOM Кохонена категоризация; анализ данных

соревнование соревнование векторное квантование категоризация; сжатие данных

Хебб прямого распространения или соревнование метод главных компонентов анализ данных; сжатие данных

сеть Хопфилда обучение ассоциативной памяти ассоциативная память

коррекция ошибки многослойная прямого распространения проекция Саммона категоризация внутри класса; анализ данных

сеть адаптивной резонансной теории ART1, ART2 категоризация

смешанная коррекция ошибки и соревнование радиальная нейронная сеть алгоритм обучения RBFN классификация образов; аппроксимация функций; предсказание; управление

Это правило позволяет группировать входные данные на категории (кластеры) и представлять их отдельными выходными нейронами.

Нейронная сеть считается устойчивой, если после некоторого количества этапов обучения ни один из примеров обучающей выборки не меняет свою принадлежность к кластеру. Однако сеть продолжит обучаться, если параметр скорости обучения не равен нулю. Но эта искусственная остановка обучения вызывает другую проблему, называемую пластичностью и связанную со способностью сети к адаптации к новым данным. Возникает дилемма стабильности-пластичности Гроссберга.

Список алгоритмов обучения нейронных сетей, представленных в таблице 3, не является полным. В последнем столбце представлены задачи, для которых могут применяться эти алгоритмы. Каждый алгоритм обучения ориентирован на сеть определенной архитектуры и предназначен для ограниченного класса задач [54].

1.9.2. Понятие о задаче оптимизации

Возможность использования методов оптимизации в обучении нейронных сетей весьма привлекательна, так как существует большое количество хорошо опробованных методов оптимизации, которые реализованы в стандартных компьютерных программах. Сопоставление процесса обучения с поиском некоторых оптимальных значений также не лишено и биологических оснований, если рассматривать элементы адаптации организма к окружающим условиям в виде оптимального количества пищи, оптимального расходования энергии [20, 72].

Функция одной действительной переменной Дрс) имеет локальный минимум в некоторой точке хо, если есть некоторое положительное число 5 такое, что если \х - х0| < д, то Дх) > _Дх0), т.е. если есть некоторая окрестность точки х0 такая, что во всех значениях х из этой окрестности верно выражение

А*) >А*о).

Функция Дх) имеет глобальный минимум в точке х*, если для всех X справедливо неравенство Дх) >Дх*). На рис. 6 дано графическое представле-

ние функции /(х), которая имеет локальный минимум в точке х0 и глобальный минимум в точке х* [4, 9].

Рис. 6. Локальный и глобальный минимум

Без дополнительных предположений о свойствах гладкости функции выяснить, является ли некоторая точка достоверной точкой минимума, используя данное определение, невозможно, т.к. в любой окрестности существует континуум точек. При использовании численных методов для приближенного поиска минимума можно столкнуться с несколькими проблемами. Во-первых, может быть не один минимум функции. Во-вторых, часто на практике необходимо найти не локальный минимум, а глобальный, обычно не понятно, есть ли у функции еще один минимум, более глубокий, чем найденный [17, 20].

Для многомерного пространства математическое определение локального минимума функции имеет тот же вид, если заменить точки х и х0 на вектора, а вместо модуля использовать норму.

Поиск минимума для функции векторного аргумента представляет собой более сложную задачу, чем для одной переменной. Это связано в первую очередь с тем, что локальное направление уменьшения значения функции может не совпадать с направлением движения к точке минимума. Также с увеличением размерности быстро увеличиваются затраты на вычисление функции [76].

Не существует общих, эффективных и заведомо работающих в любой ситуации методов оптимизации [80].

1.9.3. Обучение нейронной сети как задача оптимизации

Пусть имеется нейронная сеть, выполняющая преобразование Е: X—>У векторов X из признакового пространства в вектора У выходного пространства. Сеть находится в состоянии Ж. Пусть далее имеется обучающая выборка (X, У), а = \...р. Рассмотрим полную ошибку Е, делаемую сетью в состоянии Ж.

Е = Е(№) = ^ = (19)

Заключение диссертации по теме «Математическое моделирование, численные методы и комплексы программ», Коротков, Евгений Алексеевич

4.6. Выводы

В главе приведены результаты практической реализации разработанной модели.

Разработана структура функциональных связей технологических параметров и показателей качества в многоэтапной технологии производства холоднокатаного проката (для горячей прокатки, холодной прокатки, отжига и дрессировки), в соответствии со структурой построена нейросетевая модель.

Для проведения теста использовались технологические данные производства горячего и холодного проката ОАО «Новолипецкий металлургический комбинат».

В ходе эксперимента проведена предобработка данных на основе профиля компактности: из массива удалены противоречивые и повторяющиеся примеры. Впервые применен профиль компактности для обработки данных в задаче моделирования.

Выполнено моделирование выделенных этапов производства: горячей прокатки, холодной прокатки и непрерывного отжига с дрессировкой. Каждый этап моделируется двухслойной нейронной сетью, сети связаны между собой в виде входных-выходных сигналов.

Обученная нейронная сеть прогнозирует показатели качества по технологическим параметрам. В математическом пакете ЗіагіБІЇса 6.0 выполнен множественный регрессионный анализ, сравнение результатов прогнозирования с помощью нейросетевых моделей и регрессионного анализа показывает, что в большинстве случаев нейронные сети точнее.

На основе чувствительности выходов сети к изменению входов проанализирована значимость некоторых входных параметров, полученные результаты сопоставлены с теоретическими положениями прокатного производства и физики металлов.

Решена задача оптимизации, полученные результаты характеризуются высокой степенью точности. С помощью разработанного метода удалось получить равномерное распределение точек на поверхности аппроксимации.

Практическая ценность работы заключается в проверке новых технологических режимов - возможно ли получить продукцию требуемых свойств. Также определяется такой технологический режим производства (либо несколько режимов), при котором конечная продукция будет соответствовать определенным требованиям качества. Используя оценку показателей значимости входных параметров нейросетевой модели, определяются управляемые технологические параметры, нарушение которых влияет на качество, то есть те параметры, к которым больше всего должны предъявляться требования по соблюдению технологии.

Основываясь на точности полученных результатов, можно сделать вывод об адекватности разработанного инструмента моделирования и оптимизации сложных многоэтапных процессов.

Разработанные средства могут применяться в других областях, связанных с моделированием и оптимизацией сложных процессов и систем.

ЗАКЛЮЧЕНИЕ

В ходе исследования разработаны алгоритмы и инструменты, позволяющие заниматься моделированием и оптимизацией параметров сложных многоэтапных процессов с помощью искусственных нейронных сетей в условиях зашумленности исходных данных.

В работе получены следующие основные результаты:

1. Разработан метод подготовки зашумленных данных, представляющий собой модификацию известного метода, основанного на понятии профиля компактности и комбинаторных формулах вычисления функционала скользящего. Метод отличается возможностью предобработки данных моделирования с непрерывной выходной величиной. Проведенные эксперименты показывают эффективность предложенного метода.

2. Для решения задачи оптимизации параметров многоэтапных процессов на основе инверсии нейронной сети разработан численный метод. Метод сочетает в себе высокую скорость и точность поиска решений и обеспечивает равномерную аппроксимацию поверхности решения за счет уточнения новых точек, добавленных в наименее представленные области решения.

3. Создан алгоритм поиска смежных точек, на основании которого проис-ч ходит добавление новых точек решения задачи оптимизации. Добавление новых точек выполняется между наиболее удаленными смежными.

4. Реализован программный комплекс нейросетевого моделирования и оптимизации многоэтапных процессов. Программный комплекс представляет собой инструмент для анализа многоэтапных процессов. Разработанные модули могут расширяться и переноситься в другие системы.

5. Разработана структура функциональных связей технологических параметров и показателей качества в многоэтапной технологии производства холоднокатаного проката для автомобильной промышленности.

6. Выполнены нейросетевое моделирование многоэтапной технологии и поиск оптимальной технологии при заданных параметрах качества на технологических данных производства горячего и холодного проката ОАО «Новолипецкий металлургический комбинат». Полученные результаты характеризуются высокой степенью точности и позволяют сделать вывод об адекватности модели, работоспособности программного комплекса и целесообразности их применения для анализа и проектирования технологии.

7. Результаты диссертационной работы прошли апробацию и будут применяться в отделе систем учета производства и качества продукции Дирекции по информационным технологиям ОАО «Новолипецкий металлургический комбинат» и используются в учебном процессе Липецкого филиала МИКТ при подготовке инженеров специальности 230101 «Вычислительные машины, комплексы, системы и сети».

Список литературы диссертационного исследования кандидат технических наук Коротков, Евгений Алексеевич, 2013 год

ЛИТЕРАТУРА

1. Айвазян С.А. Прикладная статистика: классификация и снижение размерности. Справ, изд. / С.А. Айвазян, В.М. Бухштабер, И.С. Енюков, Л.Д. Ме-шалкин. - М.: Финансы и статистика, 1989. - 607 е.: ил.

2. Андерсон Т. Введение в многомерный статистический анализ / Т. Андерсон - М.: Физматгиз, 1963. - 500 с.

3. Акулич И.Л. Математическое программирование в примерах и задачах: учебное пособие / И.Л. Акулич. - М.: Высш. шк., 1986. - 319 с.

4. Банди Б. Методы оптимизации. Вводный курс: [пер. с англ.] / Б. Банди. -М.: Радио и связь, 1988. - 128 е.: ил.

5. Барский А.Б. Нейронные сети: распознавание, управление, принятие решений / А.Б. Барский. - М.: Финансы и статистика, 2004. - 176 с.

6. Беняковский М.А. Производство автомобильного листа / М.А. Беняков-ский, В.Л. Мазур, В.И. Мелешко. - М.: Металлургия, 1979. - 256 с.

7. Божков А.И. Непрерывный отжиг и плоскостность полос / А.И. Божков -М.: Интермет инжиниринг, 2000. - 128 с.

8. Буч Г. Язык UML: руководство пользователя: [пер. с англ.] / Г. Буч, Д. Рамбо, И. Якобсон. - М.: ДМК Пресс, 2007. - 496 с.

9. Васильев Ф.П. Численные методы решения экстремальных задач: учебное пособие для ВУЗов / Ф.П. Васильев. - М.: Наука, 1988. - 552 с.

10. Вентцель Е.С. Теория вероятностей и ее инженерные приложения: учебное пособие для ВТУЗов / Е.С. Вентцель, Л.А. Овчаров. - М.: Высшая школа, 2000. - 480 с.

11. Вороновский Г.К. Генетические алгоритмы, искусственные нейронные сети и проблемы виртуальной реальности / Г.К. Вороновский, К.В. Махоти-ло, С.Н. Петрашев, С.А. Сергеев. - Харьков: Основа, 1997. - 112 с.

12. Воронцов К.В. Комбинаторные оценки качества обучения по прецедентам / К.В. Воронцов // Докл. РАН. - 2004. - т. 394, №2. - с. 175-178.

13. Воронцов K.B. Комбинаторный подход к оценке качества обучаемых алгоритмов / К.В. Воронцов // Математические вопросы кибернетики. - 2004. -№13.-с. 5-36.

14. Гайдамакин H.A. Автоматизированные информационные системы, базы и банки данных. Вводный курс: учебное пособие / H.A. Гайдамакин. - М.: Ге-лиос АРВ, 2002. - 368 е., ил.

15. Галушкин А.И. Нейрокомпьютеры и их применение: учебное пособие для ВУЗов. - кн. 1 - Теория нейронных сетей / А.И. Галушкин; под общей редакцией А.И. Галушкина. - М.: ИПРЖР, 2000. - 416 с.

16. Гамбаров Г.М. Статистическое моделирование и прогнозирование: учебное пособие / Г.М. Гамбаров, Н.В. Журавель, Ю.Г. Королев и др., под ред. А.Г. Гранберга. - М.: Финансы и статистика, 1990. - 383 е.: ил.

17. Гилл Ф. Практическая оптимизация / Ф. Гилл, У. Мюррей, М. Райт. - М.: Мир, 1985.-509 с.

18. Гмурман В.Е. Теория вероятностей и математическая статистика / В.Е. Гмурман. - М.: Высшая школа, 2003. - 479 с.

19. Головко В.А. Нейроинтеллект: теория и применения. Самоорганизация, отказоустойчивость и применение нейронных сетей / В.А. Головко. - Брест: БПИ, 1999.-228 с.

20. Горбань А.Н. Нейроинформатика / А.Н. Горбань, B.JI. Дунин-Барковский, А.Н. Кирдин. - Новосибирск: Наука. Сибирское отделение РАН, 1998. - 296 с.

21. Горбань А.Н. Нейронные сети на персональном компьютере / А.Н. Горбань, Д.А. Россиев. Новосибирск: Наука, 1996. - 256 с.

22. ГОСТ 9045-93. Прокат тонколистовой холоднокатаный из низкоуглеродистой качественной стали для холодной штамповки. Технические условия — Взамен ГОСТ 9045-80; введ. 1997-01-01. - Минск: Межгос. совет по стандартизации, метрологии и сертификации; М.: Изд-во стандартов, 1996.

23. Григорьев Ю.А. Банки данных: учебник для вузов / Ю.А. Григорьев, Г.И. Ревунков. - М.: Изд-во МГТУ им. Н.Э. Баумана, 2002. - 320 с.

24. Грудев А.П. Технология прокатного производства: учебник для вузов / А.П. Грудев, Л.Ф. Машкин, М.И. Ханин. - М.: Металлургия, 1994. - 656 с.

25. Данилина Н.И. Численные методы / Н.И. Данилина, Н.С. Дубровская, О.П. Кваша и др. - М.: Высшая школа, 1976. - 368 с.

26. Дейт К. Введение в системы баз данных: [пер. с англ.] / К. Дейт. - М.: Издательский дом «Вильяме», 2000. - 848 с.

27. Демиденко Е.З. Линейная и нелинейная регрессия / Е.З. Демиденко. - М.: Финансы и статистика, 1981. - 302 с.

28. Деннис Дж. Численные методы безусловной оптимизации и решения нелинейных уравнений / Дж. Деннис, Р. Шнабель. - М.: Мир, 1988. - 440 с.

29. Дубров A.M. Многомерные статистические методы: учебник / A.M. Дубров, B.C. Мхитарян, Л.И. Трошин. - М.: Финансы и статистика, 1998. - 352 е.: ил.

30. Дубровский С.А. Статистика качества продукции / С.А. Дубровский, Э.С. Гольдштейн, В.Г. Мизин, O.A. Коршунов. - М.: Наука, 1977. - 264 с.

31. Дюран Б. Кластерный анализ: [пер. с англ.] / Б. Дюран, П. Оделл. - М.: Статистика, 1977. - 128 с.

32. Ежов A.A. Нейрокомпьютинг и его приложения в экономике и бизнесе / A.A. Ежов, С.А. Шумский - М.: МИФИ, 1998. - 224 с.

33. Заенцев И.В. Нейронные сети. Основные модели / И.В. Заенцев. - Воронеж.: ВГУ, 1999.-76 с.

34. Зотов В.Ф. Производство проката / В.Ф. Зотов. - М.: Интермет Инжиниринг, 2000.-352 с.

35. Казаков Н.Ф. Технология металлов и других конструкционных материалов / Н.Ф. Казаков, A.M. Осокин, А.П. Шишкова. - М.: Металлургия, 1976. -688 с.

36. Калиткин H.H. Численные методы / H.H. Калиткин. - М.: Наука, 1978. -512 с.

37. Качановский Ю.П. Влияние вида функции активации и отрезка генерации начальных значений весов на качество обучения нейронной сети / Ю.П. Ка-

чановский, Е.А. Короткое // Искусственный интеллект. Интеллектуальные системы ИИ-2010: материалы Международной научно-технической конференции. - т. 2 - Донецк: ИЛИИ «Наука i освгга», 2010. - с. 333-336.

38. Качановский Ю.П. Выбор архитектуры нейронной сети для моделирования и управления технологическими процессами металлургического производства / Ю.П. Качановский, Е.А. Коротков // Информационно-вычислительные технологии и их приложения. Сборник статей X Международной научно-технической конференции. - Пенза: РИО ПГСХА, 2009. - с. 116-119.

39. Качановский Ю.П. Об инверсии нейронной сети / Ю.П. Качановский, Е.А. Коротков, С.Г. Шалахов // Вести высших учебных заведений Черноземья. - Липецк: ЛГТУ, 2011. №2. - с. 85-90.

40. Качановский Ю.П. Объектно-ориентированное программирование в реализации нейронных сетей / Ю.П. Качановский, Е.А. Коротков // Информатика: проблемы, методология, технологии. Материалы X Международной научно-методической конференции. - т. 1 - Воронеж: Издательско-полиграфический центр ВГУ, 2010. - с. 229-233.

41. Качановский Ю.П. Основные принципы построения нейросетевой модели формирования свойств автолистовой стали / Ю.П. Качановский, Е.А. Коротков // Вести высших учебных заведений Черноземья. - Липецк: ЛГТУ, 2009. №4. - с. 70-74.

42. Качановский Ю.П. Параметры нейронной сети для моделирования свойств автолистовой стали / Ю.П. Качановский, Е.А. Коротков // Информационные технологии и математическое моделирование. Материалы VIII Всероссийской научно-практической конференции с международным участием. - ч. 2. - Томск: Изд-во Том. ун-та, 2009. - с. 103-110.

43. Качановский Ю.П. Предобработка данных для обучения нейронной сети / Ю.П. Качановский, Е.А. Коротков // Фундаментальные исследования. - Пенза: Издательский дом «Академия Естествознания», 2011. №12. - с. 117-120.

44. Качановский Ю.П. Разработка модели данных в задаче моделирования и управления технологическими процессами металлургического производства / Ю.П. Качановский, Е.А. Короткое // Информационные технологии в профессиональной деятельности и научной работе. Сборник материалов Всероссийской научно-практической конференции с международным участием. - Йошкар-Ола: МарГТУ, 2009. - с. 114-118.

45. Качановский Ю.П. Система моделирования и управления технологическими процессами металлургического производства с помощью систем искусственного интеллекта / Ю.П. Качановский, Е.А. Коротков // Свидетельство об отраслевой регистрации разработки (программы для ЭВМ) №50201000682 - зарегистрировано 10.04.2010 в Отраслевом фонде алгоритмов и программ Федерального агентства по образованию.

46. Качановский Ю.П. Система моделирования и управления технологическими процессами металлургического производства на основе нейронных сетей / Ю.П. Качановский, Е.А. Коротков // Свидетельство о государственной регистрации программы для ЭВМ №2012612516 - зарегистрировано 07.03.2012 в Федеральной службе по интеллектуальной собственности (Роспатент).

47. Качановский Ю.П. Структура информационно-программного обеспечения системы моделирования и управления с помощью нейронной сети / Ю.П. Качановский, Е.А. Коротков // Информационные системы и технологии -Орел: «Госуниверситет - УНПК», 2011. №4 - с. 109-115.

48. Качановский Ю.П. Уменьшение размерности задачи обучения нейронной сети / Ю.П. Качановский, Е.А. Коротков, С.Г. Шалахов // Научный электронный архив академии естествознания. 25.02.2010. URL: http://econf.rae.ru/article/5859.

49. Колпаков C.B. Технология производства стали в современных конвертерных цехах / C.B. Колпаков, Р.В. Старов и др. - М.: Машиностроение, 1991. -464 е.: ил.

50. Комарцова Л.Г. Нейрокомпьютеры: учебное пособие / Л.Г. Комарцова, A.B. Максимов. - М.: МГТУ, 2002. - 318 с.

51. Коннолли Т. Базы данных. Проектирование, реализация и сопровождение. Теория и практика: [пер. с англ.] / Т. Коннолли, К. Бегг. - 3-е изд.: - М.: Издательский дом «Вильяме», 2003. - 1440 е.: ил.

52. Коротков Е.А. Анализ возможности применения нейросетевого моделирования в задачах управления качеством металлургического производства / Е.А. Коротков // V Всероссийская школа-семинар молодых ученых «Управление большими системами»: Сборник трудов. - т. 1. - Липецк: ЛГТУ, 2008. -с. 313-320.

53. Коцарь С.Л. Технология листопрокатного производства / С.Л. Коцарь, А.Д. Белянский, Ю.А. Мухин. - М.: Металлургия, 1997. - 272 с.

54. Круглов В.В. Искусственные нейронные сети: теория и практика / В.В. Круглов, В.В. Борисов. - М.: Горячая линия - Телеком, 2001. - 382 е.: ил.

55. Круглов В.В. Нечеткая логика и искусственные нейронные сети /В.В. Круглов, М.И. Дли, Р.Ю. Голунов. - М.: Изд-во физ.-мат. литературы, 2001. -224 с.

56. Ксензук Ф.А. Прокатка автолистовой стали / Ф.А. Ксензук, H.A. Трощен-ков, А.П. Чекмарев, М.М. Сафьян. - М.: Металлургия, 1969. - 296 с.

57. Кузнецов Л.А. Общая постановка задачи проектирования технологии листовой прокатки / Л.А. Кузнецов // Изв. вуз. Черная металлургия. 1987. №12. с. 54-58.

58. Лафоре Р. Объектно-ориентированное программирование в С++. Классика Computer Science / Р. Лафоре. - 4-е изд. - СПб.: Питер, 2003. - 928 е.: ил.

59. Мандель И.Д. Кластерный анализ / И.Д. Мандель. - М.: Финансы и статистика, 1988. - 176 е.: ил.

60. Миллсап К. Oracle. Оптимизация производительности: [пер. с англ.] / К. Миллсап, Д. Хольт. - СПб: Символ-Плюс, 2006. - 464 е., ил.

61. Минский М. Персептроны / М. Минский, С. Пайперт. - 2-е изд. - М.: Мир, 1971.-365 с.

62. Миркес Е.М. Нейрокомпьютер. Проект стандарта / Е.М. Миркес. - Новосибирск: Наука. Сибирская издательская фирма РАН, 1999. - 337 с.

63. Настич В.П. Управление качеством тонколистового проката / В.П. На-стич, В.Н. Скороходов, А.И. Божков. - М.: Интермет Инжиниринг, 2001. -296 с.

64. Настич В.П. Управление качеством холоднокатаных полос: научное издание / В.П. Настич, А.И. Божков. - М.: Интермет Инжиниринг, 2006. - 216 с.

65. Омату С. Нейрокомпьютеры и их применение: учебное пособие для ВУЗов. - кн. 1 - Нейроуправление и его приложения / С. Омату, М. Халид, Р. Юсоф; под общей редакцией А.И. Галушкина. - М.: ИПРЖР, 2000. - 272 с.

66. Осовский С. Нейронные сети для обработки информации / С. Осовский; пер. с польского И.Д. Рудинского. - М.: Финансы и статистика, 2002. - 344 е.: ил.

67. Пантелеев A.B. Методы оптимизации в примерах и задачах: учебное пособие / A.B. Пантелеев, Т.А. Летова. - М.: Высшая школа, 2002. - 544 с.

68. Паппас К. Программирование на С и С++ / К. Паппас, У. Мюррей. - К.: Издательская группа BHV, 2000. - 320 с.

69. Пилюшенко B.JL Структура и свойства авто листовой стали / B.JI. Пилю-шенко, А.И. Яценко, А.Д. Белянский и др. - М.: Металлургия, 1996. - 164 с.

70. Работа в ОАО «Новолипецкий металлургический комбинат». Основные сведения для нового работника - Липецк: Изд-во ЛОТ ОАО «Новолипецкий металлургический комбинат», 2008. - 104 с.

71. Рассел С. Искусственный интеллект: современный подход / С. Рассел, П. Норвиг. - 2-е издание - М.: Издательский дом «Вильяме», 2005. - 1424 с.

72. Реклейтис Г. Оптимизация в технике: в 2-х книгах: [пер. с англ.] / Г. Реклейтис, А. Рейвиндран, К. Рэгедел. - М.: Мир, 1986. - 345 е., 320 с.

73. Родионов П.Е. Краткосрочное прогнозирование котировок ОГВВЗ с использованием аппарата нейронных сетей / П.Е. Родионов // Сборник «Интеллектуальные технологии и системы» под ред. Ю.Н.Филипповича, Родионов П.Е. - М.: Изд-во МГТУ им. Баумана, 1998. - с. 67-75.

74. Рутковская Д. Нейронные сети, генетические алгоритмы и нечеткие системы: [пер. с польск.] / Д. Рутковская, М. Пилиньский, JL Рутковский. - М.: Горячая линия - Телеком, 2006. - 452 е.: ил.

75. Рычагов М.Н. Нейронные сети: многослойный персептрон и сети Хоп-филда / М.Н.Рычагов // Научно-практический журнал «Exponenta Pro. Математика в приложениях«. 2003. №1 (1). с. 29-37.

76. Самарский А.А Численные методы: учебное пособие для ВУЗов / A.A. Самарский, A.B. Гулин. - М.: Наука, 1989. - 432 с.

77. Спедикато Э. Математические методы для линейных и нелинейных уравнений. Проекционные ABS-алгоритмы / Э. Спедикато, И. Абаффи. - М.: Мир, 1996.-268 с.

78. Страуструп Б. Язык программирования С++: специальное издание / Б. Страуструп. - СПб.: Невский Диалект, 2008. - 1104 с.

79. Тарасенко P.A. Предварительная оценка качества обучающей выборки для нейронных сетей в задачах прогнозирования временных рядов / P.A. Тарасенко, В.А. Крисилов // Труды Одесского политехнического университета. - Одесса: ОПУ, 2001. №4. - с. 90-93.

80. Терехов В.А. Нейросетевые системы управления: учебное пособие для вузов / В.А. Терехов, Д.В. Ефимов, И.Ю. Тюкин. - М.: Высш. шк. 2002. - 183 е.: ил.

81. Тихонов Э.Е. Методы прогнозирования в условиях рынка: учебное пособие / Э.Е. Тихонов. - Невинномысск, 2006. - 221 с.

82. Уоссермен Ф. Нейрокомпьютерная техника: теория и практика: [пер. с англ.] / Ф. Уоссермен. - М.: Мир, 1992. - 240 с.

83. Франценюк И.В. Современное металлургическое производство / И.В. Франценюк, Л.И. Франценюк. - 2-е изд. - М.: Металлургия, 1999. - 528 с.

84. Хайкин С. Нейронные сети: полный курс: [пер. с англ.] / С. Хайкин. - 2-е изд., испр. - М.: Издательский дом «Вильяме», 2006. - 1104 с. : ил.

85. Царегородцев В.Г. Простейший способ вычисления показателей значимости первого порядка для сетей обратного распространения / В.Г. Царегород-

цев // Материалы X Всероссийского семинара «Нейроинформатика и ее приложения». - Красноярск: КГТУ, 2002. - с. 153-156.

86. Царегородцев В.Г. Оптимизация предобработки данных: константа Липшица обучающей выборки и свойства обученных нейронных сетей / В.Г. Царегородцев // Нейрокомпьютеры: разработка, применение, 2003. №7. с. 3 - 8.

87. Царегородцев В.Г. Оптимизация предобработки признаков выборки данных: критерии оптимальности / В.Г. Царегородцев // Нейрокомпьютеры: разработка, применение, 2005. №4. - с. 32-40.

88. Царегородцев В.Г. Уточнение решения обратной задачи для нейросети-классификатора / В.Г. Царегородцев // Нейрокомпьютеры: разработка, применение, 2003. №12. - с. 51-59.

89. Шумилова Г.П. Оценивание динамической надежности энергосистемы с использованием искусственных нейронных сетей (обзор работ зарубежных

авторов) / Г.П. Шумилова, Н.Э. Готман, Т.Б. Старцева // Вестник УГТУ-УПИ

\

№12 (64). Проблемы управления электроэнергетикой в условиях конкурентного рынка. - Екатеринбург: ГОУ ВПУ УГТУ-УПИ, 2005. - №12. - с. 52-59.

90. Шумилова Г.П. Прогнозирование активной и реактивной нагрузки узлов ЭЭС с использованием инверсии искусственной нейронной сети / Г.П. Шумилова, Н.Э. Готман, Т.Б. Старцева // Управление электроэнергетическими системами - новые технологии и рынок. - Сыктывкар: Изд-во Коми НЦ УрО РАН, 2004.-с. 115-122.

91. Щеглов И.Н. Алгоритм формирования репрезентативной обучающей выборки искусственной нейронной сети / И.Н. Щеглов, С.А. Демченко, A.B. Богомолов, A.A. Подлесских // Материалы V Всеросс. конф. «Нейрокомпьютеры и их применение». - Москва, 1999. с. 405-407.

92. Jensen С.А., Reed R.D., Marks II R.J. et al. Inversion of feedforward neural networks: algorithms and applications // Proceedings of the IEEE, vol.87, No.9, September 1999, p. 1536-1549.

93. Kassabalidis I.N., El-Sharkawi M.A., Marks II R.J. and others. Dynamic security border identification using enhanced particle swarm optimization // IEEE Trans, on Power Systems. - 2002. - vol. 17, No. 3. - p. 723-729.

94. Lawrence S., Giles C.L. Overfitting and neural networks: Conjugate gradient and backpropagation / Proc. IHCNN'2000, Como, Italy, 2000. pp.114-119.

95. LeCun Y., Denker J.S., Solla S.A. Optimal Brain Damage / Advances in Neural Information Processing Systems 2 (1989). Morgan Kaufmann, 1990. pp. 598605.

96. Reed R.D., Marks II R.J. An evolutionary algorithm for function inversion and boundary marking // Proceedings of the IEEE International Conference on Evolutionary Computation. - November 26-30, 1995. - p. 794-797.