Численные методы безусловной оптимизации с итеративным обучением и их применение тема диссертации и автореферата по ВАК РФ 05.13.18, доктор технических наук Крутиков, Владимир Николаевич

• Крутиков, Владимир Николаевич
• доктор технических наук
• 2005

Оглавление диссертации доктор технических наук Крутиков, Владимир Николаевич

ВВЕДЕНИЕ.

ГЛАВА 1. УСЛОВИЯ ОБУЧЕНИЯ В РЕЛАКСАЦИОННЫХ МЕТОДАХ БЕЗУСЛОВНОЙ ОПТИМИЗАЦИИ И ИТЕРАТИВНЫЕ АЛГОРИТМЫ ОБУЧЕНИЯ.

§ 1.1. Типы сложности задач безусловной оптимизации.

§ 1.2. Базовые схемы релаксационных методов безусловной оптимизации с обучением. Условия обучения.

§ 1.3. Показатели качества и итеративные алгоритмы обучения.

ГЛАВА 2. РАЗРАБОТКА И ОБОСНОВАНИЕ РЕЛАКСАЦИОННЫХ МЕТОДОВ ПРЯМОГО ПОИСКА С ИЗМЕНЕНИЕМ МЕТРИКИ, ОСНОВАННЫХ НА ИТЕРАТИВНЫХ АЛГОРИТМАХ ОБУЧЕНИЯ.

§ 2.1. Схемы алгоритмов изменения метрики в методах случайного поиска и покоординатной релаксации, основанные на квадратичной модели функции

§ 2.2. Обоснование скорости сходимости класса методов минимизации вдоль векторов линейно-независимой системы.

§ 2.3. Обоснование скорости сходимости шаговых методов случайного поиска.

§ 2.4. Алгоритмы адаптации шага в методах случайного поиска и оптимизация их параметров.

§ 2.5. Метод случайного поиска с варьированием метрики.

§ 2.6. Метод минимизации без вычисления производных на основе рассредоточенной схемы А-ортогонализации.

§ 2.7. Выводы.

ГЛАВА 3. РАЗРАБОТКА И ОБОСНОВАНИЕ КВАЗИНЬЮТОНОВСКИХ МЕТОДОВ, ОСНОВАННЫХ НА ИТЕРАТИВНЫХ АЛГОРИТМАХ ОБУЧЕНИЯ.

§ 3.1. Квазиньютоновские методы.

§ 3.2. Вывод и анализ на основе формализма теории обучения известных формул пересчета матриц квазиньютоновских методов.

§ 3.3. Глобальная скорость сходимости и ускоряющие свойства квазиньютоновских методов.

§ 3.4. Квазиньютоновский метод минимизации на основе двухшагового алгоритма обучения.

§ 3.5. Способы наращивания размерности подпространства квазиньютоновского соотношения.

§ 3.6. Обоснование сходимости квазиньютоновского метода минимизации на основе двухшагового алгоритма обучения.

§ 3.7. Результаты вычислительного эксперимента.

§ 3.8. Выводы.

ГЛАВА 4. РАЗРАБОТКА И ОБОСНОВАНИЕ РЕЛАКСАЦИОННЫХ СУБГРАДИЕНТНЫХ МЕТОДОВ, ОСНОВАННЫХ НА

ИТЕРАТИВНЫХ АЛГОРИТМАХ ОБУЧЕНИЯ.

§4.1. Подход построения эффективных алгоритмов обучения в методах сопряженных субградиентов.

§ 4.2. Алгоритм обучения с растяжением пространства для решения множества равенств.

§ 4.3. Алгоритм обучения с растяжением пространства для решения множества неравенств.

§ 4.4. Релаксационный субградиентный метод с растяжением пространства в направлении субградиента.

§ 4.5. Связь релаксационного субградиентного метода с растяжением пространства с методом сопряженных градиентов.

§ 4.6. Реализация релаксационного субградиентного метода с растяжением пространства в направлении субградиента.

§ 4.7. Итерационный метод решения множества неравенств на основе одношагового алгоритма обучения.

§ 4.8. Алгоритм минимизации на основе одношагового алгоритма обучения для решения множества неравенств.

§ 4.9. Связь с методом сопряженных градиентов.

§ 4.10. Реализация алгоритма минимизации на основе одношагового алгоритма обучения для решения множества неравенств.

§ 4.11. Результаты численного исследования реализаций релаксационных субградиентных методов.

§ 4.12. Выводы.

ГЛАВА 5. РАЗРАБОТКА И ОБОСНОВАНИЕ ОДНОРАНГОВОГО СЕМЕЙСТВА СУБГРАДИЕНТНЫХ МЕТОДОВ С РАСТЯЖЕНИЕМ ПРОСТРАНСТВА, ОСНОВАННЫХ НА ИТЕРАТИВНЫХ АЛГОРИТМАХ ОБУЧЕНИЯ.

§ 5.1. Метод сопряженных субградиентов с растяжением пространства.

§ 5.2. Одноранговое семейство релаксационных субградиентных методов с растяжением пространства.

§ 5.3. Реализация алгоритмов однорангового семейства субградиентных методов

§ 5.4. Анализ глобальной скорости сходимости алгоритма с растяжением пространства в направлении разности последовательных субградиентов.

§ 5.5. Выводы.

ГЛАВА 6. ПРОГРАММНЫЙ КОМПЛЕКС РЕЛАКСАЦИОННЫХ

МЕТОДОВ БЕЗУСЛОВНОЙ ОПТИМИЗАЦИЯМ (ПКРМО)

Введение диссертации (часть автореферата) на тему «Численные методы безусловной оптимизации с итеративным обучением и их применение»

Актуальность работы. Релаксационные методы безусловной оптимизации (РМО) относятся к средствам численного моделирования (моделирования с применением ЭВМ) и используются при изучении явлений действительности. На их основе конструируются более общие численные методы нелинейного программирования (НЛП). Распространенным приложением РМО являются оптимизационные задачи оценивания параметров математических моделей в схемах структурно-параметрического моделирования, т.е. при конструировании модели, когда требуется определить такие ее структуру и параметры, которые обеспечивали бы наилучшее согласование с реальностью (см., например, [154]), к числу которых относятся рассматриваемые в работе актуальные задачи: прогнозирования свойств терморегулирующих покрытий на основе результатов ускоренных испытаний; определения нестационарных законов горения пороха на основе манометрических испытаний; построения ней-росетевых приближений и выбора модели минимальной сложности при аппроксимации нейросетями; экономико-математического анализа деятельности предприятий; оценивания параметров и структуры поверхности при аппроксимации горногеологических объектов. Задачи структурно-параметрического моделирования сопряжены с многократным решением задач оптимизации с различными степенями и типами сложности (высокая степень вырожденности; отсутствие гладкости, выпуклости; алгоритмическое задание; высокая размерность), что предполагает наличие спектра надежных, быстросходящихся, с высокой степенью универсальности РМО.

Итерация некоторого РМО включает расчет направления спуска, спуск и пересчет параметров метода на основе поступающей информации о характеристиках функции. Эффективные РМО основываются на некоторой конечной многошаговой стратегии (.глобальной стратегии) минимизации определенного класса функций (например, квадратичных) и содержат параметры аппроксимативной модели функции и средства ее обучения. Схемы обучения в методах оптимизации различаются формой обучающей информации, на основе которой производится итерация алгоритма обучения, функционалом качества обучения, на основе которого строится алгоритм обучения, свойствами сходимости и свойствами устойчивости алгоритма обучения, т.е. его способностью сохранять сходимость в сложных, изменяющихся условиях. Например, обучение в методе сопряженных градиентов направлено на получение сопряженных векторов спуска. Схема обучения существенно опирается на сопряженность построенных прежде векторов спуска, что свидетельствует о неустойчивости алгоритма построения сопряженных векторов. Значительные отклонения от сопряженности ранее построенных векторов разрушают сходимость процесса обучения. С другой стороны, релаксационные субградиентные методы [40, 82] также реализуют многошаговую стратегию обучения метода сопряженных градиентов, но в них дополнительно определена локальная цель обучения и алгоритм обучения, который обладает сходимостью независимо от сопряженности построенных ранее векторов [40, 82]. В алгоритмах этого типа большие возмущения не разрушают локальных свойств сходимости алгоритмов обучения.

Несоответствие классов моделей метода и функции, невозможность выполнения точно операций алгоритма (например, одномерного спуска), разнесённость в пространстве обучающей информации и изменчивость оцениваемых характеристик функции приводят к разрушению глобальных свойств сходимости конечных многошаговых стратегий обучения, что определяет актуальность целенаправленного создания устойчивых алгоритмов обучения, отдельные шаги которых одновременно реализуют и некоторую итеративную стратегию (локальную) улучшения качества аппроксимативной модели метода, т.е. обладают локальными свойствами сходимости.

В работах Я.З. Цыпкина [191, 192] применительно к различным областям знания развиты концепция и единообразный подход к решению проблем построения обучающихся систем и принципы построения алгоритмов обучения, как алгоритмов оптимизации заданного показателя качества. Как выясняется, этот подход эффективен и при создании алгоритмов обучения в РМО, что определяет актуальность его использования при конструировании обучающихся методов оптимизации. В диссертации отмеченный подход используется как унифицированное средство построения и анализа устойчивых алгоритмов обучения - итеративных алгоритмов изменения метрики пространства в схемах РМО, обладающих локальными и глобальными свойствами сходимости. Термин «изменение метрики пространства» используется для обозначения линейного преобразования пространства переменных задачи минимизации, предназначенного для уменьшения вытянутости поверхностей равного уровня минимизируемой функции.

Развитие области численных методов безусловной оптимизации связано с именами отечественных ученых JI.B. Канторовича, Н.Н. Моисеева, В.Ф. Демьянова, Ю.Г. Евтушенко, Ю.М. Ермольева, B.C. Михалевича, В.Г. Карманова, Б.Т. Поляка, Б.Н. Пшеничного, Ю.М. Данилина, Е.Г. Голыптейна, А.С. Немировского, Д.Б. Юдина, Ф.П. Васильева, Н.З. Шора, Ю.Е. Нестерова и многих других авторов. Релаксационные методы безусловной оптимизации, в зависимости от используемой информации о функции, можно подразделить на градиентные, субградиентные и прямого поиска.

Во многих задачах минимизации функция задается алгоритмически, а доступной информацией о функции являются только значения функции. Методы, использующие только эту информацию, называют прямыми методами, методами поиска или методами без вычисления производных. Прямые методы развивались в работах Ф.Л. Черноусько, В.Г. Карманова, Б.Н. Пшеничного, О.П. Бурдакова, М.М. Потапова, Л.А. Растригина, Пауэлла, Брента, Бродли и др. Им посвящена обширная литература (см., например [13, 16, 28, 60, 150, 154, 160-164, 168, 200]). Прямые методы можно подразделить на методы минимизации гладких и негладких функций.

Одно из слабых мест релаксационных методов прямого поиска - это отсутствие эффективных методов минимизации сложных негладких функций. К релаксационным методам минимизации негладких функций относят метод деформируемого многогранника (МД) (см., например, [28, 37, 154]) и методы случайного поиска (СП) [165, 166, 168], различные модификации которых исследовались в работах [3, 18, 50, 51, 54, 55, 60, 62, 85, 110, 169, 172]. Исследования С.И. Нестеровой и В.А. Скокова [149] показали, что МД в состоянии решить лишь часть задач размерности 2 из предложенного множества многомерных негладких задач. Более предпочтительным для этих целей является метод случайного поиска (СП), поскольку он сходится линейно [60, 61] (В.Г. Карманов), а адаптация шага Л. А. Расстригина, Г.С. Тарасенко [169, 179] обеспечивает его сходимость на негладких функциях, но он имеет медленную скорость сходимости на овражных функциях. Отмеченные обстоятельства определяют актуальность исследований диссертации по созданию алгоритмов обучения метрики в методах СП для ускорения их сходимости и расширения области решаемых ими гладких и негладких задач оптимизации.

В этой связи в качестве задач работы являются: разработка и исследование механизмов обучения в процедурах адаптации шага методов СП (т.е. формулировка функционала обучения и построение градиентного алгоритма обучения) и создание на этой основе алгоритмов пространственной адаптации шага; разработка и исследование устойчивых схем обучения метрики пространства в методах СП на основе квадратичной модели функции. В рамках этих задач в диссертации исследуется скорость сходимости методов СП без одномерного спуска, изучаются алгоритмы обучения процедур адаптации шага и способы оптимизации их параметров [52], обобщение которых приводит к алгоритму с пространственной адаптация шага, реализуемого с помощью операторов растяжения пространства [195] в виде матрицы метрики [50]. В работе теоретически и численно исследуется подход изменения плотности испытаний в методах СП, который состоит в итерационном отыскании новой метрики пространства в предположении квадратичной модели функции [18, 51, 54, 66, 69, 86, 102]. В алгоритмах подобного рода вычисления функции используются в процессе оптимизации и в процессе построения сопряжённых векторов алгоритмами обучения, а процесс обучения обладает локальными свойствами сходимости. Отмеченные алгоритмы организованы таким образом, что они работоспособны и эффективны при минимизации сложных негладких функций, в том числе и кусочно-линейных [18]. Разработанные методы случайного поиска с изменением метрики охватывают спектр задач применимости алгоритмов Розенброка, деформируемого многогранника и его модификаций и превосходят их по скорости сходимости при минимизации сложных гладких и негладких функций [18, 54, 55, 86, 102]. В заключение следует отметить, что алгоритмы СП с изменением метрики пространства получены в результате использования формализма теории обучения на стадии их создания.

Известные эффективные методы минимизации гладких функций прямого поиска основываются либо на конечноразностной аппроксимации метода Ньютона [28, 154] или квазиньютоновских методов (КНМ) [28, 154], либо используют схему минимизации вдоль линейно-независимой системы векторов, с одновременным их преобразованием в сопряженные векторы относительно матрицы Гессе [28, 154, 200, 201, 225]. Последнюю группу методов будем называть методами сопряженных направлений (МСН). Методы типа МСН основаны на использовании метода покоординатного спуска в меняющейся метрике (см., например, [12, 13, 60, 150, 154, 160-164, 201, 225]). По результатам вычислительного эксперимента можно выделить несколько наиболее эффективных алгоритмов: Пауэлла [225], Брента [200], Бродли [201], Пшеничного [160] и Пшеничного-Редковского [162-164]. Мы попытаемся оценить локальные свойства сходимости схем построения сопряженных векторов в отмеченных алгоритмах, поскольку они обеспечивают эффективность обучения в условиях больших возмущений.

В методах Пшеничного и Пшеничного - Редковского схема минимизации и схема построения сопряженных векторов реализованы раздельно, т.е. не используется совмещение затрат вычислений функции на обучение и поиск минимума. Для проведения итерации требуется ~п вычислений функции. Для некоторых задач эта величина может оказаться излишне большой. В методе [164] вычисляется конечно разностная аппроксимация матрицы вторых производных в точке. Схемы преобразования векторов в методах [160, 162, 163] основаны на использовании порций информации о матрице вторых производных. Они существенно опираются на сопряженность уже построенных векторов, т.е. не являются устойчивыми к большим ошибкам на стадиях алгоритма, которые возникают вследствие разнесённости обучающей информации в пространстве минимизации и изменчивости свойств характеристик функции.

На одной итерации методов Пауэлла, Брента, Бродли затрачивается ~3п вычислений функции. В алгоритмах Пауэлла и Брента требуется точный одномерный спуск и приходится затрачивать значительные вычислительные усилия для борьбы с линейной зависимостью векторов [200], а их схемы обучения чрезмерно зависимы от степени сопряженности уже построенных векторов, т.е. их алгоритмы обучения неустойчивы к большим возмущениям на ранних итерациях. По этой причине эффективность этих методов падает с ростом размерности. Метод Бродли [201] - один из первых методов типа МСН, в котором используется устойчивая схема обучения и не требуется точный одномерный спуск. В этом методе используются операторы вращений для преобразования пары смежных векторов спуска, на основе характеристик вторых производных в плоскости двух векторов. Но его схема обучения не позволяет построить за конечное число шагов систему сопряженных векторов, что существенно ограничивает возможности метода при росте размерности.

Отмеченные обстоятельства определяют актуальность создания алгоритмов обучения метрики, обладающих локальными и глобальными свойствами сходимости. В диссертации исследуется скорость сходимости класса методов минимизации вдоль векторов линейно-независимой системы, оценки которой в случае минимизации сильновыпуклых функций впервые получены в работе [77], разработано семейство алгоритмов построения сопряженных векторов, сочетающих локальные и глобальные свойства сходимости процесса обучения, и, на этой основе построен метод минимизации типа МСН [68, 78]. Свойства схемы обучения метода минимизации определяют его высокую эффективность и устойчивость к повышению размерности [68].

Методы сопряженных градиентов (МСГ) и квазиньютоновские методы (КНМ) изучались в работах Ю. Г. Евтушенко, В. Г. Карманова, Б. Т. Поляка, Б. Н. Пшеничного, Ю.М. Данилина, О.П. Бурдакова, Хестенса, Штифеля, Девидона, Флетчера, Рив-за, Пауэлла, Бройдена, Денниса, Шнабеля, Морэ и многих других авторов. Квазиньютоновские методы (КНМ) (см., например, [28, 42, 43, 153, 154, 161, 203, 205, 209, 210, 212]) используют итерационную схему метода Ньютона, а необходимую для реализации матрицу Гессе (либо обратную к ней матрицу) восстанавливают на основе градиентов, получаемых в процессе работы алгоритма. При точном одномерном спуске задача минимизации квадратичной функции решается КНМ не более чем за п итераций, а векторы спуска являются сопряженными. На первом этапе развития КНМ были разработаны формулы восстановления Гессиана или обратной к нему матрицы [203, 205, 209, 210, 212]. В результате исследований выявлено значительное множество формул пересчета матриц в квазиньютоновских методах, проведен экспериментальный и теоретический анализ существующих методов (см., например, [28, 42] и подробный обзор [148]).

Экспериментально установлено, но не объяснено, что в КНМ наилучшие результаты имеет формула пересчета BFGS [42]. Оказывается, что КНМ без точного одномерного спуска более эффективны, нежели с одномерным спуском (см., например [28, 42]). Предпринятые попытки повысить эффективность КНМ при неточном одномерном спуске, за счет явных или неявных схем последовательного построения сопряженных векторов (см., например, [42, 206]), не увенчались успехом [28, 42]. Такие методы оказались менее эффективными, нежели обычные КНМ с неточным одномерным спуском [42]. Одной из причин подобных неудач является изменчивость матрицы вторых производных в пространстве минимизации, т.е. несоответствие получаемой информации о матрице вторых производных некоторой фиксированной матрице, усиливаемое эффектом практически линейной зависимости векторов спуска, возникающей в силу протекания процесса минимизации на определенном отрезке итераций в некотором подпространстве малой размерности. По этим причинам процесс построения последовательности сопряженных векторов неустойчив, и, как следствие, процедуры восстановления матриц, построенные на этой основе не работоспособны.

Отметим некоторые из актуальных проблем КНМ методов, которые требуют своего разрешения. Сегодня отсутствуют: единообразные, обозримые и легко анализируемые способы вывода формул пересчета матриц и формализация алгоритмов обучения, которая устанавливает обозримую взаимосвязь сходимости алгоритма обучения и алгоритма минимизации в КНМ; объяснение преимуществ формулы пересчета BFGS; объяснение причин высокой скорости сходимости КНМ при неточном одномерном спуске; методы КНМ с неточным одномерным спуском, конечные на квадратичных функциях, которые позволяют избежать неустойчивой процедуры построения полной системы сопряженных векторов; оценки скорости сходимости и анализа ускоряющих свойств методов КНМ в области оптимизации в условиях отсутствия вторых производных. В этой связи является актуальным объяснение установленных экспериментально фактов и создание устойчивых к линейной зависимости векторов спуска алгоритмов обучения метрики, обладающих локальными и глобальными свойствами сходимости при неточном одномерном спуске.

Исследования диссертации направлены на изучение и разрешение этих проблем с привлечением формализма теории обучения. Алгоритмы теории обучения -одношаговый (алгоритм Качмажа) и двухшаговый алгоритмы минимизации показателя качества обучения используются для построения одношагового и двухшагового алгоритмов обучения в квазиньютоновских методах. В работе выявлена взаимосвязь одношагового алгоритма обучения, устанавливающего выполнимость одного обучающего соотношения, с формулами пересчета матриц DFP и BFGS (одношаговыми алгоритмами обучения матриц) [82, 87]. Полученная формализация алгоритмов обучения в случае квадратичных функций устанавливает единство направлений спуска алгоритма обучения и алгоритма минимизации [70, 71, 82, 87] и позволяет дать качественное обоснование преимуществ формулы BFGS. Применение на произвольных итерациях включений двухшаговых алгоритмов обучения матриц, т.е. алгоритмов устанавливающих выполнимость двух смежных квазиньютоновских обучающих соотношений, позволяет получить конечный на квадратичных функциях квазиньютоновский метод при неточном одномерном спуске, устойчивый к линейной зависимости векторов спуска [70, 71, 82]. Это означает возможность по кусочкам сложить конечный алгоритм обучения матриц, причем, за счет выбора в процессе минимизации пар векторов существенно линейно-независимых, процесс обучения становиться устойчивым. Оказывается, включения точного одномерного спуска на произвольных итерациях эквивалентны включению двухшагового алгоритма обучения матриц, и приводят к конечному окончанию процесса минимизации на квадратичных функциях [70, 71, 82]. Поэтому, если в алгоритме одномерного спуска квазиньютоновского метода изредка находится почти точный минимум (например, вследствие использования кубической интерполяции), то такой метод будет иметь высокую скорость сходимости, что объясняет эффективность квазиньютоновских методов при неточном одномерном спуске. Кроме отмеченных задач в диссертации изучается глобальная (во всей области минимизации) скорость сходимости КНМ методов в случае минимизации сильновыпуклых функций, градиент которых удовлетворяет условию Липшица, при условии отсутствия вторых производных. Полученные оценки свидетельствуют о наличии ускоряющих свойств у КНМ методов, подобных ускоряющим свойствам на всей области минимизации метода Ньютона, где необходимо наличие вторых производных [67, 76, 82, 84].

Развитие численных методов негладкой оптимизации связано с именами ученых И.И. Астафьева, В.П. Булатова, Ф.П. Васильева, Е. Г. Голыитейна, А. М. Гупала, В. Ф. Демьянова, Ю. М. Ермольева, И. И. Еремина, Ю.А. Левина, В.Н. Малоземова, А. С. Немировского, Е. А. Нурминского, Ю. Е. Нестерова, Б. Т. Поляка, Н. 3. Шора, Д. Б. Юдина, Лемарешаля, Вульфа, Келли и многих других. Субградиентные методы предназначены для минимизации недифференцируемых функций (см., например, [29, 40, 41, 44, 58, 82, 130, 142, 154, 159, 195, 197, 198, 214, 216, 217]). В области негладкой оптимизации можно наблюдать большое разнообразие подходов построения методов минимизации (см., например, [29, 40, 58, 82, 130, 154, 195, 197]), об эффективности которых молено судить, опираясь на результаты численных исследований (см., например, [29, 147, 149, 175, 195, 218]). В [147, 149] сформирована методика многокритериального численного анализа методов негладкой оптимизации. Результаты численного исследования С. И. Нестеровой и В. А. Скокова [149] известных методов негладкой оптимизации: метода эллипсоидов (МЭ - А.С. Немировский, Д.Б. Юдин.) [146], r-алгоритма (МШ - Н.З. Шор) [195, 196], метода ортогонального спуска (МОС -В.А. Скоков, М.Б. Щепакин) [177, 197], и разработанного в последние годы, метода уровней (МУ - Е.Г. Голынтейн, А.С. Немировский, Ю.Е. Нестеров) [29, 217], с одной стороны - демонстрируют высокую эффективность метода МУ относительно других методов по критерию числа вычислений функции и субградиента, а с другой - выявляют необходимость создания эффективных по критерию времени счета, надежных методов негладкой оптимизации. Среди исследуемых методов реализации методов МЭ, МШ и МУ не используют каких либо дополнительных свойств функции, кроме выпуклости, т.е. являются методами общего назначения. Алгоритмы МШ и МУ справляются с задачами высокой размерности, хотя и не со всеми, а их совершенствование может привести к возможности решения задач порядка 1000 переменных, поскольку современные ЭВМ обладают значительным быстродействием и оперативной памятью. При прочих достоинствах, МШ среди исследуемых методов, единственный пригодный для решения невыпуклых задач оптимизации. Сегодня существует проблема создания универсальных, надежных методов негладкой оптимизации, эффективных при решении гладких и негладких, в том числе и невыпуклых, задач, конкурирующих по свойствам скорости сходимости с методами, основанными на квадратичной, либо кусочно-линейной моделях функции, на классах функций, промежуточных отмеченным базовым классам.

Одна из возможностей создания подобных методов заключается в совершенствовании класса релаксационных методов 8- субградиентного типа (РСМ), к числу которых относятся методы Лемарешаля и Вульфа [216, 219, 231]. Методы этого класса, как и r-алгоритм, пригодны для решения невыпуклых гладких и негладких задач оптимизации, генерируют, как и предельный вариант r-алгоритма, на квадратичных функциях сопряженные направления и находят минимум за конечное число итераций [15, 40, 195, 216, 219, 231], но существенно уступают в скорости сходимости г-алгоритму. В методах Лемарешаля и Вульфа искомое направление спуска - кратчайший вектор множества, который вычисляется алгоритмами обучения. Недостатком методов Лемарешаля и Вульфа является низкая адаптивность содержащихся в них алгоритмов обучения, и необходимость частых обновлений с потерей накопленной информации. Происхождение r-алгоритма и его определяющие соотношения обучения не определены, а его существующие реализации на сложных задачах имеют либо низкую скорость сходимости, либо не позволяют их решить. В этой связи, для создания надежных и эффективных РСМ необходимо создание теории, назначение которой определить удобные определяющие соотношения обучения, разработать эффективные алгоритмы обучения и методы оптимизации на их основе, объяснить происхождение r-алгоритма, выявить его обучающие соотношения, ускоряющие свойства при конечных параметрах растяжения пространства и создать эффективные способы реализации РСМ.

Исследования диссертации направлены на решение поставленных актуальных задач с привлечением формализма теории обучения. В [72, 118] определяющее соотношение нахождения вектора спуска, как решения задачи нахождения ближайшего к началу координат вектора отделимого множества, заменено на решение задачи множества неравенств, которая, в свою очередь, представлена в виде задачи решения множества равенств с ошибками. Это дало возможность получить несколько алгоритмов обучения для решения неравенств и создать на их основе эффективные релаксационные субградиентные методы [75, 80, 82, 83, 92-94, 109, 114-120, ]: метод сопряженных субградиентов [72, 82, 116, 117, 120], в основу которого положен одноша-говый алгоритм обучения, и субградиентные методы с растяжением пространства [80, 82, 118, 119], алгоритмы обучения которых созданы на основе алгоритма обучения с растяжением пространства. В частности, на основе алгоритма обучения с растяжением пространства разработано семейство матричных методов обучения [80, 82, 118], отдельным случаем которого является алгоритм обучения, вычлененный из г-алгоритма. На этой основе разработано одноранговое семейство релаксационных субградиентных методов [80, 82], частным случаем которого является r-алгоритм. Обоснованы ускоряющие свойства r-алгоритма на сильновыпуклых функциях при конечных значениях параметра растяжения пространства [65, 82], эквивалентные ускоряющим свойствам метода Ньютона в условиях отсутствия стабильности матрицы вторых производных.

Методы сопряженных градиентов [154] основаны на квадратичной модели минимизируемой функции. Вследствие малых затрат памяти они применимы для решения задач большой размерности, например, при решении задач аппроксимации горногеологических объектов (см., например, [11, 19-22, 97, 99-101, 103-106, 111-113, 121, 136, 155-157, 170, 182]) и нейросетевых приближений [27, 32, 34], где возникают задачи минимизации высокой размерности, связанные с оценкой неизвестных параметров моделей [19-21, 88, 90, 91, 97, 101, 103-106, 111-113, 121, 157, ]. В начале раздела отмечался неустойчивый характер алгоритмов обучения в методах сопряженных градиентов. В этой связи одна из целей работы - теоретическое и экспериментальное исследование методов типа сопряженных субградиентов, основанных на принципах обучения. Все отмеченные выше методы сопряженных субградиентов, в том числе и проективный вариант r-алгоритма при предельных значениях параметра растяжения пространства, эквивалентны методу сопряженных градиентов на квадратичных функциях. В работах [72, 82, 116, 117, 120] изложен новый метод сопряженных субградиентов, который по затратам памяти эквивалентны методу сопряженных градиентов, а его алгоритм обучения сохраняет работоспособность в условиях потери сопряженности цепочки построенных векторов спуска. Такие методы эффективны в условиях неточного одномерного спуска при минимизации гладких и негладких функций [82, 116].

Эффективность алгоритма и его полезность подтверждается многими компонентами численного исследования и приложениями. Одним из назначений создаваемых алгоритмов является их применение для реализации схем структурно-параметрического моделирования при решении отмеченных выше актуальных прикладных задач. Созданию конкретной системы построения модели предшествуют предварительные этапы формирования множества моделей, оценки качества моделей, подбора алгоритмов оценивания их параметров и т.д. Для их выполнения необходим комплекс надежных и проверенных алгоритмов оптимизации. Отсутствие надежного и эффективного алгоритма для идентификации модели может привести к неправильным выводам о ее свойствах и отбраковке, как не перспективной. Эти обстоятельства определяют актуальность создания программного комплекса РМО, численного исследования и сравнения с известными методами его алгоритмов и определения областей их приложений. В рамках поставленной задачи создана модульная система программ, в которой реализованы разработанные алгоритмы. Алгоритмы системы исследованы численно, а на базе ее алгоритмов решен ряд прикладных задач построения и анализа математических моделей: прогнозирования свойств терморегулирующих покрытий на основе результатов ускоренных испытаний [137-141, 220, 221]; определения нестационарных законов горения пороха на основе манометрических испытаний [190]; оценивания неизвестных параметров моделей при аппроксимации горногеологических объектов [19-21, 97-101, 103-106, 111-113, 121, 157]; построения моделей по экспериментальной информации [4, 17, 24, 25, 96, 123, 125]; экономико-математического анализа данных [23, 79, 81]; построения нейросетевых приближений и выбора модели минимальной сложности при аппроксимации нейросетями [88-91, 95, 124].

Таким образом, разработка эффективных релаксационных методов безусловной оптимизации, основанных на итеративных алгоритмах обучения, создание комплекса их программ, определение областей их приложений и применение в вычислительных схемах структурно-параметрического моделирования является актуальной научной проблемой.

Диссертационная работа выполнена в соответствии: с планами НИР КемГУ по кафедре математической кибернетики 1991-2004 гг.; с грантом Российского фонда фундаментальных исследований (код проекта 04-03-33121); с программой «Университеты России» (код проекта УР.04.01.044); договорной тематикой с угольными компаниями Кузбасса, НТЦ «Кузбассуглетехнология» и с корпорацией «Кузбассинвест-уголь»; с Комплексной региональной программой научных исследований и внедрения совместных работ СО АН СССР и Министерства угольной промышленности СССР, «Программа "Сибирь"», раздел «Уголь Кузбасса», и приказами Министерства угольной промышленности СССР от 16.11.79, и №315 от 24.06.80.

Цель работы состоит в разработке и исследовании эффективных релаксационных методов безусловной оптимизации, основанных на итеративных алгоритмах обучения, создании комплекса их программ и применении его алгоритмов в вычислительных схемах структурно-параметрического моделирования.

Идея работы заключается в использовании теории адаптации и обучения для создания устойчивых к возмущениям и смене ситуаций итеративных алгоритмов обучения в релаксационных методах безусловной оптимизации.

Задачи исследований:

1. Дать анализ условий функционирования алгоритмов обучения в методах безусловной оптимизации и определить для подобных условий алгоритмы обучения.

2. Разработать алгоритмы обучения метрики в методах прямого поиска и эффективные методы прямого поиска с изменением метрики пространства на их основе.

3. Разработать устойчивые к линейной зависимости векторов спуска алгоритмы обучения метрики в квазиньютоновских методах.

4. Разработать эффективные релаксационные методы сопряженных субградиентов в -субградиентного типа с растяжением пространства.

5. Разработать программный комплекс релаксационных методов безусловной оптимизации, основанных на итеративных алгоритмах обучения, для решения прикладных задач структурно-параметрического моделирования.

Методы исследований:

- методы теории адаптации и обучения для создания алгоритмов обучения;

- методы линейной алгебры, статистики, нелинейного программирования, функционального анализа для разработки и теоретического анализа алгоритмов оптимизации;

- тестирование и сравнение алгоритмов для численного анализа эффективности новых методов минимизации;

- методы анализа данных и закономерности изучаемых явлений для оценивания параметров и структуры математических моделей в разрабатываемых системах математического моделирования.

Научная и практическая новизна работы заключается в том, что в ней:

1. Впервые в методах случайного поиска (СП) использовано обучение метрики и созданы эффективные методы СП с варьированием метрики для решения сложных гладких и негладких задач безусловной оптимизации.

2. Впервые для класса методов минимизации вдоль векторов линейно независимой системы получены оценки скорости сходимости на сильновыпуклых функциях и разработано семейство конечно-сходящихся итеративных алгоритмов обучения с ограниченной релаксацией для построения сопряженных направлений, сочетающих локальные и глобальные свойства сходимости процесса обучения. На этой основе создан эффективный метод минимизации без вычисления производных (МСН).

3. Впервые формализм теории адаптации и её алгоритмы минимизации показателя качества обучения (одношаговый и двухшаговый) применены в субградиентных и квазиньютоновских методах для разработки новых алгоритмов обучения, обладающих локальными и глобальными свойствами сходимости. Одношаговый алгоритм обучения в квазиньютоновских методах приводит к известным формулам преобразования матриц, а двухшаговый -обеспечивают конечную сходимость метода при неточном одномерном спуске. Одношаговый алгоритм обучения позволяет разработать новый метод решения неравенств и новый субградиентный метод (РСМК) на его основе.

4. Разработаны новые алгоритмы обучения с растяжением пространства: алгоритм для решения множества равенств; алгоритм для решения неравенств на отделимых множествах. На основе алгоритма решения неравенств разработан новый релаксационный субградиентный метод с растяжением пространства в направлении субградиента (МРП) для решения сложных задач оптимизации.

5. Разработан новый матричный алгоритм обучения для решения неравенств и построено одноранговое семейство релаксационных субградиентных методов на его основе, в которое, как частный случай, входит r-алгоритм и обобщение метода Вульфа.

6. Впервые для долгосрочного прогнозирования изменений коэффициента поглощения солнечной радиации терморегулирующих покрытий космических летательных аппаратов по данным лабораторных испытаний разработаны: комплекс математических моделей оптической деградации терморегулирующих покрытий и схемы их построения; схема анализа построенного множества моделей и выбора модели для прогноза.

7. Впервые разработан комплекс программ релаксационных методов (ПКРМО), значительная часть алгоритмов которого предназначена для решения сложных негладких задач оптимизации, в том числе и невыпуклых, что существенно расширяет возможности решения задач структурно-параметрического моделирования.

Основные положения, выносимые на защиту.

1. Итеративные алгоритмы обучения метрики и численные методы случайного поиска с изменением метрики на их основе для решения сложных гладких и негладких задач безусловной оптимизации.

2. Скорость сходимости класса методов минимизации вдоль векторов линейно независимой системы, конечно-сходящиеся итеративные алгоритмы обучения с ограниченной релаксацией для построения сопряженных направлений и численный метод прямого поиска с изменением метрики на этой основе.

3. Формализм и алгоритмы минимизации показателя качества теории обучения позволяют разработать эффективные алгоритмы обучения в методах сопряженных субградиентов и квазиньютоновских методах: одношаговый алгоритм обучения в квазиньютоновских методах, приводящий к известным способам преобразования матриц, двухшаговый алгоритм обучения матриц, обеспечивающий конечную сходимость метода; одношаговый алгоритм обучения для решения неравенств и субградиентный метод РСМК на его основе для решения негладких задач оптимизации высокой размерности.

4. Алгоритм обучения с растяжением пространства для решения равенств и неравенств, релаксационный субградиентный метод с растяжением пространства в направлении субградиента МРП на его основе для решения сложных гладких и негладких задач оптимизации, его свойства и реализация.

5. Матричный алгоритм обучения для решения неравенств и одноранговое семейство релаксационных субградиентных методов на его основе, в которое, как частный случай, входит r-алгоритм и обобщение метода Вульфа.

6. Комплекс математических моделей оптической деградации терморегулирую-щих покрытий, схемы их построения, анализа и выбора модели по данным лабораторных испытаний для долгосрочного прогнозирования изменений коэффициента поглощения солнечной радиации терморегулирующих покрытий космических летательных аппаратов в заданных условиях эксплуатации.

7. Комплекс программ разработанных методов прямого поиска, квазиньютоновских и субградиентных методов ПКРМО является надежным и эффективным средством решения сложных задач безусловной оптимизации и реализации оптимизационного инструментария в задачах структурно-параметрического моделирования.

Достоверность научных положений и выводов подтверждается:

- строгими теоретическими оценками скорости сходимости созданных алгоритмов обучения;

- корректным теоретическим анализом сходимости, скорости сходимости и ускоряющих свойств, созданных численных методов оптимизации;

- результатами тестирования на общепринятых тестах с известными решениями; сравнением результатов тестирования новых алгоритмов с результатами для известных методов, полученных другими авторами;

- корректным использованием статистических методов оценивания качества получаемых прикладных моделей в задачах оценивания параметров и структуры математических моделей сложных явлений.

Личный вклад автора состоит:

- в разработке и обосновании методов СП с изменением метрики, метода минимизации без вычисления производных, единообразного подхода создания, обоснования и реализации новых релаксационных методов минимизации негладких функций и квазиньютоновских методов, алгоритмов решения множества неравенств и субградиентных методов минимизации;

- в разработке программного комплекса методов оптимизации с обучением и программных средств определения параметров и структуры математических моделей в задачах математического моделирования;

- в создании системы математического моделирования и долгосрочного прогнозирования изменений коэффициента поглощения солнечной радиации терморегули-рующих покрытий космических летательных аппаратов.

Практическая значимость результатов работы.

Разработанные релаксационные методы безусловной оптимизации можно использовать при решении сложных задач оптимизации и для реализации программных средства оптимизации в прикладных задачах математического моделирования, и, в частности: при долгосрочном прогнозирования изменений коэффициента поглощения солнечной радиации терморегулирующих покрытий, при определении нестационарных законов горения пороха на основе манометрических испытаний, при обучении нейронных сетей, при построении нейронной сети минимальной сложности методом негладкой регуляризации, при выявлении структуры поверхности по данным наблюдения.

Апробация работы. Основные положения диссертационной работы докладывались и были одобрены на:

- VIII и XII Всероссийских семинарах «Нейроинформатика и ее приложения» (Красноярск, 2000, 2004 гг.);

- Четвертой Международной школе-семинаре «Внутрикамерные процессы, горение и газовая динамика дисперсных систем» (Санкт-Петербург, Россия, 2004г);

- Всероссийской конференции "Наука и практика: Диалоги нового века" (Анжеро-Судженск, 2003, 2002 гг.); Всероссийской научно-практической конференции "Наука и образование" (Белово, 2001, 2002 гг.);

- Международной школе-семинаре по методам оптимизации и их приложениям (Иркутск: СЭИ, 1989, 1995, 1998 гг.);

- Международной конференции по математическому моделированию (Якутск, 1994г.); десятом Всесоюзном симпозиуме "Системы программного обеспечения решения задач оптимального планирования" (Москва: АН СССР, ЦЭМИ, 1988г.);

- I и II Всесоюзных семинарах «Информатика недр» (г. Кемерово, 1987 г., 1989г.);

- VII Международном конгрессе по маркшейдерскому делу (г. Ленинград, 1988г.);

- VII региональной конференции по математике и механике (Томск, 1981 г.);

- Всесоюзном научно-техническом семинаре "Численные методы нелинейного программирования" (Харьков, 1979 г.);

- Всесоюзном совещании "Применение случайного поиска при решении прикладных задач" (Кемерово, 1979 г.);

- симпозиуме "Вероятностные вычислительные методы и средства" (Москва, 1978 г.); Всесоюзном семинаре "Случайный поиск и системы автоматизированного проектирования в электронике" (Цахкадзор, 1978 г.);

- IV Всесоюзном совещании по статистическим методам в теории управления (Фрунзе, 1978 г.);

- Всесоюзной школе-семинаре по оптимизации динамических систем (Минск, 1977г.).

Публикации. По теме диссертации опубликовано 72 научных работы, список которых приведен в конце автореферата. По результатам исследований опубликованы работы [4, 17-21, 23-25, 49-55, 65-125, 137-141, 157, 190]. Основные результаты представлены в работах [54, 66, 77, 83, 82, 118, 137, 138, 139, 140, 141].

Структура работы. Диссертация состоит из введения, шести глав, заключения и приложения. Объем диссертации составляет 290 страниц машинописного текста, в том числе содержит 31 таблицу и 6 рисунков. Список литературы включает 231 наименование, приложения изложены на 8 страницах.

Заключение диссертации по теме «Математическое моделирование, численные методы и комплексы программ», Крутиков, Владимир Николаевич

Основные результаты диссертации заключаются в следующем:

1. Для класса методов случайного поиска разработаны итеративные алгоритмы обучения метрики и построены эффективные численные методы случайного поиска с изменением метрики на их основе для решения сложных гладких и негладких задач безусловной оптимизации.

2. Для класса методов минимизации вдоль векторов линейно независимой системы получены оценки скорости сходимости на сильновыпуклых функциях и разработано семейство конечно-сходящихся итеративных алгоритмов обучения с ограниченной релаксацией для построения сопряженных направлений, сочетающих локальные и глобальные свойства сходимости процесса обучения. На этой основе создан эффективный метод минимизации без вычисления производных (МСН).

3. Формализм теории адаптации и одношаговый и двухшаговый алгоритмы минимизации показателя качества обучения позволяют разработать эффективные алгоритмы обучения в субградиентных и квазиньютоновских методах, обладающие локальными и глобальными свойствами сходимости. Одношаговый алгоритм обучения в квазиньютоновских методах приводит к известным способам преобразования матриц, а двухшаговый - обеспечивают конечную сходимость метода при неточном одномерном спуске. Одношаговый алгоритм обучения позволяет построить метод решения неравенств на отделимых множествах и субградиентный метод (РСМК) на его основе.

4. Разработаны новые алгоритмы обучения с растяжением пространства: алгоритм для решения множества равенств; алгоритм для решения неравенств на отделимых множествах. На основе алгоритма решения неравенств разработан новый релаксационный субградиентный метод с растяжением пространства в направлении субградиента (МРП) для решения сложных задач оптимизации.

5. Разработан новый матричный алгоритм обучения для решения неравенств и построено одноранговое семейство релаксационных субградиентных методов на его основе, в которое, как частный случай, входит r-алгоритм и разработанное обобщение метода Вульфа.

6. Для долгосрочного прогнозирования изменений коэффициента поглощения солнечной радиации терморегулирующих покрытий космических летательных аппаратов по данным лабораторных испытаний разработаны: комплекс матема

267 тических моделей оптической деградации терморегулирующих покрытий и схемы их построения; схема анализа множества моделей и выбора из него модели, на основе которой осуществляется прогноз при заданных условиях эксплуатации.

7. Разработан комплекс программ ПКРМО созданных методов: прямого поиска, квазиньютоновскиих и субградиентных. Алгоритмы комплекса ПКРМО являются надежным и эффективным средством решения сложных задач безусловной оптимизации и реализации оптимизационного инструментария в задачах структурно-параметрического моделирования.

ЗАКЛЮЧЕНИЕ

Список литературы диссертационного исследования доктор технических наук Крутиков, Владимир Николаевич, 2005 год

1. Айвазян С.А. и др. Прикладная статистика: основы моделирования и первичная обработка данных. - М.: Финансы и статистика. - 1983.

2. Антамошкин А.Н. Оптимизация процессов автоматизированного синтеза управления космическими аппаратами: Дисс. на сиск. уч. степени доктора техн. наук. -Красноярск: ССА, 1996. -265с.

3. Антамошкин А.Н. Оптимизация функционалов с булевыми переменными. -Томск: ТГУ. 1986. -129с.

4. Ануфриев В.Е., Крутиков В.Н., Тризно С.К. Математическое моделирование грузоподъёмности мягких оболочек прямоугольного типа // Горное давление в очистных и подготовительных выработках. -Новосибирск: ИГД. -1988. -С.75-79.

5. Аоки М. Введение в методы оптимизации. М.: Наука. — 1977. - 343с.

6. Бакушинский А.Б., Трушниеов В.Н. Методы численного анализа линейных и нелинейных операторных методов с необратимыми операторами: Учеб. пособие. -Кемеровский гос. ун-тю. 2000. - 56с.

7. Банди Б. Методы оптимизации. Вводный курс/ Пер. с англ. М.: Радио и связь. -1968. -128с.

8. Баничук Н.В., Петров В.М., Черноусько Ф.Л. Численное решение вариационных и краевых задач методом локальных вариаций// Жури, вычисл. матем. и матем. физ. -1966.-Т.6.-С. 947-961.

9. Бахвалов Н.С Численные методы. T.l. -М: Наука, 1973 г. 631с.

10. Бенерджи П., Баттерфилд Р. Методы граничных элементов в прикладных науках. -М.: Мир, 1984.

11. Букринский В.А. Геометрия недр. М: Недра, 1985. -526с.

12. Бурдаков О.П. Методы типа сопряженных направлений для решения систем уравнений и поиска седловых точек. Г//Изв. АН СССР. Техн. кибернет. -1982. -№3. -С 17-24.

13. Бурдаков О.П. Методы типа сопряженных направлений для решения систем уравнений и поиска седловых точек. П.//Изв. АН СССР. Техн. кибернет. -1982. №4. -С 26-33.

14. Вазан М. Стохастическая аппроксимация. -М: Мир. 1971. -295с.

15. Васильев Л. В. О связи релаксационного метода обобщенного градиента с методом сопряженных градиентов// Тез. докл. 3-го Всесоюзного семинара (Харьков): Численные методы нелинейного программирования. 4.1. -Москва. -1979. -С.45-49.

16. Васильев Ф.П. Численные методы решения экстремальных задач. М.: Наука. -1980.-518с.

17. Ворошилов Я.С., Крутиков В.Н.Минимизация негладких функций методом случайного поиска // Тез. докл. Второй научно-практической конференции «Наука и образование». -Белово, БФ КемГУ. -2001. -С 290-292.

18. Вылегжанин В.Н., Витковский Э.И., Крутиков В.Н., Потапов В.П. Прогноз тектонической нарушенности угольных месторождений // Горное давление в очистных и подготовительных выработках. -Новосибирск: ИГД. -1990. -С.42-45.

19. Вылегжанин В.Н., Витковский Э.И., Потапов В.П. Адаптивное управление подземной технологией добычи угля Новосибирск: Наука. -1987. -232с.

20. Вылегжанин В.Н., Крутиков В.Н. Использование математического моделирования в задачах оптимизации межотраслевых связей в структуре регионального ТЭК // ТЭК и ресурсы Кузбасса. -2001. -№4. -С.62-64.

21. Вылегжанин, В.Н., Крутиков В.Н., Тризно С.К. Моделирование технологических процессов в очистном забое // -Кемерово: ЦНТИ. -1990.

22. Вылегжанин, В.Н., Крутиков В.Н., Тризно С.К. Оценка эффективности параметров многомашинных очистных забоев // Горное давление в очистных и подготовительных выработках. -Новосибирск: ИГД. -1989. -С.9-16.

23. Галушкин А.И. Синтез многослойных схем распознавания образов. -Москва: Энергия. 1974.

24. Галушкин А.И. Теория нейронных сетей. -М: ИПРЖР. 2000.

25. Гилл Ф., Мюррей У., Райт М. Практическая оптимизация. М.: Мир. - 1985. -509с.

26. Голыитейн Е.Г., Немировский А.С., Нестеров Ю.Е. Метод уровней, его обобщения и приложения// Экономика и мат. методы. -1995. -Т.31. №3.

27. Гольштейн Е.Г., Юдин Д. Б. Новые направления в линейном программировании. -Сов. радио. 1966. -524с.

28. Гонсалес А.В. Принципы распознавания образов/ А. В. Гонсалес, X. Ту. -М.: Мир. 1977.

29. Горбань А.Н. Обучение нейронных сетей. М.: ПараГраф, 1990. - 159с.

30. Горбань А.Н., Миркес Е.М. Логически прозрачные нейронные сети // Изв. ВУЗов. Приборостроение. -1996. -Т. 39, № 1. -С.64-67.

31. Горбань А.Н., Россиев Д.А. Нейронные сети на персональном компьютере -Новосибирск: Наука. 1996.

32. Гранберг А.Г. Математические модели социалистической экономики. -М.:Экономика, 1978. -487с.

33. Гупал A.M. Стохастические методы решения негладких экстремальных задач. -Киев: Наукова думка, 1979. 148с.

34. Дамбраускас А.П. Симплекс поиск. -М.: Энергия. 1979.

35. Данилин Ю.М. Об одном классе алгоритмов минимизации со сверхлинейной сходимостью// Журн. вычисл. матем. и матем. физ. -1974. -Т. 14, №3. -С.598-609 .

36. Данилов Н.Н. Курс математической экономики. Части I -III / Учебное пособие. -Кемерово: Юнити. 2000.

37. Демьянов В.Ф., Васильев Л.В. Недифференцируемая оптимизация. М.: Наука, 1981.-384с.

38. Демьянов В.Ф., Малоземов В.Н. Введение в минимакс. — М.: Наука.- 1972. 368с.

39. Денис Дж. Шнабель Р. Численные методы безусловной оптимизации и решения нелинейных уравнений. М.: Мир,- 1988. - 440с.

40. Евтушенко Ю.Г. Методы решения экстремальных задач и их применение в системах оптимизации. М.: Наука, 1982. - 432 с.

41. Еремин И.И. О методе штрафов в выпуклом программировании// Кибернетика. -1967,-№4.-С. 63-67.

42. Ермольев Ю.М. Методы стохастического программирования. М.: Наука, 1976. -240с.

43. Завьялов Ю.С., Квасов Б.Н., Мирошниченко В.Л. Методы сплайн-функций. -М.: Наука,- 1980.47.3ангвилл У.И. Нелинейное программирование. Единый подход. М.: Сов. радио, 1973.-311с.

44. Захаров В.В Стандартные условия тестирования и исследования методов поиска минимума функциий многих переменных// Автоматика и вычисл. техника. -1980. -№5. Деп. 11.02.80, №493-80.-31с.

45. Захаров В.В., Крутиков В.Н. Алгоритм случайного поиска с адаптацией весов при векторах памяти //Тезисы докладов совещания: Применение случайного поиска при решении прикладных задач. Кемерово: КемГУ. -1979. -С.20-21.

46. Захаров В.В., Крутиков В.Н. Алгоритмы случайного поиска с изменением метрики пространства испытаний //Системы управления. -Томск: изд. ТГУ- 1978. -С.131

47. Захаров В.В., Крутиков В.Н. Алгоритмы случайного поиска с переменной метрикой //Тезисы докладов Всесоюзного семинара: Случайный поиск и системы автоматизированного проектирования в электротехнике. -Ереван. -1979. -С.7-8 .

48. Захаров В.В., Крутиков В.Н. Новые адаптивные алгоритмы случайного поиска и численные эксперименты с ними// Оптимизация динамических систем. -Минск: изд. БГУ.-1978.-С. 51-55 .

49. Захаров В.В., Крутиков В.Н. Повышение эффективности алгоритмов случайного поиска посредством включения в схему экстраполяции //Проблемы случайного поиска. -Рига: Зинатне. -1978. -Вып.7. -С. 207-213.

50. Захаров В.В., Крутиков В.Н. Статистический метод вычисления сопряженных направлений // Кибернетика (Кев). -1984. -№6. -С.95-100.

51. Захаров В.В., Крутиков В.Н. Теоретическое и экспериментальное исследование скорости сходимости двух алгоритмов случайного поиска //Вопросы разработки территориальных автоматизированных систем управления. Кемерово: КемГУ. -1984. -С.65-70.

52. Зельдович Я.Б. Горение пороха при переменном давлении// Теория горения поро-хов и взрывчатых веществ. -М.: Наука. -1982. -С. 278 300.

53. Ивахненко А.Г. Индуктивный метод самоорганизации моделей сложных систем. -Киев: Наукова думка. -1981.

54. Карманов В.Г. Математическое программирование. -М.: Наука 1980. - 256с.

55. Карманов В.Г. О сходимости метода случайного поиска в выпуклых задачах минимизации// Теория вероятностей и ее применения. -1974. -Т. 19, №3. -С.817-824.

56. Карманов В.Г. Оценки сходимости итерационных методов минимизации// Жур. вычисл. матем. и матем. физ. -1974. -Т. 14, №1. -С.3-14.

57. Компьютеры и системы управления в горном деле за рубежом/ Ю. П. Астафьев, А. С. Зеленский, Н. И. Горлов и др. М.:Недра. -1989. -264с.

58. Круглов В.В., Дли М.И., Годунов Р.Ю. Нечеткая логика и искусственные нейронные сети: Учеб. пособие. М.: Издательство Физико-математической литературы.- 2001.-224с.

59. Крутиков В.Н. Абсолютные оценки скорости сходимости r-алгоритма и метода Ньютона// Якутск: Матем. заметки ЯГУ. -1997. -Т.4. № 1. -С. 38-50.

60. Крутиков В.Н. Алгоритм случайного поиска с адаптивной метрикой («SPM») // Свидетельство об официальной регистрации программ № 2003612566. -М: РОС

61. ПАТЕНТ. Зарегистрировано в реестре программ для ЭВМ, г. Москва, 25 ноября 2003 г.-2003.

62. Крутиков В.Н. Анализ динамики сходимости квазиньютоновских методов// Матем. заметки ЯГУ. -Якутск. -1994. -Т.1. Вып. 2. -С. 40 48.

63. Крутиков В.Н. Быстросходящийся метод решения задач безусловной минимизации, не требующий вычисления произволных//Газовая динамика. -Томск: ТГУ. -1987. -С.85-99.

64. Крутиков В.Н. Идентификация квадратичного объекта по данным текущих изме-рений//Тезисы докладов совещания: Применение случайного поиска при решении прикладных задач. -Кемерово. -1979. -С. 14-16.

65. Крутиков В.Н. Квазиньютоновские методы на основе рассредоточенных способов восстановления Гессиана// Матем. заметки ЯГУ. -2000. -Т.7. Вып. 2. -С. 62-81.

66. Крутиков В.Н. Квазиньютоновские методы с попарной А-ортоганализацией// Тез. докл. 10-й Байкальской школы-семинара: Методы оптимизации и их приложения. Иркутск: СЭИ. -1995. -С.88-89.

67. Крутиков В.Н. Методы минимизации на основе частной модели субградиентных множеств// Методы оптимизации и их приложения/Труды 11-й Международной Байкальской школы-семинара. Иркутск-1998. -Том 1. -С. 101-104.

68. Крутиков В.Н. Методы оптимизации. Часть I: Учебн.-метод. пособие. -Кемерово: КемГУ.-1999.-50с.

69. Крутиков В.Н. Методы оптимизации. Часть II: Учебн.-метод. пособие. -Кемерово: КемГУ. -2002. -56с.

70. Крутиков В.Н. Новый релаксационный субградиентный метод с изменением метрики // Вестник КемГУ. Кемерово. -2001. -Вып. 4. -С. 16-22.

71. Крутиков В.Н. О скорости сходимости метода BFS и его модификаций// Тез. докл. Международной школы-семинара по методам оптимизации и их приложениям. -Иркутск: СЭИ. -1989. -С.114-115.

72. Крутиков В.Н. О скорости сходимости методов минимизации вдоль векторов линейно-независимой системы//Жур. вычисл. матем. и метем, физ. -1983. -Т.23, №1. -С.218-220.

73. Крутиков В.Н. Об одной методике построения методов сопряженных направле-ний//Тезисы докладов Всесоюзного научно-технического семинара (г. Харьков): Численные методы нелинейного программирования. Москва. -1979. -С.43-45 .

74. Крутиков В.Н. Об одной схеме анализа системы угольных предприятий// Наука и образование: Материалы Всероссийской научной конференции (12-13 апреля 2002 г.): ч2. Белово: БИ(Ф) КемГУ. -2002. -С 332-336.

75. Крутиков В.Н. Одноранговое семейство релаксационных субградиентных методов с растяжением пространства П Электронный журнал "Исследовано в России".209. -2003. -С 2450-2459. http: //zhurnal.ape.relarn.ru/articles/2003/ 209. pdf.

76. Крутиков B.H. Оптимизационные задачи моделирования межотраслевого комплекса и методы их решения // Вестник КемГУ. -Кемерово. -2001. -№3(7). -С. 2025.

77. Крутиков В.Н. Релаксационные методы безусловной оптимизации, основанные на принципах обучения: Учебное пособие/ ГОУ ВПО «Кемеровский государственный университет». Кемерово: «Кузбассвузиздат». -2004. -171с.

78. Крутиков В.Н. Сравнение оценок скорости сходимости г-алгоритма , метода Ньютона и DFP// Тез. докл. десятого всесоюзного симпозиума: Системы программного обеспечения решения задач оптимального планирования. -М: АН СССР, ЦЭМИ. -1988. -С.45-46.

79. Крутиков В.Н. Сравнение оценок скорости сходимости случайного покоординатного и циклического покоординатного спусков//Применения случайного поиска при решении прикладных задач. Кемерово: КемГУ. -1981. -С.71-75.

80. Крутиков В.Н. Управление распределением испытаний в алгоритмах случайного поиска// Тезисы докладов 4 Всесоюзного совещания: Статистические методы теории управления. -М.: Наука. -1978. -С.27-28.

81. Крутиков В,Н. Численные методы нелинейного программирования: Учебн.-метод. пособие. -Кемерово: КемГУ, 1994. -32с.

82. Крутиков В.Н., Арышев Д.В. Алгоритм последовательного отсева неинформативных переменных линейной модели // Вестник КемГУ. -Кемерово. -2004. -№1 (17). -С. 124-129.

83. Крутиков В.Н., Арышев Д.В. Алгоритм построения нейронной сети с минимальным числом нейронов // Наука и образование: Материалы Всероссийской научной конференции (20-21 февраля 2003 г.): Белово: БИ(Ф) КемГУ, 2003. С 440-445.

84. Крутиков В.Н., Арышев Д.В. Исследование субградиентных методов обучения нейронных сетей // Вестник КемГУ. -Кемерово. -2004. -№1 (17). -С. 119-124 .

85. Крутиков В.Н., Арышев Д.В. Метод негладкой регуляризации в задачах контрастирования //Нейроинформатика и ее приложения: Материалы XII Всероссийского семинара 1-3 октября 2004г/ Красноярск: ИВМ СО РАН, 2004. С.80-81.

86. Крутиков В.Н., Арышев Д.В. Метод сопряженных субградиентов с растяжением пространства // Электронный журнал "Исследовано в России" 208. -2003. -С 2439-2449. -http:/zhurnal.ape.relarn.ru/ articles/2003/208.pdf.

87. Крутиков В.Н., Арышев Д.В. Реализация алгоритмов однорангового семействасубградиентных методов //Электронный журнал "Исследовано в России" 43. -2004. -С. 464-473. http: //zhurnal.ape.relarn.ru/ articles/2004/ 043.pdf.

88. Крутиков В.Н., Арышев Д.В.Об одном методе выделения информативной системы признаков // Материалы Всероссийской научно-практической конференции «Информационные технологии и математическое моделирование» Томск: «Твердыня».-2002.-С 194-196.

89. Крутиков В.Н., Ворошилов Я.С. Методы построения линейной функции полезности сложных объектов // Вестник КемГУ. -Кемерово. -2001. Вып. 4. -С. 71-76.

90. Крутиков В.Н., Глушко Е.Н. Алгоритмы распознавания складок поверхности // Вестник КемГУ. -Кемерово. -2001. -Вып. 4. -С. 60-65.

91. Крутиков В.Н., Глушко Е.Н. Методы обнаружения тектонических нарушений // ТЭК и ресурсы Кузбасса: Вестник ТЭК Кузбасса. -2001. -№3. -С. 22-23.

92. Крутиков В.Н., Глушко Е.Н. Методы распознавания разрывных форм пластовых месторождений //Деп. в ВИНИТИ. -2000. -191-В00. -31с.

93. Крутиков В.Н., Глушко Е.Н. Методы распознавания складчатых форм пластовых месторождений // Деп. в ВИНИТИ. -2000. -190-В00. -38с.

94. Крутиков В.Н., Глушко Е.Н. Новый метод аппроксимации поверхности // Деп. в ВИНИТИ. 1999. -1400-В99. -11с.

95. Крутиков В.Н., Захаров В.В. Модифицированный алгоритм случайного поиска с изменением метрики пространства //Тез. докл.: Статистические методы в горнорудной промышленности. Кемерово: НТО. -1985. -С. 101-102.

96. Крутиков В.Н., Злобина C.JI. Методы математического моделирования пластовых месторождений // Тез. докл. Международной конференции по математическому моделированию. -Якутск. -1994. -С. 144.

97. Крутиков В.Н., Злобина СЛ. Методы приближения поверхности по данным на хаотической сетке на основе алгоритма сдвига штрафов/ // Тез. докл. 10-й Байкальской школы-семинара: Методы оптимизации и их приложения. -Иркутск. -1995. -С. 196-197.

98. Крутиков В.Н., Злобина C.JI. Прогноз особенностей пластовых месторождений // Тез. докл. Международной конференции по математическому моделированию. -Якутск.-1994.-С. 143.

99. Крутиков В.Н., Злобина СЛ., Бувальцев Н.Ф. Алгоритмы аппроксимации поверхности, заданной значениями в узлах нерегулярной сетки // Матем. заметки.

100. ЯГУ. -1995. -Т.2, № 2. -С. 110-120.

101. Крутиков В.Н., Кацэба Г.Б. Методы локальной оптимизации сетевых моделей при ограничениях на ресурсы // Тез. докл. II Всесоюзного семинара: Информатика недр. -Кемерово: ИУ. 1989. -С.39.

102. Крутиков В.Н., Кацэба Г.Б. О свойствах модификаций алгоритма с растяжением пространства вдоль разности градиентов// Тез. докл. Международной школы-семинара по методам оптимизации и их приложениям. -Иркутск: СЭИ. -1989. -С. 116-117.

103. Крутиков В.Н., Комаров Н.Ю. Новый метод решения неравенств с растяжением пространства и субградиентные методы на его основе // Вестник КемГУ. -Кемерово. -2001. -№3(7). -С. 73-78.

104. Крутиков В.Н., Корсакова О.Н. Управление метрикой окрестностей в алгоритмах дискретной оптимизации //Тез. докл.: Дискретная оптимизация и компьютеры. -М: ЦЭМИ-КемГУ. -1987. -С.127-128.

105. Крутиков В.Н., Паначев А.В. Алгоритмы прогноза нарушенности пластовых месторождений // Тез. докл. II Всесоюзного семинара: Информатика недр. -Кемерово: ИУ. -1989. -С.83.

106. Крутиков В.Н., Паначев А.В. Новые идеи и методы моделирования поверхностей пластов угля // Тез. докл. II Всесоюзного семинара: Информатика недр. -Кемерово: ИУ. -1989. -С.41.

107. Крутиков В.Н., Паначев А.В., Потапов В.П. Оценка и сравнение двух методов аппроксимации поверхностей пластовых месторождений // Тез. докл. II Всесоюзного семинара: Информатика недр. Кемерово: ИУ. 1989. -С.47.

108. Крутиков В.Н., Петрова Т.В. Алгоритм Качмажа с изменением метрики / Деп. в ВИНИТИ. -М. -1999. -3941-В99. -9с.

109. Крутиков В.Н., Петрова Т.В. Модифицированный алгоритм Качмажа для решения задачи построения разделяющей поверхности //Деп. в ВИНИТИ. -М. -1999. -3940-В99. -11с.

110. Крутиков В.Н., Петрова Т.В. Новый метод решения задач минимизации большой размерности // Вестник КемГУ. Кемерово. -2001. -Вып. 4. -С.65-71.

111. Крутиков В.Н., Петрова Т.В. Новый релаксационный метод недифференцируе-мой минимизации // Мат. заметки ЯГУ. -2001. -Т.8. Вып. 1. -С. 50-60.

112. Крутиков В.Н., Петрова Т.В. Релаксационный метод минимизации с растяжением пространства в направлении субградиента // Экономика и мат. методы. -2003. -Т. 39. Вып. 1. -С 106-119.

113. Крутиков В.Н., Петрова Т.В. Релаксационный субградиентный метод недиффе-ренцируемой минимизации с растяжением пространства // Деп. в ВИНИТИ. -М. -2000. -№3222-В00. -28с.

114. Крутиков В.Н., Петрова Т.В. Субградиентный метод с неточным одномерным спуском // Вестник КемГУ. Кемерово. -2001. -№3(7). -С. 85-91.

115. Крутиков В.Н., Потапов В.П., Глушко Е.Н. Экспериментальная оценка множества методов аппроксимации поверхности // Деп. в ВИНИТИ. -М. -1999. -1401 В99. -13с.

116. Крутиков В.Н., Пушкина Н.Б. Метод восстановления метрики по упорядоченным расстояниям // Вестник КемГУ. -Кемерово. -2001. -Вып. 4. -С. 35-39.

117. Крутиков В.Н., Филинов Д.И. Методы регуляризации решения задачи обучения нейронной сети//Нейроинформатика и ее приложения: Материалы VIII Всероссийского семинара 6-8 октября 2000г/ Красноярск: ИПЦ КГТУ, 2000. С.91.

118. Крутиков, В. Н., Кацэба Г.Б. Система оценки параметров и структуры математических моделей // Тез. докл. II Всесоюзного семинара: Информатика недр. -Кемерово: ИУ. -1989. -С.40.

119. Лавров С.С. Применение барицентрических координат для решения некоторых вычислительных задач//Журн. вычисл. матем. и матем. физ. -1964. -Т.4, №5. -С.905-911.

120. Лангольф ЭЛ., Вылегжанина И.И., Мазикин В.П. Проблемы эффективности реструктуризации угольной промышленности Кузбасса. -Кемерово: Кузбассвуз-издат,- 1997. -248с.

121. Лбов Г.С. Выбор эффективной системы зависимых признаков// Вычислительные системы. -1965. -Вып 15. -С. 21-34.

122. Лбов Г.С. Методы обработки разнотипных экспериментальных данных. -Новосибирск: Наука 1981. -160с.

123. Левин Ю.А. Об одном алгоритме минимизаций выпуклых функций//Докл. АН СССР. -1965. -Т. 160. № 6. -С. 1244-1247.

124. Левитин Е.С., Поляк Б.Т. Методы минимизации при наличии ограничений// Журн. вычисл. матем. и матем. физ. -1966. -т. 6, № 5. С 787-823.

125. Макаров И.М., Виноградская Т.М., Рубчинский А.А. Теория выбора и принятия решений: Учебное пособие. -М.: Наука.- 1982. -328с.

126. Маленво Э. Лекции по микроэкономическому анализу. -М.: Наука,- 1985. -390с.

127. Марчук Г.И. Методы вычислительной математики. -М: Наука. -1980. 534с.

128. Марчук Г.И., Кузнецов Ю.А. Итерационные методы и квадратичные функционалы. -Новосибирск: Наука,- 1972.

129. Математические методы и модели планирования и управления горным производством: Учеб. пособие для вузов/ А. Г. Протосеня, С.А. Кулиш, Е.И. Азбель и др. -М.:Наука. 1985. -288с.

130. Михайлов М.М., Дворецкий М.И., Косицин Л.Г., Крутиков В.Н, и др.// Вопросы оборонной техники. Серия 10, выпуск 151. - Ленинград: ГОИ им. Вавилова. -1980.

131. Михайлов М.М., Дворецкий М.И., Косицин Л.Г., Крутиков В.Н.// Вопросы оборонной техники. Серия 10, выпуск 151- Ленинград: ГОИ им. Вавилова. -1980.

132. Михайлов М.М., Крутиков В.Н. Прогнозирование оптической деградации терморегулирующих покрытий космических летательных аппаратов по результатам наземных испытаний // Перспективные материалы. -1997. -№ 2. -С. 18-25.

133. Михайлов М.М., Крутиков В.Н.Разработка комплекса математических моделей оптической деградации терморегулирующих покрытий космических летательных аппаратов // Перспективные материалы. -1997. —№ 1. -С.21-27.

134. Михалевич B.C., Трубин В.А., Шор Н. 3. Оптимизационные задачи производственно-транспортного планирования. М.: Наука.- 1986. - 260с.

135. Моисеев Н.Н. Численные методы в теории оптимальных систем. — М.: Наука, 1971.-424с.

136. Моисеев Н.Н., Иванилов Ю.П., Столярова Е.М. Методы оптимизации. М.: Наука.-1975.-351с.

137. Мудров В.И., Кушко В.Л. Методы обработки измерений. М.: Сов. радио. -1976.

138. Немировский А.С., Юдин. Д.Б. Сложность задач и эффективность методов оптимизации. М.: Наука. - 1980. - 384с.

139. Нестеров Ю.Е., Пурмаль Е.И. Анализ эффективности методов негладкой оптимизации. -М.: ЦЭМИ АН СССР. -1984. -31с.

140. Нестеров Ю.Е., Скоков В.А. Методы первого порядка нелинейной безусловной минимизации// Численные методы математического программирования. М.: ЦЭМИ,- 1980. С.6-60.

141. Нестерова С.И., Скоков В.А. Численный анализ программ негладкой безусловной оптимизации // Экономика и математические методы. -1994. -Т.30. -№2.

142. Ортега Д., Рейнболдт В. Итерационные методы решения нелинейных системуравнений со многими неизвестными. М.: Мир,- 1975. - 553с.

143. Пападимитру X., Стайглиц К. Комбинаторная оптимизация. Алгоритмы и сложность. М.: Мир. - 1985. - 512с.

144. Перельман И.И. Текущий регрессионный анализ и его применение в некоторых задачах автоматического управления// Изв. АН СССР, Энергетика и автоматика. -1960. -Т. XXIII, №2. -С. 122-131.

145. Полак Э. Численные методы оптимизации. М: Мир. - 1974. - 376 с.

146. Поляк Б.Т. Введение в оптимизацию. М.: Наука. - 1983.-384с.

147. Потапов В.П. Математическое и информационное моделирование геосистем угольных предприятий. Новосибирск: Изд. СО РАН. - 1999. -180с.

148. Преслер В.Т. Информационно-математическая среда прогноза газопроявлений в угольных шахтах. Кемерово: Кузбассвузиздат. - 2000. -228с.

149. Прикладная статистика. Классификация и снижение размерности / С. А. Айвазян, В. М. Бухштабер, И. С. Енюков, JI. Д Мешалкин. -М.: Финансы и статистика. 1989.-607с.

150. Примак М.Е. О сходимости модифицированного метода чебышевских центров решения задач выпуклого программирования// Кибернетика. -1977. -№ 5. -С 100102.

151. Пшеничный Б.Н. Метод минимизации функций без вычисления производных// Докл. АН СССР. -1977. -Т. 235, №5. -С. 1026-1029.

152. Пшеничный Б.Н., Данилин Ю.М. Численные методы в экстремальных задачах. -М.: Наука, 1975.-319с.

153. Пшеничный Б.Н., Редковский Н.Н. Некоторые методы безусловной минимизации//Журн. вычисл. матем. и матем. физ. -1979. -Т. 19, №5. -С. 1127-1133.

154. Пшеничный Б.Н., Редковский Н.Н. О методе минимизации вдоль собственных векторов матрицы, близкой к матрице Гессе //Кибернетика. -1977. -№5. -С.68-74.

155. Пшеничный Б.Н., Редковский Н.Н. Об одном численном методе минимизации без вычисления производных // Журн. вычисл. матем. и матем. физ. -1976. -Т. 16, N6.-С. 1388-1396.

156. Растригин JI.A. Системы экстремального управления. -М.:Наука. 1974-632с.

157. Растригин JI.A. Случайный поиск в задачах оптимизации многопараметрических систем. -Рига: Зинатне. 1965. -211с.

158. Растригин JI.А. Современные принципы управления сложными системами. -Сов. радио. 1980. -232с.

159. Растригин Л.А. Статистические методы поиска. -М: Наука. 1968. -376с.

160. Растригин, Л. А., Тарасенко Г.С. Об одном адаптивном алгоритме случайного поиска / Л. А. Растригин//Проблемы случайного поиска. Рига: Зинатне. -1974. -Вып.З. -С.108-112.

161. Резниченко С.С. Математическое моделирование в горной промышленности. Учеб. пособие для вузов. М.:Недра. - 1981. -216с.

162. Руководство по проектированию вентиляции угольных шахт. -М.: Недра. -1975.-237с.

163. Семенкин Е.С., Семенкина О.Е., Терсков В.А. Методы оптимизации в управлении сложными системами: Учебное пособие. Красноярск: Сибирский юридический институт МВД России. - 2000. -254 с.

164. Семенкин Е.С., Семенкина О.Э., Коробейников. Адаптивные поисковые методы оптимизации сложных систем / Под общ. ред. Семенкина Е.С. Красноярск: СИБУП. - 1996.-358с.

165. Серебряков М.Е. Внутренняя баллистика ствольных систем и пороховых ракет. -М.: Оборонгиз. 1962. -703 с.

166. Скоков В.А. Варианты метода уровней для минимизации негладких выпуклых функций и их численное исследование // Экономика и математические методы. -1997. -Т.ЗЗ. №1.

167. Скоков В.А. Замечание к методам минимизации, использующим операцию растяжения пространства// Кибернетика. -1974. -№ 4. -С. 115-117.

168. Скоков В.А., Щепакин М.Б. Численный анализ одного варианта метода ортогонального спуска // Кибернетика и системный анализ. -1994. -№2.

169. Справочник по рудничной вентиляции / Под ред. К.З. Ушакова. -М.: Недра. -1977. -328с.

170. Тарасенко Г.С Сходимость адаптивного алгоритма случайного поис-ка//Кибернетика. -1977. -№5. -С.88-90.

171. Тарасенко Г.С. Исследование адаптивного алгоритма случайного поиска// Проблемы случайного поиска. -Рига: Зинатне. -1976. -вып.5. -С.119-124

172. Тихонов А.Н., Арсенин В.Я. Методы решения некорректных задач. М.: Наука. - 1979.

173. Трофимов А.А. Основы маркшейдерского дела и геометризации недр. -М.:Недра. 1985.-336с.

174. Фадеев Д.К., Фадеева В.Н. Вычислительные методы линейной алгебры. -М: Физматгиз. -1960 г. 656с.

175. Федоров В. В. Теория оптимального эксперимента. М: Наука. - 1981.

176. Фукунага К. Введение в теорию распознавания образов. -М.: Наука. 1979.

177. Химмельблау Д. Прикладное нелинейное программирование. М.: Мир. -1975.-596с.

178. Хоменко Ю.П., Ищенко А.Н., Касимов В.З. Математическое моделирование внутрибаллистических процессов в ствольных системах. Новосибирск: Изд-во СО РАН. - 1999. -256с.

179. Хоменко Ю.П., Ищенко А.Н., Саморокова Н.М. Интегродифференциальный метод определения законов горения конденсированных систем в условиях постоянного объема // Физика горения и взрыва. -1999. -Т.35, №1. -С.67-71.

180. Хоменко Ю.П., Широков В.М. Об учете тепловых потерь при обработке результатов манометрических испытаний // Фундаментальные и прикладные проблемы современной механики: Докл. II Всерос. науч. конф. -Томск: Изд-во Том. ун-та.-2000.-С.171-172.

181. Цыпкин Я. 3. Основы теории обучающихся систем. М.: Наука. - 1981. -251с.

182. Цыпкин Я.З. Адаптация и обучение в автоматических системах. М.: Наука. -1968. -400с.

183. Цыпкин Я.З. Информационная теория идентификации. -М.: Наука: Физматлит. 1995.-336с.

184. Шор Н.З. Методы минимизации недифференцируемых функций и их приложения. Киев: Наукова думка. - 1979. - 199с.

185. Шор Н.З., Журбенко Н. Г. Метод оптимизации, использующий операцию растяжения пространства в направлении разности двух последовательных градиентов// Кибернетика. -1971. -№ 3. -С.51 59.

186. Щепакин М.Б. О методе ортогонального спуска//Кибернетика. -1987. -№1.

187. Юдин Д.Б. Вычислительные методы теории принятия решений. -М.: Наука. -1989. -320с.

188. Biggs М.С. Minimization algorithms making use of non-quadratic properties of the objective function// J. Inst. Math, and Applic. -1971. -V.8. -Pp.315-327 .

189. Brent R.P. Algorithms for minimization without derivatives. New Jersey. -Prentice -Hall Inc., Englewood Cliffs. 1973. -195 p.

190. Brodlie K.W. A new direction set method for minimization without evaluating derivatives// J.Inst. Math, and Applic. -1975. -v.15. -Pp.385-396 .

191. Brodlie K.W. An assement of two approaches to variable metric methods// Math. Programming. -1972. -V. 7. №12.

192. Broyden C.G. The convergence of a class of double-rank minimization algorithms// J.Inst.Maths.Applies. -1970. -№6. -Pp. 76-79.

193. Damon A. Dynamical System Perspective of Structural Learning with Forgetting/ A. Damon, Miller, M. Jacek Zurada. // IEEE Transactions on Neural Networks, -may 1998,-vol. 9. -pp. 505-551.

194. Davidon W.C. Variable metric methods for minimization//A.E.C. Res. and Develop. Report ANL-5990. Argonne National Laboratory. -Argonne; Illinois. -1959. -P.21.

195. Davidon, W. C. Optimally conditioned optimization algorithms without line searches// Math. Prog. -1975. -№9. -Pp. 1-30.

196. Dixon L.C. Quasi-Newton algorithms generate identical points // Math. Programming. -1972. -V.2. -Pp. 383-387.

197. Elkin R. Convergence theorems for Gauss-Seidel and other minimization algorithms: Ph.D. Diss.// Univ. Of Maryland. College Park.Maryland. 1968.

198. Fletcher R. A new approach to variable metric algorithms// Computer Journal. -1970.-№13.-Pp. 317-322.

199. Fletcher R., Powell M.J.D. A rapidly convergent descent method for minimization // Comput.J. -1963. -V.6. №2. -Pp. 163-168.

200. Fletcher R., Reeves C.M. Function minimization by conjugate gradients // Comput. J. -1964. -V.7. N2. -Pp. 149-154.

201. Goldfarb D.A family of variable metric methods derived by variational means// Mathematics of Computation. -1970. -№24. -Pp. 23-26.

202. Hooke R., Jeeves I. Direkt search solution of numerical and statically problems // J.A.C.M. -1961. -Pp. 212-229 .

203. Kelley J. E. The cutting plane method for solving convex programs// J. SIAM. -1960. -V. 8. №4. -Pp. 703-712.

204. Koza J. R. Genetic Programming: On the Programming of Computers by means of Natural Selections. Mit Pres. - 1992.

205. Lemarechal C. An algorithm for minimizing convex functions// Proc. IFIP Congress-74. Amsterdam, North-Holland. -1974. -Pp.552-556.

206. Lemarechal C. New Variants of Bundle Methods / C. Lemarechal, A. C. Nemirovski, Yu. E. Nesterov // Match. Program. Ser. B. -1995. -V.69.№1.

207. Lemarechal С. Numerical experiments in nonsmoth optimization//Progress in nondif-ferentiable optimization. -1982. -Pp 61-84.

208. Lemarechal C. On extension of Davidon methods to nondifferentiable problems// Math. Programming. Amsterdam: North-Hol-land. -1975. -№3. -Pp. 95-109.

209. Mikhailov M.M. and Krutikov V.N. Method of examining the thermal adjusting coatings of space apparatus // Journal of Advanced Materials (Cambridge interscience publishing). -1996. -v.3, №1,- pp. 21-28.

210. Oren S.S. Self-scaling variable metric (SSVM) algorithms I: Criteria and sufficient conditions for scaling a class of algorithms / S. S. Oren, D. G. Luenberger // Management Science. -1974. -№20. -Pp. 845-862.

211. Oren S.S. Self-scaling variable metric (SSVM) algorithms II: Implementation and experiments//Management Science. -1974. -№20. -Pp. 863-874.

212. Ortega J., Rockoff M. Non linear difference equations and Gauss-Seidel type iterative methods// SIAM J. Numer. Analys. -1966. -v.3. -Pp. 497-513.

213. Powell M.J.D. An efficient method of finding the minimum of function of several variables without calculating derivatives// Comput. J. -1964. -v.7, N2. -Pp. 155-162.

214. Powell M.J.D. Convergence properties of a class of minimization algorithms // Nonlinear Programming. -1975. -V.2. -Pp. 1-27.

215. Rosenbrock H.M. An automatic Method for finding the greatest or least value of a function// Comput. J. -1960. v.3 , N2. -Pp. 175-184 .

216. Saito K.R. and Nakano R. Second-order learning algorithm with squared penalty term. // In Advances in Neural Information Processing Systems 9. -Denver, CO. -1997, -pp.627-633.

217. Schechter S. Iteration methods for nonlinear problems// Trans. Amer. Math. Soc. -1962. v.104. -Pp. 179-189.

218. Schumer M.A. Steiglitz K. Adaptive step size random search // IEEE Trans. Automat. Control. -1968. -v. 13, N3. -Pp. 270-276.

219. Wolfe P. Note on a method of conjugate subgradients for minimizing nondifferentiable functions// Math. Programming. -1974. -V.7. № 3. -Pp. 380-383.