Эмпирическая реконструкция динамических систем: построение и оптимизация прогностических моделей тема диссертации и автореферата по ВАК РФ 01.04.03, кандидат наук Лоскутов, Евгений Михайлович

• Лоскутов, Евгений Михайлович
• кандидат наук
• 2013

Оглавление диссертации кандидат наук Лоскутов, Евгений Михайлович

Оглавление

Введение

1 Построение и оптимизация моделей оператора эволюции в рамках

Байесова подхода

1.1 Введение

1.2 Структура модели

1.3 Параметризация в виде искусственных нейронных сетей

1.4 Критерий выбора оптимальной модели

1.5 Выбор модели оптимальной сложности на примере автономной системы Лоренца с динамическим шумом

1.6 Построение прогноза качественного поведения неавтномоной стохастической системы при помощи стохастической модели оптимальной сложности на примере неавтономной системы Лоренца с динамическим шумом

1.7 Заключение

2 Прогноз качественного поведения локализованных моделей в виде

дифференциальных уравнений с задержками, описывающих явление Эль-Ниньо

2.1 Введение

2.2 Концептуальные модели Эль-Ниньо в виде ДУЗ

2.3 Реконструкция стохастических систем в виде ДУЗ, описывающих динамику Эль-Ниньо

2.4 Реконструкция детерминированной системы в виде ДУЗ, описывающей динамику Эль-Ниньо

2.5 Заключение

3 Реконструкция пространственно-распределенных систем

3.1 Введение

3.2 Построение обучающей выборки

3.3 Прогноз критических переходов в модели Джина-Нилина, описывающей явление Эль-Ниньо

3.4 Реконструкция явления Эль-Ниньо по реальным данным

3.5 Заключение

Заключение

А Модель Джина-Нилина

А.0.1 Океан

А.0.2 Атмосфера

Список публикаций по теме диссертации

Литература

Введение диссертации (часть автореферата) на тему «Эмпирическая реконструкция динамических систем: построение и оптимизация прогностических моделей»

Введение

Акутальность работы. Одной из важных проблем современной нелинейной динамики является разработка методов реконструкции систем, порождающих наблюдаемые процессы, на основе данных измерений. Под реконструкцией здесь и далее понимается построение параметризованной математической модели оператора эволюции (ОЭ) системы по временному ряду, представляющему собой результаты последовательных измерений некоторой физической величины, связанной с фазовыми переменными моделируемой системы. Измерения при этом производятся с конечной точностью. Важность исследования данной проблемы обусловлена необходимостью построения относительно простых моделей сложных природных объектов, изучаемых в различных областях науки.

В работе рассматриваются два вида ДС - детерминированные и случайные (стохастические). Детерминированной называется такая ДС, будущие состояния которой однозначно определяются текущими, или, по-другому, начальными условиями. Под стохастической ДС понимается система, оператор эволюции которой в каждый момент времени является случайным. Физическим объектом, описываемым случайным ОЭ, является, например, детерминированная ДС система, испытывающая случайные воздействия в процессе эволюции; последние часто называют динамическим или интерактивным шумом.

У подавляющего большинства природных (например, климатических) ДС параметры изменяются с течением времени (другими словами, система является неавтономной). Поэтому одной из важнейших целей задачи реконструкции ДС является прогноз дальнейшего поведения исследуемой ДС. Это означает, в первую очередь, возможность смены типа поведения системы в процессе ее эволюции. Поскольку смена типа поведения (бифуркация, или критический переход), как правило, влечет за собой существенные (порой катастрофические) изменения количественных характеристик наблюдаемого процесса, то возникает задача прогноза бифуркаций1, или, другими словами, задача прогноза качественного поведения неавтономных ДС. В дан-

1 Задача прогноза критических переходов, если речь идет о геофизических системах

ной работе мы ограничимся рассмотрением слабонеавтономных систем2: во-первых, к этому классу относится большая часть природных ДС и, во-вторых, именно такая неавтономность может быть выявлена прямым анализом данных измерений (без привлечения априорной информации о системе).

Очевидно, что построение такого прогноза должно базироваться на использовании какой-либо математической модели изучаемой ДС. К настоящему моменту наиболее развиты два способа построения таких моделей: (1) построение так называемых моделей "из первых принципов" (уравнений движения среды или отдельных частиц, уравнений для силовых полей, переноса излучения, химической кинетики, тепло и массопереноса и пр.) [80] и (2) построение эмпирических моделей ДС, т.е. моделей, построенных путем прямого анализа наблюдаемых данных (см. [30,75,78] и цитируемую там литературу). Прогностический анализ моделей из первых принципов состоит в исследовании фазового пространства и пространства параметров модели. Такой анализ, в принципе, позволяет получить исчерпывающую информацию о типе поведения системы при любых значениях параметров, в том числе предсказать всевозможные бифуркации системы при заданных (или ожидаемых) плавных изменениях (трендах) параметров. Однако очевидно, что детальное изучение фазового пространства и пространства параметров возможно лишь при условии их сравнительно невысокой размерности. С другой стороны, необходимым условием использования любой модели является ее адекватность моделируемой ДС. В случае, когда реконструируемая ДС имеет высокую размерность, а таких, если говорить о природных системах, подавляющее большинство, то и модель из первых принципов, описывающая ее динамику, будет высокоразмерной. Например, современные глобальные модели климатической системы Земли, являющиеся характерным примером детальных моделей, построенных из первых принципов, оперируют более, чем 106 степенями свободы. Очевидно, что детальное изучение пространств с такой размерностью технически невозможно. Кроме того, использование моделей из первых принципов может приводить к грубым прогностическим ошибкам даже при исследовании будущей эволюции низкоразмерных ДС. Действительно, корректная модель из первых принципов правильно воспроизводит динамику реконструируемой системы лишь до тех пор, пока справедливы сделанные при ее построении допущения. Поскольку прогноз качественного поведения слабонеавтономных систем является по сути своей долгосрочным, то существует вероятность, что в прогнозируемый период эволюции системы существенную роль будут играть процессы, не учтенные, в силу их малой изученности, при построении модели. Таким образом, вне зависимости от

2Т е систем с медленно изменяющимися, по сравнению с характерными временами динамики

наблюдаемого процесса, управляющими параметрами

размерности реконструируемой системы, прогноз качественного поведения, построенный на основе моделей из первых принципов, чреват ошибками.

Построение эмпирических моделей ДС не требует наличия полной и детальной априорной информации о процессах, протекающих в системе. Математическая модель ОЭ исследуемой ДС строится путем прямого анализа наблюдаемых данных, вообще говоря, без каких-либо допущений о природе изучаемого явления. ОЭ ДС представляет собой отображение фазового пространства в себя, поэтому для построения его модели необходима реконструкция фазовых переменных системы. Фундаментальной основой методов реализации этого шага являются доказанные Такенсом теоремы [63], а также их обобщения на случай неавтономных и стохастических систем [60], в которых строится вложение фазового пространства исследуемой ДС по последовательным измерениям произвольной скалярной функции фазовых переменных. Это вложение представляет собой взятые в достаточном количестве с фиксированным шагом по времени измерения, и носит название "метода координат с задержками". Количество таких координат является, тем самым, размерностью вложения, достаточная величина которой равна 2£) + 1, если И - размерность исходной ДС [63]. После того, как последовательность состояний ДС восстановлена, может быть сформирован набор пар образов и прообразов, связанных искомым оператором эволюции.

Эмпирические модели ОЭ можно разбить на две группы [30, 78] - локальные и глобальные. К первым относятся модели, воспроизводящие эволюцию системы в отдельных элементарных ячейках фазового пространства. При их построении используется идея разложения ОЭ в ряд в фазовом пространстве в окрестности текущего состояния. В качестве функций, аппроксимирующих данный ОЭ, используются как полиномы различной степени [20] (в частности, полином нулевой степени - в этом случае предсказание заключается в простом усреднении по образам всех точек из выбранной окрестности), так и более сложные функции, например, системы радиальных базисных функций [55]. Обычно выбор функциональной формы модели ОЭ представляет собой отдельную задачу. Как правило, это делается эмпирически по результатам сравнения точности прогнозов на различных примерах. В случае наблюдаемой хаотической динамики локальные модели обеспечивают количественный прогноз эволюции системы с характерным временем предсказания, обратно пропорциональным значению старшего показателя Ляпунова, отвечающего наблюдаемому ВР. Данный показатель является мерой разбегания изначально близких фазовых траекторий на хаотическом аттракторе [1]. Для успешной реконструкции эволюции системы с помощью локальных моделей необходимо, прежде всего, чтобы окрестность каждой точки исследуемого аттрактора была хорошо посещаема восстановленной

фазовой траекторией, т. е. протяженность наблюдаемого ВР (объем данных) должна быть достаточной для хорошего покрытия всего аттрактора. Другим требованием к наблюдаемым данным является стационарность исследуемого ВР (предполагающая постоянство управляющих параметров реконструируемой системы), поскольку описанные методы базируются на эргодической гипотезе. Главными недостатками локальных моделей являются: (1) большое количество параметров, требуемых для описания эволюции системы на конечном (сравнительно малом) временном интервале, что очевидным образом снижает точность реконструируемых характеристик системы; (2) принципиальная стационарность ВР; и (3) высокая чувствительность к величине шума измерений. Вследствие перечисленных недостатков локальные модели используются почти исключительно для краткосрочного количественного прогноза эволюции ДС [20].

Вторую группу образуют глобальные модели, в которых, в отличие от локальных, модель ОЭ воспроизводит эволюцию ДС во всей области фазового пространства, соответствующей наблюдаемому ВР. Нас интересуют именно такие модели, поскольку целью работы является задача глобальной реконструкции ДС и основанный на ней долгосрочный прогноз ее эволюции. Глобальные модели воспроизводят качественную (топологическую) структуру фазового пространства реконструируемой ДС. Привлекательность такого подхода связана с тем, что весь набор имеющихся данных описывается моделью с небольшим (по сравнению с локальными моделями) числом параметров. Более того, с помощью глобальных моделей можно отслеживать изменения во времени (тренды) управляющих параметров исходной системы, что находит применение в задачах реконструкции неавтономности системы [48,83, А1, А2, А17, А18, А20], восстановления бифуркационных диаграмм [6-8,64], передачи информации [3,76,82] и т.д.

Существуют методы построения потоковых глобальных моделей, представляющих собой системы дифференциальных уравнений заранее выбранного вида [10,22, 59,79,81,85]. Однако построение таких моделей для систем, демонстрирующих хаотическое поведение, возможно не всегда, поскольку для построения таких моделей требуется численное дифференцирование наблюдаемого ВР. Это означает, что временные ряды, используемые для реконструкции, должны быть достаточно часто семплированы. Это очень серьезное ограничение на использование таких моделей для реконструкции динамики природных систем, поскольку имеющиеся в распоряжении ВР, порожденные такими системами, обычно достаточно редко семплированы и зашумлены, что может приводить к неприемлемым ошибкам дифференцирования. Очевидно, данное ограничение становится особенно жестким в случае высокой размерности наблюдаемой системы.

В диссертации глобальная эмпирическая модель строится в виде дискретного ОЭ, описывающего связь между состояниями системы, соответствующими соседним по времени пересечениям фазовой траектории выбранной секущей аттрактора в восстановленном фазовом пространстве. При этом для аппроксимации ОЭ могут использоваться различные функции: системы ортогональных полиномов [56], системы радиальных базисных функций [40,55,67] и др. В целях достижения максимальной универсальности рассматриваемого метода реконструкции, для аппроксимации ОЭ в диссертации используются искусственные нейронные сети (ИНС) [50,84, А2, А18], которые, согласно аппроксимационной теореме [16,74], позволяют с наперед заданной точностью аппроксимировать любую непрерывную функцию многих переменных при условии достаточного (конечного) числа нейронов. В итоге, глобальная модель ОЭ строится в виде функции, зависящей от набора параметров. При этом задача реконструкции ДС сводится к отысканию значений этих параметров. Теоретической основой данной процедуры (при условии, что функциональный вид модели выбран), является теорема Байеса [АЗ], которая связывает апостериорную плотность вероятности (АПВ) параметров модели с результатами измерений, а также с априорными распределениями параметров, отражающими априорные представления о свойствах моделируемой системы. Часто в качестве оценки параметров модели принимаются их наиболее вероятные значения, т.е. значения, соответствующие максимуму АПВ. Частными случаями такого подхода являются метод наименьших квадратов (МНК) (см., например, [1,29,37]), соответствующий системе с однородным динамическим шумом; метод обобщенных наименьших квадратов (МОНК), эффективный в задачах аппроксимации данных, когда погрешность присутствует как в образах, так и в прообразах реконструируемого отображения [18,19,68]; метод множественной стрельбы [13,31], учитывающий «долгие» корреляции наблюдаемой динамической переменной.

Необходимым шагом на пути к использованию эмпирического моделирования при реконструкции природных ДС по реальным данным наблюдений является его апробация на задаче глобальной реконструкции по временным рядам, сгенерированным моделями сложных ДС. Для этой цели хорошо подходят высокоразмерные модели в виде дифференциальных уравнений с запаздыванием (ДУЗ), описывающие динамику явления Эль-Ниньо - одной из фаз Южного Колебания (ЮК), представляющего собой аномалию температуры поверхностных вод в Тихом океане, которая происходит с периодичностью от 3 до 7 лет и длится примерно один год. Несмотря на то, что первым упоминаниям этого феномена уже более ста лет, на данный момент его природа до конца не изучена, поскольку долгое время считалось, что это явление носит региональный характер. Только к концу 20-го века стало понятно, что Эль-Ниньо

- это наиболее существенная составляющая глобальной межгодовой изменчивости климата Земли [33,49]. К настоящему времени продемонстрирована корреляция явления Эль-Ниньо с другими региональными аномалиями: засухами, наводнениями и ураганами в тропических странах, ураганами на западном побережье Калифорнии, аномально теплыми и влажными зимами в странах Мексиканского залива, исчезновением Индийского муссона и даже вариациями уровня Каспийского моря [77]. На сегодняшний день остается неопределенность, связанная с механизмом сложного поведения ответственной за это явление системы. Считается, что система имеет высокую размерность, а определяющую роль в динамике Эль-Ниньо и всего ЮК играют следующие концептуальные элементы: (1) положительная обратная связь в системе океан-атмосфера, которая приводит к росту внутренней неустойчивости, следствием чего является сильные положительные аномалии температуры поверхности океана (ТПО) в восточной тропической части Тихого океана (гипотеза Бьеркнеса); (2) запаздывающее влияние океанических волн, компенсирующее положительную обратную связь Бьеркнеса; (3) периодическое (сезонное) внешнее воздействие на систему. Согласно одной гипотезе, нетривиальное поведение является результатом сложной (хаотической) внутренней динамики системы, другими словами система является детерминированной. Другая гипотеза предполагает, что динамика системы становится сложной благодаря случайным внешним воздействиям, что, в свою очередь, означает, что система является стохастической. В соответствии с этими гипотезами, существующие модели Эль-Ниньо можно разделить на две группы: случайные и детерминированные. В диссертационной работе, в качестве модельных источников данных, использовались оба типа моделей Эль-Ниньо.

Сложность моделируемой ДС не единственная проблема, которую необходимо преодолеть для успешного решения задачи глобальной реконструкции природных ДС, которые, в большинстве своем, являются пространственно-распределенными. Данные наблюдений, используемые для реконструкции пространственно-распределенных систем, представляют собой пространственные поля измеряемых характеристик, то есть, фактически, наборы временных рядов, число которых равно числу узлов пространственной сетки. Для приложения эмпирического подхода к моделированию с использованием таких данных в диссертации предлагается использовать процедуры разложения пространственно-временных данных на некоррелирующие паттерны. Зависящие от времени коэффициенты разложения позволяют сформировать обучающую выборку, пригодную для построения эмпирической модели.

Основной целью диссертации является разработка и реализация эффективного и максимально универсального подхода к построению эмпирических моделей

сложных (высокоразмсрных, пространственно-распределенных) ДС для решения задачи глобальной реконструкции. Предлагаемый в работе метод реконструкции включает в себя оптимизацию внутри выбранного для построения ОЭ класса функций. Речь идет о разделении параметров модели на две группы. Одну группу составляют параметры, определяющие индивидуальные характеристики функций из используемого класса. Ко второй относятся параметры, характеризующие аппроксимацию ОЭ в целом, т.е. набор параметров, однозначно задающих модель ОЭ на выбранном классе функций. Примером такого параметра является, прежде всего, размерность модели. В зависимости от выбранного класса функций к последней группе относятся также максимальная степень полинома, число нейронов или других базисных функций и т.п. Соответствующие параметры мы будем называть структурными, а под оптимизацией внутри выбранного класса функций подразумевать отыскание оптимальных значений структурных параметров. Кроме того, для достижения основной цели работы были поставлены и решены следующие задачи: (1) разработка методики выделения динамических переменных из многомерного массива данных, пригодных для создания низкоразмерных эмпирических моделей пространственно-распределенных динамических систем; (2) прогноз качественного поведения динамической системы, описывающей динамику явления Эль-Ниньо, на модельных примерах и по данным реальных наблюдений.

Структура диссертации. Диссертация состоит из введения, трех глав, заключения, приложения, списка публикаций по теме диссертации и списка цитируемой литературы. Общий объем диссертации 117 страниц, включая 49 рисунков и список литературы из 142 наименований.

В первой главе диссертации излагается общий вид эмпирического метода глобальной реконструкции, объединяющего в единое целое, в рамках Байесова подхода, процедуру построения моделей ОЭ и выбора оптимальной модели. В процедуре построения моделей ОЭ определяется общий вид моделей: задается структура, класс функций, аппроксимирующих ОЭ и предлагается конкретный вид регуляризации [А7,А8]. В диссертационной работе предлагается восстанавливать ОЭ реконструируемой системы в форме случайной динамической системы (СДС, [5]). Такой выбор структуры модели основан на гипотезе, согласно которой базовые динамические свойства системы, определяющие наблюдаемый режим поведения, могут быть описаны конечным (сравнительно небольшим) числом степеней свободы, а остальные, не учтенные в этих уравнениях мелкомасштабные процессы, имеют вид стохастического возмущения, неоднородного по фазовому пространству. Важным преимуществом моделей ОЭ в виде СДС является существенно более широкий класс систем, для которых такое описание является адекватным. Как правило, временные

ряды, наблюдаемые в реальном эксперименте, являются короткими и зашумленны-ми, что делает крайне затруднительным не только оценку размерность вложения, но и установление факта детерминированности породившей их системы как таковой. В такой ситуации стохастическое описание становится существенно более адекватным: во-первых, с "экспериментальной" точки зрения высокоразмерный хаос в условиях ограниченного объема данных неотличим от случайного процесса и, во-вторых, конечный объем данных накладывает принципиальное ограничение на предельно допустимую размерность "детерминированной" реконструкции. Последнее означает, что даже при наличии априорной информации о детерминированной природе реконструируемой высокоразмерной ДС, доступной для реконструкции является ее эволюция в фазовом подпространстве существенно более низко размерности, в котором детерминированная (взаимно-однозначная) связь между последовательными состояниями системы не имеет места. Таким образом, идея описания ДС (как стохастических, так и детерминированных) с помощью низкоразмерных стохастических моделей выглядит вполне оправданной.

На этапе выбора оптимальной модели используется корректный, с точки зрения Байесова подхода, метод определения оптимальных структурных параметров модели, основанный на оценке Басйсовой обоснованности [15,58]. Данный метод позволяет корректно выбрать максимально простую (с минимально возможным числом параметров) низкоразмерную модель, пригодную для адекватного воспроизведения наблюдаемой эволюции ДС и прогноза ее качественного поведения.

Возможности предложенного метода построения эмпирических моделей и их оптимизации демонстрируются на примере реконструкции стохастического обобщения классической системы Лоренца [47] по сгенерированному ей временному ряду. Результатом реконструкции является оптимизированная по структурным параметрам модель в виде СДС, имеющая более низкую размерность, чем наблюдаемая система.

Вторая глава посвящена реконструкции, в рамках предложенного подхода, локализованных ДС (как детерминированных, так и случайных) в виде дифференциальных уравнений с задержками (ДУЗ), моделирующих поведение Эль-Ниньо. Модели в виде дифференциальных уравнений с задержками называются "концептуальными", они являются достаточно простыми, по сравнению с моделями в виде уравнений в частных производных, однако качественно верно описывают ключевые особенности динамики исследуемого явления. Применительно к климатическим системам широко используются модели в виде ДУЗ с внешним воздействием [61,66], являющиеся эффективным математическим инструментом для моделирования широкого диапазона пространственно распределенных (нелокальных) связей и внешних воздействий, соответствующих климатической динамике. Они дают удобный инстру-

ментарий для объяснения межгодовой изменчивости Эль-Ниньо и проливают новый свет на ее динамические свойства. В качестве источников данных для построения прогноза Эль-Ниньо нами использовалось три таких модели: стохастические обобщения моделей (1) Гила-Заляпина [26] и (2) Ципермана [66], а так же чисто детерминированная модель (3) Галанти-Ципермана [24]. Каждая из них генерирует временной ряд, представляющий собой временную зависимость аномалий глубины термоклина в экваториальной области Тихого океана. Результатом реконструкции является низкоразмерная стохастическая модель, корректно воспроизводящая эволюцию исследуемой системы на временах, превышающих времена наблюдения.

Третья глава посвящена реконструкции пространственно-распределенных ДС, описывающих динамику Эль-Ниньо. В этой главе изложена методика, позволяющая сформировать из поля данных обучающую выборку, пригодную для построения низкоразмерных эмпирических моделей и рассмотрены два иллюстративных примера: (1) реконструкция существенно более сложной, чем во второй главе, детерминированной модели в виде дифференциальных уравнений в частных производных (модель Джина-Нилина) [38,39], которая так же, как и упомянутые выше, описывает взаимодействие системы океан-атмосфера; (2) реконструкция региональной климатической системы, ответственной за появление Эль-Ниньо, с использованием реальных данных, представляющих собой измерения аномалий поверхностной температуры океана (ПТО) за 156 лет.

Первым шагом в процедуре формирования обучающей выборки является выделение в полях данных нскоррелирующих паттернов. В данной главе описаны два способа выделения некоррелирующих паттернов: сингулярный спектральный анализ (ССА) и многомерный сингулярный спектральный анализ (МССА) [25]. В конечном счете, эти подходы различаются базисными функциями, по которым раскладывается исходное поле данных. ССА анализ позволяет раскладывать интересующее нас поле данных по базису пространственных эмпирических ортогональных функций (ЭОФ) [53], а МССА по базису пространственно-временных эмпирических ортогональных функций (ПВЭОФ) [70]. Затем, размерность обучающей выборки понижается путем отбора оптимального числа главных компонент (метод главных компонент) старших ЭОФ, определяющих динамику системы на интересующих масштабах.

Как уже упоминалось выше, в качестве источника пространственно-распределенных данных использовалась модель Джина-Нилина [38,39]. Она генерирует поле данных, представляющее собой временные ряды поверхностной температуры Тихого океана в 24 узлах координатной сетки, расположенных вдоль экватора от западного побережья Южной Америки до восточного побережья Индонезии. Как и во второй главе, результатом реконструкции является низкоразмерная сто-

хаотическая модель, корректно воспроизводящая последовательность бифуркаций, происходящих в исследуемой системе, на временах, превосходящих времена наблюдения.

Во втором примере использовалась База данных IRI Kaplan Extended Database [41], по которой строилась модель подсистемы, отвечающей за появление Эль-Ниньо, представляет собой результаты измерений аномалий ПТО с 1856 по 2012 годы на двухмерной пространственной сетке, покрывающей земной шар с разрешением 5°х5°. В диссертации демонстрируется, во-первых, что эмпирическая модель, построенная с использованием пространственных ЭОФ, демонстрирует корректный прогноз качественного поведения статистической характеристики, отражающей энергетический баланс между фазами Южного колебания (Эль-Ниньо и Jla-Нинья). Во-вторых, показано, что использование пространственно-временных ЭОФ позволяет представить климатическую систему Земли в виде ансамбля взаимодействующих подсистем, эволюционирующих с существенно отличающимися характерными временными масштабами.

Список литературы диссертационного исследования кандидат наук Лоскутов, Евгений Михайлович, 2013 год

Литература

[1] Abarbanel H.D.I., Brown R., Sidorowich J.J., Tsimring L.Sh. The analysis of observed chaotic data in physical systems // Rev. Mod. Phys. — 1993. — Vol. 65, no. 4. - Pp. 1331-1392.

[2] Akaike H. A new look at the statistical model identification // IEEE Transactions on Automatic Control. — 1974. — Vol. 19, no. 6. — Pp. 716-723. http://dx.doi. org/10.1109/tac.1974.1100705.

[3] Anishchenko V.S. Pavlov A.P. Global reconstruction in application to multichannel communication // Phys. Rev. E. — 1998. — Vol. 52.

[4] Arbib A. The Handbook of brain theory and neural networks. A Bradford book. — Mit Press, 2003. http://books.google.ru/books?id=Av6qWhtwO-EC.

[5] Arnold L. Random Dynamical Systems. Monographs in Mathematics. — Springer, 2003. http://books.google.ru/books?id=W5AY5A3S2kQC.

[6] Bagarinao E. Pakdaman K. Nomura T., S. Sato. Reconstructing bifurcation diagrams from noisy time scries using nonlinear autoregressive models // Phys. Rev. E. - 1999. - Vol. 60.

[7] Bagarinao E. Pakdaman K. Nomura T., S. Sato. Time series based bifurcation diagram reconstruction // Physica D. — 1999. — Vol. 130.

[8] Bagarinao E. Nomura T. Pakdaman K., S. Sato. Generalized one-parameter bifurcation diagram reconstruction using time series // Physica D. — 1998. — Vol. 124.

[9] Battisti D.S. Hirst A.C. Interannual variability in the tropical atmosphere-occan system: Influence of the basic state and ocean geometry //J. Atmos. Scz. — 1989.

- Vol. 46. - Pp. 1687-1712.

[10] Bezruchko B. Smirnov D. Constructing nonautonomous differential equations from a time series // Phys. Rev. E. - 2001. - Vol. 63.

[11] Bhattacharya K. Ghil M. Internal variability of an energy-balance model with delayed albedo effects // J. Atmos. Sci. - 1982. - Pp. 1747-1773.

[12] Bjornsson H., Venegas S. A. — A Manual for EOF and SVD Analyses of Climatic Data. - MCGill University, 1997.

[13] Bock H.G. Recent advances m parameter identification techniques for ODE // Numerical Treatment of Inverse Problems in Differential and Integral Equations / Ed. by P. Deuflhard, E. Hairer. — Boston: Birkhauser, 1983. — Pp. 95-121. http://www.lwr.uni-heidelberg.de/groups/agbock/FILES/Bockl983.pdf.

[14] C. Sparow. The Lorenz Equations: Bifurcations, Chaos and Strange Attractors. — Springer, New York, 1982.

[15] C.M. Bishop. Neural Networks for Pattern Recognition. — Oxford University Press, New York, 1995.

[16] Cybenko G. Approximation by Superpositions of a Sigmoidal Function // Mathematics of Control, Signals, and Systems. — 1989. — Vol. 2. — Pp. 303-314.

[17] D.S. Battisti. The dynamics and thermodynamics of a warming event in a coupled tropical atmosphere/ocean model //J. Atmos. Set. — 1988. — Vol. 45. — Pp. 28892919.

[18] E.J. Kostehch. Problems in estimating dynamics from data // Physica D. — 1992.

- Vol. 58.

[19] E.J. Kostehch, T. Schreiber. Noise reduction in chaotic time-series data: A survey of common methods // Phys. Rev. E. — 1993. — Vol. 48.

[20] Farmer J.D., Sidorowich J J. Predicting chaotic time series // Phys. Rev. Lett. — 1987. - Vol. 59. - Pp. 845-848.

[21] Fraser A.M. Swxnney H.L. Independent Coordinates For Strange Attractors From Mutual Information // Physical Review A. — 1986. — Vol. 33, no. 2. — Pp. 11341140.

[22] G. Gouesbet. Reconstruction of the vector fields of continuous dinamical systems from scalar time series // Phys. Rev. A. — 1991. — Vol. 43.

[23] GILL A., CLARKE A. Wind-induced upwelling, coastal currents and sea-level changes // Deep Sea Research and Oceanographic Abstracts. — 1974. — Vol. 21.

- Pp. 325-345.

[24] Galanti E. Tziperman E. ENSO's phase locking to the seasonal cycle in the fast SST, fast wave, and mixed mode regimes //J. Atmos. Set. — 2000. — Vol. 57. — Pp. 2936-2950.

[25] Ghil M., Allen M. R., Dettmger M. D. et al. Advanced spectral methods for climatic time series // Reviews of Geophysics. — 2002. — Vol. 40, no. 1. — Pp. 1003-1. http://dx.doi.org/10.1029/2000rg000092.

[26] Ghil M., Zahapm /., Thompson S. A delay differential model of ENSO variability: Parametric instability and the distribution of extremes. // Nonlinear Processes m Geophysics. - 2008. - Vol. 15. - Pp. 417-433.

[27] Ghil M. Childress S. Topics in Geophysical Fluid Dynamics: Atmospheric Dynamics, Dynamo Theory, and Climate Dynamics. — Springer Verlag, 1987.

[28] Gill A. E. Some simple solutions for heat-induced tropical circulation // Quarterly Journal of the Royal Meteorological Society. — 1980. — Vol. 106, no. 449. — Pp. 447462. http://dx.doi.org/10.1002/qj.49710644905.

[29] Grassberger P. Schreiber T. Schaffrath C. Nonlinear time sequence analysis // Int. J. Bifur. Chaos. - 1992 - Vol. 58.

[30] H.D.I. Abarbanel. Analysis of Observed Chaotic Data. — New York: Springer-Verlag, 1997.

[31] Horbelt W. Timmer J Voss II. U. Parameter estimation in nonlinear delayed feedback systems from noisy data // Phys. Lett. A. — 2002. — Vol. 299.

[32] Hornik K., Stmchcombe M., White H. Multilayer feedforward networks are universal approximators // Neural Netw. — 1989. — Vol. 2, no. 5. — Pp. 359-366. http: //dx.doi.org/10.1016/0893-6080(89)90020-8.

[33] Hoskms B.J. James I.N. White G.H. The shape, propagation, and mean-flow interaction of large-scale weather systems //J. Atmos. Sci. — 1983. — Vol. 40.

- Pp.1595-1612

[34] Huybers P. Pleistocene glacial variability as a chaotic response to obliquity forcing // Climate of the Past. — 2009. — Vol. 5, no. 3. - Pp. 481-488. http://www. clim-past.net/5/481/2009/.

[35] I. T. Jollife. Principal Component Analysis, Second Edition. — Springer-Verlag, 1986.

[36] J. Hale. Theory of Functional Differential Equations. — Springer Verlag, New York, 1977.

[37] Jaeger L. Kantz H. Unbiased reconstruction of the dynamics underlying a noisy chaotic time series // Chaos. — 1996. — Vol. 6.

[38] Jin F.-F., Neelin J. D. Modes of interannual tropical ocean-atmosphere interaction —a unified view. Part I: Numerical results // J. Atmos. Sci. — 1993. — Vol. 50. — Pp. 3477-3503.

[39] Jin F.-F., Neelin J. D. Modes of interannual tropical ocean-atmosphere interaction —a unified view. Part II: Analytical results in the weak coupling limit // J. Atmos. Sci. - 1994. - Vol. 50. - Pp. 3504-3522.

[40] Judd K Mees A.I. On selecting models for nonlinear prediction // Physica D. — 1995. - Vol. 82.

[41] Kaplan A., Cane M., Kushnir Y. et al. Analyses of global sea surface temperature 1856-1991 // Journal of Geophysical Research. — 1998. — Vol. 103. — Pp. 1856718589.

[42] Kass Robert E., Raftery Adrian E. Tech. Rep.: : DEPARTMENT OF STATISTICS, UNIVERSITY OFWASHINGTON, 1993.

[43] Kennel Matthew B., Brown Reggie, Abarbanel Henry D. I. Determining embedding dimension for phase-space reconstruction using a geometrical construction // Phys. Rev. A. — 1992. — Mar. — Vol. 45. - Pp. 3403-3411. http://link.aps.org/doi/ 10.1103/PhysRevA.45.3403.

[44] Kondrashov D. Kravtsov S. Robertson A.W. Ghil M. A Hierarchy of Data-Based ENSO Models. - 2005.

[45] Kravtsov S. Kondrashov D. Ghil M. Empirical model reduction and the modelling hierarchy in climate dynamics and the geosciences // Stochastic physics and climate modeling. Cambridge University Press, Cambridge. — 2009. — Pp. 35-72.

[46] Kullback S., Leibler R. A. On Information and Sufficiency // Ann. Math. Statist. — 1951. - Vol. 22, no. 1. - Pp. 79-86.

[47] Lorenz N. Edward. Deterministic non-periodic flows // Journal of Atmospheric Science. — 1963.

[48] Loskutov E.M. Molkov Ya.I. Mukhin D.N. Feigm A.M. Reconstruction of high dimensional dynamic systems from time series by stochastic models // Geophysical Research Abstracts. — Vol. 10. — 2008.

[49] Lupo A.R. Kelsey E.P. Weithch D.K. Mokhov I.I. Akyuz F.A. Guman P.E. Woolard J. E. Interannual and interdecadal variability in the predominant Pacific Region SST anomaly patterns and their impact on a local climate // Atmosfera. — 2007. — Vol. 20. - Pp. 171-196

[50] M. Casdagh. Nonlinear prediction of chaotic time series // Physica D. — 1989. — Vol. 35.

[51] M. Scheffer. Critical Transitions in Nature and Society. — Princeton University Press, Princeton and Oxford, 2009

[52] Murray lam, Ghahramani Zoubm. A note on the evidence and Bayesian Occam's razor: Tech. Rep. GCNU-TR 2005-003: Gatsby Computational Neuroscience Unit, University College London, 2005.

[53] Navarra A., Simoncini V. A Guide to Empirical Orthogonal Functions for Climate Data Analysis. — Springer Vcrlag, 2010.

[54] Neal Radford M. Probabilistic inference using Markov chain Monte Carlo methods: Tech. Rep. Tech. Rep. CRG-TR-93-1: Department of Computer Science, University of Toronto Toronto, Ontario, Canada, 1993.

[55] Powell J.D. Approximation Theory and Methods. — Cambridge University Press, 1981. http://books.google.ru/books?id=0DZ10YR3w4cC.

[56] R. Brown. Orthogonal polynomials as prediction functions in arbitrary phase space dimensions // Phys. Rev. E. - 1993. — Vol. 47.

[57] Schwarz Gideon. Estimating the Dimension of a Model // The Annals of Statistics. — 1978. - Vol. 6, no. 2. - Pp. 461-464. http://dx.doi.org/10.2307/2958889.

[58] Swia D.S. Data Analysis • A Bayesian Tutorial. Oxford science publications. — Oxford University Press, 1996.

[59] Smirnov D. Bezruchko B., Ye. Seleznev. Choice of dynamical variables for global reconstruction of model equations from time scries // Phys. Rev. E. — 2002. — Vol. 65.

[60] Stark J., Broomhead D. S., Davies M. E., Huke J. Takens embedding theorems for forced and stochastic systems // Nonlinear Anal. — 1997. — Vol. 30, no. 9. — Pp. 5303-5314. http://dx.doi.org/10.1016/S0362-546X(96)00149-6.

[61] Suarez Max J, Schopf Paul S. A delayed action oscillator for ENSO // Journal of the atmospheric Sciences. — 1988. — Vol. 45, no. 21. - Pp. 3283-3287.

[62] Sun C., Hao Z., Ghil M., Neehn J.D. Data Assimilation for a Coupled Ocean-Atmosphere Model. Part I: Sequential State Estimation // Mori. Wea. Rev. — 2002. - Vol. 130. - Pp. 1073-1099.

[63] Takens Floris. Detecting strange attractors in turbulence Dynamical Systems and Turbulence, Warwick 1980 // Dynamical Systems and Turbulence. — 1981. — Vol. 898. — Pp. 366-381. http://dx.doi.org/10.1007/bfb0091924.

[64] Tokunaga R. Kajiwara S., T. Matsumoto. Reconstruction bifurcation diagrams only from time-waveforms // Physica D. — 1994. — Vol. 79.

[65] Trenberth K. E. The Definition of El Niño // Bulletin of the American Meteorological Society. - 1997. - Vol. 78.

[66] Tziperman E. Stone L. Cane M.A. Jarosh H. El Niño chaos: Overlapping of resonances between the seasonal cycle and the Pacific ocean-atmosphere oscillator // Science-A A AS-Weekly Paper Edition-including Guide to Scientific Information. — 1994. - Vol. 264, no. 5155. - Pp. 72-73.

[67] U. Parhtz. Identification of true and spurious Lyapunov exponents from time series // Int. J. Bif. Chaos. - 1992. - Vol. 2. - Pp. 155-165.

[68] Van Huffel S. Vandewalle J. The total least squares problem. — Philadelphia: SIAM, 1991.

[69] Volodin E. M., Dianskn N. A., Gusev A. V. Simulating present-day climate with the INMCM4.0 coupled model of the atmospheric and oceanic general circulations // Izvestiya Atmospheric and Oceanic Physics. — 2010. — Vol. 46, no. 4. — Pp. 414431. http://dx.doi.org/10.1134/s000143381004002x.

[70] Wikle Christopher K. Spatio-Temporal Methods In Climatology.

[71] Zebiak S. E., Cane M. A. A model El Nino-Southern Oscillation // Mon. Wea. Rev. - 1987. - Vol. 115. - Pp. 2262-2278.

[72] Zhao Y. Small M. A new look at the statistical model identification // IEEE Transactions on Automatic Control. — 1974. — Vol. 19, no. 6. — Pp. 716-723. http://dx.doi.org/10.1109/tac.1974.1100705.

[73] on Climate Change Intergovernmental Panel. IPCC Third Assessment Report -Climate Change 2001. - 2001.

[74] A.H. Горбанъ. Обобщенная аппроксимационная теорема и вычислительные возможности нейронных сетей // Сибирский журнал вычислительной математики. - 1998. - Vol. 1.

[75] Анищенко B.C. Вадивасова Т.Е. Астахов В.В. Нелинейная динамика хаотических и стохастичеких систем. — Саратов: Изд. Саратовского университета, 1999.

[76] Анищенко B.C. Павлов А.Н Янсон Н.Б. Реконструкция динамических систем в приложении к решению задачи защиты информации // ЖТФ. — 1998. — Vol. 68.

[77] Арпе К. Венгтссон Л. Голицын Г.С. Мохов И.И. Семенов В.А. Спорышев П.В. Анализ и моделирование изменений гидрологического режима в бассейне Каспийского моря // Доклады РАН. - 1999. - Vol. 366. — Pp. 248-252.

[78] Везручко В.П. Смирнов Д. А. Математическое моделирование и хаотические временные ряды. — Саратов: ГосУНЦ "Колледж", 2005.

[79] Везручко Б.П. Диканев Т.В. Смирнов Д.А. Глобальная реконструкция модельных уравнений по реализации переходного процесса // Изв. ВУЗов - Прикладная нелинейная динамика. — 2001. — Vol. 9.

[80] В. П. Дымников. Устойчивость и предсказуемость крупномасштабных атмосферных процессов. — Москва, Изд-во ИВМ РАН, 2007.

[81] Грибков Д.А. Грибкова В.В. Кравцов Ю.А. и др. Восстановление структуры динамической системы по временным рядам // Радиотехника и электроника. — 1994. - Vol. 39

[82] Дмитриев А.С. Панас А.И. Динамический хаос: новые носители информации для систем связи. — М.. Физматлит, 2002.

[83] Молъков Я. И. Фейгин A.M. Прогноз качественного поведения динамических систем по зашумленным временным рядам // Сборник лекций: Нелинейные волны 2002 / Ed. by В.И. Некоркин A.B. Гапонов-Грехов. — Н.Новгород: ИПФ РАН, 2002.

[84] Н.Г. Макаренко. Фракталы, аттракторы, нейронные сети и все такое // Труды IV Всероссийской научн.-техн. конф. "Нейроинформатика-2002". Часть 2. — 2002.

[85] Павлов А.Н. Янсон Н.Б. Анищенко В. С. Реконструкция динамических систем // Радиотехника и электроника. — 1999. — Vol. 44.

[86] Турчин В.Ф. Козлов В. П. Малкевич М.С. Использование методов математической статистики для решения некорректных задач // Успехи физических наук. - 1970. - Vol. 102. - Р. 345.