Методы и технологии локальной динамической настройки гидрометеорологических моделей на основе данных натурного эксперимента в условиях неопределенности тема диссертации и автореферата по ВАК РФ 05.13.18, кандидат наук Никитин Николай Олегович

• Никитин Николай Олегович
• кандидат наук
• 2020

Оглавление диссертации кандидат наук Никитин Николай Олегович

Реферат

Synopsis

Введение

1 Подходы к настройке математических моделей гидрометеорологических процессов

1. 1 Численные математические модели гидрометеорологических процессов

1.2 Методы настройки гидрометеорологических моделей

1.3 Формальные методы оптимизации для настройки гидрометеорологических моделей

1.4 Интеллектуальные методы оптимизации для настройки гидрометеорологических моделей

1.5 Сравнительный анализ методов оптимизации для задач настройки ГММ в условиях неопределенности

1.6 Выводы к главе

2 Методы и алгоритмы настройки гидрометеорологических моделей в условиях неопределенности и ограничений по времени

2.1 Обобщенная постановка задачи динамической настройки параметров моделей гидрометеорологических процессов

2.2 Численный ансамблевый эволюционный метод настройки моделей

2.3 Суррогатный алгоритм настройки моделей в условиях динамического ограничения по времени выполнения оптимизации

2.4 Численный метод адаптации модели с помощью непрямого усвоения данных натурных экспериментов

2.5 Выводы к главе

3 Программный комплекс для адаптации вычислительных гидрометеорологических моделей к локальным условиям

3. 1 Технология настройки ГММ в рамках жизненного цикла

3.2 Программный комплекс для локальной настройки гидрометеорологических моделей

3.3 Экспериментальные исследования программного комплекса

3.4 Программная технология структурной оптимизации инженерных сооружений с помощью гидрометеорологических моделей

3.5 Выводы к главе

4 Экспериментальные результаты применения разработанных методов и алгоритмов динамической настройки гидрометеорологических моделей

4.1 Результаты применения эволюционных методов идентификации числовых параметров моделей

4.2 Результаты применения суррогатного алгоритма для настройки параметров гидродинамической модели в условиях временных ограничений

4.3 Результаты непрямого усвоения данных натурных экспериментов в локальную модель

4.4 Выводы к главе

Заключение

Список сокращений и условных обозначений

Перечень терминов, использующихся в работе

Список литературы

Публикации автора по теме диссертации

Реферат

Актуальность темы исследования обусловлена широким применением методов математического моделирования для решения научных и инженерных задач, учитывающих различные аспекты взаимодействия природных и техногенных объектов. Большая сложность адаптации современных математических моделей к конкретным постановкам задач делает необходимым развитие методов автоматизированной настройки компьютерных реализаций моделей с целью повышения качества исторических и прогнозных расчетов, а также минимизации участия предметных специалистов в решении рутинных, неинтеллектуальных задач, связанных с настройкой моделей.

Под настройкой моделей в широком смысле понимается совокупность действий, определяющих структуру, параметры и условия использования эмпирической части их численной реализации (т.е. той части, которая не основывается на первых принципах -естественных законах природы, представленных в виде уравнений) и в совокупности обеспечивающих высокую степень адекватности, оцениваемую на основе анализа согласованности результатов моделирования и данных натурных экспериментов.

Основными проблемами здесь являются высокая степень неопределенности, возникающей на различных этапах настройки и использования численных моделей, пространственно-временная динамика условий, для которых выполняется настройка, высокая вычислительная сложность компьютерных реализаций современных численных моделей, а также наличие динамических ограничений по времени настройки, доступности и качеству данных натурных экспериментов. Без их преодоления невозможна качественная автоматизированная настройка численных моделей, в том числе в оперативных режимах эксплуатации. Поэтому в настоящий момент высока потребность в разработке методов, позволяющих комплексно решать задачи динамической пространственно-временной настройки таких моделей в условиях неопределенности. Ключевая особенность, не позволяющая эффективно применять существующие подходы к решению задач оптимизации, состоит в том, что данные, используемые при настройке численных моделей, представляют собой фрагменты реализаций случайных процессов и пространственно-временных полей, объективно обладающих многомасштабной изменчивостью. Это влияет не только на формулировку самой целевой функции (которая, по сути, становится случайной), но и на возможность определения оптимума как статистической оценки. Как следствие, при такой постановке задачи необходимо использовать специализированные методы и вычислительные алгоритмы оптимизации

для настройки конфигураций компьютерных реализаций математических моделей, что и рассматривается в диссертации на примере моделей гидрометеорологических процессов (ГММ) и их компьютерных реализаций.

Введение диссертации (часть автореферата) на тему «Методы и технологии локальной динамической настройки гидрометеорологических моделей на основе данных натурного эксперимента в условиях неопределенности»

Степень разработки проблемы

Настройкой численных моделей занимаются многие ученые, например, В.А. Кузьмин, работы которого посвящены созданию методов автоматизированной калибровки параметров моделей гидрологических процессов [11, 12]; Г. Мадсен, который изучал вопросы калибровки параметров в рамках решения задач управления моделями [82]; Х. Гупта, в работах [54] которого сравнивается эффективность экспертной и автоматической настройки. Применение методов оптимизации для решения различных задач рассматривается в классических работах Б.Т. Поляка [16]. Подходы к повышению эффективности методов оптимизации с помощью параллельных и распределенных вычислений изучаются в работах научных школ В.П. Гергеля [20] и А.П. Афанасьева [1]. Исследованиями в области решения многокритериальных задач оптимизации занимается В.В. Подиновский [15]. Однако в настоящее время всё ещё не предложены подходов, позволяющие комплексно решать практические задачи локальной динамической настройки численных моделей в условиях неопределенности.

Целью работы является повышение качества компьютерного моделирования явлений реального мира посредством разработки методов, алгоритмов и реализующих их программных комплексов локальной динамической настройки численных моделей, позволяющих эффективно выполнять настройку с минимальным привлечением предметных специалистов.

Задачами работы являются:

- выбор подходов к настройке компьютерных реализаций численных моделей, которые должны быть использованы для решения задачи настройки с учетом неопределенности, и их обоснование на основе аналитического обзора;

- формализация постановки задачи настройки численных моделей в условиях неопределенности и разработка соответствующих численных методов и алгоритмов;

- разработка технологии адаптации численных моделей к локальным условиям за счет совокупного применения разработанных методов и алгоритмов (включая разработку суперкомпьютерного программного комплекса, реализующего данную

технологию и обеспечивающего её применение посредством взаимодействия с распределенной вычислительной инфраструктурой);

- подготовка, проведение вычислительных экспериментов, подтверждающих эффективность разработанных методов и алгоритмов, а также их применимость для решения реальных задач настройки ГММ, анализ результатов экспериментов.

Научная новизна заключается в том, что: (1) предложен численный метод определения параметров вычислительно-емких гидрометеорологических моделей на основе данных натурного эксперимента посредством применения эволюционных вычислений с ансамблевой целевой функцией, обеспечивающий эффективность на 1540% выше, чем у аналогов; (2) для обеспечения контролируемой точности метода в условиях временных ограничений предложен алгоритм, выполняющий управление гиперпараметрами суррогатной модели для аппроксимации целевой функции с динамическим временным и пространственным разрешением.

Методы исследования. В данной работе использованы методы теории алгоритмов, методы численной оптимизации, методы теории вероятности и математической статистики, методы численного моделирования и проведения экспериментальных исследований.

На защиту выносятся:

- численный метод ансамблевой эволюционной настройки вычислительных моделей с учетом присутствующей в задаче неопределенности, обусловленной абстракцией самой модели и изменчивостью исходных данных, а также реализующий его комплекс программ;

- суррогатный эволюционный алгоритм настройки математических моделей в условиях неопределенности с учетом динамического ограничения на время выполнения расчетов, а также реализующий его комплекс программ.

Теоретическую значимость работы определяет расширение классической постановки задачи настройки численных моделей как задачи оптимизации посредством учета неопределенностей, обусловленных многомасштабной изменчивостью входных данных, а также фрагментарностью данных натурного эксперимента, в условиях динамических ограничений на время получения результата. Полученные методы и алгоритмы могут использоваться для настройки гидрометеорологических моделей, а

также адаптироваться для настройки моделей иных предметных областей, обладающих

сходными свойствами.

Практическую значимость работы определяют:

- разработанный программный комплекс, предназначенный для решения задач настройки гидрометеорологических моделей в условиях неопределенности;

- расширение научно-практического инструментария специалистов-гидрометеорологов методами и алгоритмами для решения сложных задач настройки гидрометеорологических моделей.

Личный вклад автора в работах, выполненных в соавторстве, заключается в:

- [1]: Никитин Н.О. - разработка методов и алгоритмов суррогатной настройки моделей с учетом временных ограничений, выполнение экспериментальных исследований для проверки эффективности разработанных подходов (60 %); Калюжная А.В., Ковальчук С.В. - формализация постановки задачи, разработки критериев качества для оценки эффективности алгоритмов (20 %); Вычужанин П.В., Хватов А.А., Деева И.Ю. - программная реализация управляющих алгоритмов для тестового стенда, развертывание и конфигурирование гидрометеорологических моделей (20 %).

- [2]: Никитин Н.О. - разработка методов и алгоритмов ансамблевой настройки моделей с учетом неопределенности, разработка методов ансамблирования скалярных и векторных полей (45 %); Калюжная А.В. - формализация постановки задачи, проработка подходов к различным типам ансамблирования (10 %); Вычужанин П.В. - тестирование различных эволюционных алгоритмов, программная реализация методов и алгоритмов, развертывание и конфигурирование гидрометеорологических моделей (45 %).

- [3]: Никитин Н.О. - разработка метода непрямой коррекции внутренних переменных модели, программная реализация блока непрямой коррекции в рамках модели NEMO-LIM3, выполнение экспериментальных исследований на примере коррекции значений толщины и сплоченности морского льда (40 %); Хватов А.А., Калюжная А.В., Косухин С.С - разработка методов задания граничных условий в многосеточных моделях, разработка методов оптимизации проекций расчетных сеток, экспериментальных исследования эффективности разгона различных конфигураций модели NEMO-LIM3.

[4]: Никитин Н.О. - разработка метода генерации синтетических временных рядов для создания ансамблевых массивов данных (30 %); Деева И. Ю. -разработка методов выявления паттернов во временных рядах с помощью разреженной регрессии; Калюжная А.В. - формализация подходов к выявлению паттернов в гидрометеорологических данных.

[5]: Никитин Н.О. - разработка алгоритма эволюционной и коэволюционной настройки параметров ГММ и выполнение экспериментальных исследований, посвященных усвоению данных в параметры ГММ (15 %). Ковальчук С.В., Калюжная А.В., Боченина К.О. - разработка теоретической постановки стратегий управления сложными системами и выделения для них различных шаблонов (35%). Мецкер О.Г., Функер А.А., Кисляковский И.О., Ваганов Д.А. - реализация алгоритмов управления сложными системами в рамках различных предметных приложений (50%).

[6]: Никитин Н.О. - разработка и тестирование эволюционного алгоритма настройки параметров ансамбля ГММ и выполнение экспериментальных исследований для оценки эффективности алгоритма (15 %). Ковальчук С.В., Калюжная А.В., Боченина К.О. - разработка обобщаемых методов эволюционной идентификации структуры и параметров моделей сложных систем (30%). Мецкер О.Г., Функер А.А., Кисляковский И.О., Ваганов Д.А. - реализация алгоритмов эволюционной идентификации структуры моделей в рамках различных предметных приложений (55%).

[7]: Никитин Н.О. - разработка и тестирование эволюционного алгоритма для настройки параметров ансамбля моделей (40 %); Бухановский А.В., Калюжная А.В., Боченина К.О. - формализация задачи применения эволюционных алгоритмов для поддержки принятия решений в сфере финансов (30%); Кудряшов А.А., Утеуов А.К., Деревицкий И.В. - обучение и тестирование модели классификатора на различных данных (30%).

[8]: Никитин Н.О. - разработка и тестирование эволюционного алгоритма для настройки параметров ансамбля гидрометеорологических моделей (40 %); Калюжная А.В. - формализация задачи заполнения временных и пространственных пропусков в данных; Арайа Лопес Х.Л. - разработка методов заполнения пропусков и удаления выбросов из массивов гидрометеорологических данных.

[9]: Никитин Н.О. - разработка методов построения параметрических моделей синтетических гидрометеорологических явлений и создания на их основе ансамблированных массивов данных (40 %); Калюжная А.В. - формализация

задачи построения моделей синтетических явлений; Вишератин А.А., Спирин Д.С. - выполнение экспериментальных исследований на примере циклонов в Балтийском море.

Степень достоверности и апробация результатов

Достоверность научных результатов и выводов обусловлена формальностью подстановки задачи, корректностью применения математического аппарата, сопоставлением результатов моделирования с измерениями.

Полученные результаты обсуждались на десяти международных и всероссийских научных конференциях, семинарах и совещаниях:

- Young Scientists Conference in Computational Science (2016, г. Краков; 2017, г. Котка; 2018-2019, г. Ираклион);

- International Conference on Computational Science (2018, г. Уси; 2019, г. Фаро);

- Genetic and Evolutionary Computation Conference (2018, г. Киото; 2019, г. Прага);

- «Современные проблемы гидрометеорологии и устойчивого развития Российской Федерации» (2019, Санкт-Петербург);

- V Всероссийская научная конференция молодых ученых "Комплексные исследования Мирового океана" (2020, Калининград - прошла в онлайн-формате).

По материалам диссертации опубликовано 9 печатных работ в изданиях, индексируемых в Scopus, а также получено 5 свидетельств о регистрации программ для ЭВМ.

Структура диссертационной работы:

Диссертационная работа состоит из введения, заключения, четырех глав и списка использованной литературы (129 источников). Содержит 124 страницы текста, включая 40 рисунков и 8 таблиц.

СОДЕРЖАНИЕ РАБОТЫ Во введении обоснована актуальность исследуемой проблемы, сформулированы цели и задачи исследования, описаны положения, определяющие научную новизну и значимость работы.

В первой главе описана проблема обеспечения качества численного моделирования в различных условиях. В течение последних десятилетий стало обычной практикой получать информацию о процессах реального мира из результатов моделирования с помощью различных численных методов. Моделирование может

выполняться в различных масштабах пространства и времени. В современной парадигме моделирования численная модель понимается не только как совокупность математических абстракций; неотъемлемой частью модели является её компьютерная реализация в виде программного комплекса.

В качестве примера можно привести задачу настройки компьютерных реализаций гидрометеорологических моделей, применяемых для регионального моделирования, которые должны быть настроены для достоверного воспроизведения гидрометеорологической обстановки в определенной акватории, на конкретном временном интервале, или в присутствии заданных природных явлений. Для оценки достоверности воспроизведения используются метрики качества моделирования, основанные на сравнении с результатами натурных экспериментов.

Среди методов настройки, используемых в научно-инженерной практике, можно выделить усвоение данных, статистическую посткоррекцию, настройку значений параметров. Настройку параметров модели, как правило, сводят к задаче оптимизации. Общая структура численной модели, включающая несколько видов параметров, а также связанные с ними задачи настройки показаны на рисунке 1.

Модель А: /Л'./-.// ->}'

Выходные параметры Г

ф

^ я

ш а-

.=- (С

л Ф о. ^

® I

¥

га т

га 5-

Входные параметры

Х.Е

Управляемые параметры

Независимые параметры

Внутренние параметры I

0)

Числовые ^

Ф 3" ^ 3 ф I 5

Функциональ 1-со 1-о 3 - о ® а §

ные ^ 5 ^

си 2 £

^ Ф Ф

Структурные со X ф х СГ

Результаты моделирования

Наблюдения моделируемого процесса

Неопределённость модели и измерений

-А

о о.

Б

ш

X

а.

ф

о. 1=

Настройка I

с учетом I I

конкретной I 1

задачи I

Калибровка из физических принципов

Настройка без учета конкретной задачи

Постановки задачи оптимизации (с учетом неопределенности)

Усвоение данных

Корректировка начальных условий в задачах прогноза

Непрерывная оптимизация

Комбираторная оптимизация

Настройка числовых параметров; выбор структуры модели и функциональных параметров

Посткоррекция

Моделирование исторических ситуаций

Рисунок 1 - Общая структура численной модели и методы её настройки

Для обоснования выбора перспективных подходов к решению оптимизационной задачи выполнен аналитический обзор формальных (переборные, градиентные, байесовские методы) и интеллектуальных (имитация отжига, муравьиный алгоритм, рой частиц, эволюционные алгоритмы) численных методов оптимизации, затрагивающий аспекты их применимости к настройке гидрометеорологических моделей, сравниваются их преимущества и недостатки. Отдельно рассматривается применение данных методов именно для задач настройки гидрометеорологических моделей, анализируются возможные подходы к повышению их эффективности (например, применение суррогатного моделирования в ходе оптимизации).

Для сравнения различных групп методов оптимизации предложено несколько критериев: критерий необходимого числа запусков исходной модели, критерий пригодности для работы с большим числом параметров, критерий пригодности для решения многокритериальных задач, критерий устойчивости к наличию неопределенности. На основе анализа их значений предлагается использовать для задач локальной настройки моделей в условиях наличия неопределенности эволюционные алгоритмы (в т. ч. - суррогатные). Однако не все задачи их практического применения решены в достаточной мере, поэтому требуется разработка методов, специализированных именно под задачи локальной динамической настройки параметров моделей в условиях неопределенности.

В главе 2 дается обобщенная математическая постановка задачи динамической настройки параметров моделей гидрометеорологических процессов в условиях неопределенности, а также описываются разработанные методы и алгоритмы настройки гидрометеорологических моделей. Основные результаты этой главы отражены в работах [1-7, 9].

В разделе 2.1 описана обобщенная постановка задачи динамической настройки моделей гидрометеорологических процессов. Иерархия подходов к настройке ГММ в виде древовидного представления показана на рисунке 2. В рамках автоматизированного подхода задача настройки может быть сформулирована как задача оптимизации, поэтому в качестве алгоритмических методов настройки могут быть применены описанные ранее формальные и интеллектуальные методы оптимизации

Рисунок 2 - Древовидная иерархия классификации подходов в области настройки ГММ. Цветом показаны классы походов, к которым относятся реализованные в данной главе

методы и алгоритмы

С точки зрения задачи оптимизации ГММ является вычислительно сложным «черным ящиком» (expensive black-box function). Фактически для решения задачи применяется некоторый оператор модели Jf, преобразующий входные данные в результаты моделирования с учетом набора параметров. Задача моделирования с учетом неопределенности может быть формализована в виде:

wo = по + Е^СО = я-(0(о | т) + (1)

Vt rue (О = Yobs(t) + ïobs(t), где У true - истинное состояние моделируемого процесса, У0ъ5 - состояние моделируемого процесса по данным измерений, Y - результаты моделирования, - оператор

гидрометеорологической модели, t - переменная времени, - граничные условия моделирования, 0 - набор физических параметров модели, £ть(0 - неопределенность, объясняемая несовершенством модели и граничных условий для нее, £Obs(0 -неопределенность, объясняемая ошибками измерений.

Задачу динамической оптимизации в условиях неопределенности в обобщенном виде можно записать как:

®oVt(j)= агдтЫвФ(&и т), (2)

{хк>Ук) с с, te^cr, 0 =0 в*?!, вр е

у ю = х(©атсо)+Е'тЬ(о, к ЙГЪ = rSf^co + ewo

e'mbCO » E'obs(t)> Е' « е'жйСО,

где Ф - динамическая целевая функция (dynamic objective function), /j - ансамблевый динамический критерий в постановке многокритериальной оптимизации, Q - оператор многокритериального преобразования, G - расчетная сетка ГММ, {х^, у^} - координаты точек, обеспеченных измерениями, в системе координат расчетной сетки, n - число шагов по времени, N - число критериев для оптимизации, p - индекс параметра модели, i -индекс критерия оптимизации, т - интервал модельного времени, на котором выполняется оптимизация, е'mb (t) - реализация вектора неопределенности ГММ и граничных условий, которая может быть получена по результатам численных экспериментов, £'ой5(0 -реализация вектора неопределенности измерений, которая может быть получена по результатам анализа измерений.

В разделе 2.2 приведено описание разработанного метода настройки моделей REBEC (Robust Ensemble-Based Evolutionary Calibration), основанного на применении ансамбля граничных условий для обеспечения робастности. Метод основывается на выполнении следующих шагов:

1) построение ансамбля входных данных, неопределенность в котором учитывается с помощью искусственно внесенного разнообразия, для чего может применяться:

1. 1 стохастическое ансамблирование;

1.2 ансамблирование на основе синтетических моделей;

1.3 мультимодельное ансамблирование;

2) создание целевой функции на основе набора критериев качества модели, вычисляемых с учетом результатов ансамблевого моделирования;

3) выполнение многокритериальной оптимизации на основе одного из подходов:

3.1. эволюционная оптимизация на основе робастной целевой функции (для стохастических ансамблей);

3.2. коэволюционная оптимизация (для синтетического или мультимодельного ансамбля);

4) идентификация парето-оптимальных наборов параметров и валидация полученных конфигураций модели с использованием данных натурных экспериментов.

Ансамблевый подход к решению задачи настройки ГММ позволяет учесть неопределенность модели и измерений и на основе этого реализовать робастный алгоритм для решения оптимизационной задачи. В общем смысле ансамбль характеризуется функцией распределения, таким образом, элементы ансамбля формируют выборку из этого распределения. В смысле оценки неопределенности модели ансамбль характеризует неопределенность ожидаемого результата моделирования. Ансамбль YA результатов моделирования ГММ можно записать как выборку из определенным образом заданной функции распределения:

Ya~F(Y, В), (3)

где F - функция распределения с априори известными параметрами В, зависящая от результатов моделирования У.

Моделирование в форме ансамбля на основе метода Монте-Карло дает широкие возможности для учета сразу нескольких видов неопределенности за счет априори заданной функции распределения, при этом формально оставаясь в рамках задачи поиска оптимальных параметров модели. Для этого необходимо выразить (3) через ансамбль параметров модели и граничных условий:

Вл-РУЫ, В),

YA=H(QAlZA-), (4)

где - ансамбль параметров ГММ, идентифицируемых в ходе решения задачи оптимизации, Нд - ансамбль граничных условий, априори заданный функцией распределения.

С учетом предложенной ансамблевой реализации (4), задача оптимизации формулируется как:

©гойО) = argmine$(@A I Za,t), (5)

I Н*т) = 5(1, (@А(г) | е^.уЙ^Ю),

{хк,ук} с С, tGT,TCi, 0 =<g> 0pJ=* вр £ [в^в™*],

где 0гой - оптимальный набор параметров ГММ, ИА - ансамблевая реализация граничных условий, Ф - оператор составной целевой функции, ft - ансамблевый критерий.

Первый этап подготовки ансамбля - добавление разнообразия (diversity) с заданным законом распределения в возмущающие факторы модели (в случае ГММ это могут быть, например, поля, используемые в качестве граничных условий).

Граничные условия гидрометеорологических моделей, как правило, задаются в виде пространственно-временных полей. Ансамбль граничных условий при этом может формироваться как выборка из многомерного распределения вероятностей (в момент

времени ^ того процесса, по которому задано граничное условие (в обобщенном виде показано в формуле (4)).

При этом вероятностные характеристики разнообразия можно задавать не в каждой точке поля, а лишь в некотором наборе точек-источников, от количества которых будет зависеть разнообразие в ансамбле. Выбор пространственного размещения точек-источников может задаваться: (1) на основе имеющейся информации о пространственно-неоднородной ошибке моделирования (точки тяготеют к районам с большей ошибкой), (2) в зависимости от покрытия района измерительными станциями (точки тяготеют к районам с меньшим количеством измерений), (3) равномерно по расчетной сетке (при отсутствии данных (1) и (2)). В алгоритме реализовано равномерное распределение точек-источников как наиболее универсальный подход.

Для выполнения оптимизации параметров ГММ на основе созданного ансамбля реализаций граничных условий реализован ансамблевый эволюционный алгоритм. Он основан на применении робастной ансамблевой целевой функции совместно в многокритериальной эволюционной оптимизацией параметров ГММ.

Взаимодействие между данными, алгоритмами и моделями в рамках ансамблевого метода показано на рисунке 3.

tocean-sensitive engineering task Scenario-based noise —L L_ Evolutionary algorithm

Perturbed input datasets -J i Parameters j 1 Output datasets

Model Set 1

Train Set 1 Observations Set...

Train Set... Set N

Train Set N II 4 I

Robust fitness function

Operational input datasets j i Optimal parameters J Output dataset b

0 -S - —\ —/ Test set Model Forecast

Рисунок 3 - Схема взаимодействия ансамблевого оптимизационного метода и

настраиваемой ГММ

В качестве основы для решения задачи оптимизации выбран эволюционный алгоритм многокритериальной оптимизации SPEA2. Блок-схема реализации ансамблевого эволюционного алгоритма настройки ГММ показана на рисунке 4.

Рисунок 4 - Блок-схема алгоритма ансамблевой настройки ГММ в условиях

неопределенности

Помимо описанного стохастического подхода к ансамблированию, возможен и иной подход, основанный на совместном применении нескольких ГММ. В данном случае ансамбль используется не только на этапе настройки, но и при выполнении итогового моделирования. Для выявления оптимальных параметров моделей в таком ансамбле выполнена реализация коэволюционных алгоритмов в рамках описываемого метода ансамблевой настройки.

Принцип применения коэволюционного подхода для оптимизации параметров ансамбля моделей состоит в создании нескольких популяций (каждая соответствует одному элементу ансамбля), селекция для которых производится не индивидуально, а совместно. Коэволюционный алгоритм целесообразно применять, когда ансамблирование применяется не только на этапе настройки модели, но и при их совместном применении для решения ретроспективных или прогнозных задач.

В разделе 2.3 приведен суррогатный алгоритм настройки ГММ с ограничением на максимальное время решения задачи оптимизации, а также описан решающий данную задачу алгоритм.

Общая идея применения суррогатного моделирования в задачах оптимизации заключается в аппроксимации сложной для вычисления целевой функции с помощью

построения вычислительно более простой функции, принимающей на вход те же параметры.

В классической постановке задачи настройки параметров временным ограничениям на решение такой задачи оптимизации обычно не уделяется особенного внимания. Ограничение по времени оптимизации может носить динамический характер -т. е. крайний срок, к которому оптимизация должна быть окончена, может заменяться как на более ранний, так и на более поздний.

Для подходов на основе эволюционной суррогатной оптимизации основная задача настройки ГММ с учетом ограничения по времени, доступному для выполнения алгоритма (deadline-driven), состоит в том, чтобы сформировать такой сценарий оптимизации, который позволит наиболее эффективно найти оптимальное решение при наличии динамического временного ограничения.

Алгоритм настройки моделей в условиях динамического ограничения по времени выполнения оптимизации состоит из двух крупных функциональных блоков:

1) суррогатная эволюционная оптимизация параметров с управлением детализацией модели в ходе оптимизации;

2) настройка ГММ в условиях динамического ограничения по времени выполнения оптимизации.

Суррогатная эволюционная оптимизация основана на аппроксимации целевой функции с помощью регрессионной модели и использовании полученных значений вместо их реального вычисления с помощью запуска ГММ, что позволяет ускорить сходимость эволюционного алгоритма и снизить вычислительные затраты. В ходе оптимизации детализация ГММ, на основе которой вычисляется целевая функция, для которой строится суррогатная модель, может меняться (например, с помощью изменения разрешения модели).

Каждая итерация алгоритма начинается с расчета целевой функции для каждого индивида в популяции. Индивиды текущего поколения сравниваются с лучшим найденным решением (которое сохраняется в ходе эволюции) по значениям фитнес-функции, поэтому, если был найден новый минимум, суррогат должен быть уточнен с добавлением новых точек, близких по расстоянию к найденному в пространстве параметров минимуму. Если после заданного количества поколений Gref новый минимум не найден, детализация (fidelity) модели, используемой для построения суррогата, увеличивается. Таким образом, суррогатная модель уточняется двумя способами -добавлением новых точек вокруг окрестности найденного минимума и переходом к

Список литературы диссертационного исследования кандидат наук Никитин Николай Олегович, 2020 год

Список литературы

Печатные издания на русском языке

1. Афанасьев А. П. и др. Программный комплекс для решения задач дискретной оптимизации на распределенных вычислительных системах // Труды Института системного анализа Российской академии наук. - 2006. - Т. 25. - С. 5-17.

2. Ашихмин В. Н. Введение в математическое моделирование: учебное пособие. М.: ЛОГОС, 2005. - 440 с.

3. Белевич М. Ю. Математическое моделирование гидрометеорологических процессов: основные вычислительные идеи и методы. Уч. пособие. СПб: Изд. РГГМУ, 2000.

4. Боженюк Н. Н., Стрекалов А. В. Некоторые приемы адаптации гидродинамической модели к истории разработки // Нефтегазовое дело. - 2016. - Т. 14. - № 2. - С. 42-49.

5. Бурнаев Е. В., Приходько П. В. Методология построения суррогатных моделей для аппроксимации пространственно неоднородных функций // Труды Московского физико-технического института. - 2013. - Т. 5. - № 4 (20).

6. Григоров Н. О., Саенко А. Г., Восканян К. Л. Методы и средства гидрометеорологических измерений. Метеорологические приборы. Учебник. СПб: РГГМУ, 2012.

7. Зарипов Р. Б. Обзор современных методов повышения детализации метеорологических полей // Динамика окружающей среды и глобальные изменения климата. - 2010. - Т. 1. -№ 1. - С. 4-16.

8. Иванов С. В., Бухановский А. В. Анализ неопределенности предсказательного моделирования сложных систем: усвоение данных и ансамблевые технологии // Изв. вузов. Приборостроение. - 2013. - Т. 56. - № 12.

9. Каневский М. Ф. и др. Элементарное введение в геостатистику // Проблемы окружающей среды и природных ресурсов. Обзорная информация. М.: ВИНИТИ. - 1999. - № 11.

10. Карпенко А. П. Современные алгоритмы поисковой оптимизации. Алгоритмы, вдохновленные природой. М.: Изд-во МГТУ им. Н.Э. Баумана, 2014. - Т. 448. - С. 11.

11. Кузьмин В. А. Основные принципы автоматической калибровки

многопараметрических моделей, используемых в оперативных системах прогнозирования дождевых паводков // Метеорология и гидрология. - 2009. - №. 6. - С. 74-85.

12. Кузьмин В. А. Фундаментальные основы и методология автоматической калибровки многопараметрических гидрологических моделей: дис. - Рос. гос. гидрометеорол. ун-т (РГГМУ), 2010.

13. Монин А. С. Теоретические основы геофизической гидродинамики. -Гидрометеоиздат, 1988. - 424 с.

14. Мостаманди С. В. и др. Ансамблевые прогнозы экстремальных гидрометеорологических явлений в распределенной среде CLAVIRE // Изв. вузов. Приборостроение. - 2011. - Т. 54. - № 10.

15. Подиновский В. В., Ногин В. Д. Парето-оптимальные решения многокритериальных задач. - М.: Физматлит, 2007.

16. Поляк Б. Т. Введение в оптимизацию. - М.: Наука. Гл. ред. физ.-мат. лит., 1983.

17. Рожков В.А. Теория и методы статистического оценивания вероятностных характеристик случайных величин и функций с гидрометеорологическими примерами. Книга 1. - СПб: Гидрометеоиздат, 2001. - 340 с.

18. Руководство по гидрометеорологическому обеспечению морской деятельности. М.: Гидрометеоиздат, 2009.

19. Светлосанов В. А. Основы методологии моделирования природных систем (учебное пособие). М.: 2010. -118 с.

20. Стронгин Р. Г., Гергель В. П., Баркалов К. А. Параллельные методы решения задач глобальной оптимизации // Изв. вузов. Приборостроение. - 2009. - Т. 52. - № 10.

21. Шмакин А. Б., Рубинштейн К. Г. Валидация динамико-статистического метода детализации метеорологических параметров // Тр. Гидрометцентра России. - 2006. - № 341. - С. 186-208.

Печатные издания на английском языке

22. Agoston Eiben and Selmar Smit. 2011. Parameter tuning for configuring and analyzing evolutionary algorithms. Swarm and Evolutionary Computation 1, 1 (2011), 19-31.

23. Araya-Lopez J. L., Nikitin N. O., Kaluzhnaya A. V. Case-adaptive ensemble technique for met-ocean data restoration //Procedia Computer Science. - 2018. - Т. 136. - С. 311-320. 2018. (136). C. 311-320.

24. Arnold J. G. et al. Large area hydrologic modeling and assessment part I: model development 1 //JAWRA Journal of the American Water Resources Association. - 1998. - Т. 34. - № 1. - С. 73-89.

25. Barati R. Parameter estimation of nonlinear Muskingum models using Nelder-Mead simplex algorithm //Journal of Hydrologic Engineering. - 2011. - Т. 16. - № 11. - С. 946-954.

26. Bengio Y. Gradient-based optimization of hyperparameters //Neural computation. - 2000. -Т. 12. - № 8. - С. 1889-1900.

27. Bennett N. D. et al. Characterising performance of environmental models //Environmental Modelling & Software. - 2013. - Т. 40. - С. 1-20.

28. Bergstra J., Bengio Y. Random search for hyper-parameter optimization //Journal of Machine Learning Research. - 2012. - Т. 13. - № Feb. - С. 281-305.

29. Bo Liu, Slawomir Koziel, and Qingfu Zhang. 2016. A multi-fidelity surrogatemodel-assisted evolutionary algorithm for computationally expensive optimization problems. Journal of computational science 12 (2016), 28-37.

30. Booij N., Ris R. C., Holthuijsen L. H. A third-generation wave model for coastal regions: 1. Model description and validation //Journal of geophysical research: Oceans. - 1999. - Т. 104. -№ C4. - С. 7649-7666.

31. Booij N. et al. SWAN Cycle III version 40.91 //Delft University of Technology Technical documentation. - 2014.

32. Carton J. A. et al. A simple ocean data assimilation analysis of the global upper ocean 195095. Part I: Methodology //Journal of Physical Oceanography. - 2000. - Т. 30. - № 2. - С. 294309.

33. Che, J., Wang, J., Li, K.: A monte carlo based robustness optimization method in new product design process: a case study. American Journal of Industrial and Business Management 4(07), 360 (2014).

34. Chen C. et al. Circulation in the Arctic Ocean: Results from a high-resolution coupled ice-sea nested Global-FVCOM and Arctic-FVCOM system //Progress in oceanography. - 2016. - T. 141. - C. 60-80.

35. Costa R., Kristbergsson K. Predictive modeling and risk assessment. Springer, 2009.

36. Cornejo-Bueno, L., Garrido-Mercha'n, E.C., Hernandez-Lobato, D., Salcedo-Sanz, S.: Bayesian optimization of a hybrid system for robust ocean wave features prediction. Neurocomputing 275, 818-828 (2018).

37. Daniel P. et al. Operational metocean products and services in support of marine pollution emergency response operations //International Oil Spill Conference. - American Petroleum Institute, 2008. - T. 2008. - № 1. - C. 155-162.

38. Daniel Williamson, Adam Blaker, Charlotte Hampton, and James Salter. 2015. Identifying and removing structural biases in climate models with history matching. Climate dynamics 45, 56 (2015), 1299-1324.

39. Debreu L., Blayo E. Two-way embedding algorithms: a review //Ocean Dynamics. - 2008. -T. 58. - № 5-6. - C. 415-428.

40. Deb K. et al. Dynamic multi-objective optimization and decision-making using modified NSGA-II //International conference on evolutionary multi-criterion optimization. - Springer, Berlin, Heidelberg, 2007. -.

41. Deeva I., Nikitin N. O., Kaluyzhnaya A. V. Pattern Recognition in Non-Stationary Environmental Time Series Using Sparse Regression //Procedia Computer Science. - 2019. - T. 156. - C. 357-366. 2019. (156). C. 357-366.

42. Diab H., Lafon P., Younes R. Optimisation of breakwaters design to protect offshore terminal area //the 5th IASTED International Conference on Modelling, Simulation and Identification-2014, Banff, Canada. http://dx. doi. org/10.2316/P. - 2014. - T. 23.

43. Diab H., Younes R., Lafon P. Survey of research on the optimal design of sea harbours //International Journal of Naval Architecture and Ocean Engineering. - 2017. - T. 9. - № 4. - C. 460-472.

44. Diversity Brown G. et al. Diversity creation methods: a survey and categorisation // Information Fusion. 2005. Vol. 6, N 1. P. 5-20.

45. Di Z. et al. Assessing WRF model parameter sensitivity: A case study with 5 day summer precipitation forecasting in the Greater Beijing Area //Geophysical Research Letters. - 2015. -T. 42. - № 2. - C. 579-587.

46. Dudy Lim, Yew-Soon Ong, Yaochu Jin, and Bernhard Sendhoff. 2008. Evolutionary optimization with dynamic fidelity computational models. In International Conference on Intelligent Computing. Springer, 235-242.

47. Edwards C. A. et al. Regional ocean data assimilation //Annual review of marine science. -2015. - T. 7. - C. 21-42.

48. Ehlers S. et al. Scenario based risk management for arctic shipping and operations //ASME 2014 33rd International Conference on Ocean, Offshore and Arctic Engineering. - American Society of Mechanical Engineers Digital Collection, 2014.

49. Fernando Lobo, Claudio F Lima, and Zbigniew Michalewicz. 2007. Parameter setting in evolutionary algorithms. Vol. 54. Springer Science & Business Media.

50. Eldred M. et al. Formulations for surrogate-based optimization under uncertainty //9th AIAA/ISSMO symposium on multidisciplinary analysis and optimization. - 2002. - C. 5585.

51. Finley J. R., Pinter J. D., Satish M. G. Automatic model calibration applying global optimization techniques //Environmental Modeling & Assessment. - 1998. - T. 3. - № 1-2. - C. 117-126.

52. Gong W. et al. Multiobjective adaptive surrogate modeling-based optimization for parameter estimation of large, complex geophysical models //Water Resources Research. - 2016. - T. 52. -№ 3. - C. 1984-2008.

53. Grefenstette J. J. Parallel adaptive algorithms for function optimization //Vanderbilt University, Nashville, TN, Tech. Rep. CS-81-19. - 1981.

54. Gupta H. V., Sorooshian S., Yapo P. O. Status of automatic calibration for hydrologic models: Comparison with multilevel expert calibration //Journal of Hydrologic Engineering. -1999. - T. 4. - №. 2. - C. 135-143.Gupta H. V., Sorooshian S., Yapo P. O. St.

55. Gusarov A., Kalyuzhnaya A., Boukhanovsky A. Spatially adaptive ensemble optimal interpolation of in-situ observations into numerical vector field models //Procedia computer science. - 2017. - T. 119. - C. 325-333.

56. Guzman-Cruz R. et al. Calibration of a greenhouse climate model using evolutionary algorithms //Biosystems engineering. - 2009. - T. 104. - № 1. - C. 135-142.

57. Hourdin, F., Mauritsen, T., Gettelman, A., Golaz, J.C., Balaji, V., Duan, Q., Folini, D., Ji, D., Klocke, D., Qian, Y., et al.: The art and science of climate model tuning. Bulletin of the American Meteorological Society 98(3), 589-602 (2017).

58. Hutter F., Lücke J., Schmidt-Thieme L. Beyond manual tuning of hyperparameters //KI-Künstliche Intelligenz. - 2015. - T. 29. - № 4. - C. 329-337.

59. Hvatov A. et al. Adaptation of NEMO-LIM3 model for multigrid high resolution Arctic simulation //Ocean Modelling. - 2019. - T. 141. - C. 101427. 2019. № August (141). C. 101427.

60. Jiang Y. et al. Improved particle swarm algorithm for hydrological parameter optimization //Applied Mathematics and Computation. - 2010. - T. 217. - № 7. - C. 3207-3215.

61. Ji D. et al. Assessing parameter importance of the weather research and forecasting model based on global sensitivity analysis methods //Journal of Geophysical Research: Atmospheres. -2018. - T. 123. - № 9. - C. 4443-4460.

62. Jin, K.R., Ji, Z.G.: Calibration and verification of a spectral wind-wave model for lake okeechobee. Ocean Engineering 28(5), 571-584 (2001).

63. Jin, Y., Sendhoff, B.: Trade-off between performance and robustness: an evolutionary multiobjective approach. In: international conference on Evolutionary Multi- Criterion Optimization. pp. 237-251. Springer (2003).

64. Jin Y. Surrogate-assisted evolutionary computation: Recent advances and future challenges //Swarm and Evolutionary Computation. - 2011. - T. 1. - № 2. - C. 61-70. 2011. № 2 (1). C. 61-70.

65. Kalnay E. Atmospheric modeling, data assimilation and predictability. - Cambridge university press, 2003.

66. Kalyuzhnaya A. V., Boukhanovsky A. V. Computational uncertainty management for coastal flood prevention system //Procedia Computer Science. - 2015. - T. 51. - C. 2317-2326.

67. Karagiannis G., Konomi B. A., Lin G. On the Bayesian calibration of expensive computer models with input dependent parameters //Spatial Statistics. - 2017.

68. Kavetski D., Franks S.W., Kuczera G. Confronting input uncertainty in environmental modelling // Calibration of watershed models. 2002. P. 49-68.

69. Khon V. C. et al. Perspectives of Northern Sea Route and Northwest Passage in the twenty-first century //Climatic Change. - 2010. - T. 100. - № 3-4. - C. 757-768.

70. Khu S. T., Madsen H., Di Pierro F. Incorporating multiple observations for distributed hydrologic model calibration: An approach using a multi-objective evolutionary algorithm //Advances in Water Resources. - 2008. - T. 31. - № 10. - C. 1387-1398.

71. Kim J. G., Hunke E. C., Lipscomb W. H. Sensitivity analysis and parameter tuning scheme for global sea-ice modeling //Ocean modelling. - 2006. - T. 14. - № 1-2. - C. 61-80.

72. Klepper O., Hendrix E. M. T. A method for robust calibration of ecological models under different types of uncertainty //Ecological Modelling. - 1994. - T. 74. - № 3-4. - C. 161-182.

73. Kovalchuk, S.V., Metsker, O.G., Funkner, A.A., Kisliakovskii, I.O., Nikitin, N.O., Kalyuzhnaya, A.V., Vaganov, D.A., Bochenina, K.O.: A conceptual approach to complex model management with generalized modelling patterns and evolutionary identification. Co.

74. Kovalchuk S. V. et al. A conceptual approach to complex model management with generalized modelling patterns and evolutionary identification //Complexity. - 2018. - T. 2018. 2018. (2018).

75. Kovalchuk S. V. et al. Towards management of complex modeling through a hybrid evolutionary identification //Proceedings of the Genetic and Evolutionary Computation Conference Companion. - ACM, 2018. - C. 255-256. 2018. C. 255-256.

76. Laurenceau J., Sagaut P. Building efficient response surfaces of aerodynamic functions with kriging and cokriging //AIAA journal. - 2008. - T. 46. - № 2. - C. 498-507.

77. Liu Y., Gupta H. V. Uncertainty in hydrologic modeling: Toward an integrated data assimilation framework //Water Resources Research. - 2007. - T. 43.

78. Lopatoukhin L. I., Yaitskaya N. A. Wave climate of the Caspian sea. The input wind data for hydrodynamical modeling and some results of calculations //Okeanologiya. - 2019. - T. 59. - № 1. - C. 12-21.

79. Lopez-Ibanez M., Stutzle T. Automatically improving the anytime behaviour of optimisation algorithms //European Journal of Operational Research. - 2014. - T. 235. - № 3. - C. 569-582.

80. Lv X. C. et al. Calibration of SWAN Model for Wave Simulation in Bohai Sea //Applied Mechanics and Materials. - Trans Tech Publications, 2013. - T. 423. - C. 1344-1350.

81. Madec G. et al. NEMO ocean engine // Scientific Notes of Climate Modelling Center. -2015/ - T. 27.

82. Madsen H. Automatic calibration of a conceptual rainfall-runoff model using multiple objectives //Journal of hydrology. - 2000. - T. 235. - № 3-4. - C. 276-288.

83. Maier H. R. et al. Introductory overview: Optimization using evolutionary algorithms and other metaheuristics //Environmental modelling & software. - 2018.

84. Martin Meckesheimer, Andrew Booker, Russell Barton, and Timothy Simpson. 2002. Computationally inexpensive metamodel assessment strategies. AIAA journal 40, 10 (2002), 2053-2060.

85. McPhail C. et al. Robustness metrics: How are they calculated, when should they be used and why do they give different results? //Earth's Future. - 2018. - Т. 6. - № 2. - С. 169-191.

86. Miller P. A. et al. Optimization of a sea ice model using basinwide observations of Arctic sea ice thickness, extent, and velocity //Journal of Climate. - 2006. - Т. 19. - № 7. - С. 1089-1108.

87. Moor L. P. et al. Proposal of a new autocorrelation function in low wind speed conditions //Physica A: Statistical Mechanics and its Applications. - 2015. - Т. 438. - С. 286-292.

88. Murphy J. M. et al. Quantification of modelling uncertainties in a large ensemble of climate change simulations //Nature. - 2004. - Т. 430. - № 7001. - С. 768.

89. Neshat M. et al. A Hybrid Evolutionary Algorithm Framework for Optimising Power Take Off and Placements of Wave Energy Converters //arXiv preprint arXiv:1904.07043. - 2019.

90. Nguyen A. T., Menemenlis D., Kwok R. Arctic ice-ocean simulation with optimized model parameters: Approach and assessment //Journal of Geophysical Research: Oceans. - 2011. - Т. 116. - № C4.

91. Nguyen D. C. H. et al. Framework for computationally efficient optimal crop and water allocation using ant colony optimization //Environmental Modelling & Software. - 2016. - Т. 76. - С. 37-53.

92. Nikitin N. O. et al. Deadline-driven approach for multi-fidelity surrogate-assisted environmental model calibration: SWAN wind wave model case study //Proceedings of the Genetic and Evolutionary Computation Conference Companion. - ACM, 2019. C. 1583-1591.

93. Nikitin N. O. et al. Evolutionary ensemble approach for behavioral credit scoring //International Conference on Computational Science. - Springer, Cham, 2018. - С. 825-831. Springer International Publishing, 2018. 1-7 c.

94. Nikitin N. O. et al. Statistics-based models of flood-causing cyclones for the Baltic Sea region //Procedia Computer Science. - 2016. - Т. 101. - С. 272-281. 2016. (101). C. 272-281.

95. Osidele O. O., Zeng W., Beck M. B. A random search methodology for examining parametric uncertainty in water quality models //Water science and technology. - 2006. - Т. 53.

- № 1. - С. 33-40.

96. Paenke, I., Branke, J., Jin, Y.: Efficient search for robust solutions by means of evolutionary algorithms and fitness approximation. IEEE Transactions on Evolutionary Computation 10(4), 405-420 (2006).

97. Palmer A., Croasdale K. Arctic Offshore Engineering. — Singapore: World Scientific, 2013.

— 357 стр.

98. Parker W. S. Ensemble modeling, uncertainty and robust predictions //Wiley Interdisciplinary Reviews: Climate Change. - 2013. - Т. 4. - № 3. - С. 213-223.

99. Pham D., Karaboga D. Intelligent optimisation techniques: genetic algorithms, tabu search, simulated annealing and neural networks. - Springer Science & Business Media, 2012.

100. Pinter J. Globally optimized calibration of environmental models //Annals of Operations Research. - 1990. - Т. 25. - № 1. - С. 211-221.

101. Reeve D., Chadwick A., Fleming C. Coastal engineering: processes, theory and design

practice. - CRC Press, 2012.

102. Ray J. et al. Bayesian calibration of the Community Land Model using surrogates //SIAM/ASA Journal on Uncertainty Quantification. - 2015. - T. 3. - № 1. - C. 199-233.

103. Ricker R. et al. A weekly Arctic sea-ice thickness data record from merged CryoSat-2 and SMOS satellite data //Cryosphere. - 2017. - T. 11. - № 4. - C. 1607-1623.

104. Sannasiraj S. A., Goldstein M. G. Optimal interpolation of buoy data into a deterministic wind-wave model //Natural hazards. - 2009. - T. 49. - № 2. - C. 261-274.

105. Schmitt, C., Rey-Coyrehourcq, S., Reuillon, R., Pumain, D.: Half a billion simulations: Evolutionary algorithms and distributed computing for calibrating the simpoplocal geographical model. Environment and Planning B: Planning and Design 42(2), 300-31.

106. Sergey Kovalchuk, Pavel Smirnov, Sergey Maryin, Timofey Tchurov, and Vladislav Karbovskiy. 2013. Deadline-driven resource management within urgent computing cyberinfrastructure. Procedia Computer Science 18 (2013), 2203-2212.

107. Shan S., Wang G. G. Survey of modeling and optimization strategies to solve high-dimensional design problems with computationally-expensive black-box functions //Structural and Multidisciplinary Optimization. - 2010. - T. 41. - № 2. - C. 219-241.

108. Simpson T. et al. Design and analysis of computer experiments in multidisciplinary design optimization: A review of how far we have come-or not //12th AIAA/ISSMO multidisciplinary analysis and optimization conference. - 2008. - C. 5802.

109. Solonen A. et al. Efficient MCMC for climate model parameter estimation: Parallel adaptive chains and early rejection //Bayesian Analysis. - 2012. - T. 7. - № 3. - C. 715-736.

110. Sumata H. et al. A comparison between gradient descent and stochastic approaches for parameter optimization of a sea ice model //Ocean Science. - 2013. - T. 9. - № 4. - C. 609-630.

111. Sutulo S., Guedes Soares C. Mathematical models for simulation of manoeuvring performance of ships //Marine Technology and Engineering, G. Soares, C. Garbatov, Y. Fonseca, and AP Teixeira, eds., Taylor & Francis Group, London. - 2011. - C. 661-698.

112. Tinkle Chugh, Karthik Sindhya, Jussi Hakanen, and Kaisa Miettinen. 2017. A survey on handling computationally expensive multiobjective optimization problems with evolutionary algorithms. Soft Computing (2017), 1-30.

113. Tolman, H.L., et al.: User manual and system documentation of wavewatch iii tm version 3.14. Technical note, MMAB Contribution 276, 220 (2009).

114. van Velzen N., Altaf M. U., Verlaan M. OpenDA-NEMO framework for ocean data assimilation //Ocean Dynamics. - 2016. - T. 66. - № 5. - C. 691-702.

115. Voevodin V. V. et al. Supercomputer lomonosov-2: large scale, deep monitoring and fine analytics for the user community //Supercomputing Frontiers and Innovations. - 2019. - T. 6. -№ 2. - C. 4-11.

116. Vychuzhanin P., Nikitin N. O., Kalyuzhnaya A. V. Robust Ensemble-Based Evolutionary Calibration of the Numerical Wind Wave Model //International Conference on Computational Science. - Springer, Cham, 2019. - C. 614-627. 2019. (11536 LNCS). C. 614-627.

117. Wainwright, J., Mulligan, M.: Environmental modelling: finding simplicity in complexity. John Wiley & Sons (2005).

118. Wang C. et al. An evaluation of adaptive surrogate modeling based optimization with two

benchmark problems //Environmental Modelling & Software. - 2014. - Т. 60. - С. 167-179.

119. Wei Gong, Qingyun Duan, Jianduo Li, Chen Wang, Zhenhua Di, Aizhong Ye, Chiyuan Miao, and Yongjiu Dai. 2016. Multiobjective adaptive surrogate modeling-based optimization for parameter estimation of large, complex geophysical models. Water Resources Resear.

120. Yang B. et al. Some issues in uncertainty quantification and parameter tuning: a case study of convective parameterization scheme in the WRF regional climate model //Atmospheric Chemistry & Physics. - 2012. - Т. 12. - № 5.

121. Williams, J.J., Esteves, L.S.: Guidance on setup, calibration, and validation of hydrodynamic, wave, and sediment models for shelf seas and estuaries. Advances in Civil Engineering 2017 (2017).

122. Yang B. et al. Uncertainty quantification and parameter tuning in the CAM5 Zhang-McFarlane convection scheme //Journal of Geophysical Research: Atmospheres. - 2013. - Т. 118. - № 2. - С. 395-415.

123. Yang Liu and Soon-Thiam Khu. 2007. Automatic calibration of numerical models using fast optimisation by fitness approximation. In Neural Networks, 2007. IJCNN 2007. International Joint Conference on. IEEE, IEEE, 1073-1078.

124. Yapo P. O., Gupta H. V., Sorooshian S. Automatic calibration of conceptual rainfall-runoff models: sensitivity to calibration data //Journal of Hydrology. - 1996. - Т. 181. - № 1-4. - С. 23-48.

125. Yiming Zhang, Nam Kim, Chanyoung Park, and Raphael Haftka. 2018. Multifidelity Surrogate Based on Single Linear Regression. AIAA Journal 56, 12 (2018), 4944-4952.

126. Zambrano-Bigiarini M., Rojas R. A model-independent Particle Swarm Optimisation software for model calibration //Environmental Modelling & Software. - 2013. - Т. 43. - С. 525.

127. Zang, C., Friswell, M., Mottershead, J.: A review of robust optimal design and its application in dynamics. Computers & structures 83(4-5), 315-326 (2005).

128. Zitzler E., Laumanns M., Thiele L. SPEA2: Improving the strength Pareto evolutionary algorithm //TIK-report. - 2001. - Т. 103.

Ресурсы сети Интернет

129. National Oceanic and Atmospheric Administration [Электронный ресурс]: <https://www.ncdc.noaa.gov/cdo-web/datasets>.

Публикации автора по теме диссертации Публикации в изданиях, индексируемых в SCOPUS:

1. Nikitin N. O. et al. Deadline-driven approach for multi-fidelity surrogate-assisted environmental model calibration: SWAN wind wave model case study //Proceedings of the Genetic and Evolutionary Computation Conference Companion. - ACM, 2019. - С. 1583-1591.

2. Vychuzhanin P., Nikitin N. O., Kalyuzhnaya A. V. Robust Ensemble-Based Evolutionary Calibration of the Numerical Wind Wave Model //International Conference on Computational Science. - Springer, Cham, 2019. - С. 614-627.

3. Hvatov, A., Nikitin, N. O., Kalyuzhnaya, A. V., Kosukhin, S. S., et al. Adaptation of NEMO-LIM3 model for multigrid high-resolution Arctic simulation //Ocean Modelling. - 2019. - Т. 141. - С. 101427.

4. Deeva I., Nikitin N. O., Kaluyzhnaya A. V. Pattern Recognition in Non-Stationary Environmental Time Series Using Sparse Regression //Procedia Computer Science. -2019. - Т. 156. - С. 357-366.

5. Kovalchuk, S. V., Metsker, O. G., Funkner, A. A., Kisliakovskii, I. O., Nikitin, N. O., Kalyuzhnaya, A. V., Danila A Vaganov, Bochenina, K. O, A conceptual approach to complex model management with generalized modelling patterns and evolutionary identification //Complexity. - 2018. - Т. 2018.

6. Kovalchuk, S. V., Metsker, O. G., Funkner, A. A., Kisliakovskii, I. O., Nikitin, N. O., Kalyuzhnaya, A. V., Danila A Vaganov, Bochenina, K. O, Towards management of complex modeling through a hybrid evolutionary identification //Proceedings of the Genetic and Evolutionary Computation Conference Companion. - ACM, 2018. - С. 255256.

7. Nikitin N. O. et al. Evolutionary ensemble approach for behavioral credit scoring //International Conference on Computational Science. - Springer, Cham, 2018. - С. 825831.

8. Araya-Lopez J. L., Nikitin N. O., Kaluzhnaya A. V. Case-adaptive ensemble technique for met-ocean data restoration //Procedia Computer Science. - 2018. - Т. 136. - С. 311320.

9. Nikitin N.O., Spirin D.S., Visheratin A.A., Kalyuzhnaya A.V. Statistics-based models of flood-causing cyclones for the Baltic Sea region. Procedia Computer Science. 2016. Vol. 101. pp. 272-281.

Свидетельства о регистрации программ для ЭВМ:

• Свидетельство о регистрации № 2019666503 от 24.10.1019 "Программный комплекс для структурной оптимизации гидротехнических сооружений Breakwater.Evo" // Никитин Н.О., Калюжная А.В., Полонская Я.С.

• Свидетельство о регистрации № 2019664484 от 24.10.1019 "Программный комплекс для настройки и валидации гидродинамических моделей" // Никитин Н.О., Вычужанин П.В., Хватов А.А, Деева И.Ю, Калюжная А.В.

• Свидетельство о регистрации № 2018664149 от 12.11.2018 " Программный комплекс для адаптивного ансамблевого восстановления пропусков в гидрометеорологических данных" // Косухин С.С., Бухановский А.В., Никитин Н.О., Калюжная А.В., Арайа Лопес Х.

• Свидетельство о регистрации № 2018612711 от 22.02.2018 "Программная система организации хранения и предоставления доступа к гидрометеорологическим данным TerraXT.Data" // Загарских А.С., Вишератин А.А., Голубев К.В., Никитин Н.О., Карсаков А.С., Моисеев А.П.

• Свидетельство о регистрации № 2012660549 от 20.06.2017 "Программный комплекс для моделирования синтетических циклонов" // Бухановский А.В., Вишератин А.А., Никитин Н.О., Калюжная А.В., Спирин Д.С.

Deadline-Driven Approach for Multi-Fidelity Surrogate-Assisted

Environmental Model Calibration

SWAN Wind Wave Model Case Study

Nikolay O. Nikitin

ITMO University Saint Petersburg, Russia [e-mail]

Irina Deeva

ITMO University Saint Petersburg, Russia

Pavel Vychuzhanin

ITMO University Saint Petersburg, Russia [e-mail]

Anna V. Kalyuzhnaya

ITMO University Saint Petersburg, Russia

Alexander Hvatov

ITMO University Saint Petersburg, Russia [e-mail]

Sergey V. Kovalchuk

ITMO University Saint Petersburg, Russia

ABSTRACT

This paper describes the approach for calibration of environmental models with the presence of time and quality restrictions. Advantages of the suggested strategy are based on two main concepts. The first advantage was provided by reducing the overall optimisation time due to the surrogate modelling of fitness function with the iterative gradual refinement of the environmental model fidelity (spatial and temporal resolution) for improving the fitness approximation. For the demonstration of the efficiency of surrogate-assisted multi-fidelity approach, it was compared with the baseline evolutionary calibration approach. The second advantage was assured by additional increasing of optimisation quality in the presence of strict deadline due to the building the strategy of multi-fidelity fitness approximation directly during the evolutionary algorithm execution. In order to prove the efficiency of the proposed dynamic strategy, it was compared with the preliminary meta-optimisation approach. As a case study, the wind wave model SWAN is used. The conducted experiments confirm the effectiveness of the proposed anytime approach and its applicability for the complex environmental models' parameters calibration.

CCS CONCEPTS

• Theory of computation ^ Evolutionary algorithms; • Computing methodologies ^ Model development and analysis;

KEYWORDS

deadline-driven optimisation, surrogate-assisted evolutionary algorithm, environmental model calibration, SWAN model

ACM Reference Format:

Nikolay O. Nikitin, Pavel Vychuzhanin, Alexander Hvatov, Irina Deeva, Anna V. Kalyuzhnaya, and Sergey V. Kovalchuk. 2019. Deadline-Driven

Permission to make digital or hard copies of all or part of this work for personal or classroom use is granted without fee provided that copies are not made or distributed for profit or commercial advantage and that copies bear this notice and the full citation on the first page. Copyrights for components of this work owned by others than ACM must be honored. Abstracting with credit is permitted. To copy otherwise, or republish, to post on servers or to redistribute to lists, requires prior specific permission and/or a fee. Request permissions from [e-mail]. GECCO '19 Companion, July 13-17, 2019, Prague, Czech Republic © 2019 Association for Computing Machinery. ACM ISBN 978-1-4503-6748-6/19/07...$15.00 https://doi.org/10.1145/3319619.3326876

Approach for Multi-Fidelity Surrogate-Assisted Environmental Model Calibration: SWAN Wind Wave Model Case Study. In Proceedings of the Genetic and Evolutionary Computation Conference 2019 (GECCO '19 Companion). ACM, New York, NY, USA, 9 pages. https://doi.org/10.1145/3319619.3326876

1 INTRODUCTION

A task of automatic model calibration is a well-known problem for numerical optimisation. In cases of unacceptably high computational cost of simulations, it is desirable to have a strategy that reduces time expenses, e.g. surrogate-based approaches for optimisation.

In the domain of environmental sciences, there are a number of decision-making applications (e.g. forecasting and preventing of natural disasters, accident consequences management, rescue operations) with the necessity of forecast model tuning with respect of time constraints.

The quality of forecasts depends on many factors, such as the relevance of the predictive model, suitability of model parameters and quality of observed data. In this paper within the optimisation problem, we interpret the forecast quality through the suitability of model parameters to the current spatiotemporal conditions. With this, the suitability can be estimated as a discrepancy between the model and observations.

From the optimisation problem point of view, this task is a well-known application of evolutionary algorithms [23]. With this, the computational cost of many modern environmental models execution leads to the necessity of fitness approximation or surrogate-based techniques [15]. The common approaches of environmental models calibration (history matching [31]) usually deal with some fixed spatial domain and consider the quasi-stationarity of external conditions [9]. At the same time, the model management for some domain-specific problems requires the frequent re-calibration of model parameters for entirely new conditions.

As an example of such a task, the problem of risk decreasing for shipping in the Arctic Ocean can be used [6]. The vessel can transfer observational data to the remote computational environment and expects to obtain the complete ice-ocean-atmosphere forecast in the next communication session. Another example of the deadline-driven problem can be unplanned emergencies that require qualitative metocean security support. Such class of time-critical cases raises the problem of appropriate optimisation strategy

choice under given time and quality constraints that are refer to urgent computing and scheduling tasks [11]. Also, it is similar to the problem of anytime algorithms development [17].

The application of state-of-art surrogate-assisted evolutionary algorithms (SaEA) with variable fidelity [14] introduces a lot of additional hyper-parameters and increases the complexity of the evolutionary algorithm meta-optimisation task [16]. In the paper, we chose this class of algorithms as the sophisticated benchmark for the proposed deadline-adaptive approach.

As a case study, the third-generation numerical wind wave model Simulating WAves Nearshore (SWAN) [3] configured for one-month Kara Sea region simulation was used. We conducted a set of one-month experiments to compare the effectiveness of adaptive deadline-driven approach against the baseline approach with constant parameters of the optimisation algorithm.

The Strength Pareto Evolutionary Algorithm (SPEA2) [34] was chosen as a framework for both approaches. The kriging method was used to implement the surrogate. The SWAN model runs were executed in different fidelities through the variation of the time step and grid cell size. Several spatially distributed observations points were chosen to analyse the model quality.

This paper is structured as follows. Sec. 2 describes the problem statement and mathematical formalisation of the deadline-driven approach for the surrogate-assisted calibration of the environmental model. Sec. 3 provides an overview of various calibration approaches and their applicability for the problem. Sec. 4 provides the description of several critical components that should be implemented to construct the solid deadline-driven approach. Sec. 5 contains the description of the case study, results of the conducted experiments and their analysis. Sec. 6 provides a summary of the paper and the generalisation of the obtained experimental results.

2 PROBLEM STATEMENT

The main research question of this paper is about the identification of the strategy that allows to increase both quality of global minimum search and time effectiveness of evolutionary algorithms for model calibration and to guaranty the discovery of sub-optimal solution in the presence of a strict deadline. Concerning the first part, it was suggested to discover the fitness function by surrogate approximation of its landscape and gradual improving the fidelity of the environmental model (see Subsec. 4.1 - Subsec. 4.2). Besides the problem of improving the time and quality characteristics, the expected strategy should be flexible to dynamic time constraints and provide the sub-optimal solution (at least better than default) in a case of suddenly shortened deadline (see Subsec. 4.3).

The deadline-driven calibration problem can be interpreted as SaEA hyperparameters choice procedure considering time restriction. Two different approaches can be applied: parameter tuning (pre-adaptation) and parameter control (in-time adaptation) [7].

The parameter tuning allows estimating the optimal parameter values under given time constraints using a set of preliminary runs (offline approach) when the parameter control let us establish the appropriate parameter values during the run of SaEA (online approach). The first approach allows achieving better quality, but it introduces additional computational overhead. The second one can be based on the combination of the several surrogate models. So, the

choice between these two strategies should be done according to the specifics of this task and the possibility of the huge preliminary computations running.

Before introducing the deadline-adaptation problem, it is expedient to introduce the model calibration problem.

The model output tuning through the model parameters change (or model calibration) can be formulated as an optimisation problem. For this purpose, it is reasonable to present the simulation process as a function in the form (1).

Y = {Yi, Y2,..., Yk} = M(f | 0), (1)

where Y = {Y1, Y2,..., Yk} denotes multivariate output data (for example, simulated fields), M(^) is the model operator, f is the input data (for example, boundary and initial conditions), 0 is the set of model parameters.

With that, the model calibration process can be formalised in terms of multi-objective function optimisation in the space of all possible model parameters (at this stage, unconstrained) and written

Oopt = argmin0 F(O),

F(O) = G(fj(O, Y, Xj )),

(2)

where GW is an operator for multiobjective transformation to a function F for a given model parameter set 0 , fj is the objective function, X is the spatial coordinates vector of a j - th point-of-interest.

The deadline-driven problem assuming that the execution time T(0i) for every optimization step 0; is known and deadline T is defined. The optimisation step includes all calculations that are required to obtain next optimum approximation 0; from the previous set 0;-1. Therefore, the optimization problem (2) is reduced to the constrained optimization problem and written in the form (3).

Oopt = argmin0 F(O),

2 T(Oi )< T

(3)

To reduce the computational time the surrogate model can be implemented. Often the surrogate model is used to replace the optimisation problem F(O) with surrogate function Fs (O). The optimisation problem is written in the form (4).

Oopt = argmin0 F s (O ), F s (O ) ~ F (O )

(4)

In (4) the similarity of optimisation functionals ~ is defined arbitrary. The problem (4) is also the case considered in the paper. The deadline-driven optimization problem (5) is written analogously to the (3).

Oopt = argmin0 F s (O ),

2 Ts (Oi )< T

Figure 1: Basic structure of the deadline-driven surrogateassisted application. Green blocks represent the algorithmic part, orange blocks present the internal and external datasets, peach blocks represents the parameters and constraints.

The Fig. 1 depicts the scheme of a full deadline-driven model calibration workflow. It summarises the concepts described in (1) -(5) and provides us the foundation for the development of the real application described below.

In the figure, we combined the structural blocks into two groups to highlight the domain-specific organisation of the application. The urgent environmental task makes it necessary to provide the simulation using model M with input data e and physical parameters 6. The execution time of the model is less that task-defined deadline Tmax. However, the additional constraint can be specified for the maximal error Emax. If the quality of the model s representation of the real physical process is lower than the task-specific threshold, it is useless for operational usage. In this case, the calibration of the model parameters 6 is required to find the optimal set using the surrogate-assisted evolutionary algorithm with hyperparameters 0. Also, it is necessary to apply the deadline-driven optimisation to satisfy the Tmax constraint and fit 0 during the optimisation process.

3 RELATED WORK

The calibration of the high-dimensional numerical environmental models is known as a complex computationally-intensive task that can be solved using optimisation techniques [5]. These methods allow locating global optima in model parameters space using multi-objective fitness function. It calculates as the discrepancy between model prediction and real observations for the historical data set. However, in real-world tasks the wall time for optimisation is limited and some models run time required for optimisation can be too high.

For this reason, some non-expensive optimisation methods were developed and widely used. The popular one is the surrogate modelling combined with multi-objective evolutionary algorithms [1]. As shown in [8] it is widely used for the environmental models' calibration. Since the identification of surrogate model still requires many evaluations of a real high-fidelity model, the multi-fidelity methods are widely applied in this field [14, 28]. The low-fidelity

models represent the more coarse response surface against high-fidelity model [21], but it allows to estimate the location of the global minima in a faster way. The high-fidelity model can be evaluated for the restricted area around the minima of a low-fidelity surrogate. The data-driven model for the representation of the multi-fidelity response surface can be based at neural network [27], kriging [12] or even simple linear regression [33].

For some numerical models, the fidelity-related parameters can be set in a continuous way instead of a discrete one. In this case, the dynamic-fidelity optimisation can be used [13].

The instantiating of the multi-fidelity SaEA make it necessary to tune many hyper-parameters. Besides simple heuristic approaches, there are meta-evolutionary algorithms can be applied to identify the best set of hyper-parameters for SaEA [7]. However, this approach requires a very high number of preliminary model runs to found the appropriate hyper-parameters even for surrogate-assisted implementation.

The development of computational-intensive applications often requires additional flexibility in the computational platform being used. From this point of view, the issues of proper management and scheduling of the resources lead to the development of specific approaches taking into account cost and deadline constraints in computational infrastructure [18, 29]. Additionally, practical computational-intensive tasks often define the deadlines considering a decision-making process. It led to the development of the area of Urgent Computing [2, 26].

For the surrogate-assisted optimisation task, the main issue is to construct the optimisation scenario that allows finding the optimal solution under the given time constraints set. It can be interpreted as a specific case of common scheduling problem given from another point of view: the adaptation of the algorithm to infrastructure instead of an adaptation of infrastructure to the algorithm. The genetic algorithms are widely applicable is this field [32]. However, this formulation of the task is not discussed well.

4 DEADLINE-DRIVEN CALIBRATION

The requirements for the deadline-adaptive calibration can be separated into two main parts. The first is the availability of the satisfactory parameter set for the model as soon as possible. In real-world tasks, the deadline can be changed without preliminary notification, and the calibration interrupts in such case [11]. For this reason, we decided to implement the deadline-adaptive algorithm with an iterative paradigm that allows ensuring the coarse estimation of the model's parameters at early steps (due to the idea of the anytime approach [22]).

The second problem is a search for the best calibration strategy for a certain deadline. Since the surrogate-assisted approach is used, the complicated problem is time-quality trade-off estimation for the initial surrogate model. It was solved using the set of performance models and sequential building of surrogate with growing

computational complexity.

This section describes the key components of the proposed deadline-adaptive approach. All source code for presented algorithms is available in [30].

Figure 2: The comparison of the different point selection strategies: blue - randomly (with uniform distribution) selected points, orange - random hypercube, green - optimized hypercube. The RMSE metric is taken with respect to the interpolated real model landscape using 100 randomly selected points.

4.1 Strategy for the surrogate modelling

Following [19], we decided to use kriging method as a well-known solution of surrogate modelling. The parameters' space of the SWAN model (described in details in Subsec. 5.1) consists of the three different parameters (DRF, CFW and STPM in the model notation). The points with available observations data were taken for the kriging models training. For all parameter sets in the grid Rooted Mean Square Error (RMSE) for every available observational time-series was found. After, it was interpolated to obtain the continuous RMSE landscape for each station.

To build the kriging RMSE model Fs (0) for the single fidelity (spatial and/or time resolution) and assess the number of points

required to achieve the given precision, we conducted the series of

experiments. The training sets in the model parameter space were taken in 3 different ways. At the first experiment, the points were taken independently for each parameter. Every parameter is chosen from the given parameters range with uniform distribution. In the second experiment, the random three-dimensional Latin hypercube points were used. In the third experiment, the three-dimensional hypercube is optimised with respect to the Morris-Mitchell criterion [20] was used to generate the sample. After the kriging model is trained, it is compared with the real model RMSE landscape in 100 random points in the parameters' space. All three experiments are shown in Fig. 2.

The results are agreeing with [24], the optimised hypercube give the lowest RMSE, however, it requires additional (rather, small) time for optimisation. As the performance and computational time trade-off, random hypercube strategy was taken.

Since the kriging training process has an approximately quadratic estimation, multi-fidelity (i.e. with time and/or spatial resolution added as the additional parameter) kriging model is inapplicable in the deadline-driven application. Therefore, the approach described in the paper considered only the interpolation between several single-fidelity models.

4.2 Surrogate-assisted evolutionary algorithm for model fitting

The SPEA2 optimisation algorithm was chosen as the basic solution for the problem of numerical model's parameters calibration. In terms of evolutionary algorithms, each individual corresponds to a certain set of model parameters, the decision function is a prediction of physical process and the model prediction error is an objective function. At each iteration of evolution, the non-dominated set of individuals is selected in accordance with the values of the fitness function. Then the pairing pool is filled with a binary tournament selection and recombination, and the mutation operator applies for each. The resulting pairing pool becomes the new population at the next iteration of the algorithm. Despite the fact that modern surrogate-assisted evolutionary algorithms (like ParEGO, SMS-EGO and K-RVEA) are superior to SPEA2 in most types of benchmark problems [4], we decided to base the experiments on a well-studied [10] algorithm in order to separate the effect from the proposed deadline-adaptive features from the influence of evolutionary algorithm itself.

In the same time, we modify SPEA2 to introduce surrogateassisted optimisation and dynamic fidelity refinement that are similar to ideas presented in [13, 14]. Before the evolution, a surrogate model initialised with a few points sampled randomly (or with Latin hypercube sampling (LHS), as it in our case). It allows obtaining a coarse error surface that is used during the optimisation. Each iteration of an algorithm starts with a fitness calculation for every individual in population and archive. The individuals of a current generation are compared with the best solution (which is saved during evolution) by the values of a fitness function, so if a new one was found, a surrogate should be refined adding new points that are close to a found minimum. In this way, the error surface is detailed in the proximity of the potential minimum point. However, if, after Gref generations, a new minimum has not been found, the fidelity of the surrogate increases by a certain delta. So, the surrogate is refined using a current population (and a few additional external points) for training but taking into account a new fidelity. The full pseudocode of the SPEA2-based dynamic fidelity surrogate-assisted algorithm is presented in Alg. 1.

The comparison of the expected effectiveness for the evolutionary algorithm without surrogate and implemented surrogateassisted evolutionary algorithm is presented in Fig. 3.

It can be seen that for very small and very large time ranges basic evolutionary algorithm without surrogate assistance (that are noted as EA in the paper) theoretically outperforms the surrogateassisted evolutionary algorithm (that are noted as SaEA) due the better representation of the error surface (for large time ranges) and problem of non-optimal minima detection for surrogate with small number of initial points (for small-time ranges). However, if the deadline value is more than Tw;n1, the potential effectiveness of SaEA is better because of a high number of runs necessary to evaluate all necessary fitness values for the EA without a surrogate.

4.3 Deadline-driven adaptive algorithm

The combination of all described components allows developing the flexible deadline-adaptive approach for the physical model's

Data: surrogate, populationSize, archiveSize,

crossoverRate, mutationRate,

Gref, additionalPoints

Result: best individual from archive

pop ^ InitPopulation(populationSize)

archive ^ 0

gen ^ 0

surrogate ^ InitSurrogate(additionalPoints) while not ConvergenceCriterion() do union ^ archive + pop for individ in union do

| individ.fitness ^ CalculateFitness(individ) end

if NewMinFound(union) then lastMinGen ^ gen best ^ TakeBest(union)

surrogate ^ RefineWithNewPoints(surrogate, best) end

if GensAfterLastMin(gen, lastMinGen) > Gref then surrogate ^ IncreaseFidelity(surrogate) surrogate ^ TrainWithNewFidelity(surrogate,

union, additionalPoints) lastMinGen ^ gen end

archive ^ TakeNonDominated(union, archiveSize) matingPool ^ BinaryTournamentSelection(archive, populationSize)

pop ^ CrossoverAndMutation(matingPool, crossoverRate, mutationRate) end

Algorithm 1: The pseudocode of the dynamic-fidelity optimisation algorithm.

Ql: SaEA tuning

Q2: Fitting TLl

I WIN,1

WIN,2

Figure 3: The expected (theoretical) effectiveness of evolutionary-based calibration (noted as EA) and surrogate-based evolutionary calibration with different hyperparameters (noted as SaEA1,2) for different time limitations T[im. The time marks Twin1 and Twin2 represents the calibration time ranges with different dominating algorithm.

aj

ÛJ0

-a

-Q

o a.

E

,a>

N1i„it

N'add + N1,

ref

N2init

N,2add + N2ref

Nkinit

Nkadd + Nkref

-H

Figure 4: The concept of run-preserving variability strategy during surrogate identification. N 1"k represents the values of hyper parameters in consecutive iterations.

Init. of SaEA

N¡„¡1 runs

Nadd runs

Nref runs

— Iteration with higher number of runs

Estimation of hyperparameters 0 using performance models

Identification of the initial iow-fidelity surrogate Model runs j preservation i 0+=A0 Tbudget"=T0pt

Surrogate extension near minima

Deadline

Surrogate refinement with higher fidelity Operational run of model with obtained parameters

Figure 5: The workflow of the online deadline-adaptive calibration.

parameters. It consists of several iterative runs of the dynamic-fidelity surrogate-assisted evolutionary algorithm with the transfer of calculated fitness function values from the previous run to next one. The performance models described above are used to estimate the execution time for the next parameters set and obtain values that allow ending iteration before the expected deadline.

The iterative variability of the main hyperparameters of the evolutionary algorithm involves several parameters: number of points for initial surrogate identification Ninit, number of additional points for surrogate correction at each generation Nadd and number of points for surrogate refinement with higher fidelity Nref. Also, the number of individuals in population Psize and the maximal number of populations Gtot are also changed. This concept is presented in Fig. 4

The detailed representation of the optimal solution search's steps is shown in Fig. 5. It represents the interaction between SaEA (then estimates the optimal model's parameters 6) and deadline-driven algorithm (that estimates optimal SaEA's parameters 0). The difference between hyperparameters 8 evaluates empirically according to the performance models estimations.

The architectural implementation (main logical blocs and connections between them) of the deadline-driven approach is based at structure presented above in Fig. 1. Finally, the pseudo-code of the deadline-driven optimisation is presented in Alg. 2.

4.4 Performance models

To implement the approach to deadline-adaptive calibration in practice, we need to know the maximal time for execution of algorithms for the specific set of parameters. We decided to build

Data: Tdeadiline, Ninit, Nadd, Nref

Result: Best found parameters set

Td eadline * external value

preservedRuns * 0

Ninit, Nadd, Nref * GetMinimalParameters(Tief t) while not (Tieft < EstimateTime(Ninit,Nadd,Nref )

or external signal) do

preservedRuns, modelParams * ExecuteSaEA(Ninit, Nadd, Nref, preservedRuns)

Ninit, Nadd, Nref *

ModifyParams(Ninit ,Nadd,Nref Tleft)

end

Algorithm 2: The pseudocode of the deadline-driven calibration algorithm.

several models that allow estimating execution time - the so-called performance models. There are three empirical performance models used in this study: model estimating the SWAN execution time for specific fidelity, a model estimating SaEA execution time for specific hyperparameters and model estimating training time for the kriging-based surrogate according to the number of points in parameters space. To build these models, we conducted a set of performance experiments.

4.4.1 Performance model for wave model. Two model parameters were used in this study to represent fidelity - time step and the size of the cell grid. The time step Ftime were varied from 45 to 180 minutes range, the spatial step Fspat - from 14 to 56 kilometres. After a set of experiments, it was found that the performance model for the environmental execution time tmodei can be expressed empirically as linear dependence that can be described as

tsaea = (tmodel (Ftime' Fspat) + tsur )Ninit +

Gtot /Gref

J] (tmodel (Ftime' Flpat) + tsur )(Gref Nadd + Nref) [min] i=1

(8)

according the notation of the hyperparameters presented in Subsec. 4.2 and 4.3 .

5 EXPERIMENTAL STUDY

The experimental study aims to verify the practical effectiveness of the proposed deadline-driven and dynamic-fidelity surrogateassisted optimisation approaches for physical model parameters calibration. There are several baseline implementations were used in different experiments. The first is a direct evolutionary calibration approach without a surrogate, that was compared against surrogate-assisted evolutionary algorithm with static and dynamic fidelity. For the deadline-driven optimisation task, the static initialisation with pre-optimised hyperparameters of SaEA was compared with the proposed iterative approach.

5.1 SWAN wind wave model

As it is mentioned above, we use the third-generation wind wave model SWAN [3] as an example of a complex computationally-expensive physical model. It allows reproducing the part of the surface waves that are caused by the interaction between the ocean water masses and wind. Wave models of third-generation (e.g. SWAN) are simulating wave spectra and use it to obtain the integral characteristics of waves (e.g. heights, periods, velocities). The main equation of the SWAN model is the action balance equation (9).

tmodei = 0.5 + 9660/(FtimeFspat) [min]

(6)

4.4.2 Performance model for surrogate model. For the deadline adaptation problem, it is assumed that the surrogate model has the performance model Ps (0i). More specifically, for deadline-adaptation kriging performance model was estimated as the average time of 10 instances kriging training on a single CPU.

The performance model of the kriging training process t^rig with respect to the number of points taken in training set n can be estimated as

tkria = (20 + 0.006n2)/60 [min]

(7)

4.4.3 Performance model for surrogate-assisted evolutionary algorithm. The deadline-adaptive problem requires performance model P (@fA) that shows the time required for each surrogate-assistance optimisation procedure with the parameters' set &EA. According to the main hyperparameters of the implemented surrogate-assisted EA, the execution time tsaea can be estimated as

d d d d d S

— N +— Cx N +— cy N +— ca N +— ca N =-, (9) dt dx dy da da a

In (9) with E and E is an energy of wave spectrum is designated, N = E denotes the the wave action density , a is the non-dimensional frequency, a is the wave group velocity direction, c is the group velocity in corresponding space. The right-hand side represents the external inflow and outflow, with is written as (10).

S = Sin + Sds + Sni,

(10)

With S in in (10) the input energy obtained by wind is designated, Sds is the energy of dissipation and Sn¡ denotes the energy of wave-wave non-linear interaction.

The three terms above are describing the most of external wave energy inflow and outflow sources. The forcing is also often used for the model calibration. From this point of view, it is convenient to use the correspondence between the model parameters and the energy terms. Wind energy is defined by the drag function (DRG), wave dissipation — by the wave breaking (STMP) and bottom friction (CFW) functions. Non-linear energy flow is considered as nonsignificant, and thus non-linear interaction is omitted in the paper.

Figure 6: The simulation domain for the wave model: the Kara Sea and Ob bay. The grid cells associated with dry land are filled with grey. The observations points used for model calibration are highlighted with green marks.

As the model output, we consider the significant wave height (HS) variable in 3 spatial points shown in Fig. 6. For the modelling, the period from 2014.08.14 to 2014.09.15 is taken.

The real wave observation data in the Arctic are mostly not available from open sources. To carry out a reproducible experiment with the Kara Sea configuration, we used simulation results from the configuration of the WaveWatch III model [25] with high time and spatial resolution executed at Lomonosov-II supercomputer. Systematic deviations of synthetic observations from the model have been removed.

5.2 Experimental results

At first, a set of experiments was conducted to compare the effectiveness of the SWAN model calibration using SPEA2 algorithm (baseline), the surrogate-assisted algorithm with dynamic fidelity and surrogate-assisted algorithm with dynamic fidelity (described in Alg. 1.

The comparison of the model error metrics improvement is presented in Fig. 7. The calibration for every scenario was repeated 10 times with the same configuration (the number of runs is relatively small due to the high computational cost of each run). It allows estimating the variance of the relative improvement of root-mean-squared error (RMSE) and the mean absolute error (MAE) against the model configuration with default parameter values from reference manual (DRF=1.0, CFW=0.015, STPM=0.00302) [3].

It can be seen that SaEA with dynamic fidelity provides better results for almost all time budget values. However, for the small (<300) time limits the surrogate-assisted methods results variance is quite high. It can be explained through the probabilistic nature of surrogate training points selection. If the number of points is small (that is necessary to satisfy the time limitations), the surrogate surface can vary significantly for different points sets. However, the median improvement is still better for the dynamic-fidelity calibration algorithm.

The second experiment was conducted to compare the quality of SWAN parameter sets obtained from both proposed deadline-adaptive approach and baseline non-adaptive SaEA approach for a

^50

CD >

2 25

CL

E

LU 0

CO DC

£ 50 cd

o25

L

I 0

LU <

+- • i ù *

I H 1

II Y—

100 300 500 700

Calibration time, min

100 300 500

Calibration time, min

700

Algorithm 5 SPEA2 SaEA SaEA with Dyn. Fid.

Figure 7: The comparison of the evolutionary algorithms' performance on the validation set of stations in all scenarios. The RMSE metric (upper part) and MAE metric (lower part) are presented as an improvement against the corresponding values for the default SWAN configuration.

set of consecutive deadlines. Fig. 8 depicts the averaged improvements of RMSE and MAE metrics against reference values.

The results of experiments confirm the effectiveness of the proposed approach. If the task can be formulated as an optimisation problem under time restrictions, the iterative approach proposed in the paper allows estimating the better solution. Also, the intermediate results can be used if the calibration results requested before the end of calibration time. However, it should be noted that higher calibration time does not always lead to a higher quality of results. It means that the hyperparameter values for the SaEA still not optimal for all analysed calibration cases.

6 CONCLUSIONS

In the paper, the adaptive approach to the numerical models' surrogate-assisted optimisation is proposed. It allows us to take the external deadline constraints into account and maximise the effectiveness of the surrogate-assisted evolutionary algorithm (SaEA) for the given time constraints. The regional configuration of the wind wave model SWAN was used as a case study for the parameter calibration effectiveness assessment.

As a calibration approach, the dynamic-fidelity SaEA was used. The surrogate model is based on the kriging method. The fidelity of SWAN model was interpreted as a multi-objective function of time and spatial step. Also, the performance model for SWAN was implemented to estimate the execution time for specified fidelity.

The proposed deadline-driven approach is targeted to estimate the optimal hyper-parameters (initial fidelity, fidelity refinement

60

CD

E

a>40

o

Œ

JE

LU 20 CO

DC

100

200

300

400

500

100 200 300 400

Deadline, min

500

Algorithm — Deadline-Driven — Constant

Figure 8: The comparison of the deadline-adaptive and static SaEA in all scenarios. The RMSE metric (upper part) and MAE metric (lower part) are presented as an improvement against the corresponding values for the default SWAN configuration.

step, etc.) of the dynamic-fidelity SaEA according to the deadline constraints for the operational stage. The set of experiments was conducted to compare the simple fixed-parameters approach with the proposed one. The results confirm the practical effectiveness of the deadline-driven approach for a various range of the deadline values. However, the computational overhead for the model runs for meta-optimisation in the preliminary stage can be unacceptable in some real-world scenarios. Nevertheless, the proposed approach can be effectively applied for various numerical models and extended to other domains (not metocean-related only).

The source code of the algorithms for deadline-driven calibration is available in the open repository [30].

ACKNOWLEDGMENTS

This research is financially supported by The Russian Scientific Foundation, Agreement #19-11-00326.

The research is carried out using the equipment of the shared research facilities of HPC computing resources at Lomonosov Moscow State University.

REFERENCES

[1] Richard Allmendinger, Michael TM Emmerich, Jussi Hakanen, Yaochu Jin, and Enrico Rigoni. 2017. Surrogate-assisted multicriteria optimization: Complexities, prospective solutions, and business case. Journal of Multi-Criteria Decision Analysis 24, 1-2 (2017), 5-24.

[2] Pete Beckman. 2008. CTWatch Quarterly. CTWatch Quarterly 4, 1 (2008), 60.