Моделирование анизотропных зависимостей по выборкам с факторным планом эксперимента тема диссертации и автореферата по ВАК РФ 05.13.18, кандидат наук Беляев Михаил Геннадьевич

• Беляев Михаил Геннадьевич
• кандидат наук
• 2015

Оглавление диссертации кандидат наук Беляев Михаил Геннадьевич

2.1 Основной результат

2.1.1 Предположения о структуре задачи

2.1.2 Обозначения

2.1.3 Асимптотические свойства предложенной модели

2.2 Общая схема доказательства

2.2.1 Обозначения

2.2.2 Шаги доказательства

2.3 Б-сплайны и квазиинтерполянт

2.3.1 Некоторые свойства одномерных Б-сплайнов

2.3.2 Квазиинтерполянт

2.4 Задача аппроксимации по известной функции

2.4.1 Приближение полиномом

2.4.2 Вспомогательные результаты

2.4.3 Ошибка приближения заданной функции

2.5 Построение оценки по конечной выборке

2.5.1 Ограниченность функций

2.5.2 Ошибка численного интегрирования

2.5.3 Квадратичные функции ошибки

2.5.4 Приближение по конечной выборке

2.5.5 Приближение по конечной зашумленной выборке

2.6 Переход к дискретной норме в штрафном слагаемом

2.6.1 Ошибка численного интегрирования в штрафном слагаемом

2.6.2 Задача аппроксимации с выборочной нормой производных

2.7 Финальная оценка

2.8 Выводы

3 Вычислительно-эффективный алгоритм

3.1 Введение

3.2 Тензорная арифметика

3.3 Оптимизируемая функция

3.4 Алгоритм

3.4.1 Диагонализация сомножителей в произведении Кронекера

3.4.2 Построение алгоритма

3.4.3 Полный факторный план

3.5 Выбор параметра регуляризации

3.5.1 Полный факторный план

3.5.2 Неполный факторный план

3.6 Выводы

4 Комплекс программ

4.1 Структура комплекса

4.2 Дополнительные функциональные возможности

4.3 Выборки с многомерными факторами

4.3.1 Изменения в алгоритме

4.3.2 Алгоритм построения словаря

4.4 Выводы

5 Экспериментальные результаты

5.1 Сравнение с другими методами

5.1.1 Полный факторный план

5.1.2 Неполный факторный план

5.2 Моделирование прочности структурных элементов обшивки самолета

5.2.1 Результаты

5.3 Консолидации данных при моделировании аэродинамических характеристик

5.3.1 Задача консолидации данных

5.3.2 Моделирование аэродинамических характеристик космического летательного аппарата

5.3.3 Методики консолидации

5.3.4 Результаты

5.3.5 Выводы

5.4 Выводы

Заключение

Список литературы

Публикации автора по теме диссертации

Введение диссертации (часть автореферата) на тему «Моделирование анизотропных зависимостей по выборкам с факторным планом эксперимента»

Введение

В задачах инженерного проектирования получил распространение подход к построению моделей физических явлений по выборке данных, состоящей из пар вида (описание объекта и условий функционирования, входной вектор) - (характеристики объекта, выходной вектор). В силу особенностей генерации наборов подобных пар в приложениях часто используют полный факторный план эксперимента (множество входных векторов образует декартово произведение некоторых множеств, называемых факторами). Часть значений выходного вектора может быть невычислима, что делает план эксперимента неполным факторным. Для выборок с факторным планом эксперимента характерен высокий объем, который растет экспоненциально по размерности входного вектора. Еще одна типичная особенность подобных задач — это пространственная неоднородность породившей данные зависимости, большую часть вариабельности которой обуславливает только несколько компонент входного вектора. Как правило, это априорное знание учитывается во время планирования эксперимента и для таких компонент используются большие мощности факторов.

В ряде работ было показано, что использование тензорного произведения сплайнов позволяет строить вычислительно эффективные алгоритмы для полных факторных планов эксперимента. Среди таких работ отметим С. de Boor, 19791, где была рассмотрена задача интерполяции по полному факторному плану и предложен эффективный итеративный алгоритм нахождения решения, и P. Dierckx, 19822, где модель строилась с помощью бикубических сплайнов с явным

xDe Boor C. Efficient computer manipulation of tensor products // ACM Transactions on Mathematical Software. 1979. V. 5, no. 2. P. 173-182.

2Dierckx P. A fast algorithm for smoothing data on a rectangular grid while using spline functions // SIAM J. on Numerical Analysis. 1982. V. 19, no. 6. P. 1286-1304.

контролем гладкости модели при помощи специального штрафа. Результатов по неполному факторному плану существенно меньше. В частности, в работе G. Pisinger, 20073, была рассмотрена задача интерполяции по неполному двумерному факторному плану и предложено решение, основанное на использовании техники псевдообращения.

Основным ограничением этих и многих других работ является неявное предположение о пространственной однородности моделируемой зависимости. Важным шагом стала работа B. Marx, 20054, в которой для задач с двумерным полным факторным планом был рассмотрен новый вид штрафа, позволяющий учитывать изменчивость модели по каждой из переменных с различными весами. Вместе с тем, использование подобных методов не было обосновано теоретически.

Параллельно с использованием тензорного произведение сплайнов для задач с факторным планом эксперимента шло развитие многомерных сглаживающих сплайнов (например, thin-plate сплайнов) для решения задач с произвольным планом и изотропной моделируемой функцией. Два ключевых отличия этих двух направлений заключались в следующем: теоретические свойства thin-plate сплайнов были хорошо изучены (так, их асимптотическая оптимальность была показана в работе Utreras, 19885), но высокая вычислительная сложность не позволяла использовать их для выборок большого объема.

Работа L. Xiao, 20136, объединила результаты из этих двух направлений. В работе был предложен метод моделирования анизотропных зависимостей по выборке данных с полным факторным планом эксперимента, доказана его асимптотическая оптимальность и разработан вычислительно эффективный алгоритм построения модели. Вместе с тем, оценка ошибки была получена только в двумерном случае, а предложенный алгоритм и использованная при доказа-

3G. Pisinger, A. Zimmermann. Linear least squares problems with data over incomplete grid // BIT Numerical Mathematics. 2007. V. 47. P. 809-824.

4Marx B. D., Eilers P. H. C. Multidimensional penalized signal regression // Technometrics. 2005. V. 47, no. 1. P. 13-22.

5Utreras F. Convergence rates for multivariate smoothing spline functions // Journal of approximation theory. 1988. V. 52, no. 1. P. 1-27.

6Xiao L., Li Y., Ruppert D. Fast bivariate P-splines: the sandwich smoother // J. of the Royal Statistical Society: Series B. 2013. V. 75, no. 3. P. 577-599.

тельстве техника базируются на том факте, что план эксперимента полный факторный.

Таким образом, актуально исследование методов моделирования анизотропных зависимостей по выборкам с факторным планом эксперимента (в том числе неполным), изучение теоретических свойств полученных методов и создание вычислительно эффективных алгоритмов построения моделей по таким данным.

Целью диссертационной работы работы является создание метода моделирования пространственно неоднородных зависимостей по выборкам данных с факторным планом эксперимента. Для достижения поставленной цели необходимо было решить следующие задачи.

1. Предложить математическую постановку задачи и метод построения модели, учитывающие пространственную неоднородность моделируемых зависимостей.

2. Обосновать предложенный метод построения модели в рамках сформулированной математической постановки задачи.

3. Разработать вычислительно эффективный алгоритм построения модели по данным с факторным планом эксперимента.

4. Реализовать предложенный алгоритм в виде комплекса программ.

Научная новизна работы состоит в том, что в ней впервые получены следующие результаты.

1. Для размерности входного вектора более двух найдена оценка ошибки приближения пространственно неоднородных зависимостей с помощью тензорного произведения сплайнов с использованием штрафа на изменчивость модели.

2. Предложен вычислительно эффективный алгоритм построения модели с помощью тензорного произведения сплайнов по выборкам с неполным факторным планом эксперимента.

3. Построен вычислительно эффективный алгоритм выбора коэффициентов регуляризации для выборок с факторным планом эксперимента.

4. Решена задача построения модели по двум выборкам данных различной точности, план эксперимента каждой из которых является неполным факторным.

Практическая значимость диссертационной работы определяется широким применением разработанных алгоритмов для решения ряда задач моделирования в аэрокосмической отрасли. Разработанные алгоритмы также были включены в программные продукты компании Эа1а^апее, которые используются в ряде крупнейших компаний аэрокосмической, машиностроительной и других высокотехнологичных отраслей.

Общая методика исследования. Для решения поставленных задач в работе используются методы функционального анализа, матричной и тензорной алгебры, теории оптимизации, теории приближения функций.

Основные положения, выносимые на защиту:

1. Разработанный метод является асимптотически оптимальным при надлежащем выборе параметров регуляризации.

2. Предложенный итеративный алгоритм построения модели обладает следующими свойствами:

(a) Необходимо не более тгп(п +1, N — п + 1) итераций для нахождения решения (п — объем выборки, N — объем соответствующего полного факторного плана эксперимента);

(b) Вычислительная сложность одной итерации не превышает ), где пи — мощности факторов плана.

3. Вычислительная сложность предложенного метода подсчета ошибки скользящего контроля и компонент ее градиента не превышает 0(^пк).

4. Разработанный программный комплекс успешно использован для решения ряда задач инженерного проектирования, в том числе задачи моделирования прочностных характеристик элементов обшивки самолета A350-900 и задачи моделирования аэродинамических характеристик суборбитального космического летательного аппарата.

Достоверность изложенных в работе результатов обеспечивается использованием строгих доказательств, основанных на хорошо изученных методах функционального анализа, теории оптимизации; совпадением элементов полученных скоростей сходимости с частным случаем одномерных задач; совпадением вычислительной сложности предложенного алгоритма в частном случае полного факторного плана со сложностью известных алгоритмов для полного факторного плана; успешным использованием результатов исследования в задачах инженерного проектирования.

Апробация работы. Результаты работы докладывались и обсуждались на следующих российских и международных конференциях: International workshop on advances in predictive modeling and optimization (2013, Германия); 9-я международная конференция "Интеллектуализация Обработки Информации" (2012, Черногория); конференции молодых ученых "Информационные Технологии и Системы" (2012, 2013); 55-я научная конференции Московского физико-технического института (2012); 5th European Conference on Computational Mechanics (2014, Испания); 5th International Conference on Mechanical and Aerospace Engineering (2014, Испания). Кроме того, полученные в работе результаты докладывались и обсуждались на научных семинарах лаборатории структурных методов анализа данных в предсказательном моделировании МФТИ (2012 - 2014), семинарах сектора интеллектуального анализа данных и моделирования ИППИ РАН (2014-2015), семинаре "Теория автоматического управления и оптимизации" лаборатории 7 ИПУ РАН (2015).

Публикации. Результаты по теме диссертации изложены в 7 публикациях, 3 из которых изданы в журналах, рекомендованных ВАК (Бел1—Бел3]), 4 — в тезисах докладов (включая индексируемые Web of Science тезисы [Бел4], и

индексируемые Scopus тезисы [Бел5]). Основные результаты представлены в работах [Бел1—Бел3], написанных без соавторов.

Объем и структура работы. Диссертация состоит из введения, пяти глав и заключения. Полный объем диссертации составляет 120 стр., включая 10 рисунков и 4 таблицы. Список литературы содержит 75 наименований.

Глава 1

Постановка задачи

1.1 Особенности прикладных задач метамодели-рования

В задачах инженерного проектирования часто необходимо изучать сложные физические явления [1—3]. Эти явления, как правило, моделируются с помощью систем дифференциальных уравнений, которые в большинстве случаев не решаются аналитически. Для нахождения решения применяются громоздкие численные методы, использование которых существенно повышает время моделирования [4]. В результате даже при текущем уровне развития вычислительной техники типичное время одного расчета с использованием физической модели может доходить до нескольких дней [5; 6]. Для уменьшения временных затрат на этапе предварительного проектирования используют математические модели, построенные с помощью методов анализа данных по заданной обучающей выборке, которая состоит из пар "точка" (описание объекта и условий функционирования, входной вектор) - "значение функции в точке" (характеристика объекта, выходной вектор) [7—9]. Такие модели позволяют получить лишь приближенное описание физического явления, но обеспечивают очень высокую скорость моделирования [10; 11]. Подобный подход получил распространение в различных областях инженерного проектирования и используется для моделирования аэродинамических зависимостей [12], прочности композитных

структур [13], оптимизации лопатки турбины [14] и других зависимостей.

Переменные задачи (компоненты входного вектора) зачастую можно разбить на несколько групп с разным физическим смыслом [15—17]. Например, при исследовании аэродинамики самолета к первой группе можно отнести геометрические параметры, а ко второй — режим полета (угол атаки, скорость) [18]. В таких случаях при формировании выборки зачастую используется следующая стратегия: для каждого зафиксированной группы переменных из одного фактора проводится эксперимент для набора заранее выбранных уровней переменных из второго фактора, причем от эксперимента к эксперименту этот набор не меняется [19]. Такая постановка эксперимента приводит к использованию полных факторных планов (множество точек обучающей выборки состоит из всех возможных комбинаций переменных из первого фактора с переменными из второго фактора) [20; 21]. Во многих практических задачах некоторые точки полного факторного плана не включаются в обучающую выборку по одной из причин, перечисленных ниже. В этом случае мы будем называть план неполным факторным. Такой план может быть обусловлен одной из следующих причин:

1. Данные генерируются с помощью некоторого программного кода, численно решающий какие-либо уравнения математической физики. Для такого рода генераторов данных достаточно распространена ситуация, когда в некоторых точках значение функции не может быть найдено (итеративный процесс поиска решения не сходится или сходится с крайне низкой скоростью).

2. Выборка описывает поведение некоторого объекта, для которого характерны несколько режимов работы. Для каждого режима план эксперимента строится как полный факторный, а множество точек обучающей выборки в таком случае является объединением нескольких (как правило, пересекающихся) полных факторных планов. В качестве типичного примера можно рассмотреть самолет, у которого можно выделить три режима эксплуатации: взлет, крейсерский полет и посадка. Для этих ре-

жимов характерны существенно отличающиеся наборы пар {угол атаки -скорость полета}, выступающие в качестве входной переменной х € Я2.

3. Эксперимент (генерация данных) еще не завершен, поэтому в части точках значения отсутствуют. Такая ситуация может иметь место, если подсчет значения д в одной точке требует значимое время.

Количество уровней, как правило, существенно меняется от фактора к фактору. Это связано с тем, что при выборе плана экспериментов принимаются во внимание знания из предметной области, которые говорят о неравнозначной зависимости моделируемой функции от различных групп переменных. В некоторых случаях бывает известен вид зависимости по какому-либо параметру [22]. Например, в случае квадратичной зависимости мощность соответствующего фактора выбирается равной трем, поскольку больший размер будет избыточным. В общем случае явный вид зависимости не известен, однако относительная степень ее сложности может быть оценена на основе знаний из предметной области и затем учтена при выборе плана эксперимента [23]. Зачастую для тех групп переменных, которые вносят существенный вклад в изменчивость функции, используются большие мощности факторов, чем для переменных, от которых функция зависит достаточно гладко. Таким образом, в задачах инженерного проектирования распространена ситуация, когда структура множества точек обучающей выборки несет в себе знания из предметной области о характере моделируемой зависимости.

Наличие гладко влияющих на изменчивость функции групп переменных (образующих фактор), для которых, как следствие, было выбрано малое число уровней, во многих задачах налагает дополнительные требования к методу аппроксимации. Построенная модель должна иметь достаточно гладкие срезы вдоль таких факторов (при зафиксированных переменных из всех остальных факторов), чтобы соответствовать ожиданиям специалистов из предметной области. Заметим, что малое число уровней может быть выбрано и по другим соображениям. Например, если переменные из какого-либо фактора варьировать достаточно дорого (в смысле временных или материальных затрат), то

при проведении эксперимента значения соответствующих переменных меняются редко. В этом случае также целесообразно получить модель с достаточно гладкими срезами, поскольку по малому числу точек можно достоверно построить только достаточно простую зависимость.

Многие стандартные методы, не использующие структуру данных, не позволяют учесть знания из предметной области и зачастую не удовлетворяют априорному знанию о гладкости моделируемой функции (как правило, в случае наличия факторов с существенно отличающимся числом уровней). В результате, модели, построенные такими методами по выборкам с факторным планом и неравномерным распределением точек в пространстве дизайна, могут вести себя нерегулярно в областях с малой плотностью точек обучающей выборки [Бел6]. Соответственно, построенная модель может быть даже еще более изменчива относительно групп переменных, соответствующих факторам с малым числом точек, чем относительно групп, соответствующих факторам большей мощности. Для успешной работы с такими выборками, несущими знания о моделируемой функции, необходимо явно контролировать гладкость аппроксимации. Некоторые классические методы позволяют это делать. Например, thin-plate сплайны определяются следующим образом

где а = (ах,... ,ал), Ва = д И""1/(у(дх1)а1... . Ключевой недостаток

этого и подобных подходов — изотропный штраф на гладкость, который не учитывают пространственную неоднородность моделируемой функции. При малом значении параметре регуляризации Л изменчивость по гладким факторам будет штрафоваться недостаточно сильно, а при большом значении Л зависимость по негладким факторам будет "пересглажена" (излишне упрощена).

1.2 Формальная постановка задачи

В предыдущем разделе были сформулированы основные особенности прикладных задач метамоделирования, а именно

1. Пространственная неоднородность моделируемых зависимостей.

2. Использование неполных факторных планов эксперимента.

3. Высокий объем обучаюшей выборки.

Приняв во внимание эти особенности, сформулируем математическую постановку задачи и предложим модель, с помощью которой мы будем моделировать искомую зависимость.

Будем считать, что задача обучающая выборка данных {х,ь € и,уг}г-=1, где и С [0,— некоторая область в В?. Множество точек X — будем на-

зывать планом эксперимента. Введем более формальное определение неполного факторного плана эксперимента (формально любой план эксперимента без какой-либо структуры можно представить как часть полного плана, состоящего из п3, точек). Для к — 1,... ,(1 определим множества

ек — [вкг ,...,вкПк}, о < ек < ••• <вкПк < 1.

Будем называть конечное множество в С [0,1]^ полным факторным планом с числами уровней п1,..., па, если

в — в1 х • • • х в3 — {гги...м — (в\,...,в1л)}П1,:Па .

Будем предполагать, что план эксперимента X заданной выборки данных есть пересечение полного факторного плана в с областью и. Если 3 х € в : х € X, то будем называть такой план неполным факторным. Мы наложим некоторые условия на множество и, предполагая, что оно достаточно регулярное в некотором смысле, и на множества {вк}3к=1, преполагая, что они достаточно равномерные. Таким образом мы исключим из рассмотрения "неструктурирован-

ные" планы эксперимента. Строгая формулировка ограничений на О и {вк}3к=1 будет дана в главе 2.

Теперь перейдем к формализации того факта, что в ряде задач инженерного проектирования моделируемые функции /0 априори являются пространственно неоднородными. Положим, что заданные значения у^ порождены как У г = /0(^г) + &, где ^ — независимый одинаково распределенный случайный шум с Е<^ = 0, Е^2 = а2 (а будем полагать известной). Будем считать, что /о Е где W2m — анизотропное пространство Соболева с т = (т1,... ,та), ти — натуральные числа . По определению (см. [24]) Ж2т(О) — это пространство локально суммируемых на О функций, имеющих на О обобщенные производные ^Т/(х) (к = 1,...,й), В™к = дтк/(дхк)тк, и конечную норму

II/\\^т(П) = II/\\ь2(П) + /

к=1

Предположение о принадлежности /0 анизотропному классу W¿m — это один из возможных способов формализовать подобные априорные инженерные знания о природе функции /0.

Таким образом, мы дали формальную постановку задачи, приняв во внимание работу с неполными факторными планами и пространственную неоднородность моделируемой функции /0. Наконец, рассмотрим вопрос работы с выборками данных высокого объема. Эта особенность никак не влияет на постановку задачи, но предъявляет высокие требования к вычислительной сложности метода решения этой задачи.

Как было отмечено во введении, популярным выбором модели в случае работы с полными факторными планами является тензорное произведение сплайнов. Более подробный обзор вычислительных алгоритмов будет дан в главе 3. Введем определение тензорного произведения сплайнов.

В-сплайнами порядка т называют некоторый базис в пространстве кусочно-полиномиальных функций из Ст-1([0,1]), степень каждого полинома не выше т, а Ст-1 — это пространство непрерывно дифференцируемых функций до порядка т — 1 включительно. В-сплайны строятся с помощью т последова-

тельных сверток индикаторной функции и обладают рядом удобным для анализа свойств, в частности обеспечивая наименьший среди сплайнов носитель. Некоторые свойства B-сплайнов будут описаны в главе 2.

Пусть щ = {tkjk,tkk = (jk — 1)hk}f=\ — это равномерное разбиение отрезка [0,1] с шагом hк = p—1 для всех к = 1,... ,d. Будем переходить от одного полиномиального участка сплайнов к другому в точках множества г]к (рк — число таких участков). Пусть Sk([0,1]) — это пространство сплайнов порядка тк + 1, заданных с помощью соответствующего разбиения rjк. Обозначим тензорное произведение сплайнов как Sm([0,1}d), Sm = Si 0 S2 • • • 0 Sd.

Введем d дискретно-непрерывных полунорм на Sm, задаваемых следующим образом:

/Гi \ i/2

II/= ( N Е С/ (Я ,,

4 Н 0 У

где N = Пкпк — мощность полного факторного плана О.

Наконец, определим нашу модель. Будем строить оценку f с помощью минимизации на Sm функционала, включающего среднеквадратичную ошибку, вычисленную в точках выборки, и штрафное слагаемое:

п d

f = argmin - ^ — ¡(Хг))2 + ^ Лк HD^f . (1.1)

i=l к=1

При d =1 решение (1.1) совпадает с классическими сглаживающими сплайнами [25]. В изотропных Соболевских пространствах стандартным обобщением сглаживающих сплайнов на случай d > 1 являются thin-plate сплайны [25]

где а = (а,..., ad), D° = д Н1/ ((дх1 )а1... (dxd)ad).

Предложенный функционал (1.1) является одним из возможных обобщений одномерных сглаживающих сплайнов на анизотропный многомерный случай. В одномерных и thin-plate сплайнах минимизация проводится по всему пространству W™, в то время как в (1.1) только по его подпространству Sm. Как

было отмечено выше, важным требованием, идущим от приложений, является малая вычислительная сложность алгоритма, поскольку объем выборки п растет экспоненциально по d, а сложность типичных методов (например, thin-plate сплайнов) может иметь порядок 0(п3). Именно это соображение обуславливает использование тензорного произведения сплайнов Sm в ряде алгоритмов, предназначенных для полного факторного плана, см. [26; 27]. Это же обстоятельство вынуждает подсчитывать дискретно-непрерывную норму производных в штрафном слагаемом вместо использования стандартной || • \\ь2,п нормы. Для построения вычислительно эффективного алгоритма необходимо, чтобы штраф был представим в виде квадратичной формы со специальной структурой матрицы гессиана (сумма произведений Кронекера матриц из двух наборов). Даже при использовании непрерывной || • \\l2,h нормы такая структура оказывается недостижима. Построение вычислительно-эффективного алгоритма ведется в главе 3, где в том иллюстрируется необходимость использования в штрафном слагаемом именно дискретно-непрерывных норм.

1.3 Выводы

В данной главе были описан подход, называемый метамоделированием, представлены характерные часто встречающиеся структуры данных. Затем была дана формальная постановка задачи, переводящая особенности прикладных задач инженерного проектирования в некоторые математические предположения или подходы к решению задачи, а именно.

1. Пространственная неоднородность моделируемых зависимостей учтена естественным образом — с помощью предположения о принадлежности моделирумой функции анизотропному пространству Соболева. Кроме того, при формировании целевой функции анизотропия была учтена при выборе штрафа — для каждого слагаемого используется свой параметр регуляризации.

2. Высокий объем выборки учтен при выборе класса, по которому мини-

мизируется выбранный функционал, и метода ограничения изменчивости модели по каждой переменной. Более побробно этот аспект будет проиллюстрирован в главе 3.

3. Неполные факторные планы на данном этапе постановки задачи специальном образом никак не выделены. Принципиальное отличие от выборок с полным факторным планом проявится только на этапе построения вычислительно эффективного алгоритма, где и будет обсуждаться детальнее.

Глава 2

Оценка асимптотических свойств предложенной модели

Напомним, что предложено строить модель с помощью решения следующей оптимизационной задачи

п d

f = argmin - ^ - f (Xi))2 + ^ A* f \\|>*. f ^ - tl fci

Для оценок такого известна оптимальная скорость сходимости ошибки Е\\/ — /0W2 [28; 29], в изотропном случае т* = т равная --2т/(2m+d). Достижение одномерными сглаживающими сплайнами оптимальной скорости сходимости было доказано в [30], thin-plate сплайнами — в [31]. Цель данной главы состоит в исследовании асимптотического поведения ошибки Е\\/ — /0\\2 предложенной оценки и обоснования использования такой модели. Отметим еще несколько работ, пересекающихся с этой задачей исследования. Асимптотические свойства одного из методов для полного факторного плана были исследованы в [27], где была найдена оптимальная скорость сходимости для размерности d = 2. Тензорное произведение сплайнов без штрафа на гладкость в оптимизируемом функционале использовалось в [32], где была доказана оптимальная

скорость сходимости в изотропном случае.

2.1 Основной результат

В данном разделе будет сформулированы предположения, в рамках которых строится оценка асимптотических свойств предложенной модели, и затем приведена полученная оценка асимптотической ошибки приближения /0. Все необходимые элементы доказательства полученной теоремы представлены в последующих разделах данной главы.

2.1.1 Предположения о структуре задачи

Нам понадобятся предположения о регулярности (в некотором смысле) области О и равномерности плана эксперимента {_Хг}™=1. Пусть I = [-1,1}(1,а Е I\ 0, 5 > 0, I Е (0, то)^ а возведения скаляра в степень вида 11 подразумевает (£11,... , £ 1а). Будем называть /-рогом следующее замкнутое множество

Список литературы диссертационного исследования кандидат наук Беляев Михаил Геннадьевич, 2015 год

Список литературы

Список литературы

1. Buede D. M. The engineering design of systems: models and methods. т. 55. — John Wiley & Sons, 2011.

2. Pahl G., Wallace K., Blessing L. Engineering design: a systematic approach. т. 157. — Springer, 2007.

3. Engineering design thinking, teaching, and learning / C. L. Dym [и др.] // Journal of Engineering Education. — 2005. — т. 94, № 1. — с. 103—120.

4. Eggleston D. M., Stoddard F. Wind turbine engineering design. — Van Nostrand Reinhold Co. Inc., New York, NY, 1987.

5. Shan S., Wang G. G. Survey of modeling and optimization strategies to solve high-dimensional design problems with computationally-expensive black-box functions // Structural and Multidisciplinary Optimization. — 2010. — т. 41, № 2. — с. 219—241.

6. Optimization of Composite Structure based on Surrogate Modeling of Buckling Analysis / S. Grihon, S. Alestra, E. Burnaev, P. Prikhodko // Тр. конф. Информационные Технологии и Системы. — 2012. — с. 41—47.

7. Forrester A., Sobester A., Keane A. Engineering Design via surrogate modelling. A Practical Guide. — Wiley, 2008. — с. 215.

8. Surrogate-based analysis and optimization / N. V. Queipo [и др.] // Progress in Aerospace Sciences. — 2005. — т. 41, № 1. — с. 1—28.

9. Forrester A. I., Keane A. J. Recent advances in surrogate-based optimization // Progress in Aerospace Sciences. — 2009. — т. 45, № 1. — с. 50—79.

10. Кулешов А. Когнитивные технологии в адаптивных моделях сложных объектов // Информационные технологии и вычислительные системы. — 2008. — т. 1. — с. 18—29.

11. Kuleshov A., Bernstein A. Cognitive technologies in adaptive models of complex plants // Keynote papers of 13th IFAC Symposium on Information Control Problems in Manufacturing (INC0M'09). — 2009. — с. 70—81.

12. Raymer D. P. [и др.] Aircraft design: a conceptual approach. т. 3. — American Institute of Aeronautics, Astronautics, 1999.

13. Surrogate modeling in design optimization of stiffened composite shells / R. Rikards, H. Abramovich, K. Kalnins, J. Auzins // Composite Structures. — 2006. — т. 73, № 2. — с. 244—251.

14. Multiple-surrogate approach to helicopter rotor blade vibration reduction / B. Glaz [и др.] // AIAA Journal. — 2009. — т. 47, № 1. — с. 271—282.

15. Predicting Vehicle Crashworthiness: Validation of Computer Models for Functional and Hierarchical Data / M. Bayarri [и др.] // Journal of the American Statistical Association. — 2009. — т. 104. — с. 929—943.

16. Combining experimental data and computer simulations, with an application to flyer plate experiments / B. Williams [и др.] // Bayesian Analysis. — 2006. — т. 1, № 4. — с. 765—792.

17. Combining field data and computer simulations for calibration and prediction / D. Higdon [и др.] // SIAM Journal on Scientific Computing. — 2004. — т. 26, № 2. — с. 448—466.

18. Morris M. D. Factorial sampling plans for preliminary computational experiments // Technometrics. — 1991. — т. 33, № 2. — с. 161—174.

19. Metamodels for computer-based engineering design: survey and recommendation T. W. Simpson, J. Poplinski, P. N. Koch, J. K. Allen // Engineering with computers. — 2001. — т. 17, № 2. — с. 129—150.

20. Montgomery D. C. Design and analysis of experiments. т. 7. — Wiley New York, 1984.

21. Myers R. H., Anderson-Cook C. M. Response surface methodology: process and product optimization using designed experiments. т. 705. — Wiley, 2009.

22. Бернштейн А. Результаты проекта "Быстрый аэродинамический расчет компоновки пассажирского самолета". тех. отч. ; МНИИПУ. —

2007.

23. Rendall T, Allen C. Multi-dimensional aircraft surface pressure interpolation using radial basis functions // Proceedings of the Institution of Mechanical Engineers, Part G: Journal of Aerospace Engineering. —

2008. — т. 222, № 4. — с. 483—495.

24. Бесов О. В., Ильин В. П., Никольский С. М. Интегральные представления функций и теоремы вложения. — НАУКА-Физматлит, 1996.

25. Wahba G. Spline models for observational data. т. 59. — Siam, 1990.

26. Currie I., Durban M., Eilers P. Generalized linear array models with applications to multidimensional smoothing // Journal of the Royal Statistical Society: Series B (Statistical Methodology). — 2006. — т. 68, № 2. — с. 259—280.

27. Xiao L, Li Y, Ruppert D. Fast bivariate P-splines: the sandwich smoother // Journal of the Royal Statistical Society: Series B (Statistical Methodology). — 2013. — т. 75, № 3. — с. 577—599.

28. Ибрагимов И. А., Хасьминский Р. З. Асимптотические границы качества непараметрического оценивания регрессии в L_p // Записки научных семинаров ПОМИ. — 1980. — т. 97. — с. 88—101.

29. Stone C. J. Optimal global rates of convergence for nonparametric regression // The Annals of Statistics. — 1982. — т. 10. — с. 1040—1053.

30. Speckman P. Spline smoothing and optimal rates of convergence in nonparametric regression models // The Annals of Statistics. — 1985. — с. 970—983.

31. Utreras F. I. Convergence rates for multivariate smoothing spline functions // Journal of approximation theory. — 1988. — т. 52, № 1. — с. 1—27.

32. Нусбаум М. О непараметрическом оценивании функций регрессии, гладкой в области из R"k // Теория вероятностей и ее применения. — 1986. — т. 31, № 1. — с. 118—125.

33. Schumaker L. L. Spline functions: basic theory. т. 1981. — Wiley New York, 1981.

34. Boor C. de Quasiinterpolants and approximation power of multivariate splines. — Springer, 1990.

35. Dahmen W, De Vore R., Scherer K. Multidimensional spline approximation // SIAM Journal on Numerical Analysis. — 1980. — т. 17, № 3. — с. 380—402.

36. Dierckx P. An algorithm for least-squares fitting of cubic spline surfaces to functions on a rectilinear mesh over a rectangle // Journal of Computational and Applied Mathematics. — 1977. — т. 3, № 2. — с. 113— 129.

37. De Boor C. Efficient computer manipulation of tensor products // ACM Transactions on Mathematical Software (TOMS). — 1979. — т. 5, № 2. — с. 173—182.

38. Grosse E. Tensor spline approximation // Linear Algebra and its Applications. — 1980. — т. 34. — с. 29—41.

39. Forsey D. R., Bartels R. H. Tensor products and hierarchical fitting // Robotics-DL tentative. — International Society for Optics, Photonics. 1992. — с. 88—96.

40. Reinsch C. H. Smoothing by spline functions // Numerische mathematik. — 1967. — т. 10, № 3. — с. 177—183.

41. Dierckx P. A fast algorithm for smoothing data on a rectangular grid while using spline functions // SIAM Journal on Numerical Analysis. — 1982. — т. 19, № 6. — с. 1286—1304.

42. Hu C. L, Schumaker L. L. Complete spline smoothing // Numerische Mathematik. — 1986. — т. 49, № 1. — с. 1—10.

43. Marx B. D., Eilers P. H. Multidimensional penalized signal regression // Technometrics. — 2005. — т. 47, № 1. — с. 13—22.

44. Paulo R. Default Priors for Gaussian Process // Annals of Statistics. — 2005. — т. 33, вып. 2. — с. 556—582.

45. Pisinger G., Zimmermann A. Linear least squares problems with data over incomplete grid // BIT Numerical Mathematics. — 2007. — т. 47. — с. 809—824.

46. Dierckx P. Computation of least-squares spline approximations to data over incomplete grids // Computers & mathematics with applications. — 1984. — т. 10, № 3. — с. 283—289.

47. Kolda T, Bader B. Tensor Decompositions and Applications // SIAM Review. — 2009. — т. 51, вып. 3. — с. 455—500.

48. Khoromskij B., Khoromskaia V. Multigrid Accelerated Tensor Approximation of Function Related Multidimensional Arrays // SIAM Journal on Scientific Computing. — 2009. — т. 31, № 4. — с. 3002—3026.

49. Graham A. Kronecker Products and Matrix Calculus: With Applications. — Wiley, 1982. — с. 130.

50. van Loan C. The ubiquitous Kronecker product // Journal of Computational and Applied Mathematics. — 2000. — т. 123, 1-2. — с. 85— 100.

51. Freund R. W., Golub G. H., Nachtigal N. M. Iterative solution of linear systems // Acta numerica. — 1992. — т. 1, № 1. — с. 57—100.

52. Fausett D. W, Fulton C. T. Large least squares problems involving Kronecker products // SIAM Journal on Matrix Analysis and Applications. — 1994. — т. 15, № 1. — с. 219—227.

53. Fausett D. W, Fulton C. T, Hashish H. Improved parallel QR method for large least squares problems involving Kronecker products // Journal of computational and applied mathematics. — 1997. — т. 78, № 1. — с. 63— 78.

54. Гантмахер Ф. Р. Теория матриц. — Наука Москва, 1966.

55. Martin R., Peters G., Wilkinson J. Symmetric decomposition of a positive definite matrix // Numerische Mathematik. — 1965. — т. 7, № 5. — с. 362— 383.

56. Van Loan C. Generalizing the Singular Value Decomposition // SIAM Journal on Numerical Analysis. — 1976. — т. 13, № 1. — с. 76—83.

57. Paige C. C, Saunders M. A. Towards a generalized singular value decomposition // SIAM Journal on Numerical Analysis. — 1981. — т. 18, № 3. — с. 398—405.

58. Golub G., Loan C. van Matrix Computations. — 4-е изд. — The Johns Hopkins University Press, 2012. — с. 784.

59. Nocedal J., Wright S. Numerical optimization. — 2-е изд. — Springer, 2006. — с. 664.

60. Stone M. Asymptotics for and against cross-validation // Biometrika. — 1977. — с. 29—35.

61. Zhang T. Leave-one-out bounds for kernel methods // Neural Computation. — 2003. — т. 15, № 6. — с. 1397—1437.

62. Wahba G. A comparison of GCV and GML for choosing the smoothing parameter in the generalized spline smoothing problem // Annals of Statistics. — 1985. — c. 1378—1402.

63. Bayesian model averaging: a tutorial / J. A. Hoeting, D. Madigan, A. E. Raftery, C. T. Volinsky // Statistical science. — 1999. — c. 382—401.

64. Akaike H. Factor analysis and AIC // Psychometrika. — 1987. — t. 52, № 3. — c. 317—332.

65. Bernstein D. S. Matrix mathematics: theory, facts, and formulas. — Princeton University Press, 2009.

66. Petersen K. B., Pedersen M. S. The matrix cookbook. — 2006.

67. Matlab Neural Network Toolbox. — URL: www . mathworks . com / products/neural-network/index.html.

68. Gaussian processes for machine learning toolbox. — URL: www . gaussianprocess.org/gpml/code/matlab/doc/index.html.

69. Rasmussen C, Williams C. Gaussian processes for machine learning. — MIT Press, 2006. — c. 248.

70. Kennedy M. C, O'Hagan A. Predicting the output from a complex computer code when fast approximations are available // Biometrika. — 2000. — t. 87, № 1. — c. 1—13.

71. Forrester A. I., Sobester A., Keane A. J. Multi-fidelity optimization via surrogate modelling // Proceedings of the Royal Society A: Mathematical, Physical and Engineering Science. — 2007. — t. 463, № 2088. — c. 3251— 3269.

72. Han Z.-H., Gortz S., Hain R. A variable-fidelity modeling method for aero-loads prediction // New Results in Numerical and Experimental Fluid Mechanics VII. — Springer, 2010. — c. 17—25.

73. Kennedy M. C., O'Hagan A. Bayesian calibration of computer models // Journal of the Royal Statistical Society: Series B (Statistical Methodology). — 2001. — t. 63, № 3. — c. 425—464.

74. Qian P. Z, Wu C. J. Bayesian hierarchical modeling for integrating low-accuracy and high-accuracy experiments // Technometrics. — 2008. — t. 50, № 2. — c. 192—204.

75. Space mapping: the state of the art / J. W. Bandler [h gp.] // Microwave Theory and Techniques, IEEE Transactions on. — 2004. — t. 52, № 1. — c. 337—361.

Публикации автора по теме диссертации

Бел1. Беляев М. Г. Анизотропные сглаживающие сплайны в задачах с факторным планом эксперимента // Доклады Академии Наук. — 2015. — т. 5, № 461. — с. 521—524.

Бел2. Беляев М. Аппроксимация многомерных зависимостей по структурированным выборкам // Искусственный интеллект и принятие решений. — 2013. — № 3. — с. 24—39.

Бел3. Беляев М. Аппроксимация данных, порожденных декартовым произведением // Труды МФТИ. — 2013. — т. 5, № 3. — с. 11—23.

Бел4. Surrogate models for spacecraft aerodynamic problems / M. Belyaev [и др.] //In proc. of 5th European Conference on Computational Mechanics. — 2014. — с. 418—422.

Бел5. On Approximation of Reserve Factors Dependency on Loads for Composite Stiffened Panels / G. Sterling [и др.] // Advanced Materials Research. —

2014. — т. 1016. — с. 85—89.

Бел6. Беляев М. Аппроксимация и интерполяция на основе тензорного произведения параметрических словарей // Труды конференции Информационные Технологии и Системы. — 2012. — с. 32—40.

Бел7. Беляев М. Аппроксимация зашумленных данных, имеющих структуру декартова произведения // Сборник докладов конференции ИОИ-9. — 2012. — с. 188—192.

Бел8. Belyaev M, Burnaev E., Kapushev Y. Gaussian process regression for structured data sets // Statistical Learning and Data Sciences. — Springer,

2015. — с. 106—115.

Бел9. Surrogate Modeling of Stability Constraints for Optimization of Composite Structures / S. Grihon, E. Burnaev, M. Belyaev, P. Prikhodko // Surrogate-Based Modeling and Optimization. Engineering applications / под ред. S. Koziel, L. Leifsson. — 2013. — с. 359—391.

Be,n10. Belyaev M., Burnaev E. Approximation of a multidimensional dependency based on a linear expansion in a dictionary of parametric functions // Informatics and its Applications. — 2013. — t. 7, № 3. — c. 114—125.