Методы и модели глубокого обучения для построения и обработки цифровых двойников керна тема диссертации и автореферата по ВАК РФ 00.00.00, кандидат наук Плющ Григорий Олегович

• Плющ Григорий Олегович
• кандидат наук
• 2024

Оглавление диссертации кандидат наук Плющ Григорий Олегович

Введение

Глава 1. Обзор существующих эффективных методов глубокого

обучения для задач обработки данных микрокомпьютерной томографии керна

1.1 Решение обратной задачи

1.1.1 Одношаговые методы

1.1.2 Псевдоитерационные методы

1.1.3 Выводы

1.2 Интерполяция разреженных синограмм

1.2.1 Выводы

1.3 Фильтрация или постобработка

1.3.1 Классический подход

1.3.2 Постобработка с помощью моделей глубокого обучения

1.3.3 Выводы

1.4 Сегментация

1.4.1 Минералогическая сегментация

1.4.2 Выводы

1.5 Синтез 3D кернов

1.5.1 Генерация с помощью GAN

1.5.2 Выводы

1.6 Выводы

Глава 2. Предобработка изображений

2.1 Фильтр анизотропной диффузии

2.2 Явная схема

2.3 Неявная схема

2.3.1 Критерии остановки фильтрации и процесс оценки параметров

2.3.2 Модификация фильтра

2.4 Выводы

2.5 Параллельная реализация

Стр.

Глава 3. Метод неявной регуляризации — сброс весов

3.1 Метод сброса весов

3.2 Формулировка метода сброса весов

3.3 Анализ метода

3.3.1 Оценка различных конфигураций сброса весов

3.3.2 Сравнение сброса весов с другими методами регуляризации

3.3.3 Влияние метода сброса весов на поверхность функции ошибки и траектории обучения

3.3.4 Анализ распределения весов

3.3.5 Оценка среднего значения и дисперсии весов

3.3.6 Экспериментальный анализ с моделями различной емкости

3.4 Выводы

Глава 4. Проблема восстановления утраченных областей керна

4.0.1 Размерность данных

4.0.2 Задача восстановления

4.0.3 Датасет и технические аспекты

4.1 Восстановление изображений срезов методами ГО

4.1.1 LSTM — Long short-term memory

4.1.2 Вариационный автокодировщик

4.1.3 Самообучающаяся модель оценки оптического потока

4.2 Анализ результатов

4.3 Основные ограничения предложенного метода и возможные

методы их снятия

4.4 Выводы

Заключение

Список литературы

Список рисунков

Список таблиц

Введение диссертации (часть автореферата) на тему «Методы и модели глубокого обучения для построения и обработки цифровых двойников керна»

Введение

Петрофизические параметры играют критическую роль в описании структуры и качества нефтяных и газовых месторождений. Прогностическая точность показателей добычи углеводородов на месторождении прямо коррелирует с объемом, достоверностью и репрезентативностью петрофизических данных, получаемых из разнообразных источников.

Компьютерное моделирование различных физических процессов на основе цифрового представления горных пород выступает в качестве альтернативы традиционным петрофизическим методам определения физико-химических параметров пласта. Основной преимущество цифровых моделей заключается в возможности проведения самых разнообразных экспериментов, включая те, которые невозможно реализовать в лабораторных условиях.

Построение цифрового двойника керна традиционно требует решения множества задач из различных областей, включая цифровую обработку сигналов и компьютерное зрение. В последние годы методы машинного обучения, в частности глубокого обучения, продемонстрировали свою высокую эффективность в решении подобных задач, что делает их потенциально перспективными и для цифровых кернов.

Целью данной работы является реализация эффективных методов регуляризации и упрощения представления для повышения качества обучения глубоких моделей на небольших наборах данных микро-КТ керна, а также оценка возможностей методов глубокого обучения для решения новой проблемы восстановления утраченных областей цифрового керна, его интерполяции и экстраполяции.

Для достижения поставленной цели необходимо было решить следующие задачи:

1. Составление обзора литературы и проведение её систематизация на предмет существующих примеров применения методов глубокого обучения к решению задач обработки результатов компьютерной томографии (КТ) и микро-КТ образцов керна в частности.

2. Поиск существующих открытых наборов данных (датасетов) микро-КТ образцов кернов, необходимых для обучения глубоких моделей и апробации рассмотренных в работе методов глубокого обучения.

3. Разработка соответствующего программного обеспечения (ПО) необходимого для обучения и применения рассматриваемых моделей.

4. Анализ существующих методов оценки качества цифровых изображений в контексте задачи обработки микро-КТ образцов керна.

5. Разработка и анализ вычислительно эффективной процедуры предобработки цифровых изображений керна для упрощения обучения моделей.

6. Разработка и анализ подходящего метода регуляризации глубоких моделей для борьбы с эффектом переобучения моделей и повышения качества работы обученных моделей.

7. Формулирование постановки задачи восстановления утраченных частей цифрового керна, его интерполяции и экстраполяции.

8. Разработка и сравнение двух методов глубокого обучения для решения задачи восстановления утраченных частей цифрового керна.

Научная новизна:

1. Впервые проведены систематизация и анализ существующих успешных примеров использования методов глубокого обучения для решения проблем обработки данных микро-КТ.

2. Разработана, обоснована и протестирована эффективная процедура параллельной фильтрации цифровых изображений керна, учитывающая значимость сохранения морфологических особенностей на изображениях.

3. Разработан новый универсальный метод неявной регуляризации моделей глубокого обучения, превосходящей другие известные методы регуляризации, рассмотренные в работе, с точки зрения качества обученных глубоких моделей на тестовых датасетах. Результат подтверждается анализом проведенных численных экспериментов.

4. Впервые сформулирована проблема восстановления утраченных областей керна, предложена постановка задачи, реализованы и проанализированы возможные подходы из области глубокого обучения для её решения.

Практическая значимость:

1. В работе проведена систематизация существующих методов глубокого обучения в применении к задачам обработки цифровых кернов, которая должна способствовать увлечению числа и качества исследований в этой области.

2. Рассмотрены методы по сокращению времени съемки и снижения износа оборудования КТ с допустимым уровнем потери информации, повышение точности реконструкции изображений срезов для последующего моделирования, методы восстановления минералогического состава по данным КТ, способные в некоторых случаях значительно снизить временные и другие издержки на покупку дорогостоящего оборудования при исследовании кернов.

3. Предложенный в диссертации способ восстановления утраченных областей керна позволяет увеличивать объем полезной информации для дальнейшего моделирования и оценки петрофизических показателей.

4. Разработанный новый метод регуляризации глубоких моделей является универсальным и может быть использован при обучении широкого класса моделей как в задачах компьютерного зрения, так и в других сферах применения методов глубокого обучения.

5. Разработанный метод предобработки изображений цифрового керна также может использоваться при решении задач компьютерного зрения и обработки цифровых сигналов в целом, и выступать эффективным методом фильтрации и повышения качества сигнала.

Методология и методы исследования. Включают в себя анализ реконструированных изображений срезов образца керна: визуально экспертным сообществом; численно с помощью классических пиксельных оценок качества; и анализ графических объектов на изображении, связанных с петрофизическими параметрами. Под реконструированными изображениями понимаются изображения срезов, полученные на различных этапах в процессе решения обратной задачи восстановления внутренней структуры пористой среды, и синтетические срезы, полученные при решении задачи экстраполяции и интерполяции цифрового образца керна.

Основные положения, выносимые на защиту:

1. Разработана неявная конечно-разностная линеаризованная вычислительная схема решения уравнения анизотропной диффузии. Доказана её консервативность, а также применимость метода сопряженных градиентов для решения полученной системы линейных уравнений. Предложена модификация фильтра Перона и Малика, использующая указанную выше численную схему. Созданная модификация позволяет непараметрическим образом определять момент остановки фильтрации изображения,

для чего введена оценка недетерминированности пикселей изображения. Разработан параллельный алгоритм модифицированного фильтра Перона и Малика, который был реализован на языке Fortran с применением директив стандарта OpenACC. Путем численных экспериментов показано, что предложенный модифицированный фильтр в сотни раз превосходит по скорости вычислений классический метод, реализованный на GPGPU на стандартных по размеру изображениях микро-КТ образцов керна. Модифицированный фильтр также реализован на языке Python для фреймворка TensorFlow, что позволяет встраивать его в архитектуру нейросети в виде обучаемого блока.

2. Сформулирована проблема восстановления утраченных областей цифрового керна, возникающая при ошибках в процессе извлечения физического керна. Разработаны два независимых метода интерполяции утраченной информации — использование глубокой модели оценки оптического потока, и с помощью применения модели вариационного автокодировщика и интерполяции в её латентном пространстве. Проведен сравнительный анализ разработанных методов. Показано, что стандартные оценки качества для компьютерного зрения, плохо подходят для анализа микро-КТ кернов. Предложена более подходящая оценка — абсолютная ошибка в восстановленной пористости. Путем численного эксперимента на синтетической задаче установлено кратное превосходство по качеству реконструкции метода, использующего вариационный автокодировщик.

3. Разработан неявный метод регуляризации глубоких моделей «сброс весов». Метод основан на периодической повторной инициализации случайного набора весов модели. Выполнен сравнительный анализ предложенного метода с другими наиболее популярными методами регуляризации нейросетей в различных конфигурациях. Показано, что предложенный метод в смысле минимального значения тестовой ошибки оказывается кратно лучше других рассмотренных методов регуляризации на двух из трех использованных в работе датасетах изображений. Установлена связь «сброса весов» с феноменом «двойного спуска». Экспериментально показано улучшение результата восстановления утраченных областей керна при применении сброса весов к модели вариационного автокодировщика.

Достоверность полученных результатов обеспечивается проведенными численными экспериментами, а также публикацией исходного кода алгоритмов и методов обучения моделей в открытом доступе для их проверки и возможной критики.

Апробация работы. Основные результаты работы докладывались на:

1. XII Всероссийская конференция молодых ученых, специалистов и студентов «Новые технологии в газовой промышленности» (г. Москва, РГУ нефти и газа (НИУ) им. И.М. Губкина, 24-27 октября 2017 г.)

2. XII Всероссийская научно-техническая конференция «Актуальные проблемы развития нефтегазового комплекса России» (г. Москва, РГУ нефти и газа (НИУ) им. И.М. Губкина, 12-14 февраля 2018 г.)

3. «Нефть и газ - 2018» (г. Москва, РГУ нефти и газа (НИУ) им. И.М. Губкина, 23-26 апреля 2018 г.)

4. «Нефть и газ - 2019» (г. Москва, РГУ нефти и газа (НИУ) им. И.М. Губкина, 22-25 апреля 2019 г.)

5. «2nd Conference of Computational Methods in Offshore Technology and First Conference of Oil and Gas Technology» (COTech & OGTech 2019) (Университет Ставангера, г. Ставангер, Норвегия, 27-29 ноября 2019 г.)

6. «3rd Conference of Computational Methods in Offshore Technology and Second Conference of Oil and Gas Technology» (COTech & OGTech 2021) (Университет Ставангера, г. Ставангер, Норвегия, 25-26 ноября 2021 г.)

7. VII Международная Конференция «Наноявления в геоэкологии и при разработке месторождений углеводородного сырья: от наноминералогии и нанохимии к нанотехнологиям» (г. Москва, РГУ нефти и газа (НИУ) им. И.М. Губкина, 22-23 ноября 2022 г.)

Личный вклад. Автор самостоятельно выполнил поиск, анализ и систематизацию научной литературы по теме применения методов глубокого обучения в задачах обработки съемки микро-КТ как образцов кернов, так и произвольных объектов. Проводил анализ полученных результатов, выполнял подготовку и написание публикаций. Автором выполнены все реализации алгоритмов, описанных в работе, в виде программного кода. Самостоятельно проведен необходимый анализ и доказательства свойств разработанных методов. Диссертант доказал применимость метода сопряженных градиентов к предложенному в работе модифицированному фильтру Перона и Малика, ввел и определил оценку недетерминированности пикселей для данного фильтра. Предложил пути реше-

ния проблемы восстановления утраченных областей керна методами глубокого обучения и реализовал их. Автор лично разработал и проанализировал предложенный в работе метод неявной регуляризации «сброс весов».

Публикации. Основные результаты по теме диссертации изложены в 7 печатных изданиях, в том числе 4 — в рецензируемых изданиях, рекомендуемых ВАК РФ.

Объем и структура работы. Диссертация состоит из введения, 4 глав и заключения. Полный объём диссертации составляет 102 страницы, включая 37 рисунков и 8 таблиц. Список литературы содержит 96 наименований.

Глава 1. Обзор существующих эффективных методов глубокого обучения для задач обработки данных микрокомпьютерной томографии керна

1.1 Решение обратной задачи

Цель решения обратной коэффициентной задачи — восстановить описывающие систему параметры на основе косвенных наблюдений и знаний о математической модели прямой задачи. В случае микро-КТ задача состоит в восстановлении внутреннего представления (набора срезов, рис. 1.1) некоторого объекта на основе синограмм (рис. 1.1), получаемых с томографа при известной физической модели — закона Бугера-Ламберта-Бера и применения обратного преобразования Радона в качестве метода решения.

(а) Срез (б) Синограма

Рисунок 1.1 — Иллюстрация среза образца керна и соответствующей ему сино-

граммы.

Это некорректная по Адамару задача, для ее решения необходимо внести дополнительные предположения, выполнив регуляризацию. Естественным представляется желание использовать для решение обратной задачи модели основанные на данных, например, полученных с помощью методов ГО.

Пусть сигнал связан с внутренним представлением по следующему закону:

д = А/ + П,

(1.1)

где g Е Y — полученный сигнал или измерения (синограмма), f Е X — искомое внутренние представление (срез), A — оператор прямого преобразования, n — некоторые шум произвольной природы, получаемый в процессе измерений. Тогда, решение обратной задачи обычно формулируют в виде:

f = arg min Hg (Af) + R(f), (1.2)

f ex

где Hg(•) — невязка, например Hg(Af) = \\Af — g||2, а R( ) — оператор регуляризация.

Наиболее простой в реализации способ — это использовать модель ГО как отдельный этап алгоритма решения обратной задачи: для постобработки срезов, полученных с помощью некоторого классического алгоритма, например, метода фильтрованного обратного проецирования (filtered back projection, FBP). Такой способ корректнее рассматривать как решение задачи фильтрации, поэтому обсудим его позднее в соответствующем разделе работы.

Основные методы ГО для решения обратной задачи, представленные в литературе, можно грубо разделить на два класса — одношаговые и «псевдоитерационные».

1.1.1 Одношаговые методы

Рассмотрим постановку одношаговых методов. Пусть имеется некоторый набор данных (датасет) вида D = {(g,f)}. Необходимо найти такие параметры 6 модели T6(g) = f, при которых достигается минимальная ошибка восстановления.

Заметим, что получить нужный датасет D можно синтетически — применяя к известным объектам прямое преобразование Радона с учетом закона Бугера-Ламберта-Бера и с некоторым шумом, или на основе применения классических методов решения обратной задачи к реальным данным.

В первом случае, фактически постулируется определенная природа физического процесса и возникающего при этом шума, а обученная модель становится эффективным фильтром для выбранного шума. Во втором — строится аппрокси-

мация выбранных алгоритмов, что имеет смысл только в том случае, когда можно говорить об ускорении конечной процедуры решения обратной задачи.

Экспертам также необходимо сформулировать четкий критерий оценки качества, отдающего предпочтение важной для последующего моделирования информации, как, например, неизменность границ пустотного пространства. Во втором случае это может требовать трудоемкой ручной разметки датасета.

Отметим также, что в обоих случаях решается задача сокращения числа параметров в конечной процедуре восстановления внутренней структуры объекта.

В работе [1] авторы предлагают универсальный метод решения обратных задач AUTOMAP, где в качестве модели Tq используется многослойный нелинейный перцептрон, что однако затруднительно как для обучения, так и для использования при попытке восстановить срезы в высоком разрешении, например порядка 1 мегапикселя (1 МП).

В работе [2] был представлен одношаговый метод iRadonMap, пригодный для решения задачи в высоком разрешении. Метод основан на идее алгоритма FBP. Предложенная в работе модель T© будет представлена ниже.

Пусть каждая строка rj дискретной синограммы д = [r1,...,rm] соответствует некоторому углу съемки а. Определим параметрическую модель построчной фильтрации синограммы как некоторый многослойный перцептрон FQl (r). После применения такого фильтра к каждой строке получим фильтрованное представление синограммы д. Далее можно сопоставить каждому пикселу (x,y) восстанавливаемого среза упорядоченную по углам съемки последовательность значений с д по закону v = x cos а + y sin а. Такую процедуру сопоставления авторы назвали слоем обратного проецирования. В результате работы процедуры получается 3D массив, который можно интерпретировать как изображение с m каналами. К такому представлению данных предлагается применить модель сверточной нейросети типа ResNet [3] c параметрами Q2 (рис. 1.2).

Итоговая проблема поиска параметров в = {Qi,Q2} формулируется как задача минимизации средней квадратичной ошибки С(в) = l (T&(gi) — fi)2.

В качестве оценки результатов приводится следующий сравнительный рисунок 1.3.

Рассмотренный метод и аналогичные ему содержат достаточно много обучаемых параметров, что требует значительных по объему датасетов, что в свою очередь значительно увеличивает риск переобучения.

Рисунок 1.2 — Схема модели iRadonMap.

Эталон

¡Кас1опМар

!мт ш N 2 I

v /

Разница Разница

(Эталон-РВР) (ЭталончРас1опМар)

Ш &

/М\

( а ^т !

Рисунок 1.3 — Сравнительный рисунок для модели iRadonMap.

1.1.2 Псевдоитерационные методы

В основе итерационных моделей лежит идея замены процедур внутри шага итерации решающего алгоритма на обучаемые модели. Под псевдоитерационными моделями подразумеваются обучаемые итерационные схемы с фиксированным при обучении числом итераций.

В работе [4] рассматриваются итерационные схемы оптимизации для решения проблемы (1.2) на основе теории проксимальных операторов и алгоритмов (proximal operators and algorithms) [5].

Традиционно задачу (1.2) решают градиентными методами. Однако необходимые регуляризации зачастую оказываются не дифференцируемые, например регуляризация Total-Variation (полная вариация). Обычно их заменяют гладкими аппроксимациями, что фактически приводит к необходимости решать новую задачу, и при этом достаточно сложно оценить насколько полученное решение соответствует исходной постановке.

В качестве альтернативы можно рассматривать теорию проксимальных методов, разработанную для случаев не гладкой функции цели.

В работе [4] берется за основу итерационный алгоритм PDHG (primal dual hybrid gradient, прямой двойственный гибридный градиент) [6], созданный для задач следующего вида:

mm [F(K(f)) + G(f)], (1.3)

j

где K : X ^ U, F : U ^ R, а G : X ^ R. Очевидно постановка (1.3) эквивалентна (1.2) без регуляризации.

В [4] используется классический алгоритм PDHG, выученный PDHG (Learned PDHG) — проксимальные операторы и параметры алгоритмы заменяются на обучаемые параметрические функции, например глубокие нейросети, и предлагаемый новый метод выученный прямой двойственный (Learned Primal-dual).

В отличие от PDHG метод Learned Primal-dual уже не основывается на теории проксимальных операторов, а является эвристическим методом, полученным на основе исходного PDHG.

Алгоритм Learned Primal-dual представлен в виде псевдокода:

Инициализация: j0 е X,h0 е U for i = 1..I do

hi ^ Г0;(h,-UK(fjl\),g)

f, ^ A0?( j-1, [dK j- )]'(hi1>) return j}1^

В псевдокоде под [dK(j-^)]* подразумевается производная Фреше [7] оператора K в точке j-1.

Алгоритм требует некоторой первичной инициализации в пространстве срезов jo е X, так и в некотором пространстве ho е U, называемым двойственным пространством, по аналогии с оригинальным алгоритмом PDHG. Предлагается считать, что в переменных j и h, хранится некоторая предыстория алгоритма длиной в N и M соответственно. То есть под записью j1^ подразумевается акту-

w р . w р (2)

альный результат расчета f на г-ой итерации, а, например, под j ' — предыдущий результат относительно г-ой итерации. В работе используется нулевая инициализация обеих переменных.

В итоге, вместо схем расчета с проксимальными операторами имеем множество пар параметрических функций {(Г0^, Лвр),г = 1..N}, в нашем случае — глубоких нейросетей. Предлагается использовать небольшие по числу параметров сверточные сети с остаточными связями. Отметим, что всегда можно подобрать достаточно глубокую и выразительную нейросеть, способную аппроксимировать все необходимые операторы, но при этом обучить такую итерационную конструкцию будет чрезвычайно сложно особенно градиентными методами.

Авторы используют фиксированное число шагов I, как наиболее простой способ обучить искомые операторы с помощью традиционных для глубокого обучения градиентных методов оптимизации. Однако не очевидно как для градиентных методов реализовать некий более сложный параметрический критерий остановки. Тем не менее считаем, что если при обучении операторов использовать случайное число шагов, не меняя при этом оптимизируемую в рамках обучения функцию цели, получаются более эффективные операторы с точки зрения скорости сходимости к решению и адаптированные к переменному числу шагов.

Строго говоря, с фиксированным числом шагов — весь алгоритм Primal-dual является одной последовательной по итерациям глубокой нейросетью, без какой-либо явной регуляризации на уровне промежуточных результатов. На практике полученные решения могут существенно отличаться от ожидаемых, то есть

от изображений среза. Например, некоторые операторы могут просто аппроксимировать функцию идентичности j(x) = x, и фактически быть бесполезными для решения поставленной задачи.

В свою очередь, обучения со случайным переменным числом шагов можно рассматривать как обучение ансамбля взаимодополняющих друг друга нейросе-тей, при этом если число итераций будет определяться, например равномерно распределенной случайной величиной — можно говорить о регуляризации на процесс обучения.

Также отметим, что Learned Primal-dual можно интерпретировать как частный случай рекуррентных нейросетей, интересным направлением для дальнейшего исследования могло бы стать сравнение современных методов ГО для обработки естественного языка, например трансформеров [8], с Learned Primal-dual.

Пусть P (j) — линейный оператор проецирования, тогда (K = P) [4] имеем:

[dK (f )]* = P *, (1.4)

где P* — оператор обратного проецирования. Для случая синтетической КТ и микро-КТ, когда выполняется закон Бугера — Ламберта — Бера [4]:

[dK (f )]*(g ) = -»P *( e-^ f %(•)) (1.5)

При некотором фиксированном числе итераций I (например, I = 10), алгоритм Learned Primal-dual можно рассмотреть как единую глубокую нейросеть Te(j0,h0,g) со слоями прямого и обратного проецирования, а также нелинейными сверточными слоями с остаточными связями, поэтому обучение алгоритма происходит стандартным для ГО образом. В качестве функции цели предлагается

использовать среднеквадратичную ошибку:

1 N

L(O) = N]T (To(fo,ho,gi) - f,)2. (1.6)

i=1

Результаты работы метода Learned Primal-dual в сравнении с другими известными методами представлены на рисунке 1.4. Сравнение представлено в таблице 1, в качестве оценок качества используются индекс структурного сходства (SSIM, Structural Similarity Index Measure) и пиковое отношение сигнала к шуму (PSNR, Peak Signal-to-Noise Ratio).

(г) FBP + U-Net (д) FBP + ResNet (е) Learned gradient

(ж) Learned PDHG (з) Learned Primal (и) Learned Primal-dual Рисунок 1.4 — Срез и результаты его восстановления различными методами из синтетической синограммы. Под Total-Variation понимается FBP с указанной регуляризацией. Под FBP + U-Net и FBP + ResNet — применение классического алгоритма FBP с последующей фильтрацией соответствующей моделью.

Таблица 1 — Таблица сравнения методов реконструкции, рассмотренных в работе [4], по оценкам качества PSNR и SSIM. Лучший результат выделен жирным шрифтом.

Метод PSNR t SSIM t

FBP 19.75 0.597

TV 28.06 0.929

FBP + U-Net denoising 29.20 0.944

FBP + residual denoising 32.38 0.972

Learned Gradient 32.29 0.981

Learned PDHG 28.32 0.909

Learned Primal 36.97 0.986

Learned Primal-Dual 38.28 0.989

1.1.3 Выводы

На рисунке 1.3 видно, что ошибка модели iRadonMap нелинейно зависит от числа снимков и метод достаточно нестабилен. Learned Primal-dual демонстрирует лучшие результаты.

Считаем, что перспективным представляется применение случайного числа итераций при обучении Learned Primal-dual, что снимает ограничение фиксированного числа итераций для повышения эффективности цепочек операторов различной длины. Также интересным представляется использование современных рекуррентных сетей и сетей типа трансформер для решения обратной задачи.

На данный момент тяжело оценить действительный выигрыш в скорости методов ГО по отношению к другим популярным методам решения обратной задачи в виду разнообразия вычислительных архитектур, алгоритмов и т.д., но уже сейчас можно сказать, что предложенные методы ГО выигрывают по качеству реконструкции срезов у многих актуальных классических методов.

По-мимо этого, важно отметить, что рассмотренные методы обучались на синтетических смоделированных датасетах, что не дает возможности напрямую воспользоваться сильной стороной методов ГО находить сложные законы напрямую из физических данных. Альтернативой могли бы стать составление да-тасетов из реальных синограмм с томографов объектов с известной внутренней структурой, например, изготовленные с достаточной точностью на 3D принтере пористые структуры, или физически распиленные с некоторым шагом образцы кернов с последующей микро-съемкой поверхности срезов.

Еще одним перспективным направлением можно считать применение методов обучения с непарными данными (unpaired data) наподобие того, как это происходит при обучении модели CycleGAN [9]. В нашем случае датасет должен был бы состоять из двух кластеров: синтетические синограммы с некоторым шумом, полученные с известных изображений, и настоящих синограмм с томографа. Возникает интерес построить модель, описывающую преобразование множества реальных синограмм во множество синтетических и обратно. Зная такое преобразование, можно было производить все необходимые последующие преобразования при известных явно выраженных прямых законах с учетом сложной природы возникающих шумов в реальных физических томографов. Проверить гипотезу можно было бы на нескольких синтетических датасетах с разной

природой шумов и искажений. Подобных работ в направление КТ и микро-КТ в литературе не обнаружили.

Список литературы диссертационного исследования кандидат наук Плющ Григорий Олегович, 2024 год

Список литературы

1. Image reconstruction by domain-transform manifold learning / B. Zhu [h gp.] // Nature. — 2018. — T. 555, № 7697. — C. 487—492.

2. He, J. Radon inversion via deep learning / J. He, Y. Wang, J. Ma // IEEE transactions on medical imaging. — 2020. — T. 39, № 6. — C. 2076—2087.

3. Deep residual learning for image recognition / K. He [h gp.] // Proceedings of the IEEE conference on computer vision and pattern recognition. — 2016. — C. 770—778.

4. Adler, J. Learned primal-dual reconstruction / J. Adler, O. Oktem // IEEE transactions on medical imaging. — 2018. — T. 37, № 6. — C. 1322—1332.

5. Proximal algorithms / N. Parikh, S. Boyd [h gp.] // Foundations and trends® in Optimization. — 2014. — T. 1, № 3. — C. 127—239.

6. Chambolle, A. A first-order primal-dual algorithm for convex problems with applications to imaging / A. Chambolle, T. Pock // Journal of mathematical imaging and vision. — 2011. — T. 40, № 1. — C. 120—145.

7. Coleman, R. Calculus on normed vector spaces / R. Coleman. — Springer Science & Business Media, 2012.

8. Attention is All you Need / A. Vaswani [h gp.] // Advances in Neural Information Processing Systems. T. 30 / nog peg. I. Guyon [h gp.]. — Curran Associates, Inc., 2017. — URL: https://proceedings.neurips.cc/paper_files/paper/2017/file/ 3f5ee243547dee91fbd053c1c4a845aa-Paper.pdf.

9. Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks / J.-Y. Zhu [h gp.]. — 2017. — URL: https://arxiv.org/abs/1703.10593.

10. Dong, X. Sinogram interpolation for sparse-view micro-CT with deep learning neural network / X. Dong, S. Vekhande, G. Cao // Medical Imaging 2019: Physics of Medical Imaging. T. 10948. — SPIE. 2019. — C. 692—698.

11. Ronneberger, O. U-Net: Convolutional Networks for Biomedical Image Segmentation / O. Ronneberger, P. Fischer, T. Brox. — 2015. — URL: https: //arxiv.org/abs/1505.04597.

12. Арсеньев-Образцов, С. С. Применение модифицированного фильтра анизотропной диффузии для обработки результатов рентгеновской микрокомпьютерной томографии / С. С. Арсеньев-Образцов, Г. О. Плющ // Автоматизация, телемеханизация и связь в нефтяной промышленности. — 2019. — № 1. — С. 30—40.

13. Arsenyev-Obraztsov, S. Proposals on 3D parallel edge-preserving filtration for x-ray tomographic digital images of porous medium core plugs / S. Arsenyev-Obraztsov, E. Volkov, G. Plusch. — 2019.

14. Low-dose CT with a residual encoder-decoder convolutional neural network / H. Chen [и др.] // IEEE transactions on medical imaging. — 2017. — Т. 36, № 12. — С. 2524—2535.

15. Deep convolutional neural network for inverse problems in imaging / K. H. Jin [и др.] // IEEE Transactions on Image Processing. — 2017. — Т. 26, № 9. — С. 4509—4522.

16. Low-dose CT image denoising using a generative adversarial network with Wasserstein distance and perceptual loss / Q. Yang [и др.] // IEEE transactions on medical imaging. — 2018. — Т. 37, № 6. — С. 1348—1357.

17. Da Wang, Y. Super resolution convolutional neural network models for enhancing resolution of rock micro-ct images / Y. Da Wang, R. Armstrong, P. Mostaghimi // arXiv preprint arXiv:1904.07470. — 2019.

18. PapersWithCode. Image Super-Resolution on PIRM-test / PapersWithCode. — 2022. — URL: https://paperswithcode.com/sota/image-super-resolution-on-pirm-test (дата обр. 12.12.2022).

19. PapersWithCode. Super-Resolution on IXI / PapersWithCode. — 2022. — URL: https://paperswithcode.com/sota/super-resolution-on-ixi (дата обр. 12.12.2022).

20. Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network / C. Ledig [и др.]. — 2016. — URL: https://arxiv.org/abs/1609.04802.

21. Enhanced Deep Residual Networks for Single Image Super-Resolution / B. Lim [и др.]. — 2017. — URL: https://arxiv.org/abs/1707.02921.

22. Wide Activation for Efficient and Accurate Image Super-Resolution / J. Yu [и др.]. — 2018. — URL: https://arxiv.org/abs/1808.08718.

23. Wang, Y. D. A Super Resolution Dataset of Digital Rocks (DRSRD1): Sandstone and Carbonate / Y. D. Wang, P. Mostaghimi, R. Armstrong. — 2019. — http:// www.digitalrocksportal.org/projects/211.

24. High-Resolution Image Synthesis with Latent Diffusion Models / R. Rombach [h gp.] // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). — 2022. — URL: https://github.com/CompVis/latent-diffusionhttps://arxiv.org/abs/2112.10752.

25. Wala'a, N. J. A Survey on Segmentation Techniques for Image Processing / N. J. Wala'a, R. J. Mohammed // Iraqi Journal for Electrical and Electronic Engineering. — 2021. — T. 17. — C. 73—93.

26. X-ray microcomputed tomography (mct) for mineral characterization: A review of data analysis methods / P. I. Guntoro [h gp.] // Minerals. — 2019. — T. 9, № 3. — C. 183.

27. Rapid quantitative mineral and phase analysis using automated scanning electron microscopy (QemSCAN); potential applications in forensic geoscience / D. Pirrie [h gp.] // Geological Society, London, Special Publications. — 2004. — T. 232, № 1. — C. 123—136.

28. Physical accuracy of deep neural networks for 2d and 3d multi-mineral segmentation of rock micro-CT images. arXiv 2020 / Y. Da Wang [h gp.] // arXiv preprint arXiv:2002.05322. —.

29. Badrinarayanan, V. SegNet: A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation / V. Badrinarayanan, A. Kendall, R. Cipolla. — 2015. — URL: https://arxiv.org/abs/1511.00561.

30. U-ReSNet: Ultimate coupling of registration and segmentation with deep nets / T. Estienne [h gp.] // International conference on medical image computing and computer-assisted intervention. — Springer. 2019. — C. 310—319.

31. Caers, J. Multiple-point geostatistics: a quantitative vehicle for integrating geologic analogs into multiple reservoir models / J. Caers, T. Zhang. — 2004.

32. Mariethoz, G. The direct sampling method to perform multiple-point geostatistical simulations / G. Mariethoz, P. Renard, J. Straubhaar // Water Resources Research. — 2010. — T. 46, № 11.

33. A practical guide to performing multiple-point statistical simulations with the Direct Sampling algorithm / E. Meerschman [и др.] // Computers & Geosciences. — 2013. — Т. 52. — С. 307—324.

34. Mosser, L. Reconstruction of three-dimensional porous media using generative adversarial neural networks / L. Mosser, O. Dubrule, M. J. Blunt // arXiv preprint arXiv:1704.03225. — 2017.

35. Micro-CT images and Networks. — URL: https://www.imperial.ac.uk/earth-science/research/research- groups/pore- scale- modelling/micro- ct- images- and-networks/.

36. Razavi, A. Generating Diverse High-Fidelity Images with VQ-VAE-2 / A. Razavi, A. van den Oord, O. Vinyals // Advances in Neural Information Processing Systems. Т. 32 / под ред. H. Wallach [и др.]. — Curran Associates, Inc., 2019. — URL: https : / / proceedings . neurips . cc / paper _ files / paper / 2019 / file / 5f8e2fa1718d1bbcadf1cd9c7a54fb8c-Paper.pdf.

37. Sudakov, O. Driving digital rock towards machine learning: Predicting permeability with gradient boosting and deep neural networks / O. Sudakov, E. Burnaev, D. Koroteev // Computers & geosciences. — 2019. — Т. 127. — С. 91-98.

38. Webface260m: A benchmark unveiling the power of million-scale deep face recognition / Z. Zhu [и др.] // Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. — 2021. — С. 10492—10502.

39. Perona, P. Scale-Space and Edge Detection Using Anisotropic Diffusion / P. Perona, J. Malik // IEEE Trans. Pattern Anal. Mach. Intell. — 1990. — Т. 12. — С. 629-639.

40. Canny, J. A computational approach to edge detection / J. Canny // IEEE Trans. on Pattern Analysis and Machine Intelligence. — 1990. — Т. 8, вып. 6. — С. 679-698.

41. Michel-Gonzalez, E. Geometric nonlinear diffusion filter and its application to X-ray imaging / E. Michel-Gonzalez, M. H. Cho, S. Y. Lee // Biomedical engineering online. — 2011.

42. Iterative methods for anisotropic diffusion of speckled medical images / C. Tauberab [и др.] // Applied Numerical Mathematics. — 1990. — Т. 60, вып. 11. — С. 1115—1130.

43. Rozhdestvenskii, B. Systems of quasilinear equations [Sistemy kvazilineinykh uravnenii] / B. Rozhdestvenskii, N. Yanenko. — Moscow : Nauka, 1968.

44. Tikhonov, A. Solution of Ill-posed Problems. / A. Tikhonov, V. Arsenin. — Washington: Winston & Sons, 1977. — С. 258.

45. Rumelhart, D. Learning representations by back-propagating errors /

D. Rumelhart, G. Hinton, R. Williams // Nature. —1986. — Т. 322. — С. 533—536.

46. LeCun, Y. Optimal Brain Damage / Y. LeCun, J. Denker, S. Solla // Advances in Neural Information Processing Systems. Т. 2 / под ред. D. Touretzky. — MorganKaufmann, 1989. — URL: https://proceedings.neurips.cc/paper_files/paper/1989/ fileZ6c9882bbac1c7093bd25041881277658-Paper.pdf.

47. Prechelt, L. Early Stopping-But When? / L. Prechelt // Neural Networks. — 1996.

48. Caruana, R. Overfitting in neural nets: Backpropagation, conjugate gradient, and early stopping / R. Caruana, S. Lawrence, L. Giles // Advances in Neural Information Processing Systems 13 - Proceedings of the 2000 Conference, NIPS 2000. — Neural information processing systems foundation, 2001. — 14th Annual Neural Information Processing Systems Conference, NIPS 2000 ; Conference date: 27-11-2000 Through 02-12-2000.

49. Dropout: A Simple Way to Prevent Neural Networks from Overfitting / N. Srivastava [и др.] // Journal of Machine Learning Research. — 2014. — Т. 15, № 56. — С. 1929—1958. — URL: http://jmlr.org/papers/v15/srivastava14a.html.

50. Ioffe, S. Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift / S. Ioffe, C. Szegedy // Proceedings of the 32nd International Conference on International Conference on Machine Learning -Volume 37. — Lille, France : JMLR.org, 2015. — С. 448—456. — (ICML'15).

51. Krizhevsky, A. ImageNet Classification with Deep Convolutional Neural Networks / A. Krizhevsky, I. Sutskever, G. E. Hinton // Advances in Neural Information Processing Systems. Т. 25 / под ред. F. Pereira [и др.]. — Curran Associates, Inc., 2012. — URL: https://proceedings.neurips.cc/paper_files/paper/ 2012/file/c399862d3b9d6b76c8436e924a68c45b-Paper.pdf.

52. Soudry, D. The Implicit Bias of Gradient Descent on Separable Data / D. Soudry,

E. Hoffer, N. Srebro // Journal of Machine Learning Research. — 2017. — Окт. — Т. 19.

53. Razin, N. Implicit Regularization in Deep Learning May Not Be Explainable by Norms / N. Razin, N. Cohen // Proceedings of the 34th International Conference on Neural Information Processing Systems. — Vancouver, BC, Canada : Curran Associates Inc., 2020. — (NIPS'20).

54. Limitation of characterizing implicit regularization by data-independent functions / L. Zhang [h gp.]. — 2022. — arXiv: 2201.12198 [cs.LG].

55. Behdin, K. Sharpness-Aware Minimization: An Implicit Regularization Perspective / K. Behdin, R. Mazumder. — 2023. — arXiv: 2302 . 11836 [stat.ML].

56. An Empirical Study of Implicit Regularization in Deep Offline RL / C. Gulcehre [h gp.] // ArXiv. — 2022. — T. abs/2207.02099.

57. Roy, O. The effective rank: A measure of effective dimensionality / O. Roy, M. Vetterli // 2007 15th European signal processing conference. — IEEE. 2007. — C. 606-610.

58. Plusch, G. The Weights Reset Technique for Deep Neural Networks Implicit Regularization / G. Plusch, S. Arsenyev-Obraztsov, O. Kochueva // Computation. — 2023. — T. 11, № 8. — URL: https://www.mdpi.com/2079-3197/11/8/148.

59. Learning multiple layers of features from tiny images / A. Krizhevsky, G. Hinton [h gp.]. — 2009.

60. Caltech 101 / F.-F. Li [h gp.]. — 04.2022.

61. Howard, J. Imagewang / J. Howard. — URL: https : / / github . com / fastai / imagenette/. https://github.com/fastai/imagenette/.

62. Reconciling modern machine-learning practice and the classical bias-variance trade-off / M. Belkin [h gp.] // Proceedings of the National Academy of Sciences. — 2019. — Hronb. — T. 116, № 32. — C. 15849—15854. — URL: https://doi.org/10.1073%2Fpnas.1903070116.

63. Imagenet: A large-scale hierarchical image database / J. Deng [h gp.] // 2009 IEEE conference on computer vision and pattern recognition. — Ieee. 2009. — C. 248—255.

64. TensorFlow Datasets, A collection of ready-to-use datasets. — https://www. tensorflow.org/datasets.

65. TensorFlow: Large-Scale Machine Learning on Heterogeneous Systems / Martin Abadi [h gp.]. — 2015. — URL: https://www.tensorflow.org/; Software available from tensorflow.org.

66. Keras / F. Chollet [h gp.]. — 2015. — https://keras.io.

67. Kingma, D. P. Adam: A Method for Stochastic Optimization / D. P. Kingma, J. Ba. — 2017. — arXiv: 1412.6980 [cs.LG].

68. Zou, H. Regularization and variable selection via the elastic net / H. Zou, T. Hastie // Journal of the royal statistical society: series B (statistical methodology). — 2005. — T. 67, № 2. — C. 301—320.

69. Stacked denoising autoencoders: Learning useful representations in a deep network with a local denoising criterion. / P. Vincent [h gp.] // Journal of machine learning research. — 2010. — T. 11, № 12.

70. Visualizing the Loss Landscape of Neural Nets / H. Li [h gp.]. — 2018. — arXiv: 1712.09913 [cs.LG].

71. Deep Double Descent: Where Bigger Models and More Data Hurt / P. Nakkiran [hgp.]. — 2019. — arXiv: 1912.02292 [cs.LG].

72. Advani, M. S. High-dimensional dynamics of generalization error in neural networks/M. S. Advani, A. M. Saxe. — 2017. — arXiv: 1710.03667 [stat.ML].

73. Jamming transition as a paradigm to understand the loss landscape of deep neural networks / M. Geiger [h gp.] // Physical Review E. — 2019. — Hronb. — T. 100, № 1. — URL: https://doi.org/10.1103%2Fphysreve.100.012115.

74. Arsenyev-Obraztsov, S. Deep learning based restoration of lost sections in Micro-CT core plugs / S. Arsenyev-Obraztsov, G. Plusch. — 2021.

75. Wang, Z. Deep learning for image super-resolution: A survey / Z. Wang, J. Chen, S. C. Hoi // IEEE transactions on pattern analysis and machine intelligence. — 2020.

76. An X-ray computed micro-tomography dataset for oil removal from carbonate porous media / T. Pak [h gp.] // Scientific data. — 2019. — Hhb. — T. 6.

77. Digital Rocks Portal: a repository for porous media images / M. Prodanovic [h gp.] // Digital Rocks Portal. — 2015.

78. Neumann, R. 11 Sandstones: raw, filtered and segmented data / R. Neumann, M. Andreeta, E. Lucas-Oliveira. — 2020. — http://www.digitalrocksportal.org/ projects/317.

79. Gers, F. A. Recurrent nets that time and count / F. A. Gers, J. Schmidhuber // Proceedings of the IEEE-INNS-ENNS International Joint Conference on Neural Networks. IJCNN 2000. Neural Computing: New Challenges and Perspectives for the New Millennium. T. 3. — IEEE. 2000. — C. 189—194.

80. Convolutional LSTM network: A machine learning approach for precipitation nowcasting / S. Xingjian [h gp.] // Advances in neural information processing systems. — 2015. — C. 802—810.

81. Srivastava, N. Unsupervised learning of video representations using lstms / N. Srivastava, E. Mansimov, R. Salakhudinov // International conference on machine learning. — PMLR. 2015. — C. 843—852.

82. Kingma, D. P. Auto-Encoding Variational Bayes / D. P. Kingma, M. Welling. —

2014. — arXiv: 1312.6114 [stat.ML].

83. Cai, L. Multi-Stage Variational Auto-Encoders for Coarse-to-Fine Image Generation / L. Cai, H. Gao, S. Ji. — 2017. — arXiv: 1705.07202 [cs.CV].

84. Autoencoding beyond pixels using a learned similarity metric / A. B. L. Larsen [h gp.]. — 2016. — arXiv: 1512.09300 [cs.LG].

85. Akima, H. A new method of interpolation and smooth curve fitting based on local procedures / H. Akima // Journal of the ACM (JACM). — 1970. — T. 17, № 4. — C. 589—602.

86. beta-vae: Learning basic visual concepts with a constrained variational framework /1. Higgins [h gp.] // ICLR. — 2017.

87. Bovik, A. C. The essential guide to image processing / A. C. Bovik. — Academic Press, 2009.

88. Menze, M. Object Scene Flow / M. Menze, C. Heipke, A. Geiger // ISPRS Journal of Photogrammetry and Remote Sensing (JPRS). — 2018.

89. Fortun, D. Optical flow modeling and computation: A survey / D. Fortun, P. Bouthemy, C. Kervrann // Computer Vision and Image Understanding. —

2015. — T. 134. — C. 1—21.

90. Spatial Transformer Networks / M. Jaderberg [и др.]. — 2016. — arXiv: 1506. 02025 [cs.CV].

91. A database and evaluation methodology for optical flow / S. Baker [и др.] // International journal of computer vision. — 2011. — Т. 92, № 1. — С. 1—31.

92. Deep Residual Learning for Image Recognition / K. He [и др.]. — 2015. — arXiv: 1512.03385 [cs.CV].

93. Арсеньев-Образцов, С. С. Применение методов компьютерной томографии для восстановления утраченных частей керна / С. С. Арсеньев-Образцов, Г. О. Плющ // Наноявления в геоэкологии и при разработке месторождений углеводородного сырья: от наноминералогии и нанохимии к нанотехнологи-ям : Материалы VII Международной Конференции «NANOTECHOILGAS-2022», Москва, 22-23 ноября 2022 года. — Москва: Творческая мастерская. 2022. — С. 345—354.

94. Z-Forcing: Training Stochastic Recurrent Networks / A. G. Alias Parth Goyal [и др.] // Advances in Neural Information Processing Systems. Т. 30 / под ред. I. Guyon [и др.]. — Curran Associates, Inc., 2017. — URL: https://proceedings. neurips.cc/paper_files/paper/2017/file/900c563bfd2c48c16701acca83ad858a-Paper.pdf.

95. Oord, A. van den. Neural Discrete Representation Learning / A. van den Oord, O. Vinyals, k. kavukcuoglu koray // Advances in Neural Information Processing Systems. Т. 30 / под ред. I. Guyon [и др.]. — Curran Associates, Inc., 2017. — URL: https : / / proceedings . neurips . cc / paper _ files / paper / 2017 / file / 7a98af17e63a0ac09ce2e96d03992fbc-Paper.pdf.

96. Conditional Image Generation with PixelCNN Decoders / A. van den Oord [и др.] // Advances in Neural Information Processing Systems. Т. 29 / под ред. D. Lee [и др.]. — Curran Associates, Inc., 2016. — URL: https://proceedings. neurips. cc/paper_files/paper/2016/file/b1301141feffabac455e1f90a7de2054-Paper.pdf.

Список рисунков

1.1 Иллюстрация среза образца керна и соответствующей ему синограммы. 10

1.2 Схема модели iRadonMap..........................13

1.3 Сравнительный рисунок для модели iRadonMap..............13

1.4 Срез и результаты его восстановления различными методами из синтетической синограммы. Под Total-Variation понимается FBP с указанной регуляризацией. Под FBP + U-Net и FBP + ResNet — применение классического алгоритма FBP с последующей фильтрацией соответствующей моделью..................17

1.5 Слева направо — (а) исходная синограмма, (б) разреженная синограмма, (в) билинейная интерполяция разреженной синограммы. . 20

1.6 Слева направо представлены результаты восстановления среза алгоритмом FBP с — разреженной синограммы, билинейной интерполяции разреженной синограммы, предложенной U-Net интерполяции и известной полной синограммы. Можно заметить, что предложенный метод интерполяции дает наиболее близкое к

исходному изображение среза без видимых шумов и артефактов.....20

1.7 Пример участка восстановленного среза образца керна..........21

1.8 Слева направо — исходный участок зашумленного среза, соответствующая билинейная интерполяция, сверх-разрешение, сверх-разрешение с помощью аугментированной на шум модели. ... 24

1.9 Пример бинарной сегментации изображения среза (твердая фаза и поровое пространство)............................25

1.10 Пример минералогической сегментации среза...............26

1.11 Слева — 3D изображение образца керна, справа — минералогическая сегментация, полученная с помощью QEMSCAN

и процедуры интерполяции и экстраполяции................27

1.12 Результаты минералогический сегментации участка среза на рисунке 1.10 (б), полученные разными моделями. Слева направо — SegNet,

ResNet, U-ResNet, U-ResNet-3D...................27

1.13 Столбчатая диаграмма значения пористости, смоделированной на основе результатов сегментации образца керна различными методами. 28

1.14 Пример срезов синтезированного порового пространства с помощью модели GAN (верхняя строка) в сравнение со срезами обучающей выборки из датасета песчаника Berea (нижняя строка)..........29

1.15 Распределение полученных численно значений проницаемости на 1283 воксельных подобластях и выборочные реализации, полученные из модели GAN, обученной на наборе данных песчаника Berea, показывают близкое соответствие для эффективной пористости, а

также в оцененной проницаемости.....................30

1.16 Пример срезов синтезированного порового пространства с помощью модели GAN (верхняя строка) в сравнение со срезами обучающей выборки из датасета бисера (нижняя строка)................31

2.1 а) часть исходного двумерного среза изображения; б) отфильтрованное изображение At = 5, у = 25...............41

2.2 Изменение локальной неопределенности двумерного среза изображения с итерациями фильтрации; черный цвет означает

хорошо определенную точку, а белый цвет — плохо определенную. . . 41

2.3 Пунктирная граница используется для блоков, которые должны быть параллельными с помощью директив OpenACC. Сплошная граница используется для блоков, содержащих комментарии к использованию OpenACC...................................42

3.1 Сравнение значений функции ошибки на тренировочных и

валидационных выборках для различных конфигураций сброса весов на наборах данных Caltech-101 (а), CIFAR-100 (б) и Imagenette (в). . . 51

3.2 На рисунке показаны изолинии различных срезов поверхностей функции цели и соответствующие двумерные проекции траекторий обучения. Каждая строка представляет собой разный набор данных, а именно сверху вниз: СаКес^101, CIFAR-100 и Imagenette. Столбцы изображают следующее (слева направо): срезы поверхностей функции ошибки для обучающей и валидационной выборок без регуляризации сбросом весов, за которыми следуют срезы поверхностей потерь для обучающей и тестовой выборок с применением сброса весов. На графиках красные стрелки описывают траекторию обучения. Символ синей звезды указывает на область с наименьшим значением функции цели...................55

3.3 Гистограммы значений матрицы весов после обучения на 30 эпохах (до сброса) на наборе данных Caltech-101: (а) Гистограмма для слоя dense напоминает соответствующее распределение инициализации Хе. (б) Гистограмма для слоя dense_1 напоминает соответствующее распределение инициализации Глорот. ..................56

3.4 Графики функций ошибки на обучающей и валидационной выборках для моделей, обученных на трех наборах данных. Каждая модель содержит разное количество нейронов в предпоследнем слое сети. Соответствие между потерями и количеством нейронов указано в легенде каждого графика. Потери моделей, обученных с использованием техники регуляризации «сброс весов», представлены сплошными линиями, а потери моделей, обученных

без дополнительной регуляризации, показаны пунктирными линиями. 59

3.5 Рисунок демонстрирует явление двойного спуска в машинном обучении. По оси Y задается риск, а по оси X измеряется емкость модели. Сплошная черная линия представляет тестовый риск с двумя пиками, в то время как пунктирная черная линия иллюстрирует обучающий риск, который уменьшается с увеличением емкости модели. Монотонность эмпирической функции тестового риска представлена тремя областями, обозначенными как A, B и C......60

3.6 Графики изменения значений функций ошибки для моделей, обученных на наборе данных Imagenette. Каждая модель содержит разное количество весов в предпоследнем слое. Соответствие между графиком функции ошибки и количеством весов указано в легенде. Значения функций ошибки моделей, обученных с использованием техники регуляризации сброса весов, представлены сплошными линиями, а значения функций ошибки моделей, обученных без дополнительной регуляризации, показаны пунктирными линиями: (а) потери на обучающей выборке и (б) потери на валидационной выборке. Для наглядности, полученные значения функций ошибки на валидационной выборке без использования регуляризации обозначены знаком «плюс».........................62

3.7 На рисунке представлены усредненные потери тестирования,

полученные на наборе данных Imagenette без применения метода

регуляризации сброса весов. Эти потери были усреднены по

периодам, наблюдаемым при обучении моделей на 350 эпохах.....63

4.1 Утраченные срезы представлены областью, окрашенной в красный цвет. Проблемы: (a) интерполяция, (b) экстраполяция, (с) мозаичное восстановление................................67

4.2 Сегментированные срезы образцов керна: (a) Bandera Brown, (b) Bandera Gray, (с) Buff Berea, (d) Bentheimer, (e) Berea, (f) Berea Sister Gray, (g) Berea Upper Gray, (h) CastleGate, (f) Kirby, (j) Leopard, (k)

Parker......................................68

4.3 Слева направо: срез, реконструкция ВА, бинаризованная реконструкция ВА. На рисунке видно, что обученная модель ВА способна эфективно сжимать и восстанавливать информацию......72

4.4 (a) график пористости, (b)-(d) компонента латентного вектора (оранжевый) и пористость (синий).....................74

4.5 Слева направо: визуализация латентного пространства образца керна с помощью PCA и t-SNE. Каждая точка окрашена в оттенки серого исходя из порядка соответствующего ей среза от белого до черного. Удаленные фрагменты окрашены в красный цвет.............74

4.6 Пример применения интерполяции ВА. В первом ряду исходные изображения, во втором — реконструкции, в третьем — результат интерполяции. (а) — срезы, (б) — участки (патчи) срезов........75

4.7 Слева направо: исходный срез Р, целевой срез It+k, деформированный срез It+k, визуализация оптического потока.....78

4.8 Пример применения интерполяции оптического потока. Первая строка — эталон, вторая — предсказание. (a) срезы, (b) фрагменты срезов.....................................78

4.9 Слева направо: эталонное изображение среза, восстановление с помощью ВА, восстановление с оптического потока...........79

4.10 Пример реконструкции изображения среза. (а) — исходное изображение среза, (б) — реконструкция ВА................80

4.11 Пример реконструкции изображения среза. (а) — исходное

изображение среза, (б) — реконструкция ВА, (в) — реконструкция VQ-VAE....................................82

Список таблиц

1 Таблица сравнения методов реконструкции, рассмотренных в работе [4], по оценкам качества PSNR и SSIM. Лучший результат выделен жирным шрифтом............................... 17

2 Оценки качества восстановленных алгоритмом FBP срезов с разреженной синограммы и ее постобработок в сравнении со срезом, восстановленным по известной полной синограмме. Стрелки указывают направление лучшего результата................20

3 Представлена послойная архитектура базовой модели в нотации Keras, примененная для оценки регуляризаций. Количество нейронов в последнем полносвязном слое зависит от используемого набора данных. Эта модель используется в последующих разделах главы,

если не сказано обратное..........................49

4 Таблица описывает использованные конфигурации для экспериментов со сбросом весов. Первый столбец — это номер конфигурации. Следующие столбцы определяют коэффициент

сброса для отдельных именованных слоев.................52

5 Таблица представляет конфигурации различных методов регуляризации относительно базовой архитектуры модели и результаты для каждой конфигурации. Она содержит только наименьшие достигнутые значения функций ошибки на валидационных данных и соответствующие значения функции ошибки на обучающих данных, полученные в течение 80 эпох обучения. Лучшие результаты были выделены подчеркнутым текстом. Примечание: L1+L2 регуляризация применялась как к матрице весов и смещений, так и к активации слоя с указанным коэффициентом. GD — регуляризация Gaussian Dropout, GN —

Gaussian Noise................................53

6 Архитектура ВА в нотации Keras......................72

7 Архитектура модели оценки оптического потока.............77

8 Сравнение методов. Здесь АОП — абсолютная ошибка пористости. . . 79