Моделирование течения многофазной жидкости в пористой среде с использованием высокопроизводительных гибридных вычислительных систем тема диссертации и автореферата по ВАК РФ 05.13.18, кандидат физико-математических наук Морозов, Дмитрий Николаевич

• Морозов, Дмитрий Николаевич
• кандидат физико-математических наук
• 2012

Оглавление диссертации кандидат физико-математических наук Морозов, Дмитрий Николаевич

Введение.

Обзор литературы.

Глава 1. Решение задач фильтрации 1МРЕ8-методом на параллельных вычислительных системах

1.1. 1МРЕ8-метод решения задачи двухфазной фильтрации

1.2. Алгоритм решения задач фильтрации в неоднородной среде, интерфейсные условия на границе раздела сред.

1.3. Результаты расчетов ШРЕБ-методом двухфазной задачи просачивания на параллельных системах

1.4. Выводы к главе 1.

Глава 2. Использование явных схем для решения задач фильтрации

2.1. Решение задачи фильтрации однофазной жидкости.

2.1.1. Квазигидродинамические уравнения

2.1.2. Трехслойная разностная схема для задачи фильтрации

2.1.3. Тестовые расчеты.

2.2. Явные схемы для решения задачи фильтрации двухфазной жидкости.

2.2.1. Гиперболизированная КГД-система.

2.2.2. Алгоритм расчета.

2.2.3. Результаты расчетов.

2.3. Выводы к главе 2.

Глава 3. Моделирование задач фильтрации на параллельных гибридных вычислительных системах.

3.1. Современные технологии параллельного программирования и требования к параллельным вычислительным системам

3.2. Основные принципы и архитектура программного комплекса

3.3. Результаты моделирования задач фильтрации на гибридных системах.

3.4. Выводы к главе 3.

Введение диссертации (часть автореферата) на тему «Моделирование течения многофазной жидкости в пористой среде с использованием высокопроизводительных гибридных вычислительных систем»

Актуальность работы. Математическое моделирование течения многофазных жидкостей в пористых средах является важной задачей для научной, экономической, экологической, индустриальной и многих других сфер. Особо важно решение индустриально-технологических задач, которые, как правило, междисциплинарны, отражают сложную геометрию описываемых конструкций, требуют высокой точности расчетов. Высокопроизводительные вычислительные системы открывают уникальные возможности для решения этих задач.

На сегодняшний день новые высокопроизводительные системы, как правило, создаются по модульному принципу, то есть состоят из объединенных коммуникационной системой процессорных модулей. Число процессорных ядер таких систем составляет уже порядка нескольких десятков тысяч единиц. Ресурсы этих систем могут быть использованы для проведения широкомасштабных вычислительных экспериментов, расчетов на подробных сетках, содержащих десятки и сотни миллионов узлов.

В настоящее время во всем мире усиливается тенденция к использованию вычислительных систем, базирующихся на многоядерных процессорах нетрадиционной архитектуры. Однако, имеются существенные проблемы, связанные с реальным эффективным использованием возможностей таких систем. Трудности значительно возрастают даже по сравнению с непростыми проблемами использования уже существующих высокопроизводительных компьютеров. Эти трудности связаны как со спецификой вычислительных алгоритмов для высокопроизводительных вычислительных систем, так и с проблемами вспомогательного программного инструментария. Такие вычислительные системы требуют разработки программного обеспечения, учитывающего гибридную структуру памяти: распределенную между процессорами и общую для ядер одного процессора. В этом смысле очень привлекательными оказываются явные схемы, которые легко адаптируются к различной архитектуре ЭВМ и позволяют эффективно использовать вычислительные системы, содержащие 103—104 ядер. Однако, явные схемы накладывают жесткое ограничение на шаг по времени, связанное с требованием устойчивости, особенно при решении уравнений и систем параболического типа. В связи с этим перспективным направлением является разработка явных схем с как можно более мягким условием устойчивости.

В физической постановке задач о течениях в пористых средах в диссертации учитывается слабая сжимаемость жидкостей, что приводит к более полному и точному описанию процессов фильтрации в грунтах по сравнению с традиционными подходами, где жидкости считаются несжимаемыми. Для построения физической модели используется «принцип минимальных размеров», определяющий минимальные характерные величины в пространстве и времени для данного типа течений. Такой подход является одним из широко используемых в мировой практике кинетических подходов, примерами которых являются Lattice Boltzmarm и кинетически-согласованные схемы.

Цели диссертационной работы.

• Разработка модели течения двухфазной жидкости в пористой среде, допускающей реализацию явными разностными схемами;

• Создание алгоритма и комплекса программ, ориентированных на решение задач фильтрации на высокопроизводительных гибридных кластерах;

• Проверка модели и эффективности комплекса программ на тестовых задачах.

Для достижения поставленных целей на основе кинетического подхода по аналогии с квазигазодинамической системой уравнений разработаны модели течения двух- и трехфазных жидкостей в пористой среде в предположении их слабой сжимаемости. Модели допускают численную реализацию с помощью алгоритмов явного типа. Для повышения порога устойчивости осуществлен переход к гиперболической системе уравнений фильтрации, построена трехслойная явная разностная схема второго порядка как по пространству, так и по времени. Проведены расчеты задач просачивания загрязняющих веществ в почву и задач нефтедобычи (в двумерной и трехмерной постановках).

Научная новизна. Предложенная новая кинетическая модель течения многофазных слабосжимаемых жидкостей в пористых средах является оригинальной, так как она предложена впервые и основана на аналогии с квазигазодинамической системой уравнений. Также впервые предложен переход от параболического типа системы уравнений фильтрации к гиперболическому типу и построены трехслойные явные разностные схемы, что позволило получить более мягкие условия устойчивости. Они были обоснованы теоретически и подтверждены тестовыми расчетами задач о загрязнении почвы нефтепродуктами. Впервые реализован комплекс программ для решения задач фильтрации на гибридных вычислительных системах, который позволил сократить расчетное время решения задач в десятки раз.

Практическая значимость. Реализованный в работе модульный программный комплекс применим для решения широкого спектра задач фильтрации (в том числе задач нефтедобычи). Благодаря гибкой модульной структуре, в комплексе программ заложена возможность учитывать разномасштабные физические процессы, имеющие разную природу (гидродинамика, фазовые переходы, горение). Универсальность комплекса позволяет использовать его как на гибридных вычислительных системах с графическими ускорителями, так и на классических многопроцессорных кластерах и персональных ЭВМ. Использование явных схем и алгоритмов расчетов на графических ускорителях позволяет значительно сократить расчетное время решения задач.

Работа над диссертацией проводилась при поддержке грантов РФФИ: 12-01 -90008-Бела «Разработка, анализ и применение новых эффективных разностных методов решения многомерных задач фильтрации и конвекции-диффузии», 12-01-00769-а «Кинетические модели и высокопроизводительные вычисления», 10-01 -90005-Бела «Разработка и исследование эффективных сеточных алгоритмов и математическое моделирование некоторых задач гидро- и газодинамики», 09-01-00600-а «Применение квазигазодинамической системы для решения задач механики сплошной среды», 08-01-90261-Узба «Разработка и реализация параллельных алгоритмов для решения задач гидромеханики и нефтедобычи».

Апробация работы. Основные результаты диссертации докладывались и обсуждались на следующих российских и международных конференциях:

• 2-ая Международная конференция по параллельным, распределенным, сеточным и облачным вычислениям (PARENG, Аяччо, Корсика, Франция, 2011);

• The 4, 5, 6th Europen Congresses on Computational Methods in Applied Sciences and Engineering (ECCOMAS, Venice, Italy, 2008; Lisbon, Portugal, 2010; Vienna, Austria, 2012);

• The 15, 17th International Conferences Mathematical Modelling and

Analysis (Druskininkai, Lithuania, 2010; Tallin, Estonia, 2012)

• The 8th International Conference on Large Scale Scientific Computations (Sozopol, Bulgaria, 2012);

• Всероссийская научная конференция «Современные проблемы математического моделирования, супервычислений и информационных технологий» (Таганрог, 2012);

• 51, 52, 53, 54 Научных конференциях МФТИ «Современные проблемы фундаментальных и прикладных наук» (Долгопрудный, 2008-2011).

Публикации. Материалы диссертации опубликованы в 18 печатных работах, из них 4 статьи в рецензируемых журналах из списка ВАК [42— 44, 56], 14 статей в журналах и сборниках трудов конференций [5-7, 13, 14, 16-20, 38^1].

Личный вклад автора. Содержание диссертации и основные положения, выносимые на защиту, отражают персональный вклад автора в опубликованные работы. Подготовка к публикации полученных результатов проводилась совместно с соавторами, причем вклад диссертанта был определяющим. Все представленные в диссертации результаты получены лично автором.

Структура и объем диссертации. Диссертация состоит из введения, трех глав, заключения и библиографии. Общий объем диссертации составляет 105 страниц. Библиография включает 57 наименований.

Заключение диссертации по теме «Математическое моделирование, численные методы и комплексы программ», Морозов, Дмитрий Николаевич

Основные результаты диссертации

1. Создана модель течения слабоежимаемой жидкости в пористой среде, основанная на кинетическом подходе и аналогии с квазигазодинамической системой уравнений, для описания динамики двухфазной жидкости с учетом капиллярных и гравитационных сил.

2. Построены явные алгоритмы на основе двух- и трехслойных разностных схем, имеющих второй порядок аппроксимации по пространству и по времени, допускающие эффективную реализацию на многоядерных вычислительных системах.

3. Создан комплекс программ для расчетов задач многофазной фильтрации на кластерах с гибридной архитектурой, содержащих графические ускорители и поддерживающих технологии CUDA, MPI и SHMEM-express.

4. Проведены расчеты задач просачивания в двух- и трехмерных постановках на гибридном высокопроизводительном кластере «К-100». Продемонстрированы высокие ускорения вычислений при использовании подробных расчетных сеток: на сетке 15 миллионов точек на одном GPU достигнуто ускорение более чем в 100 раз по сравнению с одним ядром CPU, а на сетке 1.5 миллиарда точек на восьмидесяти GPU — в 72 раза по сравнению с восьмьюдесятью ядрами CPU.

Заключение

Список литературы диссертационного исследования кандидат физико-математических наук Морозов, Дмитрий Николаевич, 2012 год

1. Bastian P., Helmig R. Efficient fully-coupled solution techniques for two-phase flow in porous media. Parallel multigrid solution and large scale computations//Advances in Water Resources. 1999. Vol. 23. P. 199-216.

2. Chen Z., Huan G., Ma Y. Computational Methods for Multiphase Flows in Porows Media. SIAM, 2006. 521 p.

3. Chetverushkin B. N. Kinetic schemes and Quasi-Gas Dynamic system of equations . Barselona, Spain: CIMNE, 2008. 15 p.

4. Chetverushkin B. N. High-performance computing: Fundamental problems in industrial application // Parallel, distributed and grid computing for engineering. 2009. P. 369-388.

5. Chetverushkin B. N., Churbanova N. G., Morozov D. N., Trapezniko-va M. A. Kinetic Approach to Simulation of Multiphase porous Media Flows / Proceedings of ECCOMAS CFD 2010. Lisbon, Portugal: ID-MEC, 2010. 12 p.

6. Chetverushkin B. N., Morozov D. N., Trapeznikova M. A. et al. An Explicit Scheme for the Solution of the Filtration Problems // Mathematical Models and Computer Simulations. 2010. Vol. 2, no. 6. P. 669-677.

7. CUDA C Best Practices Guide, http://docs.nvidia.com.

8. CUDA C Programming Guide, http://docs.nvidia.com.

9. Flinn M. Some Computer Organizations and Their Effectiveness // IEEE Trans.Comput. 1972. Vol. 21, no. 9. P. 948-960.

10. GPGPU AMD Technologies, http://www.amd.com.

11. Helmig R. Multiphase flow and transport processes in the subsurface -A contribution to the modelling of hydrosystems. Berlin: Springer, 1997. P. 367.

12. Morozov D. N., Trapeznikova M. A., Chetverushkin B. N., Churbanova N. G. Application of Explicit Schemes for the Simulation of the Two Phase Filtration Process // Mathematical Models and Computer Simulations. 2012. Vol. 4, no. 10. P. 62-67.

13. Parker J. C., Lenhard R., Kuppusami T. A parametric model for constitutive properties governing multiphase flow in porous media // Water Resources Research. 1987. Vol. 23, no. 4. P. 618-624.

14. Trapeznikova M., Chetverushkin В., Churbanova N., Morozov D. Two-Phase Porous Media Flow Simulation on Hybrid Cluster / Lecture Notes in Computer Science. No. 7116. Springer, 2012. P. 644-651.

15. Trapeznikova M. A., Chetverushkin B. N., Churbanova N. G. et al. Simulation of Soil Contamination by Petroleum Product / Proceedings of WC-CM8 and ECCOMAS. Venice, Italy: 2008. 2 p.

16. Van Genuchten M. T. A closed-form equation for predicting the hydraulic conductivity of unsaturated soils // Soil Sci. Soc. Am. J. 1980. Vol. 44. P. 892-898.

17. Zhang X., Sanderson D. Numerical Modelling and Analysis of Fluid Flow and Deformation of Fractured Rock Masses. Pergamon, 2002. 288 p.

18. Азиз X., Сеттари Э. Математическое моделирование пластовых систем. М.: Недра, 1982. С. 407.

19. Басниев К. С., Кочина И. Н., Максимов В. М. Подземная гидромеханика. М.: Недра, 1993. 416 с.

20. Бахвалов Н. С., Панасенко Г. П. Осреднение процессов в периодических средах. М.: Наука, 1984. 352 с.

21. Белоцерковская М. С., Опарин А. М., Четверушкин Б. Н. Использование вложенных сеток для моделирования процесса фильтрации // Математическое моделирование. 2004. Т. 16, № 12. С. 3-10.

22. Боресков А. В., Харламов А. А. Основы работы с технологией СГЮА. М.: ДМК-Пресс, 2010. С. 232.

23. Воеводин В., Воеводин В. Параллельные вычисления. Санкт-Петербург: БХВ-Петербург, 2002. 599 с.

24. Дейк Л. П. Основы разработки нефтяных и газовых месторождений. М.: Премиум Инжиниринг, 2009. 570 с.

25. Ентов В. М., Зазовский А. Ф. Гидродинамика процессов повышения нефтеотдачи. М.: Недра, 1989. 233 с.

26. Казеннов А. М. Основы технологии С1ША // Компьютерные исследования и моделирование. 2010. Т. 2, № 3. С. 295-308.

27. Калиткин Н. Н. Численные методы. М.: Наука, 1978. 512 с.

28. Каневская Р. Д. Математическое моделирование гидродинамических процессов разработки месторождений углеводородов. Москва-Ижевск: Институт компьютерных исследований, 2003. 127 с.

29. Колдоба А. В., Повещенко Ю. А., Самарская Е. А., Тишкин В. Ф. Методы математического моделирования окружающей среды. М.: Наука, 2000. 254 с.

30. Коновалов А. Н. Задачи фильтрации многофазной несжимаемой жидкости. Новосибирск: Наука.Сибирское отделение, 1988. 166 с.

31. Маскет М. Течение однородных жидкостей в пористой среде. Ижевск: Институт компьютерных исследований, 2004. 628 с.

32. Маскет М. Физические основы технологии добычи нефти. Москва-Ижевск: Институт компьютерных исследований, 2004. 606 с.

33. Морозов Д. Н. Использование явных схем при моделировании задач фильтрации / Труды 52-й научной конференции МФТИ. Т. VII. Москва-Долгопрудный: МФТИ, 2009. С. 130-132.

34. Морозов Д. Н. Моделирование задач фильтрации на вычислительных системах с гибридной архитектурой / Труды 53-й научной конференции МФТИ. Т. VII. Москва-Долгопрудный: МФТИ, 2010. С. 27-28.

35. Морозов Д. Н., Люпа А. А. Решение задач фильтрации на гибридных суперкомпьютерах / Труды 54-й научной конференции МФТИ. Т. Управление и прикладная математика. Москва-Долгопрудный-Жуковский: МФТИ, 2011. С. 18-19.

36. Морозов Д. Н., Трапезникова М. А., Четверушкин Б. Н., Чурбано-ва Н. Г. Использование явных схем для моделирования процесса двухфазной фильтрации // Математическое моделирование. 2011. Т. 23, № 7. С. 52-60.

37. Морозов Д. Н., Трапезникова М. А., Четверушкин Б. Н., Чурбано-ва Н. Г. Моделирование задач фильтрации на гибридных вычислительных системах // Математическое моделирование. 2012. Т. 24, № 10. С. 33-39.

38. Морозов Д. Н., Четверушкин Б. Н., Чурбанова Н. Г., Трапезникова М. А. Моделирование задач фильтрации на гибридных вычислительных системах // Известия ЮФУ. Технические науки. 2012. № 6. С. 87-91.

39. Нигматуллин Р. И. Динамика многофазных сред. М.: Наука, 1987. Т. 2. 360 с.

40. Ортега Д. Введение в параллельные и векторные методы решения линейных систем. М.: Мир, 1991. 367 с.

41. Самарский А. А. Теория разностных схем. М.: Наука, 1977. 656 с.

42. Самарский А. А., Гулин А. В. Численные методы. М.: Наука, 1989. 432 с.

43. Самарский А. А., Николаев Е. С. Методы решения сеточных уравнений. М.: Наука, 1978. 592 с.

44. Сандерс Д., Кэндрот Э. Технология С1ЮА в примерах. Введение в программирование графических процессоров. М.: ДМК-Пресс, 2011. 232 с.

45. Трапезникова М. А., Белоцерковская М. С., Четверушкин Б. Н. Аналог кинетически-согласованных схем для моделирования задач фильтрации // Математическое моделирование. 2002. Т. 14, № 10. С. 69-76.

46. Хейфец JI. И., Неймарк А. В. Многофазные процессы в пористых средах. М.: Химия, 1982. 320 с.

47. Четверушкин Б. Н. Кинетически-согласованные схемы в газовой динамике. М.: Издательство МГУ, 1999. 226 с.

48. Четверушкин Б. Н. Кинетические схемы и квазигазодинамическая система уравнений. М.: Макс-пресс, 2004. 332 с.

49. Четверушкин Б. Н. К вопросу об ограничении снизу на масштабы в механике сплошной среды // Время, хаос, математические проблемы. 2009. Т. 4. С. 75-96.

50. Четверушкин Б. Н., Морозов Д. Н., Трапезникова М. А. и др. Об одной схеме для решения задач фильтрации // Математическое моделирование. 2010. Т. 22, № 4. с. 99-109.

51. Определение понятий смачивающей и несмачивающей фаз 17

52. Зависимость капиллярного давления от насыщенности в моделях ван Генухтена и Брукса-Кори.20

53. Расчетная ячейка на границе раздела сред.23

54. Непрерывность капиллярного давления и разрыв насыщенности на интерфейсе .28

55. Задача двухфазного просачивания.29

56. График распределения насыщенности DNAPL по координате г.32

57. Одна симметричная линза. Распределение насыщенности, t=2000c.32

58. Две линзы. Распределение насыщенности, t=2500c.33

59. Две линзы.Распределение насыщенности, t=5000c.33

60. Ускорение вычислений в зависимости от числа процессоров при расчетах на сетке с 50 ООО точек по оси X.36

61. Ускорение вычислений в зависимости от числа процессоров при расчетах на сетке с 100 000 точек по оси X.36

62. Эффективность вычислений в зависимости от числа процессоров при расчетах на сетке с 50 000 точек по оси X . . 37

63. Эффективность вычислений в зависимости от числа процессоров при расчетах на сетке с 100 000 точек по оси X . . 37

64. Постановка задачи о плоскорадиальном течении.47

65. Одномерная задача плоскорадиального течения. Точное решение: распределение давления.49

66. Одномерная задача плоскорадиального течения. Классическая схема I: распределение давления .50

67. Одномерная задача плоскорадиального течения. Модифицированные схемы II и III: распределение давления.50

68. Постановка задачи о притоке жидкости к скважине.52

69. Двумерная задача радиального течения. Классическая схема: распределение давления.55

70. Двумерная задача радиального течения. Модифицированная схема: распределение давления. 55

71. Постановка квазиодномерной задачи просачивания.60

72. Постановка двухфазной задачи просачивания .60

73. Профили насыщенности DNAPL для квазиодномерной задачи (1 модифицированная модель, 2 - классическая модель) .62

74. Двухфазная задача просачивания. Распределение насыщенности .62

75. Последовательный код выполняется на CPU, параллельный на GPU.74

76. Концептуальное устройство CPU и GPU.75

77. Сравнение количества вычислительных ядер центрального процессора и графического ускорителя.76

78. Архитектура Tesla графических ускорителей NVIDIA GeForce 275 .7635 Грид, блоки, треды .78

79. Устройство памяти графического ускорителя Fermi.79

80. Устройство гибридного кластера К-100.89

81. Ускорение расчетов задачи квазиодномерного просачивания на графических платах: Двумерная сетка .90

82. Ускорение расчетов задачи квазиодномерного просачивания на графических платах: Трехмерная сетка.92

83. Линейный рост ускорения расчетов задачи квазиодномерного просачивания на 1 6 графических платах.92