Решение систем линейных уравнений

   Одним из наиболее трудоемких этапов при  расчете является решение систем линейных алгебраических уравнений (СЛАУ), возникающих при аппроксимации  уравнений фильтрации. Ряд приемов, таких как методы типа прогонки, каскадные методы, весьма плохо распараллеливаются. В целом эффективность параллельного  алгоритма решения СЛАУ ухудшается из-за того, что адаптированный алгоритм решения может потребовать больше итераций, чем последовательный, при  заданной точности.

    Получаемая после аппроксимации  уравнений матрица является разреженной  и состоит из 7-, 15- или 27 диагоналей для каждой фазы. На рис. 6 приведен вид матрицы для задачи при наличии скважин. Имеются семь диагоналей, состоящих в трёхфазном случае из блоков 3x3. Диагональную структуру нарушают блоки, соответствующие ячейкам со скважинами — связным наборам ячеек, как правило, вертикальным. Условие постоянного дебита скважины означает введение дополнительной связи между ячейками данной скважины, что приводит к увеличению заполненности матрицы. 
 
 
 
 
 
 

Рис. 6. Характерный вид матрицы

   Также существенно искажает структуру  матрицы наличие неактивных ячеек, дополнительно могут быть наложены нелокальные связи за счёт ограничений  на дебит группы скважин в наземных сетях, наличия аквифера — водоносного пласта на границе резервуара.

   Вместе  с тем ряд итерационных методов  допускает вполне приемлемое по эффективности  распараллеливания например, алгоритм бисопряжённых градиентов со стабилизацией  в паре с предобуславливателем типа неполных (incomplete) LU-разложений, рассматриваемых для своей подматрицы процесса (domain decomposition). Среди ILU-разложений, в свою очередь, наиболее пригодны ILUT, ILUTP, описанные Й. Саадом [4].

   Как показывают проведенные расчеты, дополнительная нагрузка на алгоритм в распараллеленном варианте может варьироваться в зависимости от сложности модели, но в целом замедление счёта оказывается приемлемым.

   Оптимальное разбиение

   Исследовательские расчеты показали, что основным параметром, влияющим на максимально возможное ускорение расчетов, является равномерность и эффективность загрузки вычислительных мощностей узлов. Правильной балансировке нагрузки препятствует сильная неравномерность распределения активных ячеек.

   На  рис. 7. показан пример разбиения  некоторой модели, которое можно  использовать при расчёте на симуляторе Eclipse 300. Очевидно, что даже если оптимальное разбиение будет подобрано, его нужно будет перестраивать для любых других моделей, при изменении числа расчётных подобластей или в связи с серьёзным изменением параметров модели. Также очевидно, что в силу выбранного способа разбиения число получаемых подобластей не может быть произвольным. Симулятор Eclipse 100 (Schlumberger) поддерживает только простое разбиение на одинаковые части по одному из направлений.

     
 
 

   Рис. 7. Простое разбиение по осям в  Eclipse

   Для преодоления таких особенностей может быть реализован и апробирован алгоритм оптимального, или рационального, разбиения расчетной области на произвольное число подобластей указанных выше типов.

   Алгоритм  создания разбиения с оптимальным  заполнением выполняется рекурсивно, учитывая следующие требования:

   ·        равномерное распределение активных ячеек по процессам, поскольку каждая область обрабатывается индивидуальным ядром процессора;

   ·        максимальное число внешних граничных элементов по каждому блоку должно быть минимальным;

   ·        ячейки каждой скважины должны по возможности попасть в одну подобласть.

   Рациональное  разбиение автоматически позволяет  достичь оптимальной загрузки вычислительных мощностей за счет равномерного распределения  активных ячеек по процессам, при  котором подзадачи будут обладать примерно одинаковой сложностью и требуют  для своего решения примерно одинакового  количества ресурсов, что говорит  о балансировке нагрузки.

   На  рис. 8 и 9 приведены примеры получаемого разбиения на подобласти для реальных моделей, вид сверху. Показана плотность активных ячеек.

   

   Рис. 8. Пример разбиения на 108 процессов

   

   Рис. 9. Пример разбиения на 48 процессов

   В зависимости от задачи итоговое время расчёта существенно сокращается по сравнению с простым равномерным разбиением.

   Во  многом за счёт алгоритмов рационального  разбиения на произвольное число  расчётных подобластей в параллельной версии симулятора эффективно сокращается  время счёта задачи при увеличении числа используемых узлов, что говорит  о хорошей масштабируемости программы. Стоит отметить, что таким свойством  обладают не все параллельные симуляторы.

   Другие  методы ускорения

   Помимо  рассмотренных особенностей распараллеливания, существуют другие приёмы ускорения  параллельных приложений. Перечислим здесь некоторые из них. Наиболее общим является анализ профиля исполнения задачи, полученного программой-профилировщиком. Это позволяет выявить типичные узкие места в процедурах или  медленные операторы (например, оператор типа trim языка фортран) и сделать  вывод о необходимых изменениях алгоритма для получения ускорения.

   Применительно к задачам подземной гидродинамики  нужно отдельно рассматривать этапы  инициализации и непосредственно  расчёта. На этапе инициализации, где  большую роль играет последовательный код, в котором значительная часть  времени уходит на загрузку данных с диска, эффективно использовать загрузку одним процессом данных в бинарном формате и последующую передачу остальным процессам. Загрузка данных бинарного формата ускоряет чтение в десятки раз.

   Расчёт  можно также ускорить, зафиксировав процессы на ядре путём указания соответствующих  параметров системы запуска задачи.

   Важно также располагать процессы на узлах  с учётом разбиения, так что процессы, которые часто обмениваются информацией, оказались на одном узле. Тем самым, обмены будут осуществляться в первую очередь через память, а не через  сетевой интерфейс.

   Отдельные особенности задач  нефтегазового   моделирования, такие как

• сильнонаклонные и горизонтальные скважины,
• протяжённые трещины гидроразрыва пласта,
• групповые ограничения на скважины,

   имеет смысл учитывать применением  MPI-функций типа MPI_Group либо использовать удалённый прямой доступ к памяти, поддерживаемый технологией InfiniBand, для ускорения исполнения на машинах с разделённой памятью.

 

   ВОПРОСЫ ВИЗУАЛИЗАЦИИ

   Помимо  проблем, связанных с расчетом задач  класса Grand challenges, имеются также проблемы, связанные с визуализацией результатов  этих расчетов.

   Для обработки сеток, размер которых  превышает некоторый порог, недостаточно ресурсов однопроцессорной вычислительной системы рабочего места пользователя. Связано это как с недостатком  оперативной памяти и вычислительной мощности, так и с ограниченностью пропускной способности каналов связи между терминалом пользователя и суперкомпьютерным центром.

   Целесообразно использовать многопроцессорную вычислительную систему для выполнения основных действий из функций постпроцессора по подготовке набора данных, на основе которого может быть сформирован  визуальный образ отображаемого  распределения параметров. В этом случае ресурсы кластера будут использоваться для обработки огромных наборов  данных вместо одной графической  карты, результатом будет обработанное изображение, которое в виде «сцены»  отсылается на клиентскую рабочую станцию. Размер данных должен быть ограниченным, допускающим его передачу по используемому  каналу связи за заданное время.

   Данные  должны быть прочитаны на многопроцессорной  системе и там же должна быть выполнена  предварительная обработка, направленная на сокращение их объема. Но отображение  данных должно быть выполнено на рабочей  станции пользователя, поэтому естественным является разделение системы визуализации на два компонента (рис. 10):

• серверный, выполняемый на многопроцессорной системе;
• клиентский, выполняемый на рабочей станции пользователя.

   Существуют  три принципиальных подхода к  решению вопроса о разграничении полномочий по обработке данных:

• предобработка, отображение и экранизация на стороне сервера, передача изображения на сторону клиента, вывод на стороне клиента;
• предобработка и отображение на стороне сервера, передача данных, описывающих трёхмерную сцену на сторону клиента, экранизация и вывод на стороне клиента;
• предобработка, заключающаяся в сокращении объёма исходных трёхмерных данных (за счет фильтрации, сжатия или огрубления) на стороне сервера, передача подготовленных данных на сторону клиента, отображение, экранизация и вывод на стороне клиента.

   В гидродинамическом моделировании  при параллельной визуализации наиболее сбалансированным является второй подход.

   

   Рис. 10. Система параллельной визуализации

   ПРАКТИЧЕСКОЕ  ПРИМЕНЕНИЕ

   Сейчас  в России одной из функциональных программ для моделирования процессов нефтегазодобычи является гидродинамический симулятор МКТ, моделирующий фильтрационные течения в рамках расширенной модели чёрной нефти.

   В число разностных схем, используемых в МКТ при расчетах, входит схема  «предиктор–корректор», позволяющая  достигать высокого разрешения фронтов  вытеснения и снизить затраты  по памяти, что особенно важно при  моделировании гигантских месторождений  с большим числом скважин. Реализация расширенных шаблонов пространственной аппроксимации уравнений позволила  минимизировать ориентационную ошибку при расчетах на неортогональных  сетках. При помощи МКТ возможно моделирование фильтрации в анизотропных средах с использованием полного тензора проницаемости, учет нелинейного притока при совместной добыче из несвязанных пропластков, прямое моделирование геолого-технических мероприятий, таких как гидроразрыв пласта, обработка призабойной зоны.

   Современные требования к гидродинамическому моделированию, включающие необходимость проведения весьма ресурсоёмких адаптационных  и прогнозных расчётов гигантских моделей  месторождений нефти и газа, потребовали  создания варианта симулятора МКТ для  машин с параллельной архитектурой.

   Одной из особенностей решения стало встроенное автоматическое разбиение на расчётные  подобласти, которое также может  корректироваться или задаваться вручную, так что загрузка вычислительных узлов происходит наиболее оптимально. Во многом за счёт поддержки рационального разбиения на расчётные подобласти параллельная версия симулятора обеспечила хорошую масштабируемость и позволила эффективно сокращать время счёта задачи при увеличении числа процессов.

   При помощи гидродинамического симулятора МКТ выполняется широкий спектр научно-исследовательских и проектных  работ в нефтегазодобывающем комплексе применительно к реальным задачам. В частности, симулятор использовался для обоснования сложного объекта Талинской площади Красноленинского месторождения в рамках проекта с компанией ТНК-BP. Это модель со сложной нестыкованной сеткой, содержащей более пяти миллионов ячеек, около 5000 скважин. Применённые математические методы позволили значительно сократить время на адаптацию гидродинамической модели и прогноз показателей разработки сложного Арланского месторождения компании «Башнефть»: единая модель терригенной толщи нижнего карбона содержит порядка 1 млрд. ячеек и более 8000 скважин.