В настоящее время математическое моделирование активно входит в практику инженерных исследований и промышленного конструирования. Одной из наиболее актуальных и в то же время сложных областей применения математического моделирования является газовая динамика и аэроакустика.
Задачи, связанные с газовой динамикой, играют важную роль во многих научных и инженерных приложениях. Некоторые из них широко известны. В авиастроении это, например, моделирование внешнего газодинамического обтекания [1], струй смешения и так далее. Все большее значение приобретают задачи аэроакустики, исследование эффектов генерации и поглощения шума в авиационном двигателестроении. В настоящее время математическое моделирование находит применение в разработке звукопоглощающих конструкций реактивных двигателей [2]. Вычислительная газовая динамика также’имеет широкое применение во многих других областях, в том числе и в инженерных целях, как, например, при разработке теплообменников и тепловых накопителей энергии, активных и пассивных систем солнечной энергии. Также следует упомянуть моделирование горения и течений с химическими реакциями, распространение загрязняющих веществ [3], прогнозирование погоды и многое другое. Так же в недавнее время появились такие приложения, как моделирование кровообращения [4] и процессов микробиологии, моделирование экологических проблем, например, влияния деятельности человека на глобальное потепление.
Как известно, прогресс в дальнейших исследованиях и улучшение используемых конструкций не может быть достигнуто без проведения экспериментов. Современный уровень развития техники и технологии и необходимый уровень оптимизации требуют постановки все более многочисленных и сложных экспериментов. Метод физического эксперимента становится все более сложным и дорогостоящим. В это же время развитие методов численного моделирования и вычислительной техники подготовили базис для формирования нового подхода к экспериментированию в газовой динамике, а именно методы вычислительного эксперимента. В различных отраслях промышленности численный эксперимент позволяет моделировать широкий спектр технологических процессов, а также явлений, связанных с эксплуатацией конечного изделия. В частности, в авиации численный эксперимент позволяет значительно сократить затраты, к примеру, на оптимизацию аэродинамических свойств летательного аппарата, поскольку вычислениями заменяется существенная часть дорогостоящих продувок конструкций в аэродинамических трубах, а также летных испытаний. В качестве примера можно привести применение методов вычислительной газовой динамики компанией Boeing [5], одним из мировых лидеров в производстве магистральных пассажирских воздушных судов. В настоящее время для разработки самолетов Boeing вычислительный эксперимент заменил большинство натурных экспериментов в аэродинамических трубах. В частности, методы вычислительной газовой динамики активно используются при разработке крыла, закрылков, фюзеляжа, салона, сочленения двигателя с крылом, обтекателя сочленения крыла с фюзеляжем, кормовой т t части, стоек шасси и так далее.
Большой вклад в расширение возможностей вычислительного эксперимента внесли бурно развивающиеся многопроцессорные вычислительные системы. Существует несколько классов многопроцессорных систем. Наиболее распространенными архитектурами является системы с общей памятью SMP (Symmetric Multiprocessing — симметричное мультипроцес-сирование) и системы с распределенной памятью или, другими словами, массивно-параллельные системы МРР (Massively Parallel Processing). Первые состоят из нескольких однородных процессоров и массива общей памяти. Все процессоры имеют доступ к любой точке памяти с одинаковой скоростью. Вторые представляют собой множество вычислительных узлов, объединенных компьютерной сетью и имеющих один или несколько процессоров и локальную намять, недоступную напрямую другим узлам. Соответственно этим классам существуют технологии параллельного программирования, существенно различающиеся между собой. Для систем с общей памятью это, например, интерфейс прикладного программирования ОрепМР. Для систем с распределенной памятью самой распространенной технологией является интерфейс обмена данными MPI (Message Passing Interface). В данной работе рассматривается только технология параллельного программирования MPI, поскольку в настоящее время для задач параллельной вычислительной газовой динамики MPI имеет наиболее широкое применение. Это связано с тем, что системы с распределенной памятью, па которые ориентирована технология MPI, сами, но себе имеют более широкое применение в данной области, чем системы с общей памятью. SMP системы имеют ряд ограничений: это существенное ограничение, но числу процессоров, намного более высокая стоимость и низкое соотношение цены и производительности. В то же время ММР системы намного превосходят по производительности системы с общей памятью, число процессоров может достигать десятков тысяч (например BlueGene и Marenostrum производства IBM или Jaguar производства Cray Inc). Так же широкое распространение МРР обусловлено простотой построения малобюджетного варианта такой системы из обычного офисного компьютерного оборудования, что позволяет многим исследовательским группам иметь собственный параллельный компьютер. Такой тип систем принято называть Beowulf кластер (http://www.beowulf.org). Помимо того, технология MPI универсальна — она также может эффективно применяться и на системах с общей памятью.
Быстрый рост производительности многопроцессорных вычислительных систем привел к новому этапу развития вычислительного эксперимента, а также к проблеме перехода на многопроцессорные системы. Этот переход связан с адаптацией существующих алгоритмов и последовательных комплексов программ, рассчитанных на однопроцессорный режим, к параллельным вычислениям, что является достаточно сложной задачей для многопроцессорным систем в целом, а для систем с распределенной памятью в особенности [6, 7]. К примеру, одной из проблем является балансировка загрузки, то есть обеспечение равномерной загрузки процессоров при параллельных вычислениях [8], а также минимизация межпроцессорного обмена данными, что особенно сложно в случае использования неструктурированных сеток и обширных пространственных шаблонов [9]. Метод геометрического параллелизма, наиболее широко применяемый в задачах параллельной вычислительной газовой динамики и также использующийся в данной работе, предполагает разбиение расчетной области на множество подобластей, соответствующих процессорам. Каждый процессор производит вычисления для получения решения на узлах своей подобласти. В этом случае требуется минимизировать объем обмена данными и в тоже время как можно более равномерно распределить вычисления между процессорами, чтобы максимально сократить время вычислений. Существует множество последовательных комплексов программ, основанных на явных численных методах и реализующих эффективные численные алгоритмы, прошедших верификацию, но устаревших и неприменимых к актуальным современным задачам из-за ограничений производительности одного процессора. При этом, па разработку подобных комплексов программ в свое время требовала больших трудозатрат, и было бы нерационально просто отказываться от их использования. Таким образом, возникает проблема эффективного распараллеливания существующих последовательных кодов, разработанных без учета специфики параллельных вычислений. При этом, под эффективностью распараллеливания понимается не только эффективность вычислений, но и минимизация трудозатрат на разработку параллельной версии. Это сформировало одну из целей данной работы, а именно разработку и применение технологии распараллеливания последовательных кодов, эффективную как с точки зрения производительности, так и с точки зрения трудозатрат. Задача становится особенно сложной применительно к неструктурированным сеткам и обширным неструктурированным пространственным шаблонам повышенного порядка точности (которые могут включать в себя неизвестное заранее число узлов). Поэтому для применения технологии распараллеливания был выбран комплекс программ Noisette, предназначенный для решения задач газовой динамики и аэроакустики, алгоритм которого описан в [10]. Данный комплекс программ как раз обладает этими осложняющими факторами: Noisette использует неструктурированные сетки и алгоритмы повышенного порядка точности со сложными шаблонами [11]. Аэроакустика, основная область применения Noisette, является сравнительно новым направлением в газовой динамике. Одно из типичных современных приложений аэроакустики — это снижение шума авиационных двигателей. Звукопоглощающие конструкции (ЗПК) резонансного типа широко распространены в авиационном строении для подавления шума турбореактивных двигателей. ЗПК представляет собой перфорированную панель, конфигурация и геометрические параметры которой существенным образом влияют на эффективность поглощения шума. Для оптимизации параметров ЗПК удобным инструментом может служить математическое моделирование. Хорошо отлаженная вычислительная среда, обеспечивающая расчеты ЗПК в различных конфигурациях, может рассматриваться как виртуальный экспериментальный стенд, легко адаптируемый к широкому диапазону допустимых геометрических параметров и амплитудно-частотных характеристик входного сигнала, и, соответственно, как эффективное средство в помощь физическому эксперименту при конструировании ЗПК. Детальное численное моделирование, к тому же, способствует глубокому пониманию физических механизмов, определяющих звукопоглощение. Математическое моделирование поглощения шума в ЗПК резонансного типа является типичной задачей нелинейной аэроакустики. Спецификой численного моделирования таких задач является наличие как линейных, так и нелинейных явлений, что требует применения схем высокого порядка точности. Сложность геометрии и большая разница в геометрических размерах элементов конструкций (например, соотношение размера канала и горла резонатора) требуют применения неструктурированных сеток. Так же для таких задач характерен большой перепад пространственных и временных масштабов наименьших и наибольших структур течения, что требует подробной пространственной дискретизации и большого числа шагов по времени. Все перечисленные факторы приводят к большим вычислительным затратам. Поэтому использование высокопроизводительных многопроцессорных вычислительных систем особенно актуально для такого типа задач. В данной работе приводятся два типа вычислительных экспериментов по ЗПК, а именно моделирование свойств ячейки ЗПК в импедансной трубеа также моделирование потерь энергии звукового сигнала при его прохождении в дозвуковом течении в канале, облицованном перфорированными панелями. Задачи носят модельный характер, однако могут служить начальным приближением к прямому численному моделированию ЗПК. Другой проблемой, которая возникает при параллельных вычислениях, является необходимость обеспечения масштабируемости используемых алгоритмов на большое число процессоров. Как известно, эффективность параллельных вычислений начинает резко снижаться, когда число процессоров становится больше некоторого ограничения, свойственного данному алгоритму или размеру задачи. Это происходит в частности из-за того, что время, затрачиваемое на обмен данными, с ростом числа процессоров начинает превосходить время, затрачиваемое непосредственно на вычисления. Поэтому достичь высокой параллельной эффективности представляется достаточно сложной задачей при большом числе процессоров. Ситуация особенно осложняется в случае моделирования несжимаемых течений: поскольку скорость звука в несжимаемых течениях равна бесконечности и возмущения из любой точки мгновенно влияют на всю расчетную область, требуется передача информации между всеми процессорами, а не только между соседями по декомпозиции, как в случае со сжимаемыми течениями. В то же время, необходимость расчетов с использованием сотен и тысяч процессоров вызвана, к примеру, вычислительной сложностью моделирования турбулентных течений. Большинство сложных и интересных с точки зрения приложений газовой динамики течений являются турбулентными. Для расчета турбулентных течений на основе прямого численного моделирования DNS (Direct Numerical Simulations) уравнений Навье-Стокса требуются особенно большие вычислительные затраты. Это обусловлено необходимостью очень подробной пространственной и временной дискретизации. К примеру, согласно широко известным оценкам, число узлов в трехмерной задаче пропорционально [12], гдечисло Рейнольдса. Даже при умеренных числах Рейнольдса вычислительная стоимость расчета может оказаться настолько большой, что под силу только самым мощным многопроцессорным системам. Поэтому для инженерных приложений в настоящее используются нолуэмпирические модели турбулентности, например, осредпеииые уравнения Навье-Стокса RANS (Reynolds averaged Navier Stokes) [13] или моделирование крупных вихрей LES [14, 15], (Large Eddy Simulation), а так же метод отсоединенных вихрей DES (Detached-Eddy simulation) [16], сочетающий в себе и RANS и LES. Задачей подобных моделей турбулентности является предсказывание осредненных физических величин турбулентного течения без нахождения решения для всех пространственных и временных масштабов течения.
В случае RANS оператор осреднения применяется к системе уравнений Навье-Стокса и мгновенные значения выражаются в виде суммы среднего значения и возмущения. Таким образом, получается система осредненных по времени уравнений Навье-Стокса, которая содержит дополнительные члены, решение для которых не может быть найдено без информации о возмущениях. Для замыкания системы уравнений RANS было предложено множество методов, которые имеют набор параметров, определяемых экспериментально. К сожалению, ни один из этих методов не может рассматриваться как точная модель для всех течений [17]. Обычно RANS используется для нахождения установившихся решений, в частности, среднего поля течения. И, как правило, RANS применяется в случаях, когда не требуется высокая точность результата, а необходимо лишь достаточно грубое качественное сравнение. Таким образом, RANS можно рассматривать как стационарные уравнения Навье-Стокса, дополненные нелинейными величинами и уравнениями.
Основная идея метода LES — находить решение только для крупномасштабных структур течения, а мелкие масштабы, которые не могут быть разрешены из-за ограничений вычислительных ресурсов, моделируются. Этот подход основан на пространственной фильтрации уравнений Навье-Стокса. Модель турбулентности используется для масштабов течения которые не вычисляются напрямую. Эта модель может быть намного проще и более универсальной, чем в случае RANS, но к сожалению, в случае LES также не существует единой модели для всех актуальных задач. Перед тем как использовать модель, она должна быть верифицирована экспериментально для конкретной задачи, что часто бывает проблематично.
В связи со сложностями в получении всей необходимой информации, которая требуется для разработки и подтверждения модели турбулентности, часто модели сравниваются с результатами DNS, а не с результатами эксперимента. Это является одной из основных причин развития методов DNS, несмотря на пессимистичные прогнозы относительно вычислительной стоимости. Набор вычислительных экспериментов DNS позволяет построить базис для калибровки моделей RANS, LES и других, при этом точность DNS в модельных постановках с использованием подробной пространственной дискретизации порядка сотен миллионов узлов превосходит возможности физического эксперимента и измерительных приборов. Кроме того, с учетом бурного роста производительности вычислительных систем, DNS в скором времени может найти более широкое применение для инженерных задач. Но и в настоящее время DNS используется, например, для физических исследований, понимания сути явления турбулентности. [18, 19, 20, 21].
Применение параллельных технологий для моделирования несжимаемого течения более проблематично, по сравнению со сжимаемыми течениями. Это объясняется таким физическим свойством несжимаемой жидкости, как бесконечная скорость распространения возмущений. Уравнение Пуассона, к которому приводит уравнение неразрывности, соответствует этому физическому свойству: оператор Пуассона имеет бесконечную скорость распространения информации в пространстве (то есть на каждом шаге по времени требуется обмен данными между всеми процессорами, что существенно сказывается на параллельной эффективности особенно при большом числе процессоров). Поэтому эффективное решение уравнения Пуассона на многопроцессорных системах является ключевой проблемой при моделировании несжимаемых течений. Основное внимание в части работы, посвященной DNS несжимаемых течений, уделено разработке масштабируемого метода для решения уравнения Пуассона.
Также следует отметить, что современные параллельные вычислительные системы с распределенной памятью существенно различаются между собой по производительности, числу процессоров, латентности сети и другим параметрам. Поэтому метод, который эффективен на одной многопроцессорной системе, может оказаться практически неприменимым на другой. Системы варьируются от малобюджетных кластеров на основе офисного компьютерного оборудования до суперкомпьютеров с высокопроизводительной сетью и тысячами процессоров. Первые имеют очень высокое соотношение производительности и цены и, благодаря своей низкой стоимости, широко используются. Но вторые имеют гораздо большую вычислительную мощность, столь необходимую для DNS и LES на подробных сетках. Наиболее существенными различиями между параллельными системами с распределенной памятью являются, во-первых, число процессоров и, во-вторых, производительность сети. Алгоритмы, которые работают эффективно на малобюджетном кластере, могут оказаться неэффективными на суперкомпьютере из-за проблем масштабирования на большое число процессоров. И наоборот, эффективные на суперкомпьютерах алгоритмы могут иметь неудовлетворительную эффективность на малобюджетном кластере из-за низкой производительности сети, в частности, значитсльно большей латентности. Поэтому требование эффективности алгоритма для моделирования несжимаемых течений на различных типах параллельных систем еще более усложняет задачу. Алгоритм также должен иметь низкую вычислительную стоимость и широкую область применимости. Большинство из существующих алгоритмов для несжимаемых течений не удовлетворяет этой совокупности требований. Например, многосеточные методы [22, 23, 24] - одно из наиболее мощных средств для последовательных вычислений. В них используется иерархический набор сеток, самая грубая из которых имеет сильно сокращенное число узлов. Это позволяет эффективно переносить информацию между удаленными частями расчетной области, что как раз необходимо для уравнения Пуассона. Многосеточный метод выполняет большинство итераций на грубых сетках, для которых вычислительные затраты очень небольшие. Но это в случае однопроцессорного режима. В параллельном режиме будет доминировать латентность сети, которая приведет к значительно большим затратам времени чем сами вычисления. Поэтому метод эффективен только на системах с низкой латентностью сети и сравнительно небольшим числом процессоров [25]. Методы Крыловского типа, такие как метод сопряженных градиентов или обобщенный метод минимальных невязок [26] неплохо поддаются распараллеливанию, хотя требуют на каждой итерации несколько обменов данными. Но, во-первых, их эффективность сильно зависит от используемого предобуславливателя, и, во-вторых, для уравнения Пуассона сложно добиться хорошей сходимости. В настоящее время в этой области ведутся активные исследования [27, 28, 29, 30]. В частности, в [27] предлагается алгоритм для моделирования течения вязкой несжимаемой жидкости, в котором для решения уравнения Пуассона используется метод сопряженных градиентов с предобуславливателем MICCG (O). Но данный алгоритм, во-первых, более подходит для стационарных задач и, во-вторых, эффективен только на сравнительно небольшом числе процессоров. Метод быстрого преобразования Фурье (БПФ) [31], примененный сразу по нескольким осям имеет низкую вычислительную стоимость порядка 0(Nog (N)), но он также имеет существенные ограничения. Применение БПФ требует равномерного шага сетки и исключает возможность постановки препятствий в потоке. Поэтому такой метод применим только для простейших модельных постановок, как, например, течение в канале (в этом случае БПФ применяется по двум осям, по которым используются периодические граничные условия) или каноническое турбулентное течение (БПФ по трем осям, все граничные условия периодические) [19]. Таким образом, сформировалась еще одна цель данной работы, а именно построение гибкого и масштабируемого метода для решения уравнения Пуассона, эффективного как на малобюджетных кластерах, так и на суперкомпьютерах. В качестве исходного базиса были взяты работы [32, 33, 34]. В частности, в [34] предложен прямой алгоритм для дискретного уравнения Пуассона высокого порядка аппроксимации. Он основан на сочетании БПФ (Быстрое Преобразование Фурье) метода и метода дополнений Шура и имеет хорошую производительность на малобюджетных кластерах с относительно небольшим (20−30) числом процессоров и большой латентностью сети. Этому методу необходим только один обмен данными для решения уравнения Пуассона. Следует отметить, что БПФ используется только по одному направлению, что существенно расширяет область применимости.
А именно, возможно сгущение шага сетки по двум осям для разрешения пограничных слоев, а также возможно помещение в течение препятствий. Но метод также имеет специфические ограничения, в частности, связанные с размером требуемой памяти и объемом обмена данными, которые растут достаточно быстро как с числом процессоров, так и с числом узлов сетки. Это существенно ограничивает масштабирование, особенно для схем высокого порядка аппроксимации. Поэтому метод, имея хорошую производительность на небольших малобюджетных кластерах, с ростом числа процессоров быстро теряет эффективность, из-за чего практически не применим на суперкомпьютерах. Целью данной работы является расширение возможностей метода [34], условно обозначаемого далее как метод Фурье-Шура, для применения на суперкомпьютерах, используя сотни и тысячи процессоров. Значительное лучшее масштабирование метода основано на сочетании прямого метода Фурье-Шура с итерационным методом на основе подпространств Крылова, а именно методом сопряженных градиентов. Этот метод будет далее условно обозначен как метод Крылова-Фурье-Шура. Новый хорошо масштабируемый и гибкий метод, описанный в данной работе, может эффективно использоваться как на системах с высокопроизводительной сетью и большим числом процессоров, так и на малобюджетных системах с сетью большой латентности. Продемонстрирована высокая параллельная эффективность метода с использованием до тысячи процессоров суперкомпьютера Маренострум Берселонского Суперкомнью-терного Центра. Описано применение метода для крупномасштабного DNS с использованием сетки с числом узлов более 108. Данный расчет является на момент завершения самым крупным в мире для данного класса задач.
При этом используется спектрально-согласованная разностная схема 4-го порядка, описанная в [35, 36, 37].
Далее приводится краткое содержание работы по главам. Первая глава диссертации посвящена проблеме распараллеливания последовательного комплекса программ для расчета задач газовой динамики и аэроакустики, основанного на явных высокоточных алгоритмах с использованием неструктурированных сеток. Технология распараллеливания продемонстрирована на примере комплекса программ Noisette, который обладает основными осложняющими факторами, такими как повышенный порядок аппроксимации и обширный неструктурированный пространственный шаблон разностной схемы. Предлагаются несколько основных идей для существенного увеличения параллельной производительности. Представленная технология распараллеливания позволяет разработчикам последовательного комплекса программ с минимальными трудозатратами получить параллельную версию, обладающую высокой параллельной эффективностью. При этом, от разработчиков не требуется глубоких знаний в области параллельных вычислений.
Во второй главе приводятся основные вычислительные эксперименты по моделированию звукопоглощающих конструкций, выполненные с использованием параллельной версии Noisette, разработанной по технологии, описанной в первой главе. Группа 2D и 3D модельных задач воспроизводит условия физического эксперимента в имиедансной трубе и в канале с вмонтированными в стенки резонаторами. Эти задачи посвящены изучению звукопоглощающих свойств резонатора и механизма потери акустической энергии.
Третья глава посвящена эффективному решению уравнения Пуассона при моделировании несжимаемых течений на параллельных системах различных масштабов. В этой главе предложен метод, основанный на сочетании метода Фурье-Шура с итерационным методом крыловского типа. Новый метод Крылова-Фурье-Шура имеет такие важные преимущества как хорошая масштабируемость и гибкость. В данной главе показан способ адаптации метода к различному числу процессоров и к сетям различной латентности. Продемонстрирована высокая параллельная эффективность как на малобюджетных кластерах, так и на суперкомпьютере Маренострум Барселонского суперкомпьютерного центра.
В четвертой главе приводятся описание крупномасштабного прямого численного моделирования, а именно DNS турбулентного течения при естественной конвекции от воздействия выталкивающих сил. Расчет выполнен с использованием численного метода, в основе которого описанный в данной работе метод Крылова-Фурьс-Шура. Рассматривается течение несжимаемой жидкости в закрытой каверне с разными температурами на двух противоположных вертикальных стенках.
В заключении приведены основные результаты диссертации. Цели и задачи диссертационной работы:
1. Разработка эффективной технологии распараллеливания последовательных комплексов программ для решения задач газовой и аэроакустики на основе явных алгоритмов повышенного порядка точности и неструктурированных сеток.
2. Применение технологии распараллеливания для разработки параллелыюго комплекса программ на основе последовательного кода.
3. Проведение при помощи разработанного параллельного программного комплекса расчетов двумерных и трехмерных задач газовой динамики и аэроакустики.
4. Разработка на основе ранее известного метода Фурье-Шура для решения уравнения Пуассона на малобюджетных параллельных системах с небольшим числом процессоров нового масштабируемого метода повышенного порядка точности, который может эффективно применяться на суперкомпьютерах с использованием до тысячи процессоров.
5. Проведение при помощи нового метода для решения уравнения Пуассона крупномасштабного прямого численного моделирования. Достижение высокой эффективности на числе процессоров не менее 512 и обеспечить возможность использовать сетки с числом узлов не менее 108 при условии применения схемы повышенного порядка аппроксимации (не ниже 4-го).
Достоверность результатов.
Разработанный параллельный комплекс программ надежно верифицирован путем сравнения на совпадение результатов параллельной и исходной последовательной версий. При этом исходная последовательная версия была ранее подробно верифицирована па серии широко известных тестовых задач. Эффективность параллельных вычислений подтверждается серией тестов на параллельную производительность и эффективность, выполненных на различных многопроцессорных системах. Масштабируемый параллельный метод Крылова-Фурье-Шура для уравнения Пуассона обеспечивает требуемую заданную точность решения, которая автоматически контролируется в расчетах путем явного вычисления невязки. При этом данный метод применяется в составе комплекса программ, который верифицирован ранее па основе широко известного метода MMS (Method of Manufactured Solutions) [38], а также путем сравнения с результатами других авторов. Параллельная эффективность подтверждается серией тестов, выполненных на различных вычислительных системах при варьировании числа процессоров в широком диапазоне до 1024 включительно. Основные положения диссертации, выносимые на защиту.
Заключение
.
Ниже сформулированы основные результаты работы.
1. Разработан эффективный метод распараллеливания явного алгоритма повышенной точности, использующего расширенный неструктурированный шаблон. Данный метод позволяет разработчикам последовательного комплекса программ, которые не являются специалистами в области параллельных вычислений, выполнить распараллеливание с минимальными трудозатратами, достигнув при этом высокой параллельной эффективности.
2. Создан комплекс параллельных программ SuperNoisette 2D/3D с единым алгоритмическим ядром, реализующим расчеты задач газовой динамики и аэроакустики с повышенной точностью, как на треугольных, так и тетраэдральных сетках. Данный комплекс программ был получен на основе последовательного кода с использованием разработанной технологии распараллеливания.
3. На основе ранее известного метода Фурье-Шура для решения уравнения Пуассона, который эффективен на небольших кластерах с сетью высокой латентности, разработан метод Крылова-Фурье-Шура. Новый метод может эффективно применяться на суперкомпьютерах и позволяет использовать сетки размером порядка 108 узлов и разностные схемы повышенной точности на числе процессоров порядка тысячи.
4. При активном участии автора проведены расчеты ряда актуальных задач газовой динамики и аэроакустики. С помощью комплекса программ SuperNoisette 2D/3D выполнены вычислительные эксперименты по моделированию звукопоглощающих конструкций авиадвигателей. С использованием метода Крылова-Фурье-Шура выполнено крупномасштабное прямое численное моделирование турбулентного течения при естественной конвекции в закрытой каверне. Продемонстрирована высокая эффективность разработанных методов.