JAXAスーパーコンピュータシステム利用成果報告(2024年2月～2025年1月)

報告書番号: R24JG3212

利用分野: 研究開発

PDF(はここからダウンロード)

• 責任者: 清水太郎, 研究開発部門第三研究ユニット
• 問い合せ先: 芳賀 臣紀, 研究開発部門　第三研究ユニット(haga.takanori@jaxa.jp)
• メンバ: シュテレンプフェル パトリック, 青野 淳也, 安部 賢治, 安藤 真基, 大門 優, 福島 裕馬, 芳賀 臣紀, 服部 盛正, 濱戸 昭太郎, 伊藤 浩之, 桐原 亮平, 倉田 博文, 根岸 秀世, 中島 健賀, 大野 真司, 太田 泰弘, 岡野 泰人, 清水 太郎, 志村 啓, 堤 誠司, 高木 亮治, 多湖 和馬, 渡部 修, 山本 姫子

事業概要

実スケールの液体ロケットエンジン内の非定常現象を捉えるため, 燃焼LES解析に必要な物理モデル及び計算手法を構築する. サブスケール試験との比較検証により解析ツールを開発し, 実機エンジンの開発に適用する.

参照URL

「数値シミュレーション技術｜第三研究ユニット(旧 情報・計算工学センター)」参照.

JAXAスーパーコンピュータを使用する理由と利点

燃焼室内の流れ場は乱流状態でかつ,非定常な特性を有するため,LES解析が必須となっている.本検証対象でも数千万～数億セルの格子に対して,数百万～数千万ステップ程度の解析計算が必要であるため,スパコンの利用なしには到底目標を達成できない.

今年度の成果

実機スケールの液体ロケットエンジン燃焼器の高精度な解析を実現するため, 高次精度Flux Reconstruction(FR)スキームをベースとする燃焼ソルバーLS-FLOW-HOを開発中である. 本年度の成果を以下に示す.

１. ベクトルアーキテクチャ向けのチューニング

将来のスパコンに採用されると予想される加速器（GPU, ベクトルエンジンなど）を対象としたLS-FLOW-HOの移植とチューニングを進めている. 本年度は, NEC VE Type 10Cを対象に空力版コード（燃焼モデル, 実在流体モデル等はなし）のベクトル化チューニングを実施した.

コンパイラオプションおよびシンプルなコンパイラ指示行の指定によってある程度のベクトル化を進めることが可能であるが, そのままではベクトル化率が不十分で性能を引き出すことができなかった. そこで, ループ構造を見直し, 平均ベクトル長の拡大によるベクトル化率の向上とメモリアクセスを効率化することで性能が向上した. （図１）

２. 効率的な時間積分法（PERK）の導入

並列化が容易なExplicit Runge-Kutta (ERK)法をベースとし, クーラン数条件を緩和して時間ステップを大きくすることができるPaired Explicit Runge-Kutta (P-ERK)法をLS-FLOW-HOに実装した. P-ERKでは計算負荷が空間的に不均一となるため, ロードバランスを考慮した領域分割が必要になる. 本研究ではグラフ分割ツールMETISのmulti-constraint機能を利用した.

SD7003翼型のベンチマークケースでは, ３段階ERKと比べて, P-ERKは4.4倍のCFL数, 3倍の高速化となった.

超臨界燃焼の実問題としてLOX/GH2シングルエレメント燃焼器に適用したところ, P-ERKによるCFL数は3.1倍, 高速化率は0.79倍となった. 今回使用した計算格子は, 律速となる小さなセルの割合が大きく, トータルの計算量が増えてしまったためである. P-ERKのパラメータであるセルのレベル分けと段数を最適化することで, 格子依存性を低減することが期待される.

３. 合成渦法（SEM）による流入擾乱の導入

従来, ロケットエンジンの非定常流体解析は燃焼器やターボポンプ・タービンなど要素ごとに行われてきたが, 各計算領域の流入擾乱についてはモデル化が不十分であった. 流量分布の偏りやマニホールドの変動圧を正確に再現するため, 複雑形状にも適用しやすい合成渦法（SEM）を採用した. 事前に上流側の解析（RANSまたはLES）を実施し, 境界面の平均速度分布とレイノルズ応力分布を求めておく. これをSEMの入力条件とし, 下流側の流入境界に速度擾乱を与えるが, 乱流に発達するまでの助走区間を設けることが一般的である. 平行平板間乱流のLES解析を行い, FR法の近似次数に応じた必要格子解像度を明らかにした. また, P3スキーム（４次精度）で必要な助走区間はチャネル半幅の約15倍である. （図２）

４. サブスケール燃焼器（噴射器42本）のLES解析

燃焼振動解析の検証例として, 同軸型の噴射器42本を有するDLRのBKD燃焼器（LOX/GH2）のLES解析を実施した. オーバーセット格子法を利用し, 計算点数は約10億点である. 物理時間10 msecの解析に要した計算時間は約650時間（ 500 CPUs使用, 328000 NH）であった.

計算結果（密度および圧力の瞬時場と燃焼圧のPSD）を図3に示す. １Tモードなど主要なチャンバーモードを捉えることに成功した.

図1: Performance ratio (normalized by FX1000) and computing efficiency (per peak) of LS-FLOW-HO.

図2: Mean velocity and Reynold's stress profile of turbulent channel flow (〖𝑅𝑒〗_𝜏~180) using synthetic-eddy-method (SEM). x/d is the distance from the inlet boundary normalized by the channel half-width d.

図3: Instantaneous fields of density and pressure and PSD of combustion pressure for DLR BKD combustor (LOX/GH2) with 42 coaxial-type injectors.

成果の公表

-査読なし論文

1) 芳賀, "Paired explicit Runge-Kuttaスキームによる高次精度燃焼ソルバLS-FLOW-HOの加速," 第56回流体力学講演会/第42回航空宇宙数値シミュレーション技術シンポジウム

2) 渡部, 芳賀, 高木, "高次精度燃焼ソルバLS-FLOW-HOの複数計算アーキテクチャにおける性能分析およびベクトル演算機構による高速化 ," 第56回流体力学講演会/第42回航空宇宙数値シミュレーション技術シンポジウム

3) 坂井, 芳賀, 堤, "流束再構築法を用いたLES流入境界における合成渦法の検討," 第56回流体力学講演会/第42回航空宇宙数値シミュレーション技術シンポジウム

4) Haga, T., "Robust and Efficient Numerical Schemes for LES of Liquid Rocket Engine Combustor," ICCFD12 Kobe, Japan, July 14-19, 2024.

-招待講演

1) Haga, T., "Liquid Rocket Engine Combustor Simulations by Flamelet-Based Model and Flux-Reconstruction Method," Emerging Trends in Computational Fluid Dynamics: Towards Industrial Applications,Jameson-Kim-Wang Symposium, 2024.

-口頭発表

1) 芳賀, "Paired explicit Runge-Kuttaスキームによる圧縮性燃焼LESの高速化," 第38回数値流体力学シンポジウム

2) Haga, T., Shimizu, T., "Large-Eddy Simulations of Subscale LOX/GH2 Rocket Combustors with Different Fuel Injection Temperatures," ICNC2024, Kyoto, Japan, May 7-10, 2024.

JSS利用状況

計算情報

• プロセス並列手法: MPI
• スレッド並列手法: OpenMP
• プロセス並列数: 1 - 11520
• 1ケースあたりの経過時間: 240 時間

JSS3利用量

総資源に占める利用割合※1(%): 3.19

内訳

JSS3のシステム構成や主要な仕様は、JSS3のシステム構成をご覧下さい。

※1 総資源に占める利用割合：3つの資源(計算, ファイルシステム, アーカイバ)の利用割合の加重平均.

※2 資源の利用割合：対象資源一年間の総利用量に対する利用割合.

ISV利用量

※2 資源の利用割合：対象資源一年間の総利用量に対する利用割合.

JAXAスーパーコンピュータシステム利用成果報告(2024年2月～2025年1月)