JAXAスーパーコンピュータシステム利用成果報告(2025年2月～2026年1月)

報告書番号: R25JG3212

利用分野: 研究開発

PDF(準備中)

• 責任者: 清水太郎, 研究開発部門第三研究ユニット
• 問い合せ先: 芳賀 臣紀, 研究開発部門　第三研究ユニット(haga.takanori@jaxa.jp)
• メンバ: 青野 淳也, 安部 賢治, 大門 優, 福島 裕馬, 芳賀 臣紀, 服部 盛正, 濱戸 昭太郎, 伊藤 浩之, 桐原 亮平, 根岸 秀世, 中島 健賀, 大野 真司, 岡野 泰人, 清水 太郎, 堤 誠司, 高木 亮治, 渡部 修, 山本 姫子, シュテレンプフェル パトリック

事業概要

実スケールの液体ロケットエンジン内の非定常現象を捉えるため, 燃焼LES解析に必要な物理モデル及び計算手法を構築する. サブスケール試験との比較検証により解析ツールを開発し, 実機エンジンの開発に適用する.

参照URL

https://stage.tksc.jaxa.jp/jedi/simul/index.html 参照.

JAXAスーパーコンピュータを使用する理由と利点

燃焼室内の流れ場は乱流状態でかつ,非定常な特性を有するため,LES解析が必須となっている.本検証対象でも数千万～数億セルの格子に対して,数百万～数千万ステップ程度の解析計算が必要であるため,スパコンの利用なしには到底目標を達成できない.

今年度の成果

本年度の成果を以下に示す.

1. 極低温壁・反応流に対する堅牢な壁面モデルLESの開発

液体ロケットエンジン燃焼器の熱設計に必要な壁面熱流束を正確に予測するための堅牢な壁面モデルLESを開発した. 設計でよく用いられるRANS は計算コストが低い一方で, 剥離や再循環などの非定常現象の再現が難しく, LES は非定常現象の予測に優れるが実機条件では計算コストが莫大となる. そこで, 壁面近傍を壁面モデルで置き換える壁面モデルLESを燃焼器内流れに適用した. Flux Reconstruction (FR) 法と壁面モデルの組合せでは, 特に冷却壁条件で壁近傍の数値不安定性が顕著となり, 計算が破綻するため, 壁面近傍のみに人工粘性を付加して数値安定性を確保した. 反応流チャネル乱流では壁面解像LESと比較して境界層プロファイルと壁面熱流束が良く一致した. さらに, TUMのシングルエレメント燃焼器では壁面モデルなしLESが熱流束を過小評価するのに対し, 壁面モデルLESは実験値と良く一致した(図1). これにより, 燃焼器の熱設計を定量的に検討するための解析技術基盤が得られた. 計算点数は約7400万点で, 計算時間は200時間(富士通 A64FX 250 CPU使用, 50,000 NH)であった.

2. OpenACCを用いたGPU化による燃焼解析コードLS-FLOW-HOの高速化

HPC環境ではGPU搭載システムの主流化が進んでおり, ロケットエンジン燃焼解析においてもCPUベースのスパコンでは計算パワーが不足しつつある. この背景を踏まえ, LS-FLOW-HOのGPU化による性能向上を進めている. 本年度はOpenACCを用いて燃焼版LS-FLOW-HOのGPU化を実施し, 液体ロケットエンジン燃焼器のLES解析をNVIDIA GPU V100上で実現した. GPU化に際しては, OpenACC適用に加え, ループ一重化や連続メモリアクセス促進などの最適化により, 対CPU理論演算性能比2.3倍を上回る2.6倍の高速化を達成した. さらに, 実用規模のケースとして2000万点のシングルエレメント燃焼器LESにおいて, 物理時間0.751 msec分の計算を64 GPUを用いて2.25時間で完了し, 実用的な計算性能であることを確認した. (図2)

3. 気体反応流れに対するLS-FLOW-HOの検証と妥当性確認

まず, GOX/GH2 2次元せん断層炎において, FR法の次数(P1およびP2)ごとに, 密度変動に対する異なる制約条件について, 正値保持およびエントロピーリミッターの効果を調査した(図3). 格子依存性の調査により, ポスト端部の再循環領域への燃料の巻き込みを捕捉するには, ポスト端部を少なくとも30点で解像する必要があることが明らかになった. 高次精度のP2シミュレーションも正常に実行可能であり, これは乱流の解像度が求められる壁面モデルの適用において重要である. リミッターに関しては, 密度に対する追加の制約がP2の収束を促進することが示され, トレードオフが明らかになった. すなわち, 密度に対する制約を緩めると温度分布は改善されるが, 下流に向かって不安定性が進行する可能性がある.

次に, 音響および熱流束予測に焦点を当て, 燃焼器解析におけるLS-FLOW-HOの性能を調査するため, ペンシルベニア州立大学(PennState)のプレバーナーPSU-RCM1の検証解析を実施した. 3次元圧縮性反応流シミュレーションにより, 2つの音響モードを捕捉することができた. すなわち, 2500Hzの第1縦モードと, 50kHzの1Rモードである. 得られた音響モードは, 文献に見られる他の数値研究と良好な一致を示している. しかし, 熱流束の予測については, 現在の結果が実験データと比較して熱流束を過小評価していることから, さらなる調査が必要である. 計算点数は約2400万点で, 計算時間は230時間(256 CPU使用, 58,880 NH)であった.

4. 拡散界面モデルに基づく気液二相ソルバの開発

LS-FLOW-HOは単相の流体モデルを採用しているため, 適用範囲が超臨界圧燃焼に限られていた. 再使用エンジンや上段エンジンのスロットリングなど作動条件によっては亜臨界圧の燃焼となるため, 気液二相モデルの導入を進めている. GPUを想定した大規模並列計算に適したアルゴリズムとして, 界面拡散モデルに基づく流体ソルバの検証解析を実施した. 亜臨界圧力下の液体窒素とガス窒素の同軸噴射の3次元非定常解析を実施した. 蒸発モデル有り無しの2ケースの解析を実施し流れ場の比較を行っている(図4). 計算点数は約1400万点で, 計算時間は48時間(100 CPU使用, 4,800 NH)であった.

図1: TUMシングルエレメント燃焼室内における温度分布と壁面熱流束分布.

図2: Speedup of each routine: Comparison between GPU (NVIDIA V100) and CPU (Fujitsu FX1000).

図3: Instantaneous temperature field of the 2D shear layer field

図4: 亜臨界圧LN2/GN2同軸噴射におけるLN2の分布（t=29.4ms, 100万step）

成果の公表

-査読付き論文

1) Okano, Y., Haga, T., "Robust Wall-Modeled Large Eddy Simulation with Flux Reconstruction Scheme under Extremely Cold Wall Conditions," Computers & Fluids, Volume 314, 107109

-査読なし論文

1) 渡部, 芳賀, 高木, "ポスト富岳時代に向けた圧縮性燃焼ソルバLS-FLOW-HOのGPU化," 第57回流体力学講演会/第43回航空宇宙数値シミュレーション技術シンポジウム

2) 岡野, 芳賀, “FR法における堅牢な等温壁条件WMLES,” 第57回流体力学講演会/第43回航空宇宙数値シミュレーション技術シンポジウム.

3) Okano, Y., Haga, T., “Robust Wall-modeled LES with Flux Reconstruction Scheme toward Accurate Heat Flux Prediction in Rocket Engine Combustors,” AIAA Paper, No. 2026-0387, 2026.

4) 芳賀, "高次精度の流速再構築法による超臨界圧乱流拡散火炎の解像度向上に向けて," 第57回流体力学講演会/第43回航空宇宙数値シミュレーション技術シンポジウム

-招待講演

1) Haga, T., "Towards Prediction of Combustion Instability in Liquid Rocket Engine Combustors by High-fidelity Simulation," SoTiC 2025: Symposium on Thermoacoustics in Combustion: Industry meets Academia.

-口頭発表

1) 渡部, 芳賀, 高木, "OpenACCによる圧縮性燃焼ソルバLS-FLOW-HOのGPU化と性能最適化," 第39回数値流体力学シンポジウム

2) Watanabe, O., Haga, T., Takaki, R., "GPU Acceleration and Performance Optimization of a High-Order Combustion Solver LS-FLOW-HO Using OpenACC," OpenACC User Workshop at SCA2026.

3) 岡野, 芳賀, ”流束再構築法による低温壁条件下の反応流壁面モデルLES,” 第39回数値流体力学シンポジウム, 2025年12月16日, 北九州市.

4) Strempfl, P. and Haga,T., "LES of a GH2/GO2 shear layer flame under rocket engine like conditions using Flux Reconstruction" 39th CFD Symposium (in English)

5) 芳賀, "超臨界拡散火炎流れに対する高次精度モーダルリミッターの拡張," 第39回数値流体力学シンポジウム, 2025年12月16日, 北九州市.

6) Haga, T., "Case Study of In-Situ/In-Transit Visualization Using JAXA's In-House CFD Solvers," HPDMV'26 at SCA2026.

JSS利用状況

計算情報

• プロセス並列手法: MPI
• スレッド並列手法: OpenMP
• プロセス並列数: 1 - 20000
• 1ケースあたりの経過時間: 240 時間

JSS3利用量

総資源に占める利用割合※1(%): 4.11

内訳

JSS3のシステム構成や主要な仕様は、JSS3のシステム構成をご覧下さい。

※1 総資源に占める利用割合：3つの資源(計算, ファイルシステム, アーカイバ)の利用割合の加重平均.

※2 資源の利用割合：対象資源一年間の総利用量に対する利用割合.

ISV利用量

※2 資源の利用割合：対象資源一年間の総利用量に対する利用割合.

JAXAスーパーコンピュータシステム利用成果報告(2025年2月～2026年1月)