燃焼解析技術
JAXAスーパーコンピュータシステム利用成果報告(2021年2月～2022年1月)
報告書番号: R21JG3212
利用分野: 研究開発
- 責任者: 清水太郎, 研究開発部門第三研究ユニット
- 問い合せ先: 芳賀 臣紀, 研究開発部門 第三研究ユニット(haga.takanori@jaxa.jp)
- メンバ: 青野 淳也, 安部 賢治, 大門 優, 福田 太郎, 福島 裕馬, 芳賀 臣紀, 濱戸 昭太郎, 伊藤 浩之, 河津 要, 熊畑 清, 根岸 秀世, 中島 健賀, 大野 真司, 清水 太郎, Andrea Zambon, 堤 誠司, 高木 亮治, 多湖 和馬, 外山 雅士
事業概要
実スケールの液体ロケットエンジン内の非定常現象を捉えるため, 燃焼LES解析に必要な物理モデル及び計算手法を構築する. サブスケール試験との比較検証により解析ツールを開発し, 実機エンジンの開発に適用する.
参照URL
https://stage.tksc.jaxa.jp/jedi/simul/index.html 参照.
JAXAスーパーコンピュータを使用する理由と利点
燃焼室内の流れ場は乱流状態でかつ,非定常な特性を有するため,LES解析が必須となっている.本検証対象でも数千万～数億セルの格子に対して,数百万～数千万ステップ程度の解析計算が必要であるため,スパコンの利用なしには到底目標を達成できない.
今年度の成果
実機スケール燃焼器の大規模解析を実現するため, 高次精度の燃焼ソルバーLS-FLOW-HOを開発した. 演算効率が高く, 乱流渦の解像度に優れる高次精度の流束再構築法を超臨界圧力下の拡散燃焼に適用した. 燃焼モデルにはflamelet progress variable法を採用した. 高次精度スキームは, 液体酸素とガス水素の高密度比界面における数値不安定が課題であったが, 最小エントロピー原理に基づく安定化リミッター(密度や圧力だけでなく, エントロピーの非物理的な分布を抑制)を実在気体効果が顕著となる流れ場に拡張することで, 安定性と解像度の両立に成功した. シングルエレメント燃焼器のLES結果を図1に示す.
さらにFX1000向けのコードチューニングを実施し計算速度を向上させることで, 従来ソルバーLS-FLOWと比べて計算コストを1/20以下に劇的に短縮することに成功した(数か月/ケースが1週間/ケースに短縮). 高忠実な非定常燃焼解析の実現により非定常燃焼現象の再現性が向上(音響-燃焼の連成, 噴射器からの渦放出等を再現等) し, 燃焼器の技術課題に対して現象理解および予測が可能となった.
燃焼Large-eddy simulation (LES)における壁面熱流束予測精度向上を目的に, LS-FLOW-HOに化学平衡壁面モデルを導入し, 壁面モデルLESソルバーを構築した. 検証として, 水素・酸素の既燃ガスが冷却壁に挟まれた完全発達の乱流チャネル流れを解析し, 予測精度や解析コストを調べた. 検証の結果, 壁面モデルを用いずに壁面まで解像する通常のLESと比較して解析コストを400分の1に削減しながら, 壁面熱流束の予測精度は約5%と比較的よい精度で予測できた. さらに, 冷却壁をチャネルの途中から設定することで発達過程の熱境界層 (Figure 2) における予測精度についても調べた結果, パラメータ設定は完全発達した乱流チャネル流れと同様の考え方を適用できることがわかった. 一方で, 発達初期の熱境界層における熱流束の予測精度が下流の境界層の発達に影響するなどの注意すべき知見が得られた.
LS-FLOW-HOコードのFX1000上でのチューニング事例を記す. 最も高コストな処理は, 温度を更新するnewton反復の処理であり, ベンチマーク用ケースを計算した際には, プロファイラFIPPによれば全体の17%のコストを占めていた. 当該部分のCPU性能解析レポートを採取したところ浮動小数点演算待ちが支配的で, かつSIMD命令率が40%程度と低かった. これは当該部分が含んでいる回転数が少ないループが最内ループとしてSIMD化されるため, それ以外の処理がSIMD化されていないことが原因である. そこで最内ループをループ展開し, コンパイラによるSIMD化が当該部分全体に適応されるようにした. これによりSIMD化率は90%まで改善し, 実行時間は50%強短縮した. 図3にチューニング前後のCPU性能解析レポートの結果を示す. SIMD化による命令数の削減により浮動小数点演算待ちが削減された. 本チューニングによるアプリ全体の実行時間削減効果はおよそ10%である.
図1: LOX/H2シングルエレメント燃焼器の乱流燃焼LES. (温度分布)
図2: 熱境界層が形成される際の計算設定と瞬時の温度場. h_wm=0.1δ_0 における壁面近傍の温度分布(δ_0 は流路半値幅)を示す.
図3: SIMD化促進による実行時間短縮の効果
成果の公表
-口頭発表
1) 芳賀臣紀, 熊畑清, 伊藤浩之, 堤誠司, フルスケール液体ロケットエンジン燃焼器のLESに向けて, 第53 回流体力学講演会/第39 回航空宇宙数値シミュレーション技術シンポジウム, 2C04, 2021年.
2) 芳賀臣紀, 清水太郎, 流束再構築法による超臨界圧LOX/GH2同軸噴流火炎のLES, 第35回数値流体力学シンポジウム, D06-4, 2021年.
3) Yuma Fukushima, Takanori Haga, Assessment of wall-modeled LES with a flux-reconstruction method for high Reynolds number turbulent flows, AIAA AVIATION 2021 Forum, AIAA Paper 2021-2750, 2021.
4) 福島裕馬, 芳賀臣紀, 冷却壁からの熱流束を伴う反応流チャネル流れの壁面モデルLES, 第35回数値流体力学シンポジウム, D06-3, 2021年.
5) 熊畑清, 芳賀臣紀, 高木亮治, 流束再構築法に基づく高次精度・非構造格子ソルバのFX1000での高速化事例, 第35回数値流体力学シンポジウム, E07-4, 2021年.
JSS利用状況
計算情報
- プロセス並列手法: MPI
- スレッド並列手法: OpenMP
- プロセス並列数: 32 - 11520
- 1ケースあたりの経過時間: 168 時間
JSS3利用量
総資源に占める利用割合※1(%): 7.09
内訳
JSS3のシステム構成や主要な仕様は、JSS3のシステム構成をご覧下さい。
| 計算システム名 | CPU利用量(コア・時) | 資源の利用割合※2(%) |
|---|---|---|
| TOKI-SORA | 161429494.27 | 7.85 |
| TOKI-ST | 1513205.84 | 1.86 |
| TOKI-GP | 44362.19 | 29.47 |
| TOKI-XM | 252.54 | 0.18 |
| TOKI-LM | 7327.10 | 0.55 |
| TOKI-TST | 32576.08 | 0.68 |
| TOKI-TGP | 0.00 | 0.00 |
| TOKI-TLM | 568.70 | 1.75 |
| ファイルシステム名 | ストレージ割当量(GiB) | 資源の利用割合※2(%) |
|---|---|---|
| /home | 2782.92 | 2.77 |
| /data及び/data2 | 163228.41 | 1.74 |
| /ssd | 2967.86 | 0.77 |
| アーカイバシステム名 | 利用量(TiB) | 資源の利用割合※2(%) | J-SPACE | 216.73 | 1.47 |
|---|
※1 総資源に占める利用割合：3つの資源(計算, ファイルシステム, アーカイバ)の利用割合の加重平均.
※2 資源の利用割合：対象資源一年間の総利用量に対する利用割合.
ISV利用量
| 利用量(時) | 資源の利用割合※2(%) | |
|---|---|---|
| ISVソフトウェア(合計) | 15515.20 | 10.87 |
※2 資源の利用割合：対象資源一年間の総利用量に対する利用割合.
JAXAスーパーコンピュータシステム利用成果報告(2021年2月～2022年1月)