JAXAスーパーコンピュータシステム利用成果報告(2020年4月～2021年3月)

報告書番号: R20JFHC0303

利用分野: 事業共通

PDFはここからダウンロード

• 責任者: 藤田直行, セキュリティ・情報化推進部スーパーコンピュータ活用課
• 問い合せ先: 芳賀 臣紀, 研究開発部門 第三研究ユニット(haga.takanori@jaxa.jp)
• メンバ: 芳賀 臣紀, 熊畑 清, 堤 誠司, 伊藤 浩之

事業概要

本研究では, 実機で想定される壁面熱流束の空間分布や時間変動に着目し, 実形状の完全3次元解析を行うことで, 従来の簡略化解析(噴射器1～数本, 周方向の対称性を仮定したケーキカット形状)では得られない知見の獲得を目的とする. 解析対象はLE-Xエンジンのフルスケール燃焼器(噴射器528本)とし, 効率的なテーブル参照型の燃焼モデルによる大規模燃焼LES解析を実施する. 噴射器100本以上のこのような解析例はこれまでになく, JSS3の演算性能とこれまでに開発した次世代の大規模高速ソルバLS-FLOW-HOを組み合わせることで初めて可能となる.

参照URL

なし

JAXAスーパーコンピュータを使用する理由と利点

フルスケール燃焼器(噴射器500本以上)のLESを実施するには, 少なくとも数十億から百億規模の計算点を使用し, 百万ステップオーダーの計算をする必要があり, JSS3の過半の計算資源の使用が不可欠である.

今年度の成果

1. 目的

フルスケール燃焼器およびエンジン試験において, 振動燃焼および溶損というハザード事象が開発コスト増大のリスクである. LE-9エンジンでは, 燃焼室内壁の局所的な高温化が原因とされる開口が発生し, 実機スケール効果や非定常, 連成問題の事前予測の難しさが露呈した.

本研究では, 実機で想定される壁面熱流束の空間分布や時間変動に着目し, 実形状の完全3次元解析を行うことで, 従来の簡略化解析(噴射器1～数本, 周方向の対称性を仮定したケーキカット形状)では得られない知見の獲得を目的とする. 解析対象はLE-Xエンジンのフルスケール燃焼器(噴射器528本)とし, 効率的なテーブル参照型の燃焼モデルによる大規模燃焼LES解析を実施する. 噴射器100本以上のこのような解析例はこれまでになく, JSS3の演算性能とこれまでに開発した次世代の大規模高速ソルバLS-FLOW-HOを組み合わせることで初めて可能となる.

2. 計算手法および事前準備

2. 1 LS-FLOW-HO

支配方程式の離散化には高次精度の非構造格子法である, 流束再構築(FR)法を用いる. セル内に高次精度化に必要な自由度を持つためデータの局所性を活かしたキャッシュ利用が可能で, セル間通信には面データのみを必要とするためプロセス間通信量を低減できるため, 高い大規模並列性能が期待できる. セル内自由度は計算実行時にメモリ上に確保されるため, 従来法に比べて計算格子のデータサイズを数十～百分の一にできるという利点もある. FR法をベースに開発したJAXA内製の燃焼LESソルバLS-FLOW-HOを使用する.

燃焼モデルにはテーブル参照型のFlamelet Progress Variable(FPV)モデルを用いる. 極低温の液体酸素(LOX)の物性を考慮するため, 実在気体の状態方程式としてSRK方程式, 輸送係数の評価にはChungモデルを採用した. Chungモデルは高温での精度が低く, またFPVで考慮する混合物の輸送係数が非物理的な値になることがあるため, LOXのみに適用した. LOX以外の化学種の輸送係数はCHEMKINデータベースで評価し, 混合物の輸送係数はWilkeモデルにより評価した. 密度比が100を超えるLOX界面での数値振動を抑えるため, セル内多項式の正値性を維持するリミッターを付加した. 本チャレンジの準備期間において, これらの高圧燃焼用モデルを導入したソルバを検証するため, 超臨界圧力(6 MPa)下のLOX/GH2同軸噴流火炎(DLR P8)の燃焼LESを行った. 文献のLES結果と比較し, 妥当な火炎形状およびせん断層速度分布が得られることを確認した.

2. 2 フルスケール燃焼器の格子作成

本フルスケール解析の対象はLE-Xエンジンの試験ケースの一つとする. 全528本の同軸型噴射器を考慮するため, オーバーセット(重合)格子法を採用する. 噴射器エレメントは長さが異なる3形状があるため, それぞれについて燃焼器内のせん断層の発達および混合領域を考慮した計算格子(ヘキサセル)を作成した. これらを528本分コピーして各エレメント位置に平行移動することにより, 別途作成した燃焼器格子(噴射面からノズルまでを含む)と重合させた. 各エレメントの格子は燃焼器内で重ならないように予め計算領域(円筒形状の直径)を調整し, 境界面をそのままオーバーセット面とした. 燃焼器格子では, 全エレメント格子に含まれる格子セルを削除し, エレメント側と通信を行うオーバーセット面を作成するホールカットを前処理として行った.

ホールカット後の燃焼器格子を図1に示す. エレメント格子及び燃焼器格子(ホールカット後)の計算セル数は, それぞれ約34万及び4073万であり, 総格子セル数は約2億1826万である. セル内自由度(今回はp2スキームを使用し, 27点/セル)を用いるため格子セル数は従来手法より少ないことに留意されたい. 総計算点数(p2スキーム)は58億9568万点である. 格子作成に関し, エレメントや燃焼器の円筒形状や曲率を少数のセルで再現するため, 壁近傍の格子セルは2次要素ヘキサとした. セル数を少なくすることで大規模なホールカットの前処理時間も大幅に短縮されるが, 今回使用したツールはプロセス並列に未対応のため, 528本分の処理に約5時間を要した(TOKI-RURI 1ノード(36コア, 192GiB)使用).

2. 3. 各コンポーネントの検証計算

フルスケール解析の事前準備として, 計算格子を各コンポーネントに分けて計算を実行し, 数値安定性などに問題がないか確認を行った. 具体的には, a) シングルエレメント単体格子, b) シングルエレメント+燃焼器(部分)のオーバーセット格子, c) 燃焼器(ノズルあり)単体格子の3ケースについて計算を行った. 単体格子ケースのオーバーセット面の境界条件には既燃ガスの圧力と温度を与えた. 図2にケースa), 図3にケースb) およびc) の結果を示す. 上記3ケースのいずれも燃焼器の一部を切り出した計算であり, ケースa) および c) については長い物理時間を計算すると切り出した境界面付近から流れ場の不安定化が見られた. これは境界条件の不整合によるものと考えられ, 流れ場がある程度発達する1 [ms] 程度までは安定に計算できることから, フルスケール解析では顕在化しないと判断し次の段階に進むこととした.

2. 4. リスタート解の準備

フルスケール解析の計算時間を短縮するため, シングルエレメント単体格子で乱流火炎が発達するまで小規模の計算を行い, そのデータをフルスケール解析のリスタート解として利用した. エレメントの長さが異なる3ケースについて, フルスケール解析よりも領域分割数を増やして使用する計算ノードを増やすことで前処理時間を短縮した. 1ケース当たりTOKI-SORA 128ノードを使用し, 1 [ms] の解析に約一日を要した. リスタートデータには位置座標は含まれないため, モデル3ケースの結果をエレメント長さに合わせて528本分コピーするだけでよいが(今回は各エレメントの回転は未考量), フルスケール解析用のエレメント格子とは分割数が異なるためマッピングが必要になる. 既存の前処理ツールを拡張してデータを準備した.

2. 5. 高速化チューニング

上記の事前準備と並行して, TOKI-SORA(FX 1000)上でのLS-FLOW-HOの高速化チューニングを行った. プロファイラにより高コストルーチンを特定し, 上位2つのルーチンについて高速化を行った. これらはセル界面のRiemann流束を計算するルーチンと温度逆算のためのNewton反復を含むルーチンであるが, 対策の詳細については本稿では割愛する. チューニングの結果, 単一ノードでのテストケースにおいて約2倍の高速化が得られた. 実行効率はピーク比で約4%である. ソルバ検証に用いたシングルエレメント(DLR P8)の計算時間はTOKI-SORA 320ノードを使用して約1日/ケースであり, 従来ソルバLS-FLOWと比較して約15倍の高速化を実現した. LS-FLOWは高圧燃焼解析における陰解法の安定性に課題があり, 時間刻みを大きく取れないことが計算時間増加の要因となっていることを付記する.

3. フルスケール解析結果

解析条件は, LE-Xエンジンの燃焼圧力8.2 [MPa], 混合比6.4の試験ケースとした. 噴射器の流入条件には推進剤の温度と質量流量を与えた. 燃焼器壁面の境界条件には, 燃焼ガス流れ, 固体熱伝導, 冷却剤流れの熱-流体連成解析(定常RANS)によって得られた温度分布を与えた. ノズル出口は超音速の流出条件である. 初期条件には事前準備したリスタート解を与えた. フルスケール解析にはJSS3 TOKI-SORA全ノード数の半分である2880ノードを使用し, 各ノードに4プロセスを立て(12スレッド/プロセス), 全11520プロセスの計算を行った. 1ステップあたりの計算時間は約1.03秒であり, 2週間の占有期間で実行できるのは約117万ステップとなる. 時間積分には陽解法を用いているため時間刻みは3.0 e-9 [s/step]であり, 解析できる物理時間は約3.5 [ms]である. これは時間平均場を取得するには必ずしも十分とは言えないが, 過渡状態を再現するには明らかに不足であり, 前述のリスタート解の使用は必須である. また, この計算時間は小規模のシングルエレメントケースを基にした予測値よりも1.5倍ほど増加しており, オーバーセット格子間の通信が大規模並列の性能に影響している可能性がある.

計算開始直後の流れ場を図4に示す. この後(約3万ステップ後), 噴射器エレメントのリセス付近で圧力および温度が非物理的な値となり, 計算が破綻した. 安定化策として高波数成分を除去するローパスフィルタ適用やリスタート解の再計算等を試みたが, 不安定化を抑えることができず, やむなく大規模実行を中断した. 不安定化の要因の一つとして, 噴射器エレメント格子の解像度および品質の不足が考えられる. シングルエレメントのケースにおいて, 初期条件の与え方によっては火炎面が解像度不足の領域に移動し, 計算が破綻することがあった. フルスケール解析において各エレメントの流れ場の相互干渉により火炎面が不安定化した可能性がある.

4. 成果および今後の予定

今回のチャレンジでは計算の不安定化により残念ながら当初予定していた解析結果を得ることはできなかった. しかし, LS-FLOW-HOに新規に導入した高圧燃焼用の各物理モデルの検証を加速し, シングルエレメントのベンチマーク問題の解析に成功した. FR法及び類似手法によるLOX/GH2の高圧燃焼LESは著者らが知る限り他に例がなく, 提案手法の詳細は国際学術誌に投稿予定である. また, オーバーセット格子法を用いた複雑形状の大規模解析の前後処理手法を確立することができ, 最大2880ノードを使用した大規模並列計算が実行できることを確認した. 本チャレンジによって獲得したLS-FLOW-HOの新機能および高速化はシングルエレメントの感度解析やサブスケール燃焼器の解析支援などに活用可能な大きな成果である.

現在は, 不安定化の原因究明を進めており, 特にシングルエレメント解析に的を絞り, 不安定化の兆候を詳しく調べている. その次のステップとしては, 複数噴射器のサブスケール解析または噴射器配置の対称性を仮定したケーキカット形状などでソルバの堅牢性を検証し, 着実にフルスケール解析の準備を整えたい.

図1: ホールカット後の燃焼器の境界面(左). ホールカットにより生成したオーバーセット面(右).

図2: ケース a) シングルエレメント単体格子の計算結果(瞬時場).

図3: ケース b) シングルエレメント+燃焼器(部分)のオーバーセット格子の計算結果(左, 瞬時場). ケース c) 燃焼器(ノズルあり)単体格子の計算結果(右, 初期条件からの過渡状態にあり未収束).

図4: フルスケール解析の結果(リスタート解を与えた直後の瞬時場).

成果の公表

なし

JSS利用状況

計算情報

• プロセス並列手法: MPI
• スレッド並列手法: OpenMP
• プロセス並列数: 11520
• 1ケースあたりの経過時間: 336 時間

JSS2利用量

総資源に占める利用割合※1(%): 0.00

内訳

JSS2のシステム構成や主要な仕様は、JSS2のシステム構成をご覧下さい。

※1 総資源に占める利用割合：3つの資源(計算, ファイルシステム, アーカイバ)の利用割合の加重平均.

※2 資源の利用割合：対象資源一年間の総利用量に対する利用割合.

JSS3利用量

総資源に占める利用割合※1(%): 7.52

内訳

JSS3のシステム構成や主要な仕様は、JSS3のシステム構成をご覧下さい。

※1 総資源に占める利用割合：3つの資源(計算, ファイルシステム, アーカイバ)の利用割合の加重平均.

※2 資源の利用割合：対象資源一年間の総利用量に対する利用割合.

JAXAスーパーコンピュータシステム利用成果報告(2020年4月～2021年3月)