大規模CFD解析におけるポスト処理効率化のためのデータステージング技術に関する研究
JAXAスーパーコンピュータシステム利用成果報告(2019年4月～2020年3月)
報告書番号: R19JACA42
利用分野: JSS2大学共同利用
- 責任者: 高橋慧智, 奈良先端科学技術大学院大学 先端科学技術研究科 情報科学領域
- 問い合せ先: 高橋慧智(keichi@is.naist.jp)
- メンバ: 高橋 慧智
事業概要
CFDシミュレーションの大規模化にともない, 従来のように全てのシミュレーション結果を並列ファイルシステムに保存し, シミュレーション終了後にポスト処理を実行することはストレージ容量やIO帯域幅の制約により困難になると予想される. そのため, シミュレーション実行中にポスト処理プログラムへ計算結果をリアルタイムに転送する, データステージング技術が注目されている. 本研究では, JSS2に代表されるHPC環境におけるデータステージング技術の実現可能性を検討し, データステージングミドルウェア, および, HPC環境に求められる要件を分析する.
参照URL
なし
JAXAスーパーコンピュータを使用する理由と利点
JSS2はアーキテクチャの異なる計算用主システム (SORA-MA) とプリポスト処理用副システム (SORA-PP) から構成され, 2システム間で通信が可能であるため.
今年度の成果
今年度は, 昨年度に概念実証したSORA-MAおよびSORA-PPを跨ぐデータステージングの実用性向上に取組んだ. 昨年度は, 米オークリッジ国立研究所が開発を推進しているデータステージング用ミドルウェアADIOS2をJSS2に移植し, MA/PP間のデータステージングを実現した. この際, MAのIOノード上で通信ブリッジを動作させ, MAからPPへの通信を中継させることによってデータステージングを実現した.
しかし, 数千プロセスに及ぶ大規模なCFD解析に対してデータステージングを適用した際, 次の2点の問題がある: (1) ステージング通信のスループット: MA/PPの両サブシステムにおいて, ステージング通信のスループットが相互結合網の帯域幅の10%未満に留まる (2) 通信ブリッジのメモリ消費: MAのBIO/GIOノード上で動作させる通信ブリッジのメモリ消費量が, 送信データ量の3～4倍に及ぶ. これら2点の問題は, 大規模なCFD解析に対するデータステージングの適用の障壁となるため, 今年度ではこれらの問題の解決に取組んだ.
(1) については, ADIOS2の通信エンジンSSTがTCP/IP通信を使用することに起因すると推測した. 事実, 通信ベンチマークを用いてTCP/IPとRDMA通信の性能を比較したところ, TCP/IP通信の方がRDMA通信に比べスループットが低かった. (2) については, ヒーププロファイラMassifを使用し通信ブリッジのメモリ確保・開放を解析したところ, SSTエンジンが複数の重複する通信バッファを確保すること, また, 通信バッファが動的拡張される際のメモリ再確保によりメモリ消費が増大していることが明らかになった.
これらの問題は, ADIOS2の開発中の新たな通信エンジンSSCにより解決できると期待できる. SSCはバックエンドにMPIを使用するため, RDMA通信を利用する. また, SSTよりも使用する通信バッファの数が少ないため, メモリ消費量が少ない. 以上の分析を踏まえ, SSCエンジンをMA/PPの両システムに移植するとともに, 正常に動作することを確認した. 今後はSSCエンジンの性能評価を実施し, 問題 (1) および (2) を解決できたか確認する.
成果の公表
-査読なし論文
堤誠司, 藤田直行, 伊藤浩之, 大日向大地, 井上敬介, 松村洋祐, 高橋慧智, Greg Eisenhauer, Norbert Podhorszki, Scott Klasky, "In Situ/In Transitアプローチを 用いた大規模数値解析におけるポスト処理効率化", 第33回数値流体力学シンポジウム.
-口頭発表
Seiji Tsutsumi, Naoyuki Fujita, Hiroyuki Ito, Daichi Obinata, Keisuke Inoue, Yosuke Matsumura, Keichi Takahashi, Greg Eisenhauer, Norbert Podhorszki, Scott Klasky, "In Situ and In Transit Visualization for Numerical Simulations in HPC", In Situ Infrastructures for Enabling Extreme-scale Analysis and Visualization (ISAV 2019) .
JSS2利用状況
計算情報
- プロセス並列手法: MPI
- スレッド並列手法: 非該当
- プロセス並列数: 1 - 128
- 1ケースあたりの経過時間: 5 分
利用量
総資源に占める利用割合※1(%): 0.00
内訳
JSS2のシステム構成や主要な仕様は、JSS2のシステム構成をご覧下さい。
| 計算システム名 | コア時間(コア・h) | 資源の利用割合※2(%) |
|---|---|---|
| SORA-MA | 11,189.95 | 0.00 |
| SORA-PP | 275.58 | 0.00 |
| SORA-LM | 0.00 | 0.00 |
| SORA-TPP | 0.00 | 0.00 |
| ファイルシステム名 | ストレージ割当量(GiB) | 資源の利用割合※2(%) |
|---|---|---|
| /home | 9.54 | 0.01 |
| /data | 95.37 | 0.00 |
| /ltmp | 1,953.13 | 0.17 |
| アーカイバシステム名 | 利用量(TiB) | 資源の利用割合※2(%) |
|---|---|---|
| J-SPACE | 0.00 | 0.00 |
※1 総資源に占める利用割合：3つの資源(計算, ファイルシステム, アーカイバ)の利用割合の加重平均.
※2 資源の利用割合：対象資源一年間の総利用量に対する利用割合.
JAXAスーパーコンピュータシステム利用成果報告(2019年4月～2020年3月)