大規模CFD解析におけるポスト処理効率化のためのデータステージング技術に関する研究
JAXAスーパーコンピュータシステム利用成果報告(2020年4月～2021年3月)
報告書番号: R20JACA42
利用分野: JSS大学共同利用
- 責任者: 高橋慧智, 奈良先端科学技術大学院大学
- 問い合せ先: 高橋慧智(keichi@is.naist.jp)
- メンバ: 高橋 慧智
事業概要
CFDシミュレーションの大規模化にともない, 従来のように全てのシミュレーション結果を並列ファイルシステムに保存し, シミュレーション終了後にポスト処理を実行することはストレージ容量やIO帯域幅の制約により困難になると予想される. そのため, シミュレーション実行中にポスト処理プログラムへ計算結果をリアルタイムに転送する, データステージング技術が注目されている. 本研究では, JSS2に代表されるHPC環境におけるデータステージング技術の実現可能性を検討し, データステージングミドルウェア, および,HPC環境に求められる要件を分析する.
参照URL
なし
JAXAスーパーコンピュータを使用する理由と利点
JSS3はアーキテクチャの異なるHPCシステム (TOKI-SORA) と汎用システム (TOKI-RURI) から構成され, 2システム間で通信が可能であるため.
今年度の成果
今年度より利用可能になったJSS3システム上で, 米国Oak Ridge国立研究所にて開発されているデータステージング用ミドルウェアADIOS2の動作試験およびステージング通信の性能評価を実施した. SORAの計算ノード上で富士通コンパイラ4.4.0 (clangモード) を用いADIOS2 v2.7.1のビルドを試みたところ, 特に問題なく完了し全ユニットテストが成功した. なおtradモードではCMakeがコンパイラを正しく認識しないため, CMake側で富士通コンパイラに対応する必要があると思われる.
次にADIOS2に含まれるiotestユーティリティを用い, SORA上ででステージング通信の性能評価を行なった. iotestで同一プロセス数の2つのアプリケーションを模し, アプリケーション間で1プロセスあたり100MBのデータを送受信させた. ADIOS2は様々な通信バックエンドを提供しているが, ここでは最も性能が高いと思われるMPIを用いたステージング通信用エンジンInSituMPIとSSC (Strong Staging Coupler) を比較した. SSCエンジンについては, さらにTwoSided, OneSidedPostPush, OneSidedPostPullの3つのモードの性能を比較した. TwoSidedは1対1通信関数, OneSidedPostPush/Pullは片側通信関数を用いて実装されている.
図1に2アプリケーション間の通信帯域幅を示す. まず2ノード間では, InSituMPIエンジンで5.5GB/s, SSCエンジンではいずれのモードでも5.9GB/sの帯域幅が得られた. Tofu-D相互結合網のリンク帯域幅は6.8GB/sであるため, InSituMPIエンジンとSSCエンジンでそれぞれリンク帯域幅の81%および87%の実効帯域幅が得られた. ノード数がスケールアウトするとInSituMPIがSSCに比べ性能が高くなり, 512ノードではInSituMPIが418GB/s, SSCがモードに関わらず270GB/sであった.
以上の評価により, SORAシステムの相互結合網を活用した高いステージング通信性能を実現できることが明らかになった. ただし, 高並列時にSSCエンジンの性能がInSituMPIエンジンに比べ劣る原因が不明であるため, 調査する必要がある. また, SORA/RURIの異種アーキテクチャのシステム間の通信についても検証を行う必要がある.
図1: adios_iotestによる2アプリケーション間のステージング通信性能 (48プロセス/ノード, 5回計測の最大値)
成果の公表
なし
JSS利用状況
計算情報
- プロセス並列手法: MPI
- スレッド並列手法: 非該当
- プロセス並列数: 1 - 24576
- 1ケースあたりの経過時間: 10 分
JSS2利用量
総資源に占める利用割合※1(%): 0.00
内訳
JSS2のシステム構成や主要な仕様は、JSS2のシステム構成をご覧下さい。
| 計算システム名 | コア時間(コア・h) | 資源の利用割合※2(%) |
|---|---|---|
| SORA-MA | 220.60 | 0.00 |
| SORA-PP | 0.00 | 0.00 |
| SORA-LM | 0.00 | 0.00 |
| SORA-TPP | 0.00 | 0.00 |
| ファイルシステム名 | ストレージ割当量(GiB) | 資源の利用割合※2(%) |
|---|---|---|
| /home | 9.54 | 0.01 |
| /data | 95.37 | 0.00 |
| /ltmp | 1,953.13 | 0.17 |
| アーカイバシステム名 | 利用量(TiB) | 資源の利用割合※2(%) | J-SPACE | 0.00 | 0.00 |
|---|
※1 総資源に占める利用割合：3つの資源(計算, ファイルシステム, アーカイバ)の利用割合の加重平均.
※2 資源の利用割合：対象資源一年間の総利用量に対する利用割合.
JSS3利用量
総資源に占める利用割合※1(%): 0.01
内訳
JSS3のシステム構成や主要な仕様は、JSS3のシステム構成をご覧下さい。
| 計算システム名 | コア時間(コア・h) | 資源の利用割合※2(%) |
|---|---|---|
| TOKI-SORA | 26,332.37 | 0.01 |
| TOKI-RURI | 0.00 | 0.00 |
| TOKI-TRURI | 0.00 | 0.00 |
| ファイルシステム名 | ストレージ割当量(GiB) | 資源の利用割合※2(%) |
|---|---|---|
| /home | 9.54 | 0.01 |
| /data | 95.37 | 0.00 |
| /ssd | 95.37 | 0.05 |
| アーカイバシステム名 | 利用量(TiB) | 資源の利用割合※2(%) | J-SPACE | 0.00 | 0.00 |
|---|
※1 総資源に占める利用割合：3つの資源(計算, ファイルシステム, アーカイバ)の利用割合の加重平均.
※2 資源の利用割合：対象資源一年間の総利用量に対する利用割合.
JAXAスーパーコンピュータシステム利用成果報告(2020年4月～2021年3月)