JAXAスーパーコンピュータシステム利用成果報告(2018年4月～2019年3月)

報告書番号: R18JACA42

利用分野: JSS2大学共同利用

PDFはここからダウンロード

• 責任者: 下條真司, 大阪大学 サイバーメディアセンター 応用情報システム研究部門
• 問い合せ先: 下條真司(shimojo@cmc.osaka-u.ac.jp)
• メンバ: 下條 真司, 高橋 慧智

事業概要

CFDシミュレーションの大規模化にともない, 従来のように全てのシミュレーション結果を並列ファイルシステムに保存し, シミュレーション終了後にポスト処理を実行することはストレージ容量やIO帯域幅の制約により困難になると予想される. そのため, シミュレーション実行中にポスト処理プログラムへ計算結果をリアルタイムに転送する, データステージング技術が注目されている. 本研究では, JSS2に代表されるHPC環境におけるデータステージング技術の実現可能性を検討し, データステージングミドルウェア, および, HPC環境に求められる要件を分析する.

参照URL

なし

JSS2利用の理由

JSS2は計算用主システム (SORA-MA) とプリポスト処理用副システム (SORA-PP) 間で通信が可能であることから利用した.

今年度の成果

SORA-MAシステム上でCFDシミュレーション, SORA-PPシステム上でポスト処理をそれぞれ実行すると想定し, これらのプログラム間でデータステージングの実現可能性を検討した. データステージングのためのミドルウェアとしては, 米国オークリッジ国立研究所においてExa-scale Computing Projectの一環として開発されているAdaptive IO System (ADIOS2) を採用した. まず, ADIOS2を用いSORA-MAシステム上の計算ノード間, および, SORA-PP システム上の計算ノード間でステージング通信が可能であることを確認した. 次に, MA上の計算ノードからPP上の計算ノードへ直接通信を試みた. しかし, システム間を越えるパケットをルーティングしないよう相互結合網が設定されていたため, 実現できなかった.

MA-PP間の通信を実現するため, PPと接続されているMA上の一部の計算ノード (IOノード) 上でMA-PP間の通信を中継するプログラム (adios-reorganize) を動作させる手法を考案した. その結果, MA上の計算ノードからPP上の計算ノードへのステージング通信が可能であることを確認できた.

以上の実験により, JSS2においてデータステージングが可能であることを実証した. その中で, ADIOS2のSPARC64 XIfxプロセッサ対応, および, 異種アーキテクチャ間のステージング通信に課題があることが明らかになったので, ADIOS2の開発チームと連携し, ADIOS2に対して機能拡張・バグ修正を実施した. また, HPC環境側の課題として, MAのIOノードを明示的に要求する機能がジョブスケジューラに存在すれば, より効率的な資源利用が可能であることを明らかになった.

図1: ADIOS2によるSORA-MA/SORA-PP間のデータステージング通信

成果の公表

なし

JSS2利用状況

計算情報

• プロセス並列手法: MPI
• スレッド並列手法: 非該当
• プロセス並列数: 1 - 128
• 1ケースあたりの経過時間: 5 分

利用量

総資源に占める利用割合※1(%): 0.00

内訳

JSS2のシステム構成や主要な仕様は、JSS2のシステム構成をご覧下さい。

※1 総資源に占める利用割合：3つの資源(計算, ファイルシステム, アーカイバ)の利用割合の加重平均.

※2 資源の利用割合：対象資源一年間の総利用量に対する利用割合.

JAXAスーパーコンピュータシステム利用成果報告(2018年4月～2019年3月)