JSS3を用いた科学衛星データ処理の検討
JAXAスーパーコンピュータシステム利用成果報告(2021年2月～2022年1月)
報告書番号: R21JEU30800
利用分野: 宇宙科学
- 責任者: 篠原育, 宇宙科学研究所科学衛星運用・データ利用ユニット
- 問い合せ先: 中平 聡志(nakahira.satoshi@jaxa.jp)
- メンバ: 中平 聡志, 海老沢 研, 本庄 英司
事業概要
宇宙科学データの容量は観測装置の高性能化や観測期間の長期化により肥大化しており, 較正の変更によるデータの再作成に数ヶ月単位の時間を要するようになってきた. そのためJSSを用いた高速なデータ処理の実装を試みた.
参照URL
なし
JAXAスーパーコンピュータを使用する理由と利点
自前でクラスター環境を構築しなくても並列処理を実行する環境が整っている. 1つの入力データセットに対して多数のデータ読み出しプロセスが走ってもボトルネックになりづらいIO性能があると見込まれる.
今年度の成果
全天X線監視装置(MAXI)の2009年8月から2022年2月の観測データ, 12年7ヶ月分を一括で再処理した. 1日単位の入力データを1日分のデータセットに変換する処理を, 同時実行数200弱にを維持するように逐次投入することで並列実行した. 結果的には11TBの入力データを, 20TBの出力データに変換する処理を約17時間掛けて終えることができた. 1日分のデータの処理に要する時間は定常的なデータ処理用サーバで行う処理と大きな差は無く, 線形に速度向上できることがわかった.
図1: 横軸は処理開始からの経過時間(hour), 縦軸はそれぞれ, 同時実行ジョブ数, 処理時間の累積和, 総生成データ容量となっている.
成果の公表
-口頭発表
宇宙科学情報解析シンポジウム2022年2月18日, 「JSS3を用いた科学衛星データ処理とデータ解析」
JSS利用状況
計算情報
- プロセス並列手法: 1日の入力データが1日の出力データに対応するデータ変換なので, ジョブ数をチェックし, 間隔を調整しながらjxsubコマンドで投入.
- スレッド並列手法: 非該当
- プロセス並列数: 1 – 195
- 1ケースあたりの経過時間: 16.9 時間
JSS3利用量
総資源に占める利用割合※1(%): 0.00
内訳
JSS3のシステム構成や主要な仕様は、JSS3のシステム構成をご覧下さい。
| 計算システム名 | CPU利用量(コア・時) | 資源の利用割合※2(%) |
|---|---|---|
| TOKI-SORA | 43.10 | 0.00 |
| TOKI-ST | 34276.33 | 0.04 |
| TOKI-GP | 0.00 | 0.00 |
| TOKI-XM | 0.00 | 0.00 |
| TOKI-LM | 0.00 | 0.00 |
| TOKI-TST | 0.00 | 0.00 |
| TOKI-TGP | 0.00 | 0.00 |
| TOKI-TLM | 0.00 | 0.00 |
| ファイルシステム名 | ストレージ割当量(GiB) | 資源の利用割合※2(%) |
|---|---|---|
| /home | 26.67 | 0.03 |
| /data及び/data2 | 17433.33 | 0.19 |
| /ssd | 816.00 | 0.21 |
| アーカイバシステム名 | 利用量(TiB) | 資源の利用割合※2(%) | J-SPACE | 0.00 | 0.00 |
|---|
※1 総資源に占める利用割合：3つの資源(計算, ファイルシステム, アーカイバ)の利用割合の加重平均.
※2 資源の利用割合：対象資源一年間の総利用量に対する利用割合.
ISV利用量
| 利用量(時) | 資源の利用割合※2(%) | |
|---|---|---|
| ISVソフトウェア(合計) | 0.00 | 0.00 |
※2 資源の利用割合：対象資源一年間の総利用量に対する利用割合.
JAXAスーパーコンピュータシステム利用成果報告(2021年2月～2022年1月)