GPM/DPRのデータ受信処理
JAXAスーパーコンピュータシステム利用成果報告(2020年4月～2021年3月)
報告書番号: R20JR0200
利用分野: 宇宙技術
- 責任者: 平林毅, 第一宇宙技術部門宇宙利用統括
- 問い合せ先: GPMミッション運用担当(GPM-MOS@ml.jaxa.jp)
- メンバ: 小西 利幸, 南 貴博, 鳥居 雅也, 山本 忠裕, 河瀬 祥子, 石原 博成, 田中 久, 東上床 智彦, 坂本 和宏, 正木 岳志, 坂本 恭一, 本橋 修, 山崎 朋朗, 今中 誠, 廣瀬 憂哉, 荒川 拓也, 梶山 謙一, 青木 隆修, 上田 陽子, 出原 真理子, 宮坂 隆史
事業概要
近年, 地球規模の環境変化を把握する必要性について, 世界的な関心が高まりつつある. このような問題に対し, 人工衛星による宇宙からの観測技術を利用した様々な取り組みが行われている. 全球降水観測計画(GPM)は, 熱帯降雨観測衛星(TRMM)の後継ミッションであり, アメリカ航空宇宙局(NASA)や国立研究開発法人情報通信研究機構(NICT)と協力して, 全球規模での降水量分布を, 高精度, 高頻度で観測することを目的とする. 全球降水観測計画(GPM)では, 二周波降水レーダー(Dual-frequency Precipitation Radar)とマイクロ波放射計(GMI:GPM Microwave Imager)を搭載した主衛星と, マイクロ波放射計を搭載した副衛星群を連携させることにより, 全球の降水量の高精度かつ高頻度な観測を実現している.
また, これらGPMおよび副衛星群で取得したデータをもとに, 全球の降水分布を推定するシステムを実現している. これをGSMaP(全球降水マップ;Global Satellite Mapping of Precipitation)と名付けている.
更に, 地球規模の環境変化を理解するためには, 長期的なデータの蓄積が必要であり, 1997年～2015年まで運用されていた熱帯降雨観測衛星(TRMM)のデータとGPMのデータの連続性の確保が重要となる.
参照URL
http://www.jaxa.jp/projects/sat/gpm/ 参照.
JAXAスーパーコンピュータを使用する理由と利点
人工衛星による地球観測のデータ処理は, 日々の観測データを処理する"定常処理"と, 解析アルゴリズムの改良が行われたときに実施する"再処理"に大きく分けられる. 再処理の場合, 最新のアルゴリズムを用いて, これまでに蓄積された膨大な過去分の観測データ全ての処理をするため, 処理に要する時間は観測期間に比例し長期化する. このような大規模計算"再処理"にスパコンを活用することで計算時間の大幅な短縮, ひいては処理結果(プロダクト)のユーザへの提供までの期間の早期化を実現している.
また, 再処理の実施頻度は, 1～2年に1度程度であることから, 再処理のための計算機資源を必要とする期間は限定している. この計算機資源を自前で準備すると計算機利用の観点では非効率的である. JSS2を利用することは, 必要時に比較的柔軟に共通計算機資源を確保できる点でメリットがある.
本事業においては, ワークフロー制御と呼ぶMPI並列処理を利用して, 同時実行プロセス数を増やすことで全体の計算時間の短縮を実現している.
今年度の成果
2020年度は, リリースしたバージョン6を利用してGPM処理の一部である潜熱の再処理を実施した. 以下に再処理時のCPU利用時間等の概要を示す.
【観測期間】 2014/03/08 ～ 2020/06/30
【CPU総利用時間】 約 475.5 時間
【総出力ファイル数】 74,125 ファイル
【総出力ファイル容量】 1.4 TB
また, 2021年度にGPM(DPR)/TRMM(PR)/GSMaP処理のバージョンアップを予定しており, 2020年度は, それらの入力データの準備(JSS3へのデータ転送)を実施した.
成果の公表
なし
JSS利用状況
計算情報
- プロセス並列手法: MPI
- スレッド並列手法: 非該当
- プロセス並列数: 2 - 10
- 1ケースあたりの経過時間: 120.8 秒
JSS2利用量
総資源に占める利用割合※1(%): 3.84
内訳
JSS2のシステム構成や主要な仕様は、JSS2のシステム構成をご覧下さい。
| 計算システム名 | コア時間(コア・h) | 資源の利用割合※2(%) |
|---|---|---|
| SORA-MA | 23,007,787.40 | 4.35 |
| SORA-PP | 4,994.01 | 0.04 |
| SORA-LM | 0.00 | 0.00 |
| SORA-TPP | 0.00 | 0.00 |
| ファイルシステム名 | ストレージ割当量(GiB) | 資源の利用割合※2(%) |
|---|---|---|
| /home | 204.12 | 0.19 |
| /data | 101,315.68 | 1.96 |
| /ltmp | 33,612.37 | 2.86 |
| アーカイバシステム名 | 利用量(TiB) | 資源の利用割合※2(%) | J-SPACE | 26.10 | 0.86 |
|---|
※1 総資源に占める利用割合：3つの資源(計算, ファイルシステム, アーカイバ)の利用割合の加重平均.
※2 資源の利用割合：対象資源一年間の総利用量に対する利用割合.
JSS3利用量
総資源に占める利用割合※1(%): 0.11
内訳
JSS3のシステム構成や主要な仕様は、JSS3のシステム構成をご覧下さい。
| 計算システム名 | コア時間(コア・h) | 資源の利用割合※2(%) |
|---|---|---|
| TOKI-SORA | 0.00 | 0.00 |
| TOKI-RURI | 13,694.57 | 0.08 |
| TOKI-TRURI | 0.00 | 0.00 |
| ファイルシステム名 | ストレージ割当量(GiB) | 資源の利用割合※2(%) |
|---|---|---|
| /home | 341.00 | 0.23 |
| /data | 128,163.87 | 2.15 |
| /ssd | 1,837.41 | 0.96 |
| アーカイバシステム名 | 利用量(TiB) | 資源の利用割合※2(%) | J-SPACE | 26.10 | 0.86 |
|---|
※1 総資源に占める利用割合：3つの資源(計算, ファイルシステム, アーカイバ)の利用割合の加重平均.
※2 資源の利用割合：対象資源一年間の総利用量に対する利用割合.
JAXAスーパーコンピュータシステム利用成果報告(2020年4月～2021年3月)