GPM/DPRのデータ受信処理
JAXAスーパーコンピュータシステム利用成果報告(2021年2月～2022年1月)
報告書番号: R21JR0200
利用分野: 宇宙技術
- 責任者: 平林毅, 第一宇宙技術部門地球観測統括
- 問い合せ先: GPMミッション運用担当(GPM-MOS@ml.jaxa.jp)
- メンバ: 青木 隆修, 本橋 修, 小西 利幸, 南 貴博, 鳥居 雅也, 山本 忠裕, 河瀬 祥子, 田島 実香, 森 大, 梶山 謙一, 田中 久, 丸山 貴士, 阿世知 裕一, 東上床 智彦, 正木 岳志, 山本 宗尚, 坂本 和宏, 大和田 慎二, 殿岡 良彦, 山田 将樹, 藤岡 晃, 藤田 直行, 山崎 朋朗, 今中 誠, 廣瀬 憂哉, 荒川 拓也, 豊田 正則
事業概要
近年, 地球規模の環境変化を把握する必要性について, 世界的な関心が高まっている. このような問題に対し, 人工衛星による宇宙からの観測技術を利用した様々な取り組みが行われている.
全球降水観測計画(GPM)は, 熱帯降雨観測衛星(TRMM)の後継ミッションであり, アメリカ航空宇宙局(NASA)や国立研究開発法人情報通信研究機構(NICT)と協力して, 全球規模での降水量分布を, 高精度, 高頻度で観測することを目的とする. 全球降水観測計画(GPM)では, 二周波降水レーダ(DPR:Dual-frequency Precipitation Radar)とマイクロ波放射計(GMI:GPM Microwave Imager)を搭載した主衛星とマイクロ波放射計を搭載した副衛星群を連携させることにより, 全球の降水量の高精度かつ高頻度な観測を実現している. また, これらGPMおよび副衛星群で取得したデータをもとに全球の降水分布を推定する衛星全球降水マップ(GSMaP:Global Satellite Mapping of Precipitation)を公開している.
地球規模の環境変化を理解するためには, 長期的なデータの蓄積が必要であり, 1997年～2015年まで運用されていたTRMM, 現在運用中のGPMのデータとの連続性の確保が重要となる.
参照URL
http://www.jaxa.jp/projects/sat/gpm/ 参照.
JAXAスーパーコンピュータを使用する理由と利点
人工衛星による地球観測のデータ処理は, 日々の観測データを処理する"定常処理"と, 解析アルゴリズムの改良が行われたときに実施する"再処理"に大きく分けられる. 再処理の場合, 最新のアルゴリズムを用いて, これまでに蓄積された膨大な過去分の観測データ全ての処理をするため, 処理に要する時間は観測期間に比例し長期化する. このような大規模計算"再処理"にスパコンを活用することで計算時間の大幅な短縮, ひいては処理結果(プロダクト)のユーザへの提供までの期間の早期化を実現している.
また, 再処理の実施頻度は, 1～2年に1度程度であることから, 再処理のための計算機資源を必要とする期間は限定している. この計算機資源を自前で準備すると計算機利用の観点では非効率的である. JSSを利用することは, 必要時に比較的柔軟に共通計算機資源を確保できる点でメリットがある.
本事業においては, ワークフロー制御と呼ぶMPI並列処理を利用して, 同時実行プロセス数を増やすことで全体の計算時間の短縮を実現している.
今年度の成果
2021年度は, 2021年12月のメジャーバージョンアップ(V07)対応したKuPR L1B 及びKaPR L1B の再処理を実施した. 以下に再処理時のCPU利用時間等の概要を示す.
【観測期間】 2014/03/08 ～ 2021/11/30
【CPU総利用時間】 KuPR L1B 約2123.9時間
KaPR L1B 約2159.9時間
【総出力ファイル数】 KuPR L1B 44,089ファイル
KaPR L1B 44,083ファイル
【総出力ファイル容量】 KuPR L1B 6.2TB
KaPR L1B 4.7TB
2022年度は, 2021年12月のメジャーバージョンアップ(V07)に対応したGPM/DPR L2, L3, TRMM L1B, L2, L3及びGSMaPの再処理を実施予定である.
成果の公表
なし
JSS利用状況
計算情報
- プロセス並列手法: 非該当
- スレッド並列手法: 非該当
- プロセス並列数: 1
- 1ケースあたりの経過時間: 176 秒
JSS3利用量
総資源に占める利用割合※1(%): 0.06
内訳
JSS3のシステム構成や主要な仕様は、JSS3のシステム構成をご覧下さい。
| 計算システム名 | CPU利用量(コア・時) | 資源の利用割合※2(%) |
|---|---|---|
| TOKI-SORA | 0.00 | 0.00 |
| TOKI-ST | 416018.25 | 0.51 |
| TOKI-GP | 0.00 | 0.00 |
| TOKI-XM | 0.00 | 0.00 |
| TOKI-LM | 0.00 | 0.00 |
| TOKI-TST | 0.00 | 0.00 |
| TOKI-TGP | 0.00 | 0.00 |
| TOKI-TLM | 0.00 | 0.00 |
| ファイルシステム名 | ストレージ割当量(GiB) | 資源の利用割合※2(%) |
|---|---|---|
| /home | 350.06 | 0.35 |
| /data及び/data2 | 1171089.67 | 12.52 |
| /ssd | 1951.67 | 0.50 |
| アーカイバシステム名 | 利用量(TiB) | 資源の利用割合※2(%) | J-SPACE | 99.44 | 0.67 |
|---|
※1 総資源に占める利用割合：3つの資源(計算, ファイルシステム, アーカイバ)の利用割合の加重平均.
※2 資源の利用割合：対象資源一年間の総利用量に対する利用割合.
ISV利用量
| 利用量(時) | 資源の利用割合※2(%) | |
|---|---|---|
| ISVソフトウェア(合計) | 0.00 | 0.00 |
※2 資源の利用割合：対象資源一年間の総利用量に対する利用割合.
JAXAスーパーコンピュータシステム利用成果報告(2021年2月～2022年1月)