PALSAR-2データ全数処理
JAXAスーパーコンピュータシステム利用成果報告(2022年2月~2023年1月)
報告書番号: R22JAR10600
利用分野: 宇宙技術
- 責任者: 祖父江真一, 第一宇宙技術部門衛星利用運用センター
- 問い合せ先: 工藤 文雄(kudoh.fumio@jaxa.jp)
- メンバ: 段 理紗子, 深井 大介, 後藤 貴志, 平出 尚義, 萩原 浩司, 早坂 英俊, 磯口 治, 今村 功一, 井浪 諒, 池田 隆志, 伊藤 俊, 工藤 文雄, 小林 優介, 黒川 広隆, 川島 康弘, 蒔苗 陽太, 村上 駿介, 村田 真裕, 村本 信裕, 武藤 太郎, 三海 英和, 仲田 季寧, 大塚 克之, 小川 真弘, 横川 宏之, 山田 翔麻, 山口 志野, 山内 信裕, 柳井 僚太
事業概要
陸域観測技術衛星「だいち」および「だいち2号」により取得した合成開口レーダー(PALSAR/PALSAR-2)のデータを加工して, ユーザにとって操作性の高い画像プロダクト(Analysis Ready Data)を生成し提供を行う.
参照URL
https://www.jaxa.jp/projects/sat/alos2/index_j.html 参照.
JAXAスーパーコンピュータを使用する理由と利点
JAXAは, 地球観測衛星データの利用普及を拡大するためのデータ公開整備を行っています.
その一環として, 大量のALOS-2/PALSAR-2の全観測期間分データを処理し, ユーザの利便性の高い画像データを迅速に公開する必要がJAXAにはあります.
これを実現するには, JSSでの処理(最大50並列処理)が最適であるため, JSSを利用をしました.
今年度の成果
今年度, PLASAR-2データのJSS3での処理は,
L1.1:157,678シーン
L2.2:197,309シーン
計 :354,987シーン
ScanSARデータについては, L1.1/L2.2ともに直近(2023.02まで)の全データを処理済み.
SM2,SM3もテスト的に処理を実施した.
昨年度実施したL2.2斜面オルソ補正処理ツール(高速化を行ったプログラム)の差し替えを行い,
テストを実施した. 使用するメモリサイズ(vnode-mem)をこれまでより大きく(84GiBへ)設定する必要があったが,
処理自体の高速化には成功した.
アーカイブ済み, もしくは今年度処理を行ったデータは,
①機関にJSS-IDを取得してもらい, JSSからダウンロード(ユーザによるゲット)
例:NASA-ASFによるPALSAR-2 ScanSAR L1.1の取得
②サーバ経由で伝送(JAXAからのput)
例:AIST/ABCIへPALSAR-2 L1.1@アフリカ大地溝帯データ 792TBを昨年度から継続して調布伝送中継サーバを経由して伝送し, 2023/02/01に完了.
③G-Portalでの注文処理にて, データ伝送サーバ経由で, G-Portalサーバへ伝送(G-Portaユーザによるゲット)
(2000シーンを越える注文あり. )
の経路にて提供されている.
また, JSS3/J-SPACEにアーカイブ中のALOS-2 L0データをALOS-4/EICS従系へ伝送する試験も実施した.
成果の公表
-口頭発表
Pecora 22 Workshop 2C: Improving Global EO Data AccessにてJSSで処理した全数処理データを利用しているとプレゼンを行った.
JSS利用状況
計算情報
- プロセス並列手法: 非該当
- スレッド並列手法: OpenMP, pthread, boost::thread
- プロセス並列数: 1
- 1ケースあたりの経過時間: 1 時間
JSS3利用量
総資源に占める利用割合※1(%): 0.70
内訳
JSS3のシステム構成や主要な仕様は、JSS3のシステム構成をご覧下さい。
計算システム名 | CPU利用量(コア・時) | 資源の利用割合※2(%) |
---|---|---|
TOKI-SORA | 0.00 | 0.00 |
TOKI-ST | 5462966.90 | 5.46 |
TOKI-GP | 31766.65 | 1.35 |
TOKI-XM | 0.00 | 0.00 |
TOKI-LM | 8.89 | 0.00 |
TOKI-TST | 0.00 | 0.00 |
TOKI-TGP | 0.00 | 0.00 |
TOKI-TLM | 0.00 | 0.00 |
ファイルシステム名 | ストレージ割当量(GiB) | 資源の利用割合※2(%) |
---|---|---|
/home | 320.00 | 0.29 |
/data及び/data2 | 112586.67 | 0.87 |
/ssd | 2456.67 | 0.34 |
アーカイバシステム名 | 利用量(TiB) | 資源の利用割合※2(%) | J-SPACE | 5383.15 | 23.86 |
---|
※1 総資源に占める利用割合:3つの資源(計算, ファイルシステム, アーカイバ)の利用割合の加重平均.
※2 資源の利用割合:対象資源一年間の総利用量に対する利用割合.
ISV利用量
利用量(時) | 資源の利用割合※2(%) | |
---|---|---|
ISVソフトウェア(合計) | 0.00 | 0.00 |
※2 資源の利用割合:対象資源一年間の総利用量に対する利用割合.
JAXAスーパーコンピュータシステム利用成果報告(2022年2月~2023年1月)