地球観測衛星エアロゾルプロダクト導出アルゴリズムのAIを用いた高速化
JAXAスーパーコンピュータシステム利用成果報告(2019年4月~2020年3月)
報告書番号: R19JDR20100
利用分野: 宇宙技術
- 責任者: 舘和夫, 理事補佐(筑波宇宙センター)
- 問い合せ先: 橋本真喜子(hashimoto.makiko@jaxa.jp)
- メンバ: 橋本 真喜子, 石 崇, 村永 和哉, 永尾 隆
事業概要
衛星センサの高度化に伴い, プロダクト推定精度向上や複数パラメータの同時推定が求められている. しかし, このような状況下で従来のLUT法ではデータが膨大になりアルゴリズムの拡張が非現実的になってきている. そこで, AI手法(ここでは, ニューラルネットワーク的手法)を用いてアルゴリズムの高速化を行う. スパコンを利用することで, AI手法用いたアルゴリズムの高速化を行うための大量の教師データの作成を短期間で行うことが可能になる. 作成した汎用的な高速化放射伝達ソルバをGOSAT-2/CAI-2, Himawari-8/AHI, GOSAT/CAI, GCOM-C/SGLI に適用し, 大気観測衛星の高分解能化に伴うデータの増加への対応と, 準リアルタイムなデータ提供を目指します.
参照URL
なし
JAXAスーパーコンピュータを使用する理由と利点
JSS2を使用する重要性:衛星解析に必要な放射伝達モデルを教育するためには, 教師データの作成に約12億通りの放射伝達計算が必要となる. JSS2 SORA-MAの使用可能な600node(1node 32コア)の大規模使用により, 1node(32コア)では11年かかる計算が10日程度で計算が可能になる. つまり, SORA-MAの利用により衛星データ解析の高速化が実現可能となる. 計算した教師データを用いて教育したAI高速化放射伝達モジュール(NNソルバと呼ぶ)は2018年打ち上げのCAI-2レベル2エアゾル特性プロダクト導出アルゴリズムにするため緊急性を要した. すでに打ち上げられているHimawari, GCOM-Cのデータにも適用し, 必要に応じてソルバの改良を行う. 以上のように短時間で教師データを作る必要があり, JSS2 SORA-MAの使用が重要である.
今年度の成果
本年度はGOSAT-2/CAI-2 Level2エアロゾル特性プロダクト導出アルゴリズムの高速化を行った. 本高速化により, 1日分の観測データを1日で解析できる速度を達成した.
・JAXAスパコンはアルゴリズムの用いる放射伝達計算の高速化を行うための教師データの作成に用いた. 高速化手法は, 竹中氏による ニューラルネットワーク手法 (Takenaka+, 2019. NN+Active Learning ). 教師データ数は12億通り(内, 海上6億通り, 陸上6億通り), 計算に要した時間は海上9日間, 陸上7日間. 放射伝達モデルと比べて精度は5.0E-4以下, 計算速度は~0.45秒/回/波長(陸上)と~1秒/回/波長(海上) が0.45E-6秒/回/波長まで短縮に成功した(図1)(EORC竹中氏).
・エアロゾル特性に加えクロロフィル, CDOM, Sediment(SS)の海プロダクトを組み合わせたエアロゾル導出アルゴリズムの開発を行っている. 教師データは1億通り(海上)をJAXAスパコンを用いて計算. AI高速化放射伝達モジュールにより速度は5万倍以上の高速化を達成(図2). GOSAT-2のデータに適用し, 海洋全球のエアロゾル特性の導出を行った(図3)(EORC石氏).
・JAXAスパコン計算結果を用いて, HimawariとGCOM-C用の本高速化モジュールの作成も行い(EORC竹中氏), GCOM-C/SGLIのデータ解析(研究)にも適用した(東海大関口氏).
以上の様に, 成果としてAI高速化放射伝達モジュールの作成, 衛星エアロゾル解析アルゴリズムへの適用を行うことができた.

図3: エアエロゾル特性推定への適用. GOSAT2/TANSO-CAI-2の海洋全球エアロゾル分布. 2019年2月10日~2019年2月15日. 総エアロゾル光学的厚さ(total AOT), 微小粒子AOT (fine AOT), 粗大粒子AOT (coarse AOT), ススの体積混合比(soot fraction).
成果の公表
-査読付き論文
1) Shi, C., M. Hashimoto and T. Nakajima, 2019: Remote sensing of aerosol properties from multi-wavelength and multi-pixel information over the ocean. Atmos. Chem. Phys., 19, 2416-2475.
2) Ma, R., H. Letu*, K. Yang, T. Wang, C. Shi, J. Xu, J. Shi, C. Shi, and L. Chen (2020), Estimation of Surface Shortwave Radiation from Himawari-8 Satellite Data Based on a Combination of Radiative Transfer and Deep Neural Network, IEEE transactions on geoscience and remote sensing, doi:10.1109/TGRS.2019.2963262.
3) Peng, Z., H. Letu*, T. Wang, C. Shi*, C. Zhao, G. Tana, N. Zhao, T. Dai, R. Tang, and H. Shang (2019), Estimation of shortwave solar radiation using the artificial neural network from Himawari-8 satellite imagery over China, Journal of Quantitative Spectroscopy and Radiative Transfer, 106672.
-口頭発表
1) Shi C., Hashimoto M., Takenaka H., Nakajima T., Retrieval of Aerosol Optical Properties Using GOSAT/ TANSO-CAI and GOSAT2/TANSO-CAI2, The 15th International Workshop on Greenhouse Gas Measurements from Space (IWGGMS-15), 3-5 June, 2019, Hokkaido, Japan.
2) Hashimoto M., Chong S., Yoshida M., Kikuchi M., M. Nagao T., and Nakajima T., Monitoring of Air Pollution from Space by GOSAT, GOSAT-2 and Himawari-8. LCLUC SARI 2019, 23 July, 2019, Johor Bahru, Malaysia.
-ポスター
1) Shi C., Nakajima T., Hashimoto M., Takenaka H., Simultaneous retrieval of aerosol optical properties and ocean color based on the optimal estimation approach, European Geosciences Union, 7-12 April, 2019, Vienna, Austria.
2) Shi C., Nakajima T., Hashimoto M., Takenaka H., Remote sensing of aerosol optical properties and water-leaving radiance based on the optimal estimation approach, Japan Geoscience Union Meeting, 26-30 May, 2019, Chiba, Japan.
3) Hashimoto M., Takenaka H., Nakajima T. and Higurashi A., Aerosol retrieval and PM2.5 from space using GOSAT/TANSO-CAI, Japan Geoscience Union Meeting, 30 May, 2019, Chiba, Japan.
4) Hashimoto M., Takenaka H., Higurashi A. and Nakajima T., GOSAT-2/TANSO-CAI-2 and the aerosol product. IWGGMS, 4 June, 2019, Hokkaido, Japan.
5) 橋本真喜子, 石 崇, 竹中栄晶, 中島映至, GOSAT-2/TANSO-CAI2 エアロゾル特性プロダクトと 導出アルゴリズムを考慮した誤差解析と地上観測との比較, 気象学会, 2019年10月30日, 福岡, 日本.
6) Hashimoto M., Takenaka H., Chong S. and Nakajima T., GOSAT-2/TANSO-CAI-2 Aerosol properties by Multiple wavelengths and pixels method, AGU Fall Meeting 2019, 9 December, 2019, San Francisco, USA.
JSS2利用状況
計算情報
- プロセス並列手法: 非該当
- スレッド並列手法: MAの利用可能なコア数を利用し大量の計算処理を行った
- プロセス並列数: 1
- 1ケースあたりの経過時間: 15 分
利用量
総資源に占める利用割合※1(%): 1.39
内訳
JSS2のシステム構成や主要な仕様は、JSS2のシステム構成をご覧下さい。
計算システム名 | コア時間(コア・h) | 資源の利用割合※2(%) |
---|---|---|
SORA-MA | 12,660,282.73 | 1.54 |
SORA-PP | 0.00 | 0.00 |
SORA-LM | 0.00 | 0.00 |
SORA-TPP | 0.00 | 0.00 |
ファイルシステム名 | ストレージ割当量(GiB) | 資源の利用割合※2(%) |
---|---|---|
/home | 25.43 | 0.02 |
/data | 10,274.26 | 0.18 |
/ltmp | 5,208.34 | 0.44 |
アーカイバシステム名 | 利用量(TiB) | 資源の利用割合※2(%) |
---|---|---|
J-SPACE | 0.00 | 0.00 |
※1 総資源に占める利用割合:3つの資源(計算, ファイルシステム, アーカイバ)の利用割合の加重平均.
※2 資源の利用割合:対象資源一年間の総利用量に対する利用割合.
JAXAスーパーコンピュータシステム利用成果報告(2019年4月~2020年3月)