JAXAスーパーコンピュータシステム利用成果報告(2020年4月～2021年3月)

報告書番号: R20JR0201

利用分野: 宇宙技術

PDFはここからダウンロード

• 責任者: 沖理子, 第一宇宙技術部門地球観測研究センター
• 問い合せ先: 第一宇宙技術部門 地球観測研究センター 久保田 拓志(kubota.takuji@jaxa.jp)
• メンバ: 寺崎 康児, 小槻 峻司, Chen Ying-Wen, 久保田拓志

事業概要

GSMaP, GPM/DPRやその他の衛星観測データを, 先端的のアンサンブルデータ同化手法により数値天気予報モデルに取り込み, 大気客観解析及びこれを初期値とした予報に改善をもたらすと共に, 衛星観測データと数値モデルの双方を活かした新たな降水プロダクトNEXRA(NICAM-LETKF JAXA Research Analysis)を作成する.

参照URL

「世界の気象リアルタイム」参照.

JAXAスーパーコンピュータを使用する理由と利点

本研究では, 全球大気データ同化システム(NICAM-LETKF)による衛星観測データ同化及び予測計算を行うが, 大規模な全球大気モデル計算, 及び, アンサンブルデータ同化を行うために, JSS2は必須である.

今年度の成果

(1) GPM/DPR直接同化実験

NICAM-LETKFを用いて, DPR反射強度を数値天気予報モデルに直接同化する手法の開発を進めている. 今年度は, 昨年度に引き続き雲微物理過程のパラメータ推定の検討を行い, 雪の終端速度に関連するモデルパラメータの最適化を行った. 観測値とNICAMからシミュレートしたDPRの反射強度をCFAD(Contoured Frequency by Temperature Diagram)に基づいて比較したところ, シミュレートしたDPRの反射強度にバイアスがあることが分かった(図1). 雨, 雪及び霰の終端速度パラメータのDPR反射強度に対する感度実験を行い, 雪の終端速度パラメータに感度があることが分かった. このため, 雨と霰の終端速度係数のデフォルト値を維持したまま, 雪の終端速度係数をデータ同化によって推定した. その結果, CTRL実験と比較して, TEST実験ではKuバンドとKaバンドの反射強度が改善した(図2).

(2) NICAM-LETKF=GSMaP_RNCシームレス予報システムの開発

昨年度開発したNICAM-LETKFとGSMaP_RNCの降水予報を組み合わせた世界初の全球降水シームレス予報システムは, 2020年8月 から運用を開始した(https://www.riken.jp/press/2020/20200820_2/index.html). 今年度は, 降水予報の精度を改善するために, 機械学習に基づくナウキャスト手法を実装することの有用性を検討した. 最初の試みとして, 深層学習の一つである畳み込みLSTM(ConvLSTM)ネットワークをGSMaP_RNCに実装した. ネットワーク設計の検討を繰り返し, 最初の試行版よりも改善することが示唆されたが, 依然として降水域が散逸する傾向が見られる. 今後は, この問題を解決するために, ConvLSTMネットワークの設計の検討を続け性能向上を目指す.

(3) 観測誤差相関を考慮するデータ同化手法の開発

本研究では, 密な衛星データ同化で重要となる水平方向の観測誤差の相関を考慮するデータ同化システムを開発し, 解析及び予報精度の改善を図った. アンサンブルカルマンフィルタでは, 観測分布やアンサンブルサイズなどの実験設定によって, インフレーションパラメータを最適化することが重要である. 水平方向の観測誤差相関を含めると観測誤差共分散行列の扱いが変わるため, インフレーションパラメータに対する感度を調べた. その結果, 水平方向の観測誤差相関を含めると, 観測誤差相関を無視した場合に比べて大きなインフレーションが必要となることが明らかになった. 実験設定毎にインフレーションパラメータを最適化した結果, 水平方向の観測誤差相関を考慮することにより, データ同化が大きく改善される可能性が明らかとなった. これにより, 密な衛星データを間引かず, 観測誤差相関を直接考慮する方法の可能性を示した.

(4) 新NEXRAをJSS3への移植

JSS2で構築した次期NEXRAシステムをJSS3への移植並び自動化作業を行った. 現在同化プロセスに取り組まれている観測データPREPBUFR, AMSU-A, GSMaP_NRT, マイクロ波サウンダ(mhs), クロストラック走査マイクロ波放射計(atms)を含んだNEXRAのデータ取得から, NEXRAのコアーとなるNICAM-LETKFの運用, そして解析値の平均を初期値とした5日天気予測まで, 一連のプロセスの自動化を完成した. 解像度はこれまでのNEXRAと同様に112 kmを設定し, NICAM-LETKFにおけるアンサンブルメンバー数は128メンバーとなった. これまで, JSS2で1サイクル運用の所要時間は2時間半に対し, JSS3での所要時間30-40分であり, 大幅短縮できることが確認した. また, 新NEXRAにおける雨量の同化効果を確認した. 2018年12月における雨量の同化解析値とGSMaPと比較した結果, 同化の効果が確認できた(図3). 同時に, 新NEXRAシステムは現在, 準リアルタイムでの運用を行われている.

(5) 高解像度予測実験

昨年度に整備された水平解像度14 kmのNEXRA予測システムを使用し, 2020年7月4日06時(世界標準時)を初期値とした2020年7月上旬に九州で発生した豪雨事例の予測実験を行った. 結果として, 豪雨の発生した期間中に, 衛星観測で得られない陸上から大量な水蒸気が中国長江から日本まで運ばれている様子がこの予測実験でよく捉えている. この水蒸気の供給が大雨に寄与していることがわかった(図4).

図1: (a)Kuバンド, (b)Kaバンド, (c)レーダー反射率の差(Ku-Ka)の観測値から得られるレーダー反射率(dBZ)の高度別コンタード周波数図(CFAD;%)と(d-f)NICAMとJoint Simulatorを用いて対応するレーダー反射率をシミュレートした結果.

図2: パラメータ推定に用いた3つの鉛直高度で平均した(a)Kuバンドおよび(b)Kaバンドの観測および6時間予測レーダー反射率(dBZ)の時系列. 黒線はCTRL, 赤線はTEST, 黒丸はGPMのDPR観測をそれぞれ示す. 横軸は2014年の月/日を示す.

図3: 新NEXRAによる2018年12月の月平均の雨量同化結果, (a)同化前の雨量, (b)同化後の雨量, (c)GSMaP観測雨量, (d)同化前の雨量とGSMaP雨量の差の絶対値, (e)同化後の雨量とGSMaP雨量の差の絶対値, (f)(f)と(e)の差, 寒色領域は同化によって雨量分布が改善した場所を示す. 単位はmm/6hr.

図4: 2020年07月04日06時 (世界標準時)を初期値とした7月豪雨の予測実験結果. 大気鉛直積算水蒸気量(色;単位:kg/m2)と高度1500 mにおける水平風(矢印;単位:m/s). 時間は6時間間隔.

成果の公表

-査読付き論文

1. 2020/4/15 Miyoshi, T., S. Kotsuki, K. Terasaki, S. Otsuka, G.-Y. Lien, H. Yashiro, H. Tomita, M. Satoh, and E. Kalnay, 2020: Precipitation Ensemble Data Assimilation in NWP Models. In: Levizzani V., Kidd C., Kirschbaum D., Kummerow C., Nakamura K., Turk F. (eds) Satellite Precipitation Measurement. Advances in Global Change Research, 69, Springer, 983-991. doi:10.1007/978-3-030-35798-6_25

2. 2020/9/16 Tandeo, P., P. Ailliot, M. Bocquet, A. Carrassi, T. Miyoshi, M. Pulido, and Y. Zhen, 2020: A Review of Innovation-Based Methods to Jointly Estimate Model and Observation Error Covariance Matrices in Ensemble Data Assimilation. Mon. Wea. Rev., 148, 3973?3994 (レビュー論文)

3. 2020/11/9 Kotsuki, S., Pensoneault, A., Okazaki, A. and Miyoshi, T. (2020):

Weight Structure of the Local Ensemble Transform Kalman Filter: A Case with an Intermediate AGCM. Q. J. R. Meteorol. Soc., 146, Issue732, 3399-3415. doi: 10.1002/qj.3852

4. 2020/11 Yashiro, H., Terasaki, K., Kawai, Y., Kudo, S., Miyoshi, T., Imamura, T., et al. (2020). A 1024-Member Ensemble Data Assimilation with 3.5-Km Mesh Global Weather Simulations. In Proceedings of the International Conference for High Performance Computing, Networking, Storage and Analysis. Atlanta, Georgia: IEEE Press. https://dl.acm.org/doi/10.5555/3433701.3433703

-招待講演

1. 2020/4/24 Takemasa Miyoshi, Weather Predictability and Data Assimilation: Perspectives Toward Prediction and Control in Agriculture, LSSE2020, online

2. 2020/6/3 三好建正, ビッグデータ同化:ゲリラ豪雨予測から予測科学へ, JST未来社会創造事業ワークショップ 数理科学がドライブする未来, オンライン

3. 2020/7/12 Chen, Y.-W., Terasaki, K., Kotsuki, S., Kanemaru, K., Satoh, M., Miyoshi, T., and Kubota, T., 2020: The resent progress of the weather forecast system based on the NICAM-LETKF assimilation system, Poster (Invited Paper), JpGU-AGU Joint Meeting, online

4. 2020/7/13 Kotsuki S., Pensoneault A., Okazaki A. and Miyoshi T.: Weight Structure of the Local Ensemble Transform Kalman Filter: A Case with an Intermediate AGCM. JpGU-AGU Joint Meeting 2020

5. 2020/9/11 Kotsuki, S., Miyoshi, T., Kondo, K. and Potthast, R.: A Local Particle Filter and Its Gaussian Mixture Extension: Experiments with an Intermediate AGCM. RIKEN Data Assimilation Seminar, online

6. 2020/9/11 Keiichi Kondo, Shunji Kotsuki, Takemasa Miyoshi, A local particle filter based on non-Gaussian statistics using an intermediate AGCM, DA seminar, online

7. 2020/9/24 Takemasa Miyoshi (RIKEN), Big Data, Big Computation, and Machine Learning in Numerical Weather Prediction, Workshop on Data Assimilation and Uncertainty Quantification at the exascale, online

8. 2020/10/6 Takemasa Miyoshi, Big Data, Big Computation, and Machine Learning in Numerical Weather Prediction, Virtual Event: ECMWF-ESA Workshop on Machine Learning for Earth System Observation and Prediction, online

9. 2020/10/28 八代尚: 気象・気候の研究分野から語る富岳のシステムーアプリケーションコデザイン, 第3回HPCIコンソーシアムシンポジウム, オンライン, 基調講演

10. 2020/11/20 三好 建正, ビッグデータとスーパーコンピュータによる豪雨予測 -世界最先端「ビッグデータ同化」の気象予測研究-,第25回日本難病看護学会 第8回日本難病医療ネットワーク学会合同学術集会, オンライン

11. 2020/11/27 Takemasa Miyoshi, Predicting Sudden Local Storms by 30-second-update NWP Using Phased Array Weather Radar, KU-ITB Biweekly Webinar Series, online

12. 2021/1/12 Takemasa Miyoshi,T. Honda, A. Amemiya, S. Otsuka, Y. Maejima, J. Taylor, H. Tomita, S. Nishizawa, K. Sueki, T. Yamaura, Y. Ishikawa, S. Satoh, T. Ushio, K. Koike, E. Hoshi, and K. Nakajima, Big Data Assimilation: Real-Time Demonstration Experiment of 30-s-Update Forecasting in Tokyo in August 2020, American Meteorological Society 101st Annual meeting, online

13. 2021/1/27 三好建正(理化学研究所), ビッグデータ同化 ゲリラ豪雨予測から, 予測科学へ, JST/CRDSセミナー『数学と科学, ⼯学の協働に関する連続セミナー 』第13回「シミュレーションとデータ科学」, 2021/1/27,オンライン

14. 2021/2/15 Yashiro, H., 2021: World's Largest Ensemble Weather Data Assimilation on Fugaku, The 3rd R-CCS International Symposium, online

15. 2021/2/17 Takemasa Miyoshi, Big Data, Big Computation, and Machine Learning in Numerical Weather Prediction, AI Chair OceaniX Webinars, IMT-Atlantique & RIKEN Online Joint Seminar Series (Jointly with Data Assimilation Seminar Series)2021,2021/2/17

16. 2021/3/4 Takemasa Miyoshi, Fusing Big Data and Big Computation in Numerical Weather Prediction, Climate Research with HPC Forum, Supercomputing Asia 2021, Online(pre-recording)

17. 2021/3/8 寺崎康児, 三好建正, 全球水平解像度56km・1024メンバーのNICAM-LETKFを用いた令和2年7月豪雨実験, 第54回メソ気象研究会, オンライン

-口頭発表

1. 2020/4/22 三好 建正, Enhancing Precipitation Prediction Algorithm by Data Assimilation of GPM Observations, 「NICAM-LETKFと衛星観測データ同化に関する打ち合わせ」第20回会合, オンライン

2. 2020/5 八代尚, 寺崎康児, 中野満寿男, 小玉知央, 河合佑太, 富田浩文(2020): スーパーコンピュータ「富岳」開発における気象・気候分野のアプリケーションコデザイン, 日本気象学会2020年度春季大会, 紙上開催

3. 2020/5 寺崎康児, 三好建正, 観測ビッグデータ同化に向けたマイクロ波サウンダデータの水平観 測誤差相関を考慮したデータ同化, 日本気象学会2020年度春季大会, 紙上開催

4. 2020/5/7 Takemasa Miyoshi, Shunji Kotsuki, Koji Terasaki, Shigenori Otsuka, Ying-Wen Chen, Kaya Kanemaru, Masaki Satoh, Hisashi Yashiro, Hirofumi Tomita, Keiichi Kondo, Kozo Okamoto, Eugenia Kalnay, and Takuji Kubota, Enhancing Precipitation Prediction Algorithm by Data Assimilation of GPM Observations, EGU2020, online

5. 2020/7/13 Takemasa Miyoshi, Shunji Kotsuki, Keiichi Kondo, Roland Potthast, Local Particle Filter Implemented with Minor Modifications to the LETKF Code, JpGU-AGU Joint Meeting 2020, online

6. 2020/7/30 Takemasa Miyoshi, Enhancing Precipitation Prediction Algorithm by Data Assimilation of GPM Observations, 「NICAM-LETKFと衛星観測データ同化に関する打ち合わせ」第21回会合, オンライン

7. 2020/11/4 Koji Terasaki, Takemasa Miyoshi, Including the horizontal observation error correlation in the assimilation of AMSU-A data, ECMWF/EUMETSAT NWP SAF Workshop on the treatment of random and systematic errors in satellite data assimilation for NWP, online

8. 2020/11/11 寺崎康児, 三好建正, 全球水平解像度56km・1024メンバーのNICAM-LETKFを用いた令和2年7月豪雨の事例実験. 第22回非静力学モデルに関するワークショップ. オンライン

9. 2020/11/12 30 秒ごとに更新するゲリラ豪雨予報−首都圏でのリアルタイム実証実験−, 三好 建正, 本田 匠, 雨宮 新, 大塚 成徳, 前島 康光, James Taylor, 富田 浩文, 西澤誠也, 末木 賢太, 山浦 剛, 石川 裕, 佐藤 晋介, 牛尾 知雄, 小池 佳奈, 星 絵里香, 中島研吾, 第22回非静力学モデルに関するワークショップ, オンライン

10. 2020/11/20 Koji Terasaki, Takemasa Miyoshi, Including the horizontal observation error correlation in the assimilation of AMSU-A data, Data assimilation seminar, online

11. 2020/12/1 Yashiro, H., Kawai, Y., Terasaki, K., Kudo, S., Miyoshi, T., Imamura, T., Minami, K., Nakano, M., Kodama, C., Satoh, M., and Tomita, H., 2020: Challenges of high-resolution large-ensemble data assimilation on supercomputer Fugaku, AGU Fall meeting, online

12. 2020/12/21 Takemasa Miyoshi RIKEN Enhancing Precipitation Prediction Algorithm by Data Assimilation of GPM Observations, The Joint PI Meeting of JAXA Earth Observation Missions FY2020, online

13. 2021/1/23 Takemasa Miyoshi(Team Leader, RIKEN) , Innovating "Big Data Assimilation"technology for revolutionizing very-short-range severe weather prediction, CREST International Symposium on Big Data Application, online

14. 2021/2/5 James Taylor, Oversampling Reflectivity Observations from a Geostationary Precipitation Radar Satellite: Impact to Typhoon Forecasts within a Perfect Model OSSE Framework, ISDA, online

15. 2021/2/16 Takemasa Miyoshi, Fugaku's Illuminating a Path to the Future of Numerical Weather Prediction, Session11Distinguished Achievements in AI, Big Data and Simulations supporting Society5.0, The 3rd R-CCS International Symposium, Online

16. 2021/2/18 Takemasa Miyoshi, Big data assimilation and AI: Creating new development in real-time weather prediction, ERCIM-JST Joint Symposium on Big Data and Artificial Intelligence, Online

17. 2021/2/18 寺崎康児, 三好建正, 全球水平解像度56km・1024メンバーのNICAM-LETKFを用いた令和2年7月豪雨実験, 第2回富岳成果創出加速プログラムテーマ1サブテーマA研究会, オンライン

18. 2021/3/10 Jianyu (Richard) Liang: A Machine Learning Approach To The Observation Operator For Satellite Radiance Data Assimilation, 金星大気の観測・シミュレーション・データ同化に関する研究会, オンライン

19. 2021/3/15 小槻峻司, 寺崎康児, 佐藤正樹, 三好建正: GPM DPRデータ同化によるNICAM雲微物理パラメータ推定, GPMおよび衛星シミュレータ合同研究集会, オンライン

20. 202/3/15 Chen, Y.-W., Terasaki, K., Kotsuki, S., Kanemaru, K., Nakano, M., Kanemaru, K. Satoh, M., Miyoshi, T., and Kubota, T., 2021: NICAM-LETKFを用いた全球天気予測システムの開発について, GPMおよび衛星シミュレータ合同研究集会, オンライン

21. 2021/3/16 寺崎康児, 三好建正, 全球水平解像度56km・1024メンバーのNICAM-LETKFを用いた令和2年7月豪雨実験, 「富岳」成果創出加速プログラム防災・減災に資する大アンサンブル気象・大気環境予測 第1回成果発表会, オンライン

22. 2021/3/16 八代尚: 大規模データ同化技術と大気環境予測の進展, 「富岳」成果創出加速プログラム「防災・減災に資する新時代の大アンサンブル気象・大気環境予測」第1回成果発表会, オンライン

23. 2021/3/16 八代尚: 富岳を用いた3.5kmメッシュ・1024アンサンブルデータ同化実験, 「富岳」成果創出加速プログラム「防災・減災に資する新時代の大アンサンブル気象・大気環境予測」第1回成果発表会, オンライン

-ポスター

1. 2020/7/12 Shigenori Otsuka, Yasumitsu Maejima, Pierre Tandeo, Takemasa Miyoshi, Toward an integrated NWP-DA-AI system for precipitation prediction, JpGU-AGU Joint Meeting 2020, online

2. 2020/7/12 Koji Terasaki and Takemasa Miyoshi, "Accounting for the horizontal observation error correlation of satellite radiances in data assimilation", JpGU, online

3. 2020/7/15 James Taylor, Atsushi Okazaki, Takumi Honda, Shunji Kotsuki, Moeka Yamaji, Takuji Kubota, Riki Oki, Toshio Iguchi, Takemasa Miyoshi, Evaluating the impact of precipitation radar observations from a geostationary satellite on typhoon forecasts, JpGU-AGU Joint Meeting 2020, online

4. 2020/7/16 Kotsuki S., Terasaki K., Satoh M. and Miyoshi T.: Ensemble-Based Data Assimilation of GPM/DPR Reflectivity into the Nonhydrostatic Icosahedral Atmospheric Model NICAM. JpGU-AGU Joint Meeting 2020

5. 2020/10/5 Shigenori Otsuka, Yasumitsu Maejima, Pierre Tandeo, and Takemasa Miyoshi, Toward an integrated NWP-DA-AI system for 30-second-update precipitation prediction. ECMWF-ESA Workshop on Machine Learning for Earth System Observation and Prediction, online

6. 2020/10/30 大塚成徳, 前島康光, Pierre Tandeo, 三好建正, 深層学習と数値天気予報の融合による降水予測に向けて. 日本気象学会2020年度秋季大会, オンライン

7. 2020/11/1 八代尚: スーパーコンピュータ「富岳」を用いた大アンサンブル・高解像度大気環境シミュレーション研究, 大気化学討論会, オンライン

8. 2021/2/15 Jianyu Liang, Koji Terasaki and Takemasa Miyoshi, A purely data-driven approach to satellite simulator in numerical weather prediction, R-CCS International Symposium, online

9. 2021/2/15 Koji Terasaki, and T. Miyoshi, A 1024-Member Data Assimilation and Forecast Experiment with NICAM-LETKF Using Fugaku: A Heavy Rainfall Event in Kyushu in July 2020, The 3rd R-CCS international symposium, online

10. 2021/3/16 寺崎康児, 三好建正, 全球水平解像度56km・1024メンバーのNICAM-LETKFを用いた令和2年7月豪雨実験, 「富岳」成果創出加速プログラム防災・減災に資する大アンサンブル気象・大気環境予測 第1回成果発表会, オンライン

-Web

1. 衛星データと計算による世界の降水予報-理研とJAXAのwebで5日後までのリアルタイム降水予報を公開-(理化学研究所, 千葉大学, 東京大学, 宇宙航空研究開発機構)(https://www.riken.jp/press/2020/20200820_2/index.html)

2. スーパーコンピュータ「富岳」を利用した史上最大規模の気象計算を実現(国立環境研究所ほか)(https://www.riken.jp/pr/news/2020/20201120_2/)

3. 八代尚: 計算で挑む環境研究-シミュレーションが広げる可能性(7) より速く, より多く, より長く, より複雑に-シミュレーションを支える技術-, 国立環境研究所地球環境研究センターニュース, 2020年10月号, Vol.31, No.7

4. 八代尚: より正確な気象予測を可能にする史上最大規模の計算を「富岳」で実現, HPCIマガジン「富岳百景」, Vol.2, https://fugaku100kei.jp/

5. 佐藤正樹, 川畑拓矢, 宮川知己, 八代尚, 三好建正:「富岳」による新時代の大アンサンブル気象・大気環境予測, 繊維学会誌, 2021, 77巻, 2号, p.54-58, https://doi.org/10.2115/fiber.77.P-54

6. 地球が見える2020年:令和2年7月豪雨に関連する衛星観測(https://www.eorc.jaxa.jp/earthview/2020/tp200811.html)

-その他

1. 三好建正, 令和二年度防災功労者内閣総理大臣表彰 (https://www.riken.jp/pr/news/2020/20200909_2/index.html)

JSS利用状況

計算情報

• プロセス並列手法: MPI
• スレッド並列手法: OpenMP
• プロセス並列数: 5 - 400
• 1ケースあたりの経過時間: 12 時間

JSS2利用量

総資源に占める利用割合※1(%): 0.31

内訳

JSS2のシステム構成や主要な仕様は、JSS2のシステム構成をご覧下さい。

※1 総資源に占める利用割合：3つの資源(計算, ファイルシステム, アーカイバ)の利用割合の加重平均.

※2 資源の利用割合：対象資源一年間の総利用量に対する利用割合.

JSS3利用量

総資源に占める利用割合※1(%): 3.24

内訳

JSS3のシステム構成や主要な仕様は、JSS3のシステム構成をご覧下さい。

※1 総資源に占める利用割合：3つの資源(計算, ファイルシステム, アーカイバ)の利用割合の加重平均.

※2 資源の利用割合：対象資源一年間の総利用量に対する利用割合.

JAXAスーパーコンピュータシステム利用成果報告(2020年4月～2021年3月)