JSS3を用いた科学衛星データ処理の検討
JAXAスーパーコンピュータシステム利用成果報告(2022年2月～2023年1月)
報告書番号: R22JEU30800
利用分野: 宇宙科学
- 責任者: 篠原育, 宇宙科学研究所 太陽系科学研究系
- 問い合せ先: 中平聡志(nakahira.satoshi@jaxa.jp)
- メンバ: 海老沢 研, 中平 聡志
事業概要
宇宙科学研究所の科学衛星データを並列処理するための技術検討や実証をおこなう
参照URL
なし
JAXAスーパーコンピュータを使用する理由と利点
観測装置の高度化や運用の長期化によりデータの再処理を高速に行うために必要なリソースが増加してきているため
今年度の成果
2009年頃までに取得された「かぐや」が取得した月面のデジタル高度データ(6万ファイル, 約2TB)を, 天文学分野で用いられる全球データ用のHEALpixに変換する処理を行った. 単純な並列化と, TensorFlowの疎行列を用いた処理により, 全月球データを約700GBの配列で表現したデータへの変換が高速に実行出来た.
成果の公表
-査読付き論文
「HEALPixを用いた「かぐや」の月面標高データベースとデータ提供システムの開発」, 小林寧々, 梶浦梨央, 中平聡志, 山本幸生, 内田ヘルベルト陽仁, 海老沢研, 宇宙科学情報解析論文誌 (投稿中)
JSS利用状況
計算情報
- プロセス並列手法: 入力データが分割されているので, ジョブ投入最適化ツールを用いて同時実行した
- スレッド並列手法: 非該当
- プロセス並列数: 100 - 500
- 1ケースあたりの経過時間: 6 時間
JSS3利用量
総資源に占める利用割合※1(%): 0.00
内訳
JSS3のシステム構成や主要な仕様は、JSS3のシステム構成をご覧下さい。
| 計算システム名 | CPU利用量(コア・時) | 資源の利用割合※2(%) |
|---|---|---|
| TOKI-SORA | 20.73 | 0.00 |
| TOKI-ST | 29510.05 | 0.03 |
| TOKI-GP | 0.00 | 0.00 |
| TOKI-XM | 0.00 | 0.00 |
| TOKI-LM | 0.00 | 0.00 |
| TOKI-TST | 0.00 | 0.00 |
| TOKI-TGP | 0.00 | 0.00 |
| TOKI-TLM | 0.00 | 0.00 |
| ファイルシステム名 | ストレージ割当量(GiB) | 資源の利用割合※2(%) |
|---|---|---|
| /home | 28.33 | 0.03 |
| /data及び/data2 | 17920.00 | 0.14 |
| /ssd | 801.33 | 0.11 |
| アーカイバシステム名 | 利用量(TiB) | 資源の利用割合※2(%) | J-SPACE | 5.94 | 0.03 |
|---|
※1 総資源に占める利用割合：3つの資源(計算, ファイルシステム, アーカイバ)の利用割合の加重平均.
※2 資源の利用割合：対象資源一年間の総利用量に対する利用割合.
ISV利用量
| 利用量(時) | 資源の利用割合※2(%) | |
|---|---|---|
| ISVソフトウェア(合計) | 0.00 | 0.00 |
※2 資源の利用割合：対象資源一年間の総利用量に対する利用割合.
JAXAスーパーコンピュータシステム利用成果報告(2022年2月～2023年1月)