本文へ移動

サイトナビゲーションへ移動

検索ボックスへ移動

サイドバーへ移動

ここは、本文エリアの先頭です。

JSS3を用いた科学衛星データ処理の検討

JAXAスーパーコンピュータシステム利用成果報告(2021年2月~2022年1月)

報告書番号: R21JEU30800

利用分野: 宇宙科学

PDFはここからダウンロード

  • 責任者: 篠原育, 宇宙科学研究所科学衛星運用・データ利用ユニット
  • 問い合せ先: 中平 聡志(nakahira.satoshi@jaxa.jp)
  • メンバ: 中平 聡志, 海老沢 研, 本庄 英司

事業概要

宇宙科学データの容量は観測装置の高性能化や観測期間の長期化により肥大化しており, 較正の変更によるデータの再作成に数ヶ月単位の時間を要するようになってきた. そのためJSSを用いた高速なデータ処理の実装を試みた.

参照URL

なし

JAXAスーパーコンピュータを使用する理由と利点

自前でクラスター環境を構築しなくても並列処理を実行する環境が整っている. 1つの入力データセットに対して多数のデータ読み出しプロセスが走ってもボトルネックになりづらいIO性能があると見込まれる.

今年度の成果

全天X線監視装置(MAXI)の2009年8月から2022年2月の観測データ, 12年7ヶ月分を一括で再処理した. 1日単位の入力データを1日分のデータセットに変換する処理を, 同時実行数200弱にを維持するように逐次投入することで並列実行した. 結果的には11TBの入力データを, 20TBの出力データに変換する処理を約17時間掛けて終えることができた. 1日分のデータの処理に要する時間は定常的なデータ処理用サーバで行う処理と大きな差は無く, 線形に速度向上できることがわかった.

Annual Reoprt Figures for 2021

図1: 横軸は処理開始からの経過時間(hour), 縦軸はそれぞれ, 同時実行ジョブ数, 処理時間の累積和, 総生成データ容量となっている.

 

成果の公表

-口頭発表

宇宙科学情報解析シンポジウム2022年2月18日, 「JSS3を用いた科学衛星データ処理とデータ解析」

JSS利用状況

計算情報

  • プロセス並列手法: 1日の入力データが1日の出力データに対応するデータ変換なので, ジョブ数をチェックし, 間隔を調整しながらjxsubコマンドで投入.
  • スレッド並列手法: 非該当
  • プロセス並列数: 1 - 195
  • 1ケースあたりの経過時間: 16.9 時間

JSS3利用量

 

総資源に占める利用割合※1(%): 0.00

 

内訳

JSS3のシステム構成や主要な仕様は、JSS3のシステム構成をご覧下さい。

計算資源
計算システム名 CPU利用量(コア・時) 資源の利用割合※2(%)
TOKI-SORA 43.10 0.00
TOKI-ST 34276.33 0.04
TOKI-GP 0.00 0.00
TOKI-XM 0.00 0.00
TOKI-LM 0.00 0.00
TOKI-TST 0.00 0.00
TOKI-TGP 0.00 0.00
TOKI-TLM 0.00 0.00

 

ファイルシステム資源
ファイルシステム名 ストレージ割当量(GiB) 資源の利用割合※2(%)
/home 26.67 0.03
/data及び/data2 17433.33 0.19
/ssd 816.00 0.21

 

アーカイバ資源
アーカイバシステム名 利用量(TiB) 資源の利用割合※2(%)
J-SPACE 0.00 0.00

※1 総資源に占める利用割合:3つの資源(計算, ファイルシステム, アーカイバ)の利用割合の加重平均.

※2 資源の利用割合:対象資源一年間の総利用量に対する利用割合.

 

ISV利用量

ISVソフトウェア資源
利用量(時) 資源の利用割合※2(%)
ISVソフトウェア(合計) 0.00 0.00

※2 資源の利用割合:対象資源一年間の総利用量に対する利用割合.

JAXAスーパーコンピュータシステム利用成果報告(2021年2月~2022年1月)


ここは、サイドバー・エリアの先頭です。

おしらせ-最近の追加

Language / 言語

「利用成果報告」の公開

JSS3を利用するには

JSS3 を利用するには 「利用するには 」ページをご覧ください。

活躍する計算技術-最近の追加

所在地

JAXA(宇宙航空研究開発機構) 調布航空宇宙センター
所在地 〒182-8522 東京都
調布市深大寺東町7-44-1