大規模フルカラートモグラフィデータの3D可視化:ヒトの網膜の解像度を突破する
JAXAスーパーコンピュータシステム利用成果報告(2020年4月～2021年3月)
報告書番号: R20JFHC0301
利用分野: 事業共通
- 責任者: 藤田直行, セキュリティ・情報化推進部スーパーコンピュータ活用課
- 問い合せ先: 竹田裕介(ytakeda@sci.hokudai.ac.jp)
- メンバ: 竹田裕介, 伊庭靖弘, 星野健, 臼井寛裕, 深井稜汰
事業概要
報告者らは, 隕石や地球の各種岩石などを大規模データに変換する可視化技術の開発を進めてきた. しかしながら, この高解像のデータが持つ情報量は莫大であり, ラボ用ワークステーションでの処理が不可能であるだけでなく, スパコンでの通常利用可能な計算力でも対応できないサイズとなっていた. そこで, 大規模計算によってこのボトルネックを超え, 超高解像3D可視化の達成を目指すことが, 本大規模チャレンジ研究の目的である. 本研究では, レンダリングに適切なノードの種類や組み合わせを決定し, 可視化パイプラインを構築した. そのうえで, 十億画素超のデータ解析および数千億～兆スケールのボクセル数のデータの3D可視化に挑戦した.
参照URL
なし
JAXAスーパーコンピュータを使用する理由と利点
JSS3に導入されているParaviewはスパコンの処理能力を最大限引き出すことができる可視化アプリで, 並列リモートレンダリングを容易に設定可能である. すなわち本研究を遂行する上で最適なソリューションである. これまでの予察研究の結果, Paraviewで大規模データをレンダリングするにはノードあたりのメモリサイズがボトルネックであることが判明していた. また, CPUレンダリングでは負荷が大きいため, GPUレンダリングが望ましいことも判明していた. 以上のことから, 大きなサイズのメモリとGPUを利用可能で, ノード数も多いJSS3 TOKI-RURIが本研究に最適な計算資源であると考え, JAXAスパコンを利用した.
今年度の成果
まず, 本研究が目指す兆スケールの可視化を実行するためのパイプラインに必要な計算資源量を見積もるために, 5000億ボクセル程度のデータに対して, TOKI-RURI の各種ノードを使用してParaviewで並列リモートレンダリングを行った. その結果, ノード当たりのメモリサイズの大きいXMおよびLMノードを用いたレンダリングでは, 並列計算により分割されたデータの一部が可視化されず, 可視化結果で欠損して表示されてしまう現象が発生した. 一方で, STノードを用いた場合は, 可視化結果における欠損は認識されなかった. したがって, 本研究の大規模データに対して, 十分なメモリサイズを確保しながらエラーなく可視化するためには, ノード当たりのメモリサイズが比較的小さいSTノードを多数使用するパイプラインが適切であると明らかになった.
この結果をもとに, STノード 100ノードを利用した並列リモートレンダリングを行い, 1.2兆ボクセルからなるデータの可視化に成功した. 更に, データセットのサイズではなく, データセットを構成する1ファイルの規模においても大規模なデータの可視化を行い, 45億画素のデータセットの処理と可視化に成功した. これらの可視化が実現したことで, 分析試料のこれまでにない高解像度の観察や解析が初めて可能になった.
本研究が遂行した「大規模可視化」は, 数値シミュレーションを目的とした従来の大規模計算とは異なる性質のものだが, スパコンのような大規模計算資源がなくては達成が不可能だった. 従って本チャレンジは, スパコン/JSS3の新しい活用法を提示し, 潜在的な利用ニーズを見出すことにも成功したともいえる.
成果の公表
-口頭発表
竹田 裕介, 田井中一貴, 星野健, 深井稜汰, 臼井寛裕, 笹木慎太郎, 池上森, 伊庭靖弘. JSS3大規模チャレンジによる大規模画像データの3次元可視化. 第53回流体力学講演会/第39回航空数値シミュレーション技術シンポジウム, 2021/6/30-7/2.
JSS利用状況
計算情報
- プロセス並列手法: MPI
- スレッド並列手法: 非該当
- プロセス並列数: 50 – 100
- 1ケースあたりの経過時間: 6 時間
JSS2利用量
総資源に占める利用割合※1(%): 0.00
内訳
JSS2のシステム構成や主要な仕様は、JSS2のシステム構成をご覧下さい。
| 計算システム名 | コア時間(コア・h) | 資源の利用割合※2(%) |
|---|---|---|
| SORA-MA | 0.00 | 0.00 |
| SORA-PP | 0.00 | 0.00 |
| SORA-LM | 0.00 | 0.00 |
| SORA-TPP | 0.00 | 0.00 |
| ファイルシステム名 | ストレージ割当量(GiB) | 資源の利用割合※2(%) |
|---|---|---|
| /home | 21.68 | 0.02 |
| /data | 135.68 | 0.00 |
| /ltmp | 2,083.33 | 0.18 |
| アーカイバシステム名 | 利用量(TiB) | 資源の利用割合※2(%) | J-SPACE | 0.00 | 0.00 |
|---|
※1 総資源に占める利用割合：3つの資源(計算, ファイルシステム, アーカイバ)の利用割合の加重平均.
※2 資源の利用割合：対象資源一年間の総利用量に対する利用割合.
JSS3利用量
総資源に占める利用割合※1(%): 0.48
内訳
JSS3のシステム構成や主要な仕様は、JSS3のシステム構成をご覧下さい。
| 計算システム名 | コア時間(コア・h) | 資源の利用割合※2(%) |
|---|---|---|
| TOKI-SORA | 0.00 | 0.00 |
| TOKI-RURI | 530,357.59 | 3.04 |
| TOKI-TRURI | 0.00 | 0.00 |
| ファイルシステム名 | ストレージ割当量(GiB) | 資源の利用割合※2(%) |
|---|---|---|
| /home | 140.91 | 0.10 |
| /data | 97,807.48 | 1.64 |
| /ssd | 500.68 | 0.26 |
| アーカイバシステム名 | 利用量(TiB) | 資源の利用割合※2(%) | J-SPACE | 0.00 | 0.00 |
|---|
※1 総資源に占める利用割合：3つの資源(計算, ファイルシステム, アーカイバ)の利用割合の加重平均.
※2 資源の利用割合：対象資源一年間の総利用量に対する利用割合.
JAXAスーパーコンピュータシステム利用成果報告(2020年4月～2021年3月)