採択課題 【詳細】
jh150033-IS02 | クラウドを活用したビッグデータポスト処理環境実現のためのデータ伝送実験 |
---|---|
課題代表者 | 村田健史(独立行政法人情報通信研究機構) Ken T. Murata (National Institute of Information and Communications Technology) |
概要 | 本研究では、スパコンの計算ノードから直接データを遠隔ストレージに書き出したり、遠隔ストレージから直接データを読み込んでポスト処理を行ったりするためのツール(後述のHbVRSツール)を開発する。このHbVRSクライアントを京都大学、九州大学のスパコンおよび大阪大学、名古屋大学のポスト処理環境・可視化環境に実装する。NICTサイエンスクラウドが構築・運用しているGfarmによる分散ストレージシステムにHbVRSサーバを実装し、これを遠隔ストレージシステムとして利用する。これらをもとに、実データを用いて実環境実験を行う。スパコンからの遠隔ストレージ利用では、32~128コアで1ステップあたり100GB程度のデータファイルを数時間に一度書き出す仕組みを実現する。また、L2環境下のポスト処理では、可視化サーバからバンド幅(1Gbpsまたは10Gbps)でのデータファイル読み出しを達成する。 |
関連Webページ | |
報告書等 | 研究紹介ポスター / 最終報告書 |
業績一覧 | (1) 学術論文 (査読あり) |
該当なし | |
(2) 国際会議プロシーディングス (査読あり) | |
該当なし | |
(3) 国際会議発表(査読なし) | |
該当なし | |
(4) 国内会議発表(査読なし) | |
該当なし | |
(5) 公開したライブラリなど | |
該当なし | |
(6) その他(特許,プレスリリース,著書等) | |
該当なし |
無断転載禁止