学際大規模情報基盤共同利用・共同研究拠点

採択課題 【詳細】

jh150033-IS02 クラウドを活用したビッグデータポスト処理環境実現のためのデータ伝送実験
課題代表者 村田健史(独立行政法人情報通信研究機構)
Ken T. Murata (National Institute of Information and Communications Technology)
概要 本研究では、スパコンの計算ノードから直接データを遠隔ストレージに書き出したり、遠隔ストレージから直接データを読み込んでポスト処理を行ったりするためのツール(後述のHbVRSツール)を開発する。このHbVRSクライアントを京都大学、九州大学のスパコンおよび大阪大学、名古屋大学のポスト処理環境・可視化環境に実装する。NICTサイエンスクラウドが構築・運用しているGfarmによる分散ストレージシステムにHbVRSサーバを実装し、これを遠隔ストレージシステムとして利用する。これらをもとに、実データを用いて実環境実験を行う。スパコンからの遠隔ストレージ利用では、32~128コアで1ステップあたり100GB程度のデータファイルを数時間に一度書き出す仕組みを実現する。また、L2環境下のポスト処理では、可視化サーバからバンド幅(1Gbpsまたは10Gbps)でのデータファイル読み出しを達成する。
関連Webページ
報告書等 研究紹介ポスター 最終報告書
業績一覧 (1) 学術論文 (査読あり)
該当なし
(2) 国際会議プロシーディングス (査読あり)
該当なし
(3) 国際会議発表(査読なし)
該当なし
(4) 国内会議発表(査読なし)
該当なし
(5) 公開したライブラリなど
該当なし
(6) その他(特許,プレスリリース,著書等)
該当なし
無断転載禁止