学際大規模情報基盤共同利用・共同研究拠点

採択課題 【詳細】

jh150033-IS02 クラウドを活用したビッグデータポスト処理環境実現のためのデータ伝送実験
課題代表者 村田健史(独立行政法人情報通信研究機構)
Ken T. Murata (National Institute of Information and Communications Technology)
概要 本研究では、スパコンの計算ノードから直接データを遠隔ストレージに書き出したり、遠隔ストレージから直接データを読み込んでポスト処理を行ったりするためのツール(後述のHbVRSツール)を開発する。このHbVRSクライアントを京都大学、九州大学のスパコンおよび大阪大学、名古屋大学のポスト処理環境・可視化環境に実装する。NICTサイエンスクラウドが構築・運用しているGfarmによる分散ストレージシステムにHbVRSサーバを実装し、これを遠隔ストレージシステムとして利用する。これらをもとに、実データを用いて実環境実験を行う。スパコンからの遠隔ストレージ利用では、32~128コアで1ステップあたり100GB程度のデータファイルを数時間に一度書き出す仕組みを実現する。また、L2環境下のポスト処理では、可視化サーバからバンド幅(1Gbpsまたは10Gbps)でのデータファイル読み出しを達成する。
報告書等 研究紹介ポスター 最終報告書
関連Webページ
無断転載禁止