採択課題 【詳細】
jh150033-IS02 | クラウドを活用したビッグデータポスト処理環境実現のためのデータ伝送実験 |
---|---|
課題代表者 | 村田健史(独立行政法人情報通信研究機構) Ken T. Murata (National Institute of Information and Communications Technology) |
概要 | 本研究では、スパコンの計算ノードから直接データを遠隔ストレージに書き出したり、遠隔ストレージから直接データを読み込んでポスト処理を行ったりするためのツール(後述のHbVRSツール)を開発する。このHbVRSクライアントを京都大学、九州大学のスパコンおよび大阪大学、名古屋大学のポスト処理環境・可視化環境に実装する。NICTサイエンスクラウドが構築・運用しているGfarmによる分散ストレージシステムにHbVRSサーバを実装し、これを遠隔ストレージシステムとして利用する。これらをもとに、実データを用いて実環境実験を行う。スパコンからの遠隔ストレージ利用では、32~128コアで1ステップあたり100GB程度のデータファイルを数時間に一度書き出す仕組みを実現する。また、L2環境下のポスト処理では、可視化サーバからバンド幅(1Gbpsまたは10Gbps)でのデータファイル読み出しを達成する。 |
報告書等 | 研究紹介ポスター / 最終報告書 |
関連Webページ |
無断転載禁止