学際大規模情報基盤共同利用・共同研究拠点

採択課題 【詳細】

/var/www/html/ja/docH31/./Abstract/jh190023-ISH_Abstract.txt
jh190023-ISH 超巨大ニューラルネットワークのための分散深層学習フレームワークの開発とスケーラビリティの評価
課題代表者 田仲正弘(情報通信研究機構) /
Masahiro Tanaka(National Institute of Information and Communications Technology)
概要 本研究は、超巨大ニューラルネットワークのための分散深層学習フレームワークの開発と言語処理分野における深層学習への適用、及びその有効性の検証を行うものである。申請者らが開発した、自動モデルパラレルによる分散処理を可能とするフレームワークを、近年注目されているBERT等の数億超のパラメータを持つニューラルネットワークに適用しながら、ニューラルネットワークの自動分割アルゴリズムの改善と性能評価を行う。
報告書等 研究紹介ポスター / 最終報告書
関連Webページ  
無断転載禁止
JHPCN : Japan High Performance Computing and Networking plus Large-scale Data Analyzing and Information Systems
Update:2018.4.1