本研究は、超巨大ニューラルネットワークのための分散深層学習フレームワークの開発と言語処理分野における深層学習への適用、及びその有効性の検証を行うものである。本課題期間中に、申請者らが開発した自動でモデルパラレルを行うフレームワークRaNNCを拡張し、データパラレル・モデルパラレルのハイブリッドを可能とした。256枚のGPUを用い、BERT-Largeの5倍以上のパラメータを持つ大規模ニューラルネットワークを学習し、より優れた学習性能を得られることを確認した。また、GPU自動割り当てアルゴリズムを大幅に改善し、既存フレームワークではGPUメモリ不足で扱えなかった大規模モデルを学習可能とした。