新たな巨大な AI 言語モデルが登場しました。Microsoft の Turing-NLG システムには 170 億ものパラメータが含まれており、このクラスとしてはこれまでで最大の公に知られているモデルとなっています。
Turing-NLGは、膨大なテキストを生成する機械学習システムの進化するリストに加わりました。GoogleのBERTモデルは3億4000万のパラメータ、OpenAIのGPT-2は15億のパラメータ、NvidiaのMegatron-LMは83億のパラメータを備えています。
レドモンドは月曜日、これらのアルゴリズムはすべてTuring-NLGよりも小型であると主張した。競合製品と同様に、Turing-NLGに文章の書き出しのきっかけを与えると、それをもとに人間のような後続の文章を生成する。
「マイクロソフトは、170億のパラメータを持つ史上最大のモデルであるチューリング自然言語生成（T-NLG）を導入します。これは、さまざまな言語モデリングベンチマークで最先端の性能を上回り、要約や質問応答を含む多数の実用的なタスクに適用した場合にも優れています」とマイクロソフトは主張した。
170億パラメータのモデルは、従来のモデルと同様に、入力テキストを処理し、文脈を考慮しながら並列的に単語を出力するAIアーキテクチャであるTransformerで構築されています。例えば、直前の文がフランスに関するものだった場合、この文脈は処理チェーンを通じてフィードフォワードされ、後続の文がユーロ圏に関連するものになります。
意味のある、あるいは人間のような文章を機械が生成するのは難しい。文脈を理解する必要があるからだ。話題が次から次へと飛び交う文章は意味をなさないものに感じられる。だから、どんなに人工的または空虚であっても、何らかの思考の流れがなければならない。
Googleは、同社の最新チャットボットはこれまでで最も人間らしく、人類の最高の成果である341GBのソーシャルメディアで訓練されていると述べている。
続きを読む
従来のシリアル型言語モデルは、組立ラインのようにデータを順番に処理し、出力において一貫したテーマを維持するために多大な労力を費やさなければなりませんでした。Transformerベースのモデルは、学習において文脈をより直接的に統合するため、一般的に比較的高品質な散文を生成します。
マイクロソフトは、Turing-NLGの技術的な詳細について慎重な姿勢を崩していない。研究者がT-NLGの概要を示す論文を発表する予定があるかどうか尋ねられた際、広報担当者はThe Register紙に対し、「現時点では（発表以外に）追加の論文は予定されていない」と述べた。
研究者たちは「Nvidia DGX-2ハードウェアセットアップ」を使用し、モデルを4基のV100 GPUに分割しました。この大規模なモデルをインターネットからスクレイピングした174GBのテキストで学習させるには、合計256基のV100 GPUが必要だったとのことです。比較のために、NvidiaのMegatron-LMモデルは、同量の学習データを処理するために512基のV100 GPUを使用しました。
T-NLGは、言語モデルが一貫性のある複雑な文を生成したり、質問に答えたり、テキストを要約したりする能力をテストする一般的なベンチマークで最高スコアを達成したとされている。Microsoftがシステムのテストに使用した方法論を明らかにしていないため、数値の検証は困難である。
同社はモデルの公開も控えている。テストとフィードバックを目的として、少数の研究者に「プライベートデモ」を実施している。レドモンドがモデルを全く公開しない可能性もあるが、最先端の成果が「マイクロソフトと顧客に新たな機会をもたらす」ことを示唆した。「今後の計画については詳細をお伝えできません」と広報担当者は語った。
T-NLGは、Microsoft Officeのテキスト文書の読み取りと要約機能の向上、Outlookのメール作成支援、さらにはMicrosoftの音声アシスタントチャットボットCortanaにも活用できる可能性があります。もしかしたら、Microsoftの人気キャラクター、しゃべるバーチャルクリップ「Clippy」がAIのスーパーパワーなどを備えて復活するかもしれません。®
