研究者らが Google 翻訳のニューラル ネットワークの学習機能を向上させる新しい方法を発見したことで、人間の翻訳者と機械翻訳者の間のギャップは縮まりつつあるかもしれない。
Google が、自社の翻訳サービスがニューラル機械翻訳 (NMT) システムで運用されていると発表したのと同じ日に、研究者チームが arXiv で、NMT をさらに一歩進める方法を示す論文を発表しました。
NMTは、2つの言語で学習することで翻訳を学習する、単一の大規模なニューラルネットワークです。Google翻訳は10年前から存在していますが、NMTが使用される前は、ぎこちない翻訳結果になることがよくありました。文全体ではなく、個々のフレーズをまとめて翻訳していたため、翻訳中に文の意味が失われることがありました。
まず、エンコーダーは文を構成する単語に分解し、意味をベクトルとして表現します。
システムは文全体を解釈し、デコーダーはエンコードされたベクトルの加重分布を調べて各単語をターゲット言語で最も関連性の高い単語と照合し、翻訳を開始します。
Googleは現在、英語とフランス語、ドイツ語、スペイン語、ポルトガル語、中国語、日本語、韓国語、トルコ語の8つの言語ペアについて、「よりスムーズで読みやすい」より優れた翻訳を提供することを約束している。
写真提供: Google
多くのNMTでは、機械は各単語に個別に焦点を当てることで文をベクトルにエンコードします。これは「アテンションメカニズム」と呼ばれます。異なる言語に対応するには複数のアテンションメカニズムが必要であり、翻訳には複数のエンコーダとデコーダが使用されます。
しかし、単一の注意メカニズムを複数の言語に使用すると、システムは、これまで遭遇したことのない言語のペア間の翻訳を学習するように誘導することができます。研究者たちはこれを「ゼロショット翻訳」と呼んでいます。
「例えば、ポルトガル語→英語と英語→スペイン語の例でトレーニングされた多言語NMTモデルは、その言語ペアのデータを一切見ていないにもかかわらず、ポルトガル語→スペイン語の妥当な翻訳を生成できる」と論文には記されている。
興味深いことに、研究者たちは、ネットワークが「ある種の共有表現」を学習しているという証拠を発見しました。つまり、言語に関係なく、同様の意味を持つ文章が同様の方法で表現されているという証拠です。
複数の言語にわたってモデルをトレーニングすると、個々の言語への翻訳のパフォーマンスが向上し、システムは複数の言語が混在して書かれた文章にもより適切に対応できるようになります。
研究者は 1 つのモデルに最大 12 の言語ペアしか使用していませんが、Google 翻訳で現在使用されている NMT と同じアーキテクチャで動作するため、さらに追加するのは簡単で、使い方も簡単です。
研究者らによると、ゼロショット翻訳は「真の転移学習」が機械翻訳に有効であることが実証された初めての事例だという。
システムは過去の経験から得た知識に基づいて新しい状況に対処することを学習する必要があるため、転移学習は真の機械知能を開発するための鍵と考えられています。®
