機械学習アルゴリズムのパフォーマンスは、基盤となるコンピュータチップよりも速い速度で向上していると言われています。
AIソフトウェア技術は非常に効率的になっており、実際、エンジニアは、画像認識システムのトップデータセットであるImageNet上でニューラルネットワークをトレーニングすることで、2012年当時と比べて44倍少ない計算能力で約79.1%の精度を達成できるようになった。これは、今週OpenAIが発表した研究[PDF]によるもので、この改善率でアルゴリズムの効率は7年間で16か月ごとに倍増すると推定されている。
「注目すべきは、これがハードウェア効率における当初のムーアの法則の改善率（この期間で11倍）を上回っていることだ」とダニー・ヘルナンデスとトム・ブラウンによる論文には記されている。
この法則は、インテルの共同創業者であるゴードン・ムーアが1960年代に発見したもので、チップ上のトランジスタ数は約2年ごとに倍増し、人々は同じ期間にプロセッサの性能も倍増すると期待するようになるというものです。しかし、この法則は少なくとも1999年以降は衰退傾向にあり、2018年には消滅したとみなされています。
(ムーアの第二法則とは、ジャーナリストは第一法則に言及せずにインテルについて書くことはできないということだと私たちはよく冗談を言います。)
79.1 パーセントという精度レベルは、一見低いように思えるかもしれませんが、2012 年に ImageNet チャレンジで優勝した際の AlexNet のパフォーマンス レベルであったため、この数値が選ばれました。AlexNet は、コンピューター サイエンティストやデータ サイエンティストのニューラル ネットワークへの関心を再燃させた最初のモデルとして高く評価されています。
ムーアの法則は死んでいない、とチップ専門家は宣言する ― AIのためにはムーアの法則が今後も継続していく必要がある
続きを読む
OpenAIによれば、この改善はコンピュータービジョンモデルだけに見られるものではなく、言語翻訳や強化学習などの他の種類のニューラルネットワークアーキテクチャにも見られるという。
「アルゴリズムの効率性の向上により、研究者は限られた時間と資金の中で、より多くの興味深い実験を行うことができます」とOpenAIの2人は記している。「アルゴリズムの効率性の向上は、全体的な進歩の尺度となるだけでなく、将来のAI研究を加速させます。これは、計算能力の向上と似た効果があります。」
アルゴリズムの性能向上は機械学習コミュニティにとって朗報ですが、モデルはますます大規模かつ複雑化しており、学習に多大なリソースと費用が必要となる点を指摘しておく必要があります。イスラエルに拠点を置く自然言語研究ハブAI21の最近の論文によると、1億1000万個のパラメータを持つ言語モデルの学習コストは2,500ドルから50,000ドルに上ります。この数値が15億パラメータ（OpenAIのGPT-2に相当する数値）に増加すると、コストは80,000ドルから160万ドルへと跳ね上がります。®
