OpenAI の巨大な GPT-3 テキスト生成モデルのトレーニングは、車で月まで行って戻ってくるようなものだとコンピューター科学者たちは考えている。
より具体的には、NVIDIA GPU を使って Microsoft データセンターのニューラル スーパーネットワークを学習させるには約 190,000 kWh の電力が必要と推定されました。これは、アメリカの平均的な炭素強度で計算すると、85,000 kg の CO2 相当の排出量となります。これは、ヨーロッパで新車が 700,000 km (435,000 マイル) 走行した場合に排出される量と同量です。これは、地球と月の距離である約 480,000 マイルの約 2 倍に相当します。ふぅ。
これは、GPT-3の学習に使用されたデータセンターが化石燃料に完全に依存していたという前提に基づいていますが、必ずしもそうとは限りません。私たちが理解している限り、ここで重要なのは、GPT-3と特にAzureクラウドがまさにこの規模の二酸化炭素排出量を排出しているということではなく、最先端のニューラルネットワークの学習に必要な膨大なエネルギー量に注目を集めることです。
この推定値を作成した専門家たちは、デンマークのコペンハーゲン大学を拠点とし、AIアルゴリズムの二酸化炭素排出量を予測することを目的としたオープンソースツール「Carbontracker」の開発にも携わっています。Carbontrackerの開発者の一人であり、AIの電力消費に関する研究論文の共著者でもあるラッセ・ウォルフ・アンソニー氏は、AIのエネルギーコストが2012年から2018年の間に30万倍に上昇したと主張されていることから、AIコミュニティは今こそこの資源の浪費について考え始めるべきだと考えています。
ニューラルネットワーク、そして膨大なデータセットを用いたニューラルネットワークの学習に必要なハードウェアの規模は、ますます大きくなっています。GPT-3を例に挙げると、そのパラメータ数は1750億個で、前身のGPT-2の100倍に相当します。
性能に関しては、大きい方が優れているかもしれませんが、地球にとってどれほどの負担になるのでしょうか？ Carbontracker は、GPT-3 を一度トレーニングするだけで、デンマークの家庭 126 軒が年間に消費する電力、つまり月まで車で往復するのと同じ量の電力が必要になると見積もっています。
マイクロソフトはどちらかの側を選び、2030年までに事業を「カーボンネガティブ」にすることを目指す
続きを読む
「この分野の発展はとてつもなく速く、ディープラーニングモデルは常に大規模化と高度化を続けています」とアンソニー氏は述べた。「現在、指数関数的な成長が見られます。そしてそれは、ほとんどの人が意識していないエネルギー消費の増加を意味します。」
Carbontrackerを使用すると、開発者は特定のモデルのトレーニングに必要な総エネルギー量とそれに伴うカーボンフットプリントを予測できます。ユーザーは、トレーニングに使用するハードウェアの種類や計算時間など、特定の詳細情報を提供する必要があります。
「CO2推定値は、モデルのトレーニング中の電力生産の地域平均または予測炭素強度と、モデルが実行されるハードウェアの電力消費を組み合わせて計算されます」とアンソニー氏はEl Regに語った。
リアルタイムの炭素強度を取得するために複数のAPIを利用しています。モデルをトレーニングした地域でそのようなAPIが利用できない場合は、無料で利用できるグローバルデータがないため、デフォルトでヨーロッパの平均を使用します。そのようなAPIの一つは英国のものです。これらのAPIとハードウェアのエネルギー消費量は、トレーニング中に定期的にクエリされ、総炭素排出量の正確な推定値を取得します。
「データセットが日々大きくなるにつれて、アルゴリズムが解決しなければならない問題はますます複雑になります」と、研究の共著者であるベンジャミン・カンディング氏は付け加えた。「数年以内に、GPT-3の何倍も大きなモデルがいくつか登場するでしょう。」
技術開発にブレーキをかけることが目的ではありません。むしろ、問題を認識し、「どうすれば改善できるだろうか？」と考えることが重要です。
この傾向が続けば、人工知能は気候変動の大きな要因となる可能性があります。技術開発にブレーキをかけることが目的ではありません。これらの進歩は、気候変動を改善する素晴らしい機会を提供します。むしろ、問題を認識し、「どうすれば改善できるか」を考えることが重要です。
彼らは、開発者に対し、データ処理や検索においてより効率的な技術を採用するとともに、汎用チップよりもワットあたりの効率が高いAIアクセラレータなどの専用ハードウェアでトレーニングを行うことを推奨しています。また、再生可能エネルギーで稼働している可能性が高いクラウドリージョンでトレーニングを行うことも選択肢の一つです。
「気候への影響を大幅に削減することは可能です」とアンソニー氏は結論付けた。「例えば、エストニアやスウェーデンでモデルの学習を行うことを選択する場合、より環境に優しいエネルギー供給のおかげで、モデルの学習に伴う二酸化炭素排出量を60分の1以上削減できる可能性があります。」
アルゴリズムによってエネルギー効率も大きく異なります。アルゴリズムによっては、同じ結果を得るために必要な計算量が少なく、結果としてエネルギー消費量も少なくなります。こうしたパラメータを調整できれば、状況は大きく変わる可能性があります。®
