大規模言語モデル (LLM) のトレーニングに使用される数万個の GPU が膨大な量のエネルギーを消費することは周知の事実であり、地球の気候への潜在的な影響について警告が出されています。
しかし、ワシントン DC に拠点を置き、Intel、Microsoft、Google、Meta、AMD などのテクノロジー大手の支援を受けているシンクタンク、情報技術イノベーション財団のデータイノベーションセンター (CDI) によると、AI を支えるインフラストラクチャは大きな脅威ではないとのことです。
同センターは最近の報告書[PDF]で、AIの電力消費に関する懸念の多くは誇張されており、データの解釈に誤りがあると主張しています。また、同センターは、AIが効率の低いプロセスを置き換え、他のプロセスを最適化することで、地球の気候にプラスの影響を与える可能性が高いと主張しています。
「AIシステムのエネルギー使用傾向について議論する場合、その技術の代替効果を考慮に入れなければ誤解を招く可能性がある。多くのデジタル技術は、動くビットを動く原子に置き換えることで、経済の脱炭素化に貢献している」とグループは述べている。
同センターの文書は、コーネル大学の研究[PDF]を引用しており、AIを用いて1ページの文章を書いた場合のCO2排出量は、アメリカ人が標準的なノートパソコンを使って同じ作業を行った場合の130分の1から1,500分の1に抑えられるという結果が出ています。ただし、この数値には生活や通勤に伴うCO2排出量も含まれています。しかし、この数値を詳しく見ると、ChatGPTの学習によって発生する552トンのCO2排出量が考慮されていないことがわかります。
LLMの学習に使用される電力量は、大規模な展開（推論と呼ばれるプロセス）に必要な電力量に比べれば微々たるものだ、という議論もあります。AWSは推論がモデルのコストの90%を占めると推定していますが、Metaは約65%としています。また、モデルは定期的に再学習されます。
CDIの報告書はまた、スマートサーモスタットが家庭のエネルギー消費量と二酸化炭素排出量を削減できるのと同様に、AIも電力網の需要を事前に予測することで同様の効率化を実現できる可能性を示唆しています。他の例としては、AIを用いて農家が最適な効率を得るために必要な水や肥料の量を計算したり、衛星データからメタン排出量を追跡したりすることが挙げられます。
もちろん、AI が実際に状況を改善しているかどうかを知るためには、それを測定する必要がありますが、CID によると、この点に関しては改善の余地が大いにあるとのことです。
なぜ多くの推定が間違っているのか
データイノベーションセンターによれば、テクノロジーのエネルギー消費がセンセーショナルな見出しで取り上げられるのは今回が初めてではない。
同グループは、ドットコム時代の絶頂期にデジタル経済が10年以内に電力網の資源の半分を占めると予測した主張を指摘した。しかし、数十年後、国際エネルギー機関（IEA）は、データセンターとネットワークが世界のエネルギー消費量のわずか1～1.5%を占めていると推定している。
これはセンターの支援者にとっては嬉しい数字だ。彼らのさまざまな行為は、長年に渡って彼らの社会的許可を危うくする反トラスト訴訟の対象となってきた。
しかし、データセンターは複雑なシステムであるため、この数字を額面通りに受け取るのは難しい。AIモデルのトレーニングや推論といった作業における二酸化炭素排出量やエネルギー消費量の測定は、皮肉なことではなく、誤りが生じやすいとCDIの調査は主張している。
強調されている例の一つは、マサチューセッツ大学アマースト校による、Googleの自然言語処理モデルBERTの二酸化炭素排出量を推定した論文です。この情報を用いて、ニューラルアーキテクチャ検索モデルの学習による二酸化炭素排出量を推定したところ、626,155ポンドという結果が得られました。
この調査結果はマスコミに広く公表されたが、その後の調査で実際の排出量は当初考えられていた量の88分の1だったことがわかった。
- 今年実際に展開予定のMetaの自社製AIチップの計画を解明
- シングテルは「NVIDIAのクラスターをホストするためのデータセンターを建設中」としている
- 投資家は昨年、量子分野に50%の資金を投じた
- 中国は国産GPUやその他のAIインフラを国家のToDoリストに載せている
報告書では、推定値が正確な場合、再生可能エネルギーの組み合わせ、冷却技術、さらには加速器自体などの他の要因により、その推定値は実際にはその場所と時間における作業負荷のみを反映していると主張している。
その論理はこうです。2年後に同じモデルをより新しいアクセラレータで学習させると、そのジョブに関連するCO2排出量は全く異なるものになる可能性があります。つまり、より大きなモデルが必ずしもより多くの電力を消費したり、副産物としてより多くの温室効果ガスを排出したりするわけではないということです。
これにはいくつかの理由がありますが、その 1 つは AI ハードウェアが高速化していること、もう 1 つは注目を集めるモデルが必ずしも最も効率的であるとは限らず、最適化の余地があることです。
このグラフから、NvidiaのA100やGoogleのTPUv4のような最新のアクセラレータは、パラメータサイズよりも排出量に大きな影響を与えていることがわかります。 - クリックして拡大
「研究者たちは、精度の低下を最小限に抑えながら、より高速でエネルギー効率の高い、よりコンパクトなAIモデルを作成するために、プルーニング、量子化、蒸留などの技術の実験を続けている」と著者は書いている。
CID レポートの主張は、過去の電力消費量や炭素排出量を推定する試みは、仮定が多すぎる、不正確な測定に基づく、あるいはハードウェアやソフトウェアの技術革新のペースを考慮していないなどの理由で、時代遅れになっているということのようだ。
モデル最適化にはメリットがあるものの、このレポートでは、ムーアの法則が減速しつつあり、世代ごとのパフォーマンス向上がそれに見合うエネルギー効率の向上をもたらさないことが見落とされているようだ。
可視性の向上、規制の回避、支出の増加
この報告書は、政策立案者が AI のエネルギーフットプリントに関する懸念にどのように対応すべきかについていくつかの提案を示しています。
一つ目は、AIの学習と推論のワークロードに関連する電力消費量と二酸化炭素排出量を測定するための標準を策定することです。これらの標準が確立された後、データイノベーションセンターは、政策立案者が自主的な報告を奨励すべきだと提言しています。
ここでのキーワードは「自発的」であるように思われる。団体はAIの規制に反対していないとしているものの、著者はAI業界を規制しようとすると双方にとって損失となるというジレンマを描いている。
「政策立案者は、自らの要求がAIモデルの学習と利用に必要なエネルギーを増加させる可能性があることをほとんど考慮していません。例えば、LLMのバイアス除去技術は、学習と微調整の段階でエネルギーコストを増加させることがよくあります」と報告書は述べています。「同様に、LLMが不快な発言などの有害な出力を返さないことを確認するための安全策を実装すると、推論中に追加の計算コストが発生する可能性があります。」
言い換えれば、安全策を義務付けようとすると、モデルの消費電力が増大する可能性があります。一方、電力制限を義務付けると、モデルの安全性が低下するリスクがあります。
当然のことながら、最終勧告では、米国を含む各国政府に対し、脱炭素化の手段としてAIへの投資を求めています。これには、建物、交通機関、その他の都市全体のシステムの最適化にAIを活用することが含まれます。
「この目標に向けて政府機関全体でAIの利用を加速させるために、大統領は技術近代化基金に対し、資金提供すべきプロジェクトの優先投資分野の一つとして環境への影響を含めるよう指示する大統領令に署名すべきだ」と同団体は記している。
もちろん、これらすべてには、より高性能なGPUとAIアクセラレータが必要になります。これらは直接購入するか、クラウドプロバイダーからレンタルすることになります。これは、これらのモデルを実行するために必要なツールを製造・販売するテクノロジー企業にとって朗報です。
そのため、NVIDIAが最近のブログ投稿でこのレポートを強く取り上げたのも不思議ではありません。NVIDIAは、AIハードウェアの需要が最高潮に達したため、ここ数四半期で売上高が急上昇しています。®
