Metaは本日、これまでで最大かつ最も高性能な大規模言語モデルであるLlama 3.1 405Bをリリースした。ソーシャルネットワークは、このモデルがOpenAIやAnthropicのトップモデルと互角に戦えると主張している。
「実験的評価の結果、当社の主力モデルは、GTP-4、GPT-4o、Claude 3.5 Sonnetなど、様々なタスクにおいて主要な基礎モデルと競合できることが示唆されました」とMetaは発表の中で述べ、このニューラルネットワークを「世界最大かつ最も高性能な公開基礎モデル」と表現しました。LLMに期待される通り、Llama 3.1 405Bは入力プロンプトから散文、チャット応答などを生成します。
今春初めに、80億および700億パラメータのより小型の兄弟製品のリリースと同時に初めて紹介されたMetaのLlama 3.1 405Bは、16,000個のNvidia H100 GPUを使用して、15兆を超えるトークン（それぞれが単語、フレーズ、数字、句読点の断片と考えてください）でトレーニングされました。
フェイスブックの巨人によれば、合計で4050億パラメータのモデルのトレーニングには3084万GPU時間相当が必要となり、11,390トンのCO2排出量に相当する排出量が発生したという。
しかしMetaは、最新のLlamaを意味のある時間で学習させるにはこれだけの計算能力が必要だったと主張しており、この規模で学習させたモデルは同社にとって初めてだ。Instagramの巨人であるMetaは、学習中の安定性を向上させるために、より複雑なエキスパートモデルの組み合わせを実装するのではなく、標準的なデコーダーのみのトランスフォーマーアーキテクチャを採用した。
その結果、少なくともMetaのベンチマークによれば、OpenAIやAnthropicのより大規模で独自のシステムよりも、様々なベンチマークにおいて優れたモデルが誕生しました。ちなみに、OpenAIのGPT-4は、パラメータ数が1兆8000億に達すると報告されています。
Metaは、同社の主力製品であるLlama 3.1 405Bモデルが、さまざまなAIベンチマークにおいてOpenAIのGPT-4やAnthropicのClaude 3.5 Sonnetと互角に戦えると主張している...クリックして拡大
一部の競合モデルよりも小型ですが、Llama を走らせるにはかなり強力なシステムが必要になります。
Metaのモデルは4050億個のパラメータを持つため、学習時の16ビット精度で実行するには約810GBのメモリが必要になります。これは、1台のNvidia DGX H100システム（H100アクセラレータ8基を1つの筐体に搭載）では処理できない量です。そのため、Metaはモデルの8ビット量子化バージョンをリリースし、メモリ使用量をほぼ半分に削減しました。
この量子化ステップがトレーニング前に実装されたのか、後に実装されたのかは不明です。Metaに問い合わせて詳細を確認しました。トレーニング後の量子化に関する実践ガイドは、こちらでご覧いただけます。
ラマ3がポイント1アップデートを取得
4,050億のパラメータを持つより大規模なモデルに加えて、Meta はより大規模な Llama 3 ファミリーにも多数のアップデートを展開しています。
3.1 リリースでは、オリジナルの 8B および 70B バリアントを含む 3 つのモデルすべてがアップグレードされ、8 つの言語 (英語、ドイツ語、フランス語、イタリア語、ポルトガル語、ヒンディー語、スペイン語、タイ語) のサポートと、大幅に拡大された 128,000 トークンのコンテキスト ウィンドウが追加されました。
これは、Llama 3 8Bおよび70Bのオリジナルリリースの8,000トークンから増加したものです。LLMのコンテキストウィンドウは、短期記憶のようなものと考えることができます。コンテキストウィンドウが大きいほど、入力プロンプトへの応答を生成する際に、モデルが特定の瞬間に保持できる情報量が多くなります。
8,000トークンは、カスタマーサービスチャットボットのような用途や、長文要約やコーディング支援といった特定のタスクにとっては妥当なコンテキストウィンドウのように思えるかもしれません。しかし、実際には、はるかに大きなコンテキストサイズの方が間違いなく有益です。GoogleがGeminiの100万トークンというコンテキストウィンドウを特に強調しているのは、まさにこのためです。
そして少なくともMetaによると、Llama 3.1のコンテキストウィンドウの拡大は、モデルの品質を損なうことなく実現されており、Metaによれば、モデルの推論能力は大幅に強化されているとのことだ。ただし、これは高度に人工的な推論であり、いつものように、知覚力のある知性は存在しない。
Meta の第 3 世代 Llama モデルと、Meta がそれらのトレーニングに採用したアプローチの詳細については、こちらの発売日の報道をご覧ください。
メタはラマスタックの詳細を示します
新しいモデルやアップデートモデルに加え、Meta は Llama の今後の方向性についてもビジョンを概説しました。
「Llamaモデルは、外部ツールの呼び出しを含む複数のコンポーネントを統合できる全体システムの一部として機能することを常に想定していました」と、ソーシャルネットワーク大手の同社は述べている。「私たちのビジョンは、基盤モデルを超えて、開発者がより広範なシステムにアクセスできるようにし、ビジョンに沿ったカスタムサービスを柔軟に設計・開発できるようにすることです。」
この一環として、Meta は、Llama Guard 3 安全モデルやプロンプトインジェクションフィルターである Prompt Guard などのサンプルアプリやコンポーネントを含むリファレンスシステムをリリースしました。
しかし、Metaはビジョンがまだ発展途上であり、AIの方向性を形作るために、業界パートナー、スタートアップ、そしてコミュニティメンバーからのフィードバックを求めていることを認めています。その一環として、Metaは「Llama Stack」と呼ぶもののGitHubページでコメント募集を開始しました。
Llama Stackは最終的に、ツールチェーンのコンポーネント（例えば、微調整や合成データ生成など）やエージェントアプリケーションの構築方法を定義する一連の標準化インターフェースを形成する予定です。Metaは、これらの取り組みをクラウドソーシングすることで、こうしたインターフェースが業界標準となることを期待しています。
- Nvidiaは中国市場向けにBlackwell GPUを準備中と報道
- AMDは、NVIDIAのGrace CPUスーパーチップやArmは同社のEpyc Zen 4コアには敵わないと主張している。
- OpenAIのGPT-4o Miniは確かに小さい。特定のテストでライバルに差をつけているように。
- ねえ、LLMを小さくしたよ！量子化とテストの初心者向けガイド
オープンAI開発への取り組み
AIモデルのオープン開発に関するMetaの立場は、ほとんど変わっていない。CEOのマーク・ザッカーバーグ氏は火曜日に公開した書簡の中で、オープンソースのLinuxカーネルがプロプライエタリなUnixオペレーティングシステムに勝利したことと比較しながら、オープンAI開発の重要性を強調した。
「Linuxが人気を博したのは、当初は開発者がコードを自由に変更でき、価格も手頃だったからです。そして時が経つにつれ、Linuxはより高度で、より安全になり、他のクローズドなUnixよりも多くの機能をサポートするより広範なエコシステムを持つようになったからです」と彼は書いている。「AIも同様に発展していくと確信しています。」
これに伴い、MetaはLlamaのライセンス構造も変更し、開発者がLlamaモデルの出力を他のモデルの改善に利用できるようにします。例えば、Llama 3.1 405Bを使用して大量の合成データを生成し、より小規模な非Metaモデルを学習させたい場合、それが可能になります。
なお、Llamaのライセンスは過去に多少議論を呼んだことがあるので、注意が必要です。Metaのライセンスに納得できない場合は、Microsoft、MistralなどからMITおよびApache 2.0ライセンスのモデルがいくつか提供されています。
いずれにせよ、Llama 3.1 の 3 つのモデルは、Hugging Face と Meta の Web サイトの両方からダウンロードできます。405B を含め、自宅で試してみたい場合は、こちらのローカル LLM ガイドをご覧ください。®
