Nvidiaは月曜日、プロ用ノートパソコンを対象としたエントリーレベルのノートPC用GPUを2つ発表した。その性能は、IntelやAMDのスタンドアロン型システムオンチップ（SoC）の性能をはるかに上回るという。
2022 年後半にデビューした Ada アーキテクチャをベースにした RTX 500 および 1000 Ada 世代カードは、それぞれ 2,048 ～ 2,560 個の CUDA コアと 64 ～ 80 個の Tensor コアから圧縮された、154 および 193 teraFLOPS のスパース FP8 パフォーマンスを誇ります。
エントリーレベルのカードに関しては、Nvidia は、これが「CPU のみの構成と比較して、Stable Diffusion などのモデルの生成 AI パフォーマンスが 14 倍、AI を使用した写真編集が最大 3 倍、3D レンダリングのグラフィック パフォーマンスが最大 10 倍」になると主張しています。
しかし、いつものように、そのような主張は鵜呑みにしないことをお勧めします。
NvidiaのエントリーレベルのRTX 500と1000は、Ada Lovelaceアーキテクチャをベースにした最新のモバイルプロセッサです。 - クリックして拡大。出典：Nvidia。
NVIDIAはビデオレンダリングなどのプロフェッショナル向けアプリケーションにも触れていますが、新興のAI搭載PCセグメントに注力していることは明らかです。このセグメントでは、NVIDIAのローエンドGPUでさえ、IntelやAMDのCore UltraやRyzen 8040シリーズプロセッサ（それぞれ34TOPSと39TOPS）を凌駕しています。しかも、これはCPU、NPU、GPUの性能を合計した値です。
しかし、AIモデルをローカルで実行するには、十分な高速メモリの供給がより重要です。この点において、顧客は新しいカードに多少の制約を感じる可能性があります。ベースモデルのRTX 500 Adaは、ピーク帯域幅128GB/sの4GB GDDR6メモリを搭載しています。一方、ハイエンドモデルのRTX 1000 Adaは、最大6GBのメモリを搭載し、192GB/sの帯域幅を実現します。
Nvidia は、企業がこれらのカードを使用して「ローカルの大規模言語モデルを使用したチャットボットのようなインターフェースで社内の知識ベースを照会する」ことを想定しています。
しかし、4GB～6GB のメモリで動作する場合、量子化によってメモリ サイズを縮小したり、浮動小数点の精度を犠牲にして Int4 などに下げるなどの巧妙なトリックに頼らなければ、人気の高い LLM の多くに十分なスペースは残りません。
この点を強調すると、Nvidia が最近発表した Chat with RTX (Ampere カードと Ada Lovelace カードの所有者がダウンロードして自分のマシンでローカルに実行できる AI チャットボット) は、必要なメモリが不足しているため、本日発表されたどちらのカードでも実行できない。
一般的に、8ビット浮動小数点または整数精度でモデルを実行するには、10億パラメータごとに約1GBのビデオメモリが必要です。そのため、比較的小型のAI PCパフォーマンスベンチマークとしてよく使用されるMetaのLlama 2 7Bでは、約7GBのメモリが必要になります。
この制限を回避するには、より高価な RTX 2000 Ada にアップグレードするか、量子化モデルや低い精度を利用してモデルのメモリ フットプリントを削減する必要があります。
しかし、Llama 2 7BやStable Diffusionのようなチャットボットや画像生成モデルをいじくり回せるという点を除けば、ローカルモデルを活用できるソフトウェアはまだ比較的少なく、存在するソフトウェアも主にクリエイティブな用途向けです。マイクロソフトがWindowsオペレーティングシステムにAI機能をさらに搭載していくことで、この状況は変化すると予想されます。おそらくクラウドサーバーの負荷軽減が目的でしょう。
- デルは好むと好まざるとにかかわらず「すべてのPCがAI PCになる」と約束している
- マスク氏、Windows 11のMicrosoftアカウント要求についてナデラ氏に「テキストメッセージ」
- AI搭載PCの誇大宣伝バブルは膨らむが、ソフトウェアサポートはマーケティングに遅れをとっている
- AI搭載PCの誇大宣伝は、少なくともハードウェアの面ではPCをより良くしているようだ
NvidiaはIntelやAMDのSoCに対してパフォーマンス面で優位性を持っているかもしれませんが、これらのカードにはいくつかの欠点があります。特に消費電力と熱容量に関しては顕著です。RTX 500 Adaは35W～60Wの電力エンベロープで構成できますが、RTX 1000 AdaはベースTDPは同じですが、消費電力は140Wを超えます。
ノートPC向けアクセラレータでは、チップの性能は特定のフォームファクタにおけるシステムの冷却能力によって決まることが多いため、この広い動作範囲は珍しくありません。これはまた、OEM各社が可能な限り静音性と冷却性に優れた薄型ノートPCを優先することで、NVIDIAが謳う性能目標を達成する能力が阻害される可能性があることも意味します。
Nvidia はThe Registerに対し、154 および 193 teraFLOPS という数値はピーク TDP で達成されたと述べています。
これらの GPU のいずれかを購入することにご興味がある場合、Nvidia では、この春後半に Dell、HP、Lenovo、MSI などの OEM ノートパソコンに搭載されて出荷が開始されると予想しています。®
