Nvidia は、Jetson Orin Nano Super と呼ばれる新しい小型開発ボードを発売し、ホリデーシーズンに向けて AI の盛り上がりを家庭にもたらします。
Nvidia は、このボードを「最も手頃な価格の生成 AI スーパーコンピューター」と大胆に宣伝しているが、この表現は少々大げさかもしれない。
この開発キットは、Raspberry Pi Compute Moduleに似たシステムオンモジュールで構成されており、I/Oと電源用のリファレンスキャリアボード上に搭載されています。Raspberry Piと同様に、このNVIDIAの小型開発キットは、生成AIの実験に興味のある開発者や愛好家を対象としています。
Raspberry Pi コンピューティング モジュールと同様に、Nvidia の Jetson Orin Nano Super 開発キットは、I/O と電源用のキャリア ボードに取り付けられた SoC を含むコンピューティング モジュールで構成されています。 - クリックして拡大
Orin Nano の内部には、6 つの Arm Cortex-A78AE コアと、1024 個の CUDA コアと 32 個の Tensor コアを備えた旧式の Ampere アーキテクチャに基づく Nvidia GPU が搭載されています。
ハードウェア設計はオリジナルのJetson Orin Nanoと全く同じように見えます。しかし、NVIDIAによると、このボードにはアップグレードされたソフトウェアが付属しており、パフォーマンスをさらに向上させ、元の価格499ドルから249ドルに値下げされています。
パフォーマンス面では、Jetson Orin Nano SuperはINT8で67 TOPSを誇り、これは102GB/sのメモリ帯域幅を実現する8GBのLPDDR5メモリを搭載したIntel、AMD、Qualcommの最新AI PCのNPUよりも高速です。NVIDIAによると、これらのスペックは前モデルと比較してパフォーマンスが70%向上し、メモリ帯域幅が50%増加していることを反映しています。
帯域幅の高速化は、現代のAIチャットボットを支える大規模言語モデル（LLM）を自宅で試してみたい方にとって特に重要です。102GB/秒の帯域幅であれば、Metaの80億パラメータLlama 3.1モデルの4ビット量子化バージョンを実行する場合、開発キットは1秒あたり約18～20トークンの速度で単語を生成できると推定されます。
TOPS、メモリ容量、帯域幅がモデルのパフォーマンスにどのように関係するかを知りたい場合は、こちらのガイドをご覧ください。
I/O に関しては、開発キットのキャリア ボードには、ギガビット イーサネット、DisplayPort、4 つの USB 3.2 Gen 2 タイプ A ポート、USB-C、M キーと E キーを備えたデュアル M.2 スロット、さまざまな拡張ヘッダーなど、SBC の通常の接続機能が備わっています。
- ローカルAI用にPCを買う？本当に重要なスペックはこれだ
- Nvidia の CUDA の堀は実際どれくらい深いのでしょうか?
- 欧州委員会は、NVIDIAによるRun.aiの買収について詳細に検討するよう指示した。
- LLMパフォーマンスのためのチートコード：投機的デコード入門
ソフトウェアサポートの面では、Armコアに問題があると思われるかもしれませんが、実際にはそうではありません。NVIDIAは長年にわたりArmプロセッサ搭載GPUをサポートしており、中でもGH200とGB200は、カスタムArmベースのGrace CPUを搭載した最も洗練された設計となっています。つまり、NVIDIA Isaac、Metropolis、Holoscanなど、GPU大手のNVIDIAのソフトウェアスイートの幅広いサポートが期待できるということです。
この開発キットは、Nvidia の Jetson AI ラボから利用できるさまざまなオープン AI モデルに加えて、ロボット工学やビジョン処理のワークロード向けに最大 4 台のカメラもサポートします。
Nvidia は、新しい開発キットに加えて、モジュール上の旧型の Jetson Orin NX および Nano システムに対するソフトウェア アップデートもリリースしており、これにより GenAI のパフォーマンスが 1.7 倍向上するとのことです。そのため、すでに Orin Nano を入手している場合は、それほど大きなメリットを逃すことはないはずです。®
