英国のチップスタートアップ企業 Graphcore が、グラフ処理の魅力的な画像を制作しました。
10月にGraphcoreが3,000万ドルのAラウンド資金調達を実施したという記事を執筆しました。このプロセッサ設計企業は、当時XMOS傘下で2年間ステルス状態にあった後、CEOのナイジェル・トゥーン氏とCTOのサイモン・ノウルズ氏によって設立されました。XMOSはマイクロコントローラーを開発するファブレス半導体企業で、2005年に英国ブリストルで設立されました。トゥーン氏はXMOSのCEOでした。
Graphcore の投資家は、Bosch、Samsung、Amadeus Capital、C4 Ventures、Draper Esprit、Foundation Capital、Pitango Venture Capital など多岐にわたります。
Toon 氏のブログ記事によると、同社の出発点は、機械学習アルゴリズムは向上しているものの、コードは並列処理機能を提供する Nvidia などの GPU の支援を受けた汎用 CPU 上で実行されているという認識だったという。
トゥーン氏とノウルズ氏は、特定のグラフプロセッサ、すなわち関連するPoplarソフトウェア、グラフコンパイラ、そして機械学習用のオープンソースのグラフライブラリセットを備えたIPU（インテリジェント・プロセッシング・ユニット）を設計することが実現可能であると判断しました。IPUハードウェアとPoplarソフトウェアは既に存在しています。
2015年のImageNet大規模画像認識コンペティションにおいて、Microsoft ResearchがResNet-50ディープニューラルネットワークアーキテクチャで画像分類部門の優勝を果たしました。GraphcoreはPoplarを用いてResNet-50ネットワークの仕組みを示す画像を作成しました。これは、学習済みのネットワークであり、画像分類に使用される状態です。
Poplarコンパイラは、例えばMicrosoftの50層ネットワークの記述を、322万頂点と621万辺からなる計算グラフに変換します。このグラフは、GraphcoreのIPUの並列実行プランとしてResNet-50を表現しています。頂点（点）は計算プロセスを表し、辺（線または円弧）はプロセス間の通信を表します。
以下は、グラフ内のレイヤーに元の技術論文の対応するレイヤーのラベルが付けられたグラフです。
Graphcore Poplarが作成したラベル付きレイヤー付きResNet-50グラフ
各層は異なる色で表示されています。画像に見られるクラスタリングは、ネットワークの各層におけるプロセス間の集中的な通信と、層間の通信の低さによって生じています。
このような画像の一部を詳しく見てみると、さらに複雑なことがわかります。
ResNet-50グラフの詳細。画像をクリックすると拡大表示されます。
エッジ (線または円弧) が非常にはっきりと見えます。
Graphcore のブログ記事「AI の『脳』内部 ― 機械学習とはどのようなものか？」では、この点についてさらに詳しく説明されており、より多くの画像のクローズアップが掲載されています。
このようなチャートは、処理リソースがどこに割り当てられているかを確認するのに役立つと思われます。Graphcore社によると、同社のIPUアプローチがうまく機能する理由の一つは、ディープネットワークを効率的に実行するため、モデル全体をIPU上でホストできるため、GPUパフォーマンスを制限すると言われる外部メモリのボトルネックを回避できる点です。
このため、Graphcore社は、同社のIPUはx86 CPUやGPUよりも高速に機械学習モデルを学習できると主張しています。もしこれが事実であれば、機械学習／ニューラルネットシステムの普及が進むにつれて、Graphcore社は機械学習の中核を担う存在となるかもしれません。®
