あるエンジニアが、自尊心のあるレゴファンなら誰もが羨むもの、AI 搭載のレゴ仕分けマシンを開発しました。
オーストラリア出身のソフトウェアエンジニア、ダニエル・ウェスト氏が、この装置を2年かけて開発しました。もちろん、これもレゴで作られています。高さ約80センチのこの見事な装置は、1万個以上のレゴパーツと、ベルトコンベアに沿って仕分けが必要なパーツを動かすための15個のモーターを備えています。ウェスト氏によると、この装置は2秒ごとに1個ずつという速度で、2,927種類のレゴパーツを18個のビンにまとめ、バケツ一杯分のパーツを処理できるとのことです。なかなか良い出来ではないでしょうか？
機械がガタガタと音を立てて動いている様子は以下からご覧いただけます。
YouTubeビデオ
仕組みはこうです。まず、機械上部のシュートから、大量のレゴパーツがランダムに投入されます。色とりどりのレゴの川は、振動フィーダーによって加工・振動され、個々のパーツへと濾過されます。これらのパーツは、Raspberry Piコンピューターの下を通過します。
コンピューターにはカメラが内蔵されており、通過するブロックの一連の画像を撮影し、人気の畳み込みニューラルネットワークであるResNet-50を実行するラップトップに送信してブロックを分類します。そして、その結果がコンピューターに送り返され、適切なゲートの組み合わせが開かれ、特定のブロックが適切なバケツに落ちるようになります。
レゴの分類は人間にとっては些細で退屈な作業かもしれませんが、機械学習モデルにとっては実はかなり難しい作業です。レゴのパーツは何千種類もの種類と色があり、角度によってそれぞれ見え方が異なるため、適切な組み合わせのトレーニングデータセットを収集することが最も困難な作業であったのも不思議ではありません。
ウェスト氏は今週、 The Register紙の取材に対し、当初はレゴブロックの模造品を作ろうとしたと語った。レゴ愛好家が仮想的にレゴを組み立てられるオープンソースプログラム「LDraw Part Library」からパーツの3Dモデルを取得し、無料のアニメーションソフトウェア「Blender」でレンダリングした。
3Dモデルのブロックは、様々な角度や色でシミュレーションできるようになりました。これらの個々の画像は、なんと2500万枚を超える画像を含む合成データセットにまとめられました。しかしウェスト氏の苛立ちは募り、偽の画像で訓練した彼のAIレゴソーターは本物のパーツを識別できなかったのです。
「プロジェクトを完全に諦めかけました」と彼は語る。「合成画像をリアルな画像に変換する複雑な手法を何ヶ月もかけて実装しましたが、ほとんど成果が出ませんでした。」そこで彼は、シミュレーションと現実のギャップを埋めるためにロボット工学でよく使われる別の手法、ドメインランダム化に着目した。
世界初のユニバーサルレゴ分類マシン？
ドメインランダム化は、モデルがデータのより多くのバリエーションを認識できるようにトレーニングします。システムは、レゴブロックの回転や色の違いだけでなく、様々な照明効果、テクスチャ、ノイズも考慮するように学習しました。レゴソーターの性能をさらに向上させるために、ウェスト氏は実際のレゴブロックのスナップ写真を含む小規模なデータセットも組み込みました。
「実際のデータセットには私の個人コレクションのパーツしか含まれておらず、その種類はわずか544種類です」と彼は述べた。これらのパーツはレゴコレクションでよく見られる種類であるのに対し、合成データセットにはより希少な種類が含まれている。
レゴで海を埋め尽くすのを止めるには？おもちゃメーカーはBaaSの遅れを取ることを提案
続きを読む
両方のデータセットで学習させることで、ウェスト氏のレゴ選別機のカメラは、理論上は実際に見たことのないピースも認識できるようになるはずです。つまり、この機械は合成データセット内のブロックのうち、ウェスト氏の個人コレクションには含まれていないブロックを分類できるということです。性能は個体差がありますが、実際のデータセットに含まれるパーツの識別精度は93%であるのに対し、合成データセットのみに含まれるパーツの識別精度は74%です。
ウェスト氏は、AWSでレンタルした約800個のCPUコアを用いて、1日かけてResNet-50を学習させた。レゴソーターは、ゲーミングノートPCによく搭載されているNVIDIAのGeForce RTX 2060グラフィックカード上で動作する。ウェスト氏は、低性能のGPUでも十分に高速に動作すると考えている。彼は将来的にコードを公開する予定だ。
これは世界初のレゴ選別機ではありません。ウェスト氏は他の機器、特にAIアルゴリズムを採用したものから着想を得ました。しかし、彼はこれを世界初のユニバーサル・レゴ選別機だと主張しました。「最先端のAIを搭載することで、これまでに製造されたあらゆるレゴパーツを認識し、選別できるため、『ユニバーサル』と名付けました」と彼は言います。
「生涯のレゴファンとして、2011年にアキユキさんのオリジナルのレゴ仕分けマシンを見て以来、同じようなマシンを作りたいとずっと思っていました」とウェスト氏は続ける。「3年ほど前、コンピュータービジョンに興味を持つようになりました。
AIとCNNがブームになり、私はそれらを熱心に研究し始めました。また、当時はビデオゲーム『Airscape: The Fall of Gravity』をリリースしたばかりだったので、コンピュータグラフィックスの経験も豊富でした。自分のスキルを独自の方法で組み合わせることで、実際に動作するレゴ仕分けマシンを作るという長年の夢を実現できると気づき、同時にAIシステムの設計と導入に関する実務経験を積むことができました。®
