それは、それは、赤と青の縞模様のゴルフ傘です...Facebookはオンラインタトゥーバザーに販売されているものを自動識別する方法を教えています

Facebookは、ユーザーが商品を売買できるプラットフォームであるMarketplaceを刷新し、写真内のオブジェクトを自動的に認識してラベル付けしたり、2D画像を3Dビューに変換したりできる一連のAI搭載機能を搭載したとしている。

同社が「ユニバーサル・コンピューター・ビジョン・システム」と呼ぶシステムの中核を成すのは、GrokNetと呼ばれるモデルです。マーケットプレイスの販売者が投稿した何百万枚もの実画像で学習されたGrokNetは、画像に写っている物体の説明を吐き出し、自動車から家の装飾品まで、ほぼあらゆるものに対応できます。

例えば、ギアを分類し、色、素材、スタイルなどの特性を識別できます。例えば帽子の画像が与えられれば、「ベージュのコーデュロイのワッチキャップ」や「クリーム色のケーブル編みのフェドーラ帽」など、適切なラベルを付与できます。

GrokNetは、7つの画像データセットから学習したアイテムを83個の損失関数を用いて識別する大規模モデルです。「各データセットには固有の難易度があることを発見しました」と、Facebookの研究科学者とエンジニアのチームは今週説明しました。

簡単なタスクはそれほど多くの教師を必要としないため、重みを小さく設定できます。この知見は、複数のタスクを同時に実行して精度を向上させるのに役立ちました。難しいタスクでは、損失関数に非常に大きな重みを適用し、学習時にバッチごとに多くの画像を適用する必要があります。

よりシンプルなデータセットの場合、重みを小さくし、バッチあたりの画像数を少なくすることができます。この統合モデルでは、バッチサイズの大部分を難易度の高いデータセットに割り当て、シンプルなデータセットにはバッチあたり1～2枚の画像のみを割り当てました。これにより、スケールアップが可能になり、83個の損失関数すべてが同時に適切に機能することを保証できました。

PyTorchで記述されたこのモデルは、96基のGPUで学習されたとのことです。現在、本番環境では、Facebookが推進するOpen Compute Projectのブループリントに基づいて構築されたサーバー上で実行され、推論にはPyTorchランタイムが使用されています。

この予測機能は、Facebookマーケットプレイスの検索システムとレコメンデーションシステムの強化に活用できます。特定の商品に興味のある購入者が探している商品を説明すると、システムはAIが自動生成した説明文から、それに合った商品を表示します。これは、販売者が書いたキャプションに頼るよりも、多少は信頼性が高いと言えるでしょう。

GrokNetは、画像を複数の部分に分割し、検出・識別された各アイテムの周囲にアウトラインを配置することで、写真内の複数のオブジェクトにラベルを付けることができます。インスタンスマスク投影と呼ばれるツールは、例えば首に巻かれたスカーフなどの物体の全体的な形状を予測するために使用され、ピクセルを分析して色や模様などの詳細を抽出します。

現時点では、このモデルの出力はマーケットプレイスの検索機能向上に活用されています。しかし、Facebookの最終的な目標は、Instagramやマーケットプレイスなど、Facebookのアプリ全体で汎用的なコンピュータービジョンシステムを活用し、スナップ写真内のオブジェクトを自動的に検出・識別できるようにすることです。これにより、例えば、ユーザーが写真の中で興味のあるものを選択し、AIが生成した説明文を表示して、オンラインで商品を注文できるようになります。

2D映像を3Dモデルに変換する

もう1つの機能は「回転ビュー」です。これは基本的に、2D画像を3Dビューに変換するもので、家具などをさまざまな角度から見るのに特に便利です。

「例えば、売り手がマーケットプレイスに18×60インチの栗材の素朴なコーヒーテーブルを出品したい場合、短い動画クリップを撮影できます。購入希望者は、テーブルを360度回転させたり動かしたりして、色、サイズ、スタイル、状態が自分のスペースに合うかどうかを確認できます」とFacebookのエキスパートたちは述べています。

実際には、アルゴリズムが動画クリップの2D静止画で検出された特徴を、オブジェクトの3Dビューにマッピングし、スムーズに回転させることができます。回転ビューは、現時点ではiOSのマーケットプレイスでのみ初期テストとして利用可能です。

「私たちの長期的なビジョンは、数十億もの商品を正確に検索・ランク付けし、個人の好みに合わせてパーソナライズできるオールインワンのAIライフスタイルアシスタントを構築することです。このシステムにより、オンラインショッピングは、実生活で友人と買い物をするのと同じくらいソーシャルなものになるでしょう」とチームは述べています。

さらに一歩進めれば、ビジュアル検索を進化させ、現実世界の環境をショッピングに活用できるようになります。気に入ったもの（衣類、家具、電化製品など）を見つけたら、写真を撮るだけで、システムがその商品だけでなく、類似商品も複数見つけて、その場ですぐに購入できるようになります。

Facebookは、ソーシャルメディアプラットフォームを拡張し、より多くのeコマースオプションに対応しています。企業がオンラインカタログで商品を宣伝できる新しい方法「Facebook Shops」を導入しました。

顧客はWhatsApp、Messenger、Instagram Directを通じて販売者とやり取りできます。ショップは現在利用可能です。Instagram版「Instagram Shop」も提供されており、こちらは今年の夏にリリース予定です。®