ザ・インターナショナル過去1時間、OpenAIの人工知能ボットは、ビデオゲームの毎年恒例のチャンピオンシップトーナメントであるザ・インターナショナルで、大ヒットコンピューターゲームDota 2のプロ選手との初戦に敗れた。
これは、人間のプロ選手と OpenAI のコードによる 3 本勝負の対戦の最初の試合であり、残りの 2 ラウンドは今後 2 日間にわたって行われ、各日、異なる人間チームが対戦する。
カナダ、バンクーバーのロジャース・アリーナには、光るブレスレットを身に着けた何千人もの熱狂的なDotaファンが集まり、OpenAIのソフトウェアを搭載したマシンとプロプレイヤーが対戦する第1ラウンドを観戦した。「Team paiN」と名付けられたこのチームはブラジル出身の5人のプレイヤーで構成され、OpenAI Fiveは5人の長期短期記憶ニューラルネットワークベースのエージェントで構成されている。
Dota 2は、オンラインでプレイされる人気のバトルストラテジーゲームです。目標は、拠点を制圧し、敵の聖なる建造物「エンシェント」を破壊することです。チームは散発的な戦闘で激突し、画面はプレイヤー全員が様々なきらびやかな呪文やパワーを唱えることで輝きます。まるで『コマンド・アンド・コンカー』とトールキンが融合したようなゲームです。
45分以上続いた接戦でした。OpenAIのボットたちは開始直後からかなり混乱しているように見えました。3人組のグループが混乱した様子でぐるぐると歩き回り、人間チームはマップを探索していました。しかし、ソフトウェアエージェントはすぐに正気に戻り、序盤は互角の戦いとなりました。最初の血はTeam paiNが注ぎ、その後は互いにキルを取り合う展開となりました。
しかし、ゲームが3分の1ほど進むと、ボットが戦闘を優位に進め始め、より多くのゴールドを獲得しました。その後、人間チームが追い上げを見せ、より多くのタワーを奪取し始めました。OpenAI Fiveがより多くのキルを獲得していたにもかかわらず、ゲームは接戦の様相を呈していました。しかし、ボットチームのタワーは徐々に陥落し、最終決戦ではAIチームが全滅し、エンシェントが無防備な状態になりました。人間チームはあっという間にエンシェントを破壊し、勝利を収めました。
「今回はプロとの対戦がはるかに難しいので、勝利への自信は薄かった。負けたのは残念だが、これほど長い試合でトップチームと戦えたことを嬉しく思う」と、OpenAIの技術スタッフであるフィリップ・ウォルスキ氏はThe Registerに語った。
OpenAI Fiveは、チームワークを必要とする強敵ロシャンの巣の外に居座るなど、奇妙な行動を見せました。ロシャンを倒すことは、ゴールドと、ヒーローが死亡後に素早く復活できるアイテムを獲得できるため、非常に重要なステップです。しかし、ロシャンに倒されると、時間、労力、そしてリソースを浪費してしまいます。その間、マップは敵チームにタワーを破壊される余地を残しています。そのため、少しでも躊躇することは得策ではありません。
また、ボットは戦闘中に奇妙なタイミングで強力な呪文を唱えることもあり、近くに敵がほとんどいない、あるいは全くいないときもあった。
制限されたプレイ
Dota 2は複雑なゲームです。ヒーローと呼ばれる100人以上のプレイアブルキャラクターが登場し、それぞれに長所と短所があります。中には強力な魔法を使えるもの、素早く移動できるもの、非常に強いもの、さらには赤ちゃんクモを装備しているものまでいます。これらに加え、ゴールドを集めてヒーローを強化するための様々なアイテムを購入できることが、このゲームを非常に複雑なものにしています。
しかし、Team paiNとOpenAI Fiveの対戦は、これらすべてを網羅しているわけではありません。現時点では、コンピューターが習得するには組み合わせや可能性が多すぎるのです。OpenAIは、ボットの性能向上に伴い、ゲームプレイ中のソフトウェアエージェントへの制限を着実に緩和してきました。つまり、実質的に補助輪を外しているのです。これらの変更には以下が含まれます。
- 各試合でプレイできる AI ヒーローの数が 5 から 18 に増加しました。
- 両チームのキャラクターは、OpenAI のエンジニアと人間のチームによってバランスが取れるように合意されています。
- 人間のプレイヤーにチャンスを与えるために、エージェントの反応時間は 80 ミリ秒から 200 ミリ秒に増加しました。
- 体力ポイントを回復するボトルなど、さらに多くのアイテムがゲーム内で使用できるようになりました。
- 無敵のクーリエが 5 人ではなく、殺せるクーリエが 1 人だけなので、クーリエが運んでいるアイテムを一度に使用できるヒーローは 1 人だけであり、アイテムは失われることがあります。
両チームのヒーローを事前に選出するという決定は、時間を節約するために OpenAI と The International の主催者によって行われたと伝えられている。
プロプレイヤーは、反応時間、チームワーク、そして様々な戦略を向上させるために何時間も練習します。幸運なことに、OpenAI Fiveにも十分な練習時間がありました。実際、OpenAI Fiveは1日で、人間の一生でプレイできるよりも多くのゲームをプレイできます。各ボットはトレーニングプロセス中に毎日180年もの経験を積んでいきます。つまり、チーム全体では1日あたり900年に相当するのです。
人間とは異なり、ボットはクローン化が可能です。OpenAIはRapidと呼ばれる技術を採用しています。これは、複数のエージェントが多数のゲームを並行してプレイすることを可能にする強化学習フレームワークです。これらのエージェントはバッチ処理で知識を蓄積し、それを用いて汎用強化学習アルゴリズムである近似方策最適化（PPO）アルゴリズムを用いて、OpenAI Fiveの5つのボットすべてをトレーニングします。ボットは常に自分自身と対戦しており、この方法はセルフプレイと呼ばれます。
このトレーニングには、膨大な量のGPUとCPUが消費されます。OpenAIは、8月の練習試合後、The Internationalに向けてどれだけのCPUが使用されたかを正確には明らかにしていません。しかし、端的に言えば、かなりの量です。今年初めに行われた一連の非公式試合に向けてのトレーニングでは、Google Cloud上で12万8000個のCPUコアと256個のNvidia P100 GPUが消費されました。
あと2試合
ボットには、経験値以外にも利点があります。マップ全体とゲームの状態を一度に把握できるのです。ヒーローの体力や位置、インベントリ内のアイテムなど、すべての情報が4フレームごとにニューラルネットワークに送られます。「まるで目を閉じてプレイし、4フレームごとに目を開けているようなものです」と、OpenAIの共同創設者兼CTOであるグレッグ・ブロックマン氏は以前The Registerに説明しました。
OpenAIボットがDota 2のヒーローに勝つには何が必要か？128,000個のCPUコア、256個のNvidia GPU
続きを読む
そのため、OpenAI Fiveはマップ全体を一度に見渡すことができますが、人間はマップのさまざまな部分を見るためにヒーローを手動で動かす必要があります。つまり、両チームは同じ情報にアクセスできますが、同時にアクセスできるわけではありません。
ゲームプレイの反応時間は約80ミリ秒から200ミリ秒に短縮され、ボットの反応時間は人間プレイヤーとほぼ同等になりましたが、AIプレイヤーは依然として優位に立っています。単純なタスクであれば、正しいボタンをクリックすることはほぼ筋肉の記憶に頼ることになりますが、特定の呪文をいつ使うかといった重要な瞬間になると、人間はしばしば立ち止まって熟考し、1～2秒ほどかかることが多いのです。コンピューターは依然として数百ミリ秒単位で動作しています。
しかし、コンピューターが負けたのは、人間が磨き上げた長期戦略を持っていなかったためだと思われます。
「今日、我々が証明したのは、まさに人間の能力の限界点にいるということです。そして、試練はプロチームに勝てるかどうかです」とブロックマンは数分前に語った。「今週はザ・インターナショナルで他のプロチームと対戦する予定です。明日と金曜日に詳細をお伝えします。我々にとっての試練は、今週プロチームに勝てるだけのハイレベルなプレーができるかどうかです。」
OpenAIはここしばらく、Dota 2の攻略に着実に取り組んできました。昨年は、両チームが同じヒーローを使って戦うミラーマッチ（1対1の制限付きゲーム）で、The InternationalのプロプレイヤーであるDendiを静かに圧倒しました。
今年はこれが 5 対 5 の試合に増え、今月初めの公開試合でセミプロとの対戦が行われるまでは、これらも当初はミラーマッチでした。
OpenAI Fiveの勝利に注目が集まりがちですが、敗北こそが私たちの進歩の原動力です。8月9日、@teamsecret（プロサーキット4位）との3戦勝負で惨敗しましたが、SecretがFiveのプレイスタイルに適応したため、1ゲーム目は勝利しました。先週はプロではないチームにいくつか敗れました。明日は…？
— グレッグ・ブロックマン (@gdb) 2018年8月21日
OpenAI Fiveは初戦に敗れましたが、まだ終わりではありません。3試合を終えて最高の戦いぶりを見せ、木曜日と金曜日にはさらに多くのプロチームと対戦します。今後の展開にご期待ください。®
