OpenAIのボットは、コンピューターゲームDota 2の毎年恒例のオリンピックであるThe Internationalで、3戦3本勝負で人間のプロに0-2で敗退し、木曜日に敗退した。
Dota 2は、世界中で数十万人がプレイする大人気オンラインバトルストラテジーゲーム（コマンド＆コンカーとトールキンの融合をイメージしたようなゲーム）です。マップを制圧し、タワーを破壊して基地を制圧し、究極の報酬である敵の「エンシェント」を奪取することが目的です。
チームはヒーローと呼ばれる5人のプレイヤーで構成されます。100種類以上のヒーロータイプがあり、それぞれに長所と短所があります。プレイヤーはファームや敵の撃破によってゴールドを集め、回復ポーションやヒーローキャラクターの特殊能力などのアイテムを購入することもできます。
OpenAIチーム「OpenAI Five」は、木曜日に行われた人間との対戦第2ラウンドで、元Dota 2の中国プロチームと対戦した。機械学習ソフトウェアエージェントは序盤から有望な動きを見せていた。OpenAI Fiveは水曜日の第1ラウンドよりも落ち着き、よりアグレッシブなプレーを見せた。エージェントたちは敵を追い詰めるために団結し、試合開始2分以内にタワーへと一直線に進んだ。
戦闘でもかなり堅実なプレーを見せ、開始時点ではキル数で9対4とリードしていました。しかし、人間側はキル差を縮めるために反撃し、タワーの数が少ないにもかかわらずゴールドを獲得しました。しかし、試合の3分の2近くが経過した頃、OpenAI Fiveはロシャンとの戦闘で2つのタワーを失いました。ロシャンは、倒されてもプレイヤーが素早く復活できる強力なアイテムを落とすモンスターです。
OpenAIのボットが人間のDota 2プロとの初対戦で大敗
続きを読む
23分時点では、人間チームとAIチームはキル数とタワー数でほぼ互角でした。しかし、試合が進むにつれて、人間チームは激しい衝突でボットチームを圧倒し、ヒーローキャラクターを強化するための強力なアイテムを購入するためのゴールドで圧倒的なリードを築きました。最終的に、OpenAI Fiveのタワーはすべて破壊され、人間チームがエージェントのエンシェントを破壊して勝利を収めるのは時間の問題でした。
OpenAIにとって、これは特に神経をすり減らす試練だった。同社のソフトウェアは前日、Team paiNと呼ばれるグループとの人間との初戦に敗れたからだ。
「特にショックは受けていません」と、OpenAIの技術スタッフであるフィリップ・ウォルスキ氏はThe Register紙に語った。「私たちは非常に不確実な状況でこの大会に臨みました。試合当日でさえ、誰と対戦するのかなど、いくつかのことについては全く分かりませんでした。」
OpenAIはしばらくの間、Dota 2の攻略に取り組んでおり、トレーニングと開発の過程で機械学習アルゴリズムに試練を与えるため、ゲーム条件の難易度を徐々に上げてきました。コンピューターコードは人間と同じレベルの複雑さでプレイすることはできず、試合にはヒーロー、アイテム、アビリティの選択肢が限られるなど、いくつかの制約があります。ボットには、超高速の反応時間や、ゲーム中にマップ全体を一度に見渡せる能力など、いくつかの利点がありました。
徹夜
エンジニアたちは昼夜を問わずOpenAI Fiveのコードを微調整し続けました。彼らは、試合中にプレイヤーにアイテムを運ぶ無敵のクーリエを5人までしか使えないという制限を撤廃し、キル可能なクーリエを1人だけにすることで、よりリアルなゲーム体験を実現することを決定しました。この変更は、OpenAI FiveがThe Internationalに出場するわずか数日前に実装されました。
水曜日に初敗北を喫した後、プログラマーたちはAIの報酬システムを調整し、勝利の可能性を最大化しようと試みました。OpenAI Fiveは強化学習を用いて訓練されており、ボットは報酬を追いかけるようにプログラムされています。
「最大の報酬はボットがゲームに勝利したときに与えられます」とウォルスキ氏はThe Registerに説明した。「中間報酬は、敵のヒーローを倒したりゴールドを獲得したりするといった行動に対して与えられます。他のタスクと比べてゲームに勝利することにより重点を置くように、中間報酬の額を下げることにしました。」
OpenAI Fiveは人間にとって手強い敵だった。戦闘において呪文を繰り出す際には外科手術のような精度を誇っていたが、戦略的な計画性の欠如がソフトウェアの敗北を招いた。
「このプロジェクトには、何晩も眠れぬ夜を過ごしました」とウォルスキ氏は語った。「家に帰って休み、おそらくボットに適切なハイパーパラメータをアップロードできたかどうかにこだわることになると思います。しかし、Dota 2の開発は続け、より制限の少ないゲームで、より快適にプレイできるよう努めていきます。」®
