プレイヤーに汗をかかせる数少ないコンピューターゲームの一つである「ダンスダンスレボリューション」が、人工知能の恩恵を受けている。
このゲームはアーケードでよく見かけます。プレイヤーは上下左右の矢印ボタンが付いた金属製の四角いパッドの上に立ち、画面に表示される指示に従って、音楽に合わせて正しい順番に矢印を踏みます。Dance Dance Revolutionの各エディションには、クリアするためのトラックセットが付属しています。ゲームの流れは以下のとおりです。
YouTubeビデオ
同じ音楽で何度も踊るのに飽きるまでは、それはそれで良いことです。でも、そんな心配はもう終わりです。機械学習を使えば、どんな曲やトラックでも、好きなダンスパターンを自動生成してくれるのです。
今週arXivに掲載された論文で説明されているDance Dance Convolutionは、カリフォルニア大学サンディエゴ校の研究者グループによって開発された。これは、任意の曲のステップチャートを生成できるAIシステムだ。
ダンスダンスレボリューション（DDR）は1998年に日本で誕生し、その熱狂は瞬く間に欧米へと広がりました。DDRは真剣勝負のゲームです。2月に行われた世界選手権では、クリス・チケ選手が優勝しました。彼はリズムボタン連打の達人で、ギター型コントローラーでプレイする似たタイプのゲーム「ギターヒーロー」でも優れた腕前を誇ります。チケ選手はその後、反復性運動障害（反復性運動麻痺）により右手人差し指の先端の感覚が失われ、DDRから一時的に離れることを発表しました。
ChikeのようなハードコアなDDRダンサー、そしてもしかしたらあなたも、練習中にゲーム内の限られたトラックリストを使い切ったことがあるでしょう。幸いなことに、StepManiaのようなオープンソースツールを使えば、ファンは独自のステップチャートを作成できます。
これにより、ファンや他の開発者がデザインしたレベルや、それらをプレイするための音楽を入手する必要がなくなります。自分の音楽を用意し、AIを使って独自のパターンを作成するだけです。与えられた音楽ファイルから自動的にステップを生成するソフトウェアはすでに存在しますが、Dance Dance Convolutionのポイントは、人間のデザイナーにほぼ匹敵する優れたデザイナーであるということです。
Dance Dance Convolutionの仕組みを説明します。まず、音声ファイルをスペクトログラムに変換し、テンソル（ベクトルに似た数学的表現）として表現することで、ピッチやリズムなどの特徴を抽出し、アルゴリズムで処理できるようにします。
次に、畳み込みニューラルネットワークと再帰型ニューラルネットワークで構成された「ステップ配置」アルゴリズムが生の音声を処理し、10ミリ秒のスライスに分割します。このアルゴリズムは、特定の時間にステップを配置する確率を計算すると、論文の共著者であり、カリフォルニア大学サンディエゴ校の研究者であるザカリー・リプトン氏は説明します。
最後に、「ステップ選択」アルゴリズムは、以前に計算されたステップ時間のリストを取得し、それらを DDR ゲームのダンスの動きとしてマッピングします。
ステップ配置予測のために抽出された音声特徴。ステップ配置予測グラフのピークは、ゲーム内でステップが振り付けとして解釈される前に、ステップがステップ選択予測グラフに配置される可能性が高いことを示しています（画像提供：Donahue他）
DDR開発者のベテランがこれを高く評価
このシステムは2つの異なるデータセットで学習されました。1つはFraxtilという名のDDRファンによって作成されたもので、5段階の難易度ごとに5つの楽譜が収録された90曲で構成されています。もう1つのデータセットは複数の作曲家によって作成されており、133曲で構成され、難易度ごとに1つの楽譜が収録されています。ただし、最高難易度の楽譜が収録されていない13曲は除きます。
両データセットは、研究者に35時間分の注釈付き音楽と35万歩のデータを提供しました。ダンスパターンは音楽構造を反映する傾向があり、難易度の高い譜面はより複雑な音楽パターンから生まれています。
これまで何年もステップチャートを自動生成する試みを見てきましたが、これはこれまでで最も成功していると言えるでしょう。特に感銘を受けたのは、検出できる楽器の多様性と、どの楽器を強調するかを的確に判断する能力です。
「とはいえ、リズムやパターンの誤りを無視したとしても、その出力が合成であることは容易に分かります。ステップチャートの作成には、主に反復とコントラストの選択的な使用など、多くの創造性が求められますが、AIはそれを学習できないか、効果的に適用できないのです」とフラクスティル氏はThe Registerに語った。
YouTubeビデオ
優れたステップ譜を作るのは容易なことではありません。Fraxtilは8年間このゲーム用のステップパターンを制作してきましたが、満足しているのはここ4年間の作品だけです。「これは非常に主観的な作業ですが、他のステップアーティストの譜面をプレイしていくうちに、ダンスパッドで何がうまく機能し、何がうまく機能しないかが分かってきます。」
この研究は楽しいことばかりではなく、学術的な価値も秘めています。ダンスダンスコンボリューションプロジェクトは、論文の共著者であり、カリフォルニア大学サンディエゴ校音楽学部の研究者であるクリス・ドナヒュー氏が、音楽情報検索（MIR）についてより深く知りたいと思ったことから始まりました。
コンピューターが音楽の消費と制作の両面で人間と関わり、支援し続けるためには、MIRが不可欠です。音楽は非常に複雑な現象であり、音声から直接高レベルの情報を抽出しようとすると、コンピューターは信号処理だけでなく、人間の聴覚知覚や社会的文脈といった問題も考慮に入れる必要があります。
「MIRの研究をしたいと思っていましたが、ほとんどのデータセットに関連付けられた音声を取得するのが困難でした。ある日、古いハードドライブに眠っていた数ギガバイトのDDRデータを使って、ニューラルネットワークにリズム抽出の訓練をさせようと思いつきました。ある時、リズムに合わせて矢印のシーケンスも生成してみたらどうだろうと考えました」とドナヒュー氏はThe Register紙に語った。
やってみませんか？
リプトン氏によると、完全なソースコードは研究の公式発表時に公開される予定とのことです。もしお気に入りの曲に合わせて踊りたいなら、Dance Dance Convolutionのオンライン版へのリンクはこちらです。®
