特別レポート捨てられた動物たちに優しい飼い主を見つける手助けをする機械学習ソフトウェアを開発する Google が後援するコンテストが、優勝チームが不正行為を行っていたことが明らかになり、醜い事態に発展した。
犬、猫、その他の小動物のプロフィールを掲載し、人々に里親を探している非営利団体PetFinder.myは、「独創的なAIソリューションで飼い主のいない動物を救う」ためにこのコンテストを考案しました。目標は、ペットの写真、品種、性別、サイズ、年齢、ワクチン接種の有無など、プロフィールの詳細に基づいて、ペットがどれくらい早く里親に引き取られるかを予測できるアルゴリズムを作成することでした。
これらの予測は、将来のペットのプロフィールを最適化・調整し、できるだけ早く里親に引き取ってもらえるようにするために活用されます。このアルゴリズムは、一連のプロフィールと、各動物が里親に引き取られるまでのウェブ上の掲載期間を用いて学習されます。こうしてモデルは、与えられたプロフィールから、そのペットが里親に選ばれる可能性が高い時期を予測できるようになります。掲載期間が長すぎる場合は、可能であれば、ペットの魅力を高めるための変更が行われます。
最優秀ソリューションに報いるために2万5000ドル（1万9000ポンド）の賞金プールが設けられ、コンテストはGoogleが所有するプラットフォームであるKaggleで開催され、100万人以上のネットユーザーがAIモデルの構築、データセットの検索と共有、他のKagglerとのコラボレーションに利用している。
安楽死
「このコンテストでは、ペットの里親になる可能性、具体的にはペットがどれくらい早く里親になるかを予測するアルゴリズムを開発します」とコンテストのルールには記されている。「成功した場合、そのアルゴリズムはAIツールに応用され、世界中の保護施設や救助活動者がペットのプロフィールの魅力を高め、動物の苦しみや安楽死を減らすための指針となります。」
このチャレンジには2,000チーム強が参加し、3,000件以上のエントリーを提出しました。各グループには、PetFinder.myのプロフィール15,000件と、ペットの情報がオンラインに投稿されてから譲渡されるまでの時間を記録したトレーニングデータセットが与えられました。数か月後、チームはコードの提出を求められました。その後、各モデルは、モデルがこれまで扱ったことのない約4,000件のプロフィールからなる2つ目のデータセットでテストされ、譲渡までの時間の予測値と実際の所要時間を比較しました。そして、エントリーは予測性能に基づいて採点されました。
2019年4月、優勝チームが発表されました。それはBestpettingというグループで、リーダーはお馴染みのパベル・プレスコフ氏でした。彼は著名なKaggleクリエイターで、Kaggleのあらゆるコンペティションのリーダーボードで3位にランクインし、グランドマスターという崇高な称号も持っていました。彼は「最強中の最強」と評されていました。
ベストペッティングが最高賞金1万ドルを獲得しました。2位のチームには7,000ドル、3位のチームには5,000ドル、4位のチームには2,000ドル、5位のチームには1,000ドルが贈られました。
ある10代の学生がBestpettingのコードをPetFinder.myに移植することを申し出るまでは、誰も気に留めていませんでした。ところが、その後事態は悪化しました。
スーパー探偵の登場
オーストリア出身の19歳、ベンジャミン・ミニクホファーは、このチャレンジに参加し、6位に入賞しました。マレーシアに拠点を置くPetFinder.myの創業者兼CEO、アンディ・コーと電話で話し合った後、ミニクホファーはトップチームと協力し、それぞれの技術を統合して包括的な機械学習ベースのシステムを構築することに同意しました。
「これまで模型を実際に製作したことがなかったので、面白い試みになると思いました」とミニクスホファー氏は今月、The Register紙に語った。「いいチャレンジになると思いました。」
PetFinder.myの最終目標は、競合他社の優秀なモデルを活用し、飼い主を探しているペットのプロフィールを最適化するツールを開発することでした。そのために、ミニクスホファー氏は、モデルがプロフィールの好感度を高める要因、あるいは低める要因、つまり写真やテキストなどを特定する必要がありました。
「もちろん、優勝したモデルをよく見ました」と彼は言った。「1位と2位のスコアには大きな差がありました。」
Minixhofer 氏が Bestpetting のソースコードを調べ始めたとき、ある特定の部分に困惑した。その関数に、majority_votingBestpetting が不正行為を行える Python コードのスニペットが密かに隠されていることに気付いたのだ。
カンニングをする最良の方法は何ですか？ああ、答えを見てください
優勝チームは、PetFinder.myから数千件のペットのプロフィールと、それぞれの動物が引き取られるまでにかかった時間をスクレイピングしてハッシュ化し、そのヒント表をPixabayのデータセットのハッシュの中に隠しました。
コンテスト審査員によるテスト中、機械学習システムは、スクレイピングされたPetFinder.myのプロフィールと一致するプロフィールが表示されていることを認識すると、プロフィールハッシュを用いて、動物がテーブルから家を見つけるのにかかった実際の時間を予測ではなく、実際に調べました。つまり、その予測は単なる予測ではなく、事実だったのです。スクレイピングされたすべてのプロフィールのうち、3,500件がテストデータセットに含まれていました。これは悪くないカバレッジです。
Python を知っている人向けにチートを説明した完全な技術的内訳と概要はここにあります。
百度ボーイだった！テクノロジー大手、AIテストでカンニングか
続きを読む
プレスコフと彼のチームメイトは、モデルがあまりに優れていることを避け、疑惑を招かないようにする賢明さを持っていた。コードは10%の確率でしか答えを覗き見せず、競争上の優位性を得るには十分だった。
「彼らはスクレイピングした画像を全部エンコードしたのですが、偶然にもそのうち3,500枚がテストデータセットに現れました。PetFinder.myのウェブサイトから取得されることは分かっていたので、重複があったのでしょう」とミニクスホファー氏はEl Regに説明した。彼は、Bestpettingが不正行為をしていなければ、チームはリーダーボードで100位程度しか入賞できず、1位には程遠かっただろうと気づいた。
もしKaggleがPleskovのコードをもっと綿密に精査していれば、このスキャンダルは発覚していたかもしれない。Pleskovがこのような策略を働いたのは今回が初めてではない。
1年以上前、Q&AサイトQuoraに投稿された偽の質問を検出・フラグ付けするKaggleコンペティションで、彼は彼とチームがどのようにしてこれほどの高スコアを達成したかを説明した。「解決策は至ってシンプル。回答をスクレイピングしただけだ」と彼は豪語した。
ミニクスホファー氏はコー氏に通報し、コー氏はKaggleに連絡して詐欺行為を報告した。Kaggleはその後、利用規約違反を理由にプレスコフ氏のアカウントを削除し、プラットフォームの利用を禁止した。
その後、プレスコフ氏はシリコンバレーのソフトウェア企業H2O.aiで約4か月間データサイエンティストとして働いていたが、解雇された。
Kaggleでグランドマスターの称号を獲得することは、エンジニアが就職活動の際に履歴書で誇らしげにアピールする名誉ある功績です。実際、H2O.aiのような企業は、自動運転車の開発に取り組むデータサイエンティスト向けのツール構築など、特定のプロジェクトにトップクラスのKagglerを採用することを好んでいます。
今月、プレスコフ氏とそのチームが失格になったことが公表されると、彼は謝罪し、賞金1万ドルを返還することを約束した。
1. 私たちチーム一同、@myPetFinder、@kaggle、そしてDSコミュニティの皆様に、不正行為について深くお詫び申し上げます。また、@h2oaiとKaggleの競合チームの皆様にも、皆様の評判を危険にさらしたことを深くお詫び申し上げます。
— パベル・プレスコフ (@ppleskov) 2020 年 1 月 11 日
「私にとって、お金ではなくKaggleポイントが重要でした。ランキング1位を目指す絶え間ない努力が、私の判断力を鈍らせていたのです」とプレスコフ氏は続けた。「出場停止処分が下された今、レースが終わったことにほっとしています。まだ整理し、振り返るべきことがたくさんあります。皆さんの少なくとも何人かが私を許し、他の参加者が私の失敗から学んでくれることを願っています。」
Pleskov氏とKaggleはこの記事についてコメントを控えた。
「ベストペッティングチームは謝罪し、賞金の返金を申し出ました。現在、送金に関する最新情報を待っています」と、PetFinder.myのコー氏はThe Register紙に語った。®
追伸：機械学習における不正行為やデータの誤用を目撃したことがありますか？ぜひご意見をお聞かせください。
