データを必要とする組織は、自らが管理するデータをより適切に把握し、信頼の構築に取り組むようアドバイスされています。
分析技術がこれまで以上に注目を集めた週に、3月19日から22日までロンドンで開催されたガートナーのデータ＆アナリティクスサミットでの議論の多くは、近年のデータ分析ブームで生成されたデータの取り扱いに焦点が当てられた。
「外の世界の力がこれほど私たちの業界に影響を及ぼし、またその逆もあるという瞬間はかつてなかった」とガートナーの著名なアナリスト、テッド・フリードマン氏は語った。
例えば、フェイクニュースは偽データであり、「それが私たちの問題だ」と彼は主張した。したがって、人々の信頼を獲得し維持することが「この部屋にいる全員にとって最優先事項である」はずだ。
データへの信頼性を高める方法の一つとして、データの管理と記録をより適切に行うことを挙げた。これは、予測モデルが顧客ごとに異なる対応をする理由を組織が説明できるようになる上で極めて重要だと彼は述べた。
「これには非常に強力なデータ基盤が必要だ」とフリードマン氏は続けたが、一部の組織は「統合されていないデータをすべてデータレイクに放り込む」という代償を払わなければならないだろうと指摘した。
一方、データレイクのブームにより、企業は分散データ資産のインベントリ作成や整理されていないデータの分類に苦慮しており、この状況を利用しようとする新しい企業が次々と生まれています。
「新しいデータカタログ作成ソフトウェアベンダーが多数登場しています。データカタログは新たなトレンドです」と彼は語った。
同時にフリードマン氏は、近年企業に押し付けられてきた「セルフサービス」データイニシアチブは、データの複雑さが増すにつれて限界に達し始めていると述べた。
競争力
しかし、ガートナー社の調査担当副社長であるカート・シュレーゲル氏は別のセッションで、企業は「複雑さを競争上の優位性にする」べきだと述べた。
そのためには、保有するデータのコンテキストをよりよく考慮する必要があり、それが統合にとって非常に重要になるだろうと彼は述べた。
また、分析は、最も重要な属性を識別し、関連性とクラスターを見つけ、異なるデータセットをブレンドするという分類に要約できるとも主張した。
データを分類したら、意思決定を行うことができると彼は述べ、システムに透明性情報を組み込む必要性を改めて強調した。
Twitterで偽ニュースを拡散するのはボットではなく人間だとMITのエッグヘッドが主張
続きを読む
説明可能性の確保の問題は、特に施行される一般データ保護規則で導入される規則を前に、テラデータ社の最高技術責任者であるスティーブン・ブロブスト氏にとって、データ専門家にとっての課題リストのトップに挙げられていました。
ディープラーニングと多層ニューラルネットワークの使用が増えるにつれて、これを達成するのはますます困難な作業になるだろうと彼はThe Registerに語った。
「現在、スコアリングは非常に単純で分かりやすい数式で行われているが、多層ニューラルネットワークでは全く違う」と同氏は語った。
「これは非線形数学であり、データは多くの変換を経て、実際には学習システムなのでデータは常に変化しており、決定がどのように行われるかを実際に説明することはできません。」
例えば、このようなシステムで住宅ローンの融資が拒否された場合、会社は「当社のブラックボックスによると、返済されない可能性は33％です」と言うことはできない、と同氏は述べ、「これは受け入れられない」と付け加えた。
ブロブスト氏は、テラデータがダンスケ銀行と共同で行っている、ブロックを確実に解釈できるように機械学習モデルの上に統合レイヤーを組み込んだ不正検出アルゴリズムの研究を例に挙げた。
「説明可能性は必要です」と彼は言った。「GDPRとの競争に身を置いています。施行まであと2ヶ月ですが、必ず実現できると考えています。」®
