分析：データ耐久性の数値は何を意味するのでしょうか？Azureは12ナイン、さらには16ナインの耐久性を誇り、Amazon S3、Google Cloud Platform、Backblazeは11ナインを誇っています。これは何を意味するのでしょうか？
データ耐久性とは、メディアの劣化、ドライブの損失、アレイの損失、データセンターの損失、停電、その他の悪影響によってビットやバイトのデータが劣化することなく、お客様のデータを完全な状態で維持することを約束する、洗練された表現です。年間99.999999999%の耐久性を提供するということは、保存されているデータの年間0.000000001%が失われる可能性があることを意味します。
データの耐久性を延ばす一般的な方法は2つあります。1つ目は、データに関する追加情報とアルゴリズムを用いて破損を検出し、ビットの劣化によって一部が失われた場合にファイルやオブジェクトを復元する方法です。消失訂正符号はその1つです。もう1つはリード・ソロモン符号です。
2つ目の方法は、複数の場所にデータのコピーを複数保存することです。これにより、個々のドライブやアレイの故障から、データセンターの浸水、暴徒による放火、地震による破壊、核爆発による被害に至るまで、あらゆる状況に対応できるようになります。これが冗長性です。
これら2つのアプローチはハイパースケールクラウド大手にとって標準的なものですが、これらのプロバイダーはデータ耐久性をどのように計算しているのでしょうか？良い質問ですね。少なくとも、その結果はデータが失われるまでの待機時間を表し、実際にどの程度の期間が経過するかは分かっています。例えば、AmazonはS3クラウドストレージサービスについて次のように述べています。
ご覧の通り、ここではS3に保存したオブジェクトが失われるまでの待機時間として定義され、統計的に表されています。言い換えると、今週Backblazeが発表したように、100万個のオブジェクトを1000万年間保存した場合、その間に1つのファイルが失われると予想されるということです。Backblazeによると、これが11ナインの耐久性を意味します。
一方、WasabiのDavid Friend氏は昨年末のブログで、「AmazonやWasabiに100万個のファイルを保存させた場合、統計的には65万9000年に1ファイル失われる」と述べている。Friend氏はさらに、1PBのデータ、12億個のオブジェクト、そして11ナインの耐久性で保存した場合、年間0.12個のファイルが失われ、つまり8年に1ファイル失われる計算になると述べた。「問題は、実際にファイルを使ってみるまで、失われたことに気付かないことだ」とFriend氏は指摘した。
さて、11ナインのデータ耐久性について様々な解釈があるようですが、どれが正しいのでしょうか？そして、実際にはどのように計算されるのでしょうか？実は、業界標準の計算方法が存在しないのです。AWS、Azure、Backblaze、GCP、Wasabiのデータ耐久性の数値を、どれが最高か最低か、あるいは最もコストが高いかを確実に比較することはできません。
データ損失の確率は、ファイルやオブジェクトの断片化の数、使用されるドライブ、故障率、再構築時間などによって異なります。ドライブの故障率は、ディスクがバスタブ曲線効果を示すため、考慮するのが難しいです。バスタブ曲線効果とは、ディスクを初めて起動した時と、予測される耐用年数の終わりに故障する可能性が高くなる現象です。
モシェのモンスターセブンナインディスクボックスが開花
続きを読む
Backblaze社のCTOであるブライアン・ウィルソン氏は、データ耐久性の計算方法の一つとして、ポアソン分布法を用いた手法を紹介しました。この手法では、単純化のため、ドライブの寿命全体にわたって故障確率が一定であると仮定しています。彼は、故障したドライブを持つBackblaze B2オブジェクトにおいて、完全なパリティを実現するための平均再構築時間を6.5日と仮定しました。また、ドライブの年間故障率は0.81%ですが、外部機関であるDriveSavers社に故障ドライブからのデータ復旧を依頼することで、0.41%まで低減されます。
したがって、年間ドライブ故障率は0.0041%となります。Backblazeは、最初のドライブが再構築されるまでに3つのドライブ故障から回復できます。つまり、11個の9（ナイン）です。Backblazeは、二項分布を用いて耐久性を計算する手法もGitHubで公開しています。
ウィルソン氏は、クラウドストレージシステムがビットロットによってデータを失う前に、他の事態が発生する可能性が高いと述べています。例えば、武力紛争でデータセンターが爆破される可能性があります。地震、洪水、小惑星、害虫、その他の「天災」によって、1つまたは複数の施設が破壊される可能性もあります。あるいは、クレジットカードの請求に長期にわたる問題が発生し、未払いのためにアカウントデータが削除される可能性もあります。どのような事態が想定されるにせよ、ビットロットによって情報が失われるよりも、この可能性の方が高いと言えるでしょう。
Amazon、Azure、Googleが、今週、小企業のBackblazeに棒を振られたからといって、データ耐久性の計算根拠を明らかにする可能性は低いでしょう。ここでの教訓は、クラウドストレージプロバイダーが提供する11ナイン（99.999%）のデータ耐久性のコストを比較する際に、必ずしもリンゴとオレンジを比較しているわけではないということです。彼らのデータは、長いスプーンで味わってください。®
