クラウド ストレージ プロバイダーの Dropbox は、プラットフォームのコンテンツを頻繁にアクセスされる「ウォーム」データと「コールド」データに分割し、後者は混乱する可能性が低い、階層型ストレージ アーキテクチャでビット バーンを強化しました。
ストレージ会社は古いデータのレプリケーション方法を変更し、必要なディスク容量を25%削減しました。信頼性は同等で、アクセス時間はわずかに長くなっています。この節約効果が顧客に還元されることを期待したいところです。
「ユーザーにとっての最終的な体験は、2つの層でほとんど区別がつかない」と同社は今週述べた。
コールドデータリポジトリは、Dropboxが2016年に発表したのと同じ専用のMagic Pocketインフラストラクチャに基づいています。これは、Dropboxがプラットフォームの初期にファイルを保存するために使用していたAWSの標準インフラストラクチャではなく、同社が運営するサーバーを備えています。
AWSは、エンタープライズ向けに設計されたGlacierという独自のコールドストレージサービスを提供しています。同社のSimple Storage Service（S3）とは別途料金がかかります。Dropboxは全く異なるサービスを開発し、バックエンドにコールドストレージを組み込むことで、データの階層化が自動的に実現されています。つまり、顧客はファイルの分類方法を指定できません。
Dropboxは11月に暗号化されたLinuxファイルシステムを廃止する予定
続きを読む
スタッフエンジニアのプレスラフ・レ氏は技術ブログの投稿で、同社のプラットフォームへの全リクエストの40％以上が過去24時間以内にアップロードされたデータに対するものであり、90％以上が過去1年間にアップロードされたデータに対するものであると説明した。
古いデータの保管コストを削減する最も簡単な方法の一つは、レプリケーションを微調整することでした。以前は、すべてのファイルの完全なコピーが、数千マイル離れた複数のデータセンターに複製されていました。「地域間の完全なレプリケーションを何とかして排除しつつ、地理的な障害にも耐えられるようにする必要がありました」とLe氏は語りました。
Dropboxは、いくつかの実験を経て、ストレージブロックをフラグメントに分割し、それらのフラグメントを複数のリージョンにストライプ化するモデルを考案しました。ブロックを取得するには、システムは3つのリージョンすべてにGETリクエストを発行し、最も速い2つの応答を待ってから、残りのリクエストをキャンセルします。
「このモデルの最も明らかな欠点は、最良の場合でも、複数の領域からフラグメントを取得せずに読み取りを満たすことができないことです」とLe氏は述べた。
全体として、得られた結果は当初の予想を大きく上回りました。このような小さな差は、インターネット経由のデータ転送が中心となるエンドユーザーエクスペリエンスには影響しません。これにより、移行対象となる「コールド」データについて、より積極的に判断することができました。®
