投稿者「climb」のアーカイブ

すべてのデータ重複排除技術が同じというわけではなく、その違いは極めて大きいものです。最大で1.8:1や2:1程度しか達成できない標準的なデータ圧縮とは異なり、データ重複排除の倍率は、採用される重複排除手法によって大きく異なります。ベンダーは、投入可能なリソース（プロセッサとメモリ）の量に応じて、大きく異なるアプローチを採用しています。

メディアサーバー上でデータ重複排除を行うバックアップアプリケーションは、プロセッサとメモリの使用量を最小限に抑えるため、それほど強力ではないアルゴリズムを使用します。その結果、達成できる重複排除率ははるかに低くなります。一方、専用のプロセッサとメモリを内蔵したターゲット側のアプライアンスは、より強力なアルゴリズムを使用するため、より高い重複排除率を達成します。重複排除率が低いほど、時間の経過とともに使用されるディスク容量は増え（特に長期保存の場合）、レプリケーションに必要な帯域幅も増加します。バックアップアプリケーションで重複排除を使用すると、初期費用は抑えられるかもしれませんが、長期的には追加のディスク容量と帯域幅にかかるコストが3～4倍になります。

一般的なバックアップアプリケーションの重複排除：

● 1MBブロック = 2:1

●128KBブロック = 6:1

●64KBブロック = 8:1

一般的なターゲット側アプライアンスの重複排除：

●8KBブロック = 12:1

●可変長コンテンツ分割を伴う8KBブロック = 20:1

●バイトレベル = 20:1

●バイトレベル比較を伴うゾーンスタンプ = 20:1

ディスクと帯域幅に関連するコストは大きく異なる可能性があるため、バックアップアプリケーションまたはターゲット側アプライアンスでどのアプローチが採用されているかを把握することが重要です。

データ重複排除とは、入力されるデータを解析し、それをより小さなブロックやゾーン単位に分割した後、さまざまな手法を用いてそれらのブロックやバイトを比較する技術です。重複するデータが貴重なディスク容量を占有しないよう、一意のブロックやバイトのみが保存されます。プライマリストレージやアーカイブストレージの場合、重複排除率は1.2:1から最大1.8:1の範囲です。これは実際には標準的なデータ圧縮と同等か、それ以下であるため、各ファイルのコピーが1つしかないプライマリストレージやアーカイブストレージでは、データ重複排除はあまり価値をもたらしません。しかし、バックアップの場合は、長期保存を行うため、類似したファイルの複数のコピーが保持されるという点で異なります。

バックアップでは、12週間分のバックアップを保持し、その後3年間は月次バックアップを保持するのが一般的です。この場合、40コピー以上が必要となり、データ保持期間こそがデータ重複排除が最大の価値を発揮する場面です。100TBのフルバックアップがあり、40コピーを保持する場合、4PBのディスク容量が必要になります。標準的な圧縮で2:1の圧縮率を達成したとしても、依然として2PBのディスク容量が必要となります。データ重複排除を使用すれば、最初の100TBのコピーは約50TBのディスク容量で保存でき、その後の各コピーには約2TBの容量が必要となります。これは、毎週データの約2%が変更されるためです（つまり、100TBのフルバックアップに対して2TB）。この例では、50TBに78TB（週あたり2TB × 39コピー）を加えた128TBのディスク容量が必要となります。

重複排除率は、重複排除を行わない場合の必要ディスク容量を、重複排除を行った場合の必要ディスク容量で割ることで算出されます。この例では、4PBを128TBで割ると、重複排除率は31:1となります。保存期間が長くなるほど、重複排除率は高くなります。保存用に1コピーのみを保持する場合、1.8:1程度となり、4コピーを保持すれば3:1程度になる可能性があります。しかし、18コピーの場合、業界平均は約20:1となります。この業界平均の重複排除率20:1は、約18週間の保存期間を想定して算出されています。

重複排除率に最も大きな影響を与える変数は3つあります：

1. 保存期間 – 保存期間が長いほど、重複データを見つけるためのバックアップコピーが増えるため、重複排除率は高くなります。

2. アルゴリズム – より強力なアルゴリズムを使用すれば、重複排除率は高くなります。

3. データの種類と構成 – データの種類によって、重複排除率は異なります。例えば、非構造化ファイルでは6:1や7:1の比率になりますが、データベースでは（もちろん強力なアルゴリズムを使用した場合）、100:1以上の比率を達成できます。圧縮データや暗号化データは重複排除の対象外となり、1:1の比率になります。多くのベンダーは、データタイプの構成に応じて、10:1から最大50:1の比率を達成しており、平均では20:1（平均保存期間18週間）となっています。

はい。データ重複排除はディスクストレージや帯域幅の要件、およびそれらに関連するコストを削減しますが、その一方で3つの追加的な処理負荷の問題を引き起こします。データ重複排除は、その性質上、非常に高い処理負荷を必要とするものです。データを比較するために小さなセグメントに分割するには多大なプロセッサとメモリが必要であり、必要に応じて重複排除されたデータを再構築する（「リハイドレーション」と呼ばれるプロセス）には、さらに多くの処理能力を要します。さらに、データ量が増加するにつれて、重複排除の対象となるデータ量も増加し、それに伴う処理時間も長くなるため、バックアップウィンドウがますます拡大することになります。

要約すると、計算負荷の高い重複排除によって生じる3つの新たな問題は以下の通りです：

1. 取り込み速度の低下によるバックアップの遅延とバックアップウィンドウの長期化

2. データ再構成の計算負荷の高さによる、復元、VMの起動、およびオフサイトへのテープコピーの遅延

3. 増加するデータに対応するために拡大し続けるバックアップウィンドウ。最終的には、割り当てられたバックアップウィンドウの時間を超えてしまう事態を招く。

インライン重複排除とは、データがディスクに書き込まれる過程で重複排除が行われることを意味します。

インライン重複排除には、主に3つのアプローチがあります：

1. バックアップアプリケーションのメディアサーバーソフトウェアにインライン重複排除機能を追加する。この場合、メディアサーバープラットフォームは、コアとなるメディアサーバーのタスクと、計算負荷の高い重複排除処理を兼用することになり、バックアップの速度が大幅に低下します。バックアップ速度の低下を補うため、バックアップアプリケーションは計算リソースの消費を抑えるべく、より控えめなアルゴリズムを使用します。しかしその結果、時間の経過とともに（保存期間が長くなるにつれて）より多くのディスク容量を消費し、レプリケーションに要する帯域幅も増加します。ほとんどのバックアップアプリケーションは、使用する固定長ブロックのサイズに応じて、2:1、4:1、6:1、または8:1の重複排除率を達成します。さらに、フラッシュストレージ、多数のデュアルコアプロセッサ、そして大容量のメモリを備えた高価なメディアサーバーが必要となります。

一部のバックアップアプリケーションベンダーは、購入すべきサーバーを推奨しつつ、ディスクについてはユーザーが好みのベンダーを選択できるようにしています。また、メディアサーバーソフトウェア、物理サーバー、ディスクを単一のソリューションとしてパッケージ化しているベンダーもあります。いずれの場合も、専用ハードウェアを導入するターゲット側のアプライアンスに比べ、バックアップ速度は遅くなり、必要なディスク容量と帯域幅は3～4倍になります。さらに、すべてのデータは重複排除された形式で保存されるため、復元、VMの起動、またはオフサイトへのテープコピー要求が行われるたびに、データを再構築する必要があります。その結果、VMの起動には数時間、オフサイトへのテープコピーには数日かかる場合があります。

2. スケールアップ型ストレージアーキテクチャ（フロントエンドコントローラとディスクシェルフ）を備えた専用アプライアンスへのインライン重複排除の追加。このアプローチは、すべてのシステムリソースがデータ重複排除に専念されるため、バックアップメディアサーバー上で重複排除を行うよりも高速です。これらのアプライアンスは、よりきめ細かくて強力なアルゴリズムを採用しており、はるかに高い重複排除率を達成し、ストレージと帯域幅をさらに節約します。しかし、より強力なアプローチはより多くの演算リソースを消費するため、取り込み速度は依然として遅くなります。このアプローチは、バックアップソフトウェア内のインライン重複排除よりも高速ですが、割り当てられたバックアップウィンドウ内に収まるほど高速ではありません。レプリケーションを有効にすると、レプリケーションが重複排除とプロセッサおよびメモリを競合するため、バックアップ速度はさらに低下します。また、暗号化を有効にすると、パフォーマンスはさらに低下します。さらに、すべてのデータは重複排除された形式で保存されるため、復元、VMの起動、またはオフサイトテープへのコピー要求が行われるたびに、データを復元する必要があります。このプロセスは、VMの起動では数時間、オフサイトテープへのコピーでは数日かかる場合があります。

3. 専用アプライアンスにインライン重複排除機能を追加し、メディアサーバーおよびアプリケーションサーバーにインストールされるソフトウェアオプションを備えたスケールアップ型ストレージアーキテクチャ（フロントエンドコントローラーとディスクシェルフ）を採用する。SQLダンプやOracle RMANなどのユーティリティを使用する場合、メディアサーバーやデータベースサーバーにインストール可能なソフトウェアが存在する。このアプローチでは、ネットワーク上のサーバーで重複排除処理の一部を実行することで、他の場所から演算リソースを借用し、取り込み速度を向上させます。欠点は、メディアサーバーやデータベースサーバーから演算リソースを奪うため、ボトルネックがチェーンの上流へと押し上げられることです。

このアプローチは、専用のインライン重複排除アプライアンスの取り込み速度を向上させますが、2つの欠点があります。第一の欠点は、メディアサーバーや本番データベースサーバーにソフトウェアをインストールして実行する必要があるため、それらのサーバーの処理速度が低下することです。これらのアプライアンスは、よりきめ細かくて強力なアルゴリズムを採用しており、はるかに高い重複排除率を達成することで、ストレージと帯域幅をさらに節約します。レプリケーションを有効にすると、レプリケーションが重複排除とプロセッサおよびメモリを競合するため、バックアップはさらに遅くなります。さらに、暗号化も有効になっている場合、パフォーマンスはさらに低下します。2つ目の欠点は、ソフトウェアアドオンによってデータ取り込み速度は向上するものの、すべてのデータは依然として重複排除された形式で保存されるため、復元、VMの起動、またはオフサイトへのテープコピー要求のたびに、データを再構成する必要がある点です。このプロセスは、VMの起動では数時間、オフサイトへのテープコピーでは数日かかる場合があります。つまり、取り込み速度を向上させるためにメディアサーバーやデータベースサーバー上でソフトウェアを実行しても、すべてのデータが重複排除されているという事実は変わらず、復元要求の際には依然として同じ時間のかかる復元処理を経る必要があるのです。

ポストプロセス重複排除により、バックアップデータをディスクに直接書き込むことが可能となり、計算負荷の高い重複排除処理を回避することで、高速なデータ取り込みを実現します。さらに、最新のバックアップデータは重複排除前の完全な状態で保存されるため、迅速な復元、VMの起動、テープへのコピーが可能です。復元、VMの起動、テープへのコピーの95%以上が最新のバックアップデータから行われるため、時間のかかるデータの復元処理（リハイドレーション）は不要です。

このアプローチの欠点は、重複排除とレプリケーションを開始する前にバックアップが完了する必要があるため、災害復旧サイトでのRPO（復旧時点）が不十分になることです。

アダプティブ重複排除は、あらゆる面で最適なソリューションです。バックアップデータはディスクのランディングゾーンに直接送信されるため、バックアップ実行中の重複排除に伴う処理負荷を回避でき、ポストプロセス並みの高速性を実現し、インライン重複排除よりも3倍高速です。最新のバックアップは、高速な復元、VMの起動、およびテープへのコピーのために、重複排除されていない完全な形式でディスクキャッシュのランディングゾーンに保存されます。復元、VMの起動、テープへのコピーの95%以上が最新のバックアップから行われるため、時間のかかるデータの再構築は必要ありません。

しかし、バックアップを遅延させ、重複排除済みのデータのみを保存するインライン重複排除や、すべてのバックアップが完了するまで重複排除が行われないポストプロセス重複排除とは対照的に、ディスクキャッシュ・ランディングゾーンを備えたアダプティブ重複排除は、データがディスクにコミットされる際に、バックアップの受信と並行して重複排除とレプリケーションを開始します。これにより、バックアップにシステムリソースを最大限に割り当て、バックアップウィンドウを最小限に短縮します。

アダプティブ重複排除の特長：

1. 高速なダイレクト・トゥ・ディスクによるバックアップ性能により、最速のデータ取り込みと最短のバックアップウィンドウを実現

2. ディスクキャッシュ・ランディングゾーンに保存された最新のバックアップからの高速な復元、VMの起動、およびテープへのコピー

3. バックアップと並行して行われる重複排除とレプリケーションにより、災害復旧サイトでの強力なRPO（復旧時点）を実現

4. ランディングゾーン内の重複排除されていないデータの背後に配置された、すべての重複排除済みデータのリポジトリにより、長期保存のためのコスト効率の高いストレージを実現。