ExaGrid

すべてのデータ重複排除技術が同じというわけではなく、その違いは極めて大きいものです。最大で1.8:1や2:1程度しか達成できない標準的なデータ圧縮とは異なり、データ重複排除の倍率は、採用される重複排除手法によって大きく異なります。ベンダーは、投入可能なリソース（プロセッサとメモリ）の量に応じて、大きく異なるアプローチを採用しています。

メディアサーバー上でデータ重複排除を行うバックアップアプリケーションは、プロセッサとメモリの使用量を最小限に抑えるため、それほど強力ではないアルゴリズムを使用します。その結果、達成できる重複排除率ははるかに低くなります。一方、専用のプロセッサとメモリを内蔵したターゲット側のアプライアンスは、より強力なアルゴリズムを使用するため、より高い重複排除率を達成します。重複排除率が低いほど、時間の経過とともに使用されるディスク容量は増え（特に長期保存の場合）、レプリケーションに必要な帯域幅も増加します。バックアップアプリケーションで重複排除を使用すると、初期費用は抑えられるかもしれませんが、長期的には追加のディスク容量と帯域幅にかかるコストが3～4倍になります。

一般的なバックアップアプリケーションの重複排除：

● 1MBブロック = 2:1

●128KBブロック = 6:1

●64KBブロック = 8:1

一般的なターゲット側アプライアンスの重複排除：

●8KBブロック = 12:1

●可変長コンテンツ分割を伴う8KBブロック = 20:1

●バイトレベル = 20:1

●バイトレベル比較を伴うゾーンスタンプ = 20:1

ディスクと帯域幅に関連するコストは大きく異なる可能性があるため、バックアップアプリケーションまたはターゲット側アプライアンスでどのアプローチが採用されているかを把握することが重要です。

データ重複排除とは、入力されるデータを解析し、それをより小さなブロックやゾーン単位に分割した後、さまざまな手法を用いてそれらのブロックやバイトを比較する技術です。重複するデータが貴重なディスク容量を占有しないよう、一意のブロックやバイトのみが保存されます。プライマリストレージやアーカイブストレージの場合、重複排除率は1.2:1から最大1.8:1の範囲です。これは実際には標準的なデータ圧縮と同等か、それ以下であるため、各ファイルのコピーが1つしかないプライマリストレージやアーカイブストレージでは、データ重複排除はあまり価値をもたらしません。しかし、バックアップの場合は、長期保存を行うため、類似したファイルの複数のコピーが保持されるという点で異なります。

バックアップでは、12週間分のバックアップを保持し、その後3年間は月次バックアップを保持するのが一般的です。この場合、40コピー以上が必要となり、データ保持期間こそがデータ重複排除が最大の価値を発揮する場面です。100TBのフルバックアップがあり、40コピーを保持する場合、4PBのディスク容量が必要になります。標準的な圧縮で2:1の圧縮率を達成したとしても、依然として2PBのディスク容量が必要となります。データ重複排除を使用すれば、最初の100TBのコピーは約50TBのディスク容量で保存でき、その後の各コピーには約2TBの容量が必要となります。これは、毎週データの約2%が変更されるためです（つまり、100TBのフルバックアップに対して2TB）。この例では、50TBに78TB（週あたり2TB × 39コピー）を加えた128TBのディスク容量が必要となります。

重複排除率は、重複排除を行わない場合の必要ディスク容量を、重複排除を行った場合の必要ディスク容量で割ることで算出されます。この例では、4PBを128TBで割ると、重複排除率は31:1となります。保存期間が長くなるほど、重複排除率は高くなります。保存用に1コピーのみを保持する場合、1.8:1程度となり、4コピーを保持すれば3:1程度になる可能性があります。しかし、18コピーの場合、業界平均は約20:1となります。この業界平均の重複排除率20:1は、約18週間の保存期間を想定して算出されています。

重複排除率に最も大きな影響を与える変数は3つあります：

1. 保存期間 – 保存期間が長いほど、重複データを見つけるためのバックアップコピーが増えるため、重複排除率は高くなります。

2. アルゴリズム – より強力なアルゴリズムを使用すれば、重複排除率は高くなります。

3. データの種類と構成 – データの種類によって、重複排除率は異なります。例えば、非構造化ファイルでは6:1や7:1の比率になりますが、データベースでは（もちろん強力なアルゴリズムを使用した場合）、100:1以上の比率を達成できます。圧縮データや暗号化データは重複排除の対象外となり、1:1の比率になります。多くのベンダーは、データタイプの構成に応じて、10:1から最大50:1の比率を達成しており、平均では20:1（平均保存期間18週間）となっています。

はい。データ重複排除はディスクストレージや帯域幅の要件、およびそれらに関連するコストを削減しますが、その一方で3つの追加的な処理負荷の問題を引き起こします。データ重複排除は、その性質上、非常に高い処理負荷を必要とするものです。データを比較するために小さなセグメントに分割するには多大なプロセッサとメモリが必要であり、必要に応じて重複排除されたデータを再構築する（「リハイドレーション」と呼ばれるプロセス）には、さらに多くの処理能力を要します。さらに、データ量が増加するにつれて、重複排除の対象となるデータ量も増加し、それに伴う処理時間も長くなるため、バックアップウィンドウがますます拡大することになります。

要約すると、計算負荷の高い重複排除によって生じる3つの新たな問題は以下の通りです：

1. 取り込み速度の低下によるバックアップの遅延とバックアップウィンドウの長期化

2. データ再構成の計算負荷の高さによる、復元、VMの起動、およびオフサイトへのテープコピーの遅延

3. 増加するデータに対応するために拡大し続けるバックアップウィンドウ。最終的には、割り当てられたバックアップウィンドウの時間を超えてしまう事態を招く。

インライン重複排除とは、データがディスクに書き込まれる過程で重複排除が行われることを意味します。

インライン重複排除には、主に3つのアプローチがあります：

1. バックアップアプリケーションのメディアサーバーソフトウェアにインライン重複排除機能を追加する。この場合、メディアサーバープラットフォームは、コアとなるメディアサーバーのタスクと、計算負荷の高い重複排除処理を兼用することになり、バックアップの速度が大幅に低下します。バックアップ速度の低下を補うため、バックアップアプリケーションは計算リソースの消費を抑えるべく、より控えめなアルゴリズムを使用します。しかしその結果、時間の経過とともに（保存期間が長くなるにつれて）より多くのディスク容量を消費し、レプリケーションに要する帯域幅も増加します。ほとんどのバックアップアプリケーションは、使用する固定長ブロックのサイズに応じて、2:1、4:1、6:1、または8:1の重複排除率を達成します。さらに、フラッシュストレージ、多数のデュアルコアプロセッサ、そして大容量のメモリを備えた高価なメディアサーバーが必要となります。

一部のバックアップアプリケーションベンダーは、購入すべきサーバーを推奨しつつ、ディスクについてはユーザーが好みのベンダーを選択できるようにしています。また、メディアサーバーソフトウェア、物理サーバー、ディスクを単一のソリューションとしてパッケージ化しているベンダーもあります。いずれの場合も、専用ハードウェアを導入するターゲット側のアプライアンスに比べ、バックアップ速度は遅くなり、必要なディスク容量と帯域幅は3～4倍になります。さらに、すべてのデータは重複排除された形式で保存されるため、復元、VMの起動、またはオフサイトへのテープコピー要求が行われるたびに、データを再構築する必要があります。その結果、VMの起動には数時間、オフサイトへのテープコピーには数日かかる場合があります。

2. スケールアップ型ストレージアーキテクチャ（フロントエンドコントローラとディスクシェルフ）を備えた専用アプライアンスへのインライン重複排除の追加。このアプローチは、すべてのシステムリソースがデータ重複排除に専念されるため、バックアップメディアサーバー上で重複排除を行うよりも高速です。これらのアプライアンスは、よりきめ細かくて強力なアルゴリズムを採用しており、はるかに高い重複排除率を達成し、ストレージと帯域幅をさらに節約します。しかし、より強力なアプローチはより多くの演算リソースを消費するため、取り込み速度は依然として遅くなります。このアプローチは、バックアップソフトウェア内のインライン重複排除よりも高速ですが、割り当てられたバックアップウィンドウ内に収まるほど高速ではありません。レプリケーションを有効にすると、レプリケーションが重複排除とプロセッサおよびメモリを競合するため、バックアップ速度はさらに低下します。また、暗号化を有効にすると、パフォーマンスはさらに低下します。さらに、すべてのデータは重複排除された形式で保存されるため、復元、VMの起動、またはオフサイトテープへのコピー要求が行われるたびに、データを復元する必要があります。このプロセスは、VMの起動では数時間、オフサイトテープへのコピーでは数日かかる場合があります。

3. 専用アプライアンスにインライン重複排除機能を追加し、メディアサーバーおよびアプリケーションサーバーにインストールされるソフトウェアオプションを備えたスケールアップ型ストレージアーキテクチャ（フロントエンドコントローラーとディスクシェルフ）を採用する。SQLダンプやOracle RMANなどのユーティリティを使用する場合、メディアサーバーやデータベースサーバーにインストール可能なソフトウェアが存在する。このアプローチでは、ネットワーク上のサーバーで重複排除処理の一部を実行することで、他の場所から演算リソースを借用し、取り込み速度を向上させます。欠点は、メディアサーバーやデータベースサーバーから演算リソースを奪うため、ボトルネックがチェーンの上流へと押し上げられることです。

このアプローチは、専用のインライン重複排除アプライアンスの取り込み速度を向上させますが、2つの欠点があります。第一の欠点は、メディアサーバーや本番データベースサーバーにソフトウェアをインストールして実行する必要があるため、それらのサーバーの処理速度が低下することです。これらのアプライアンスは、よりきめ細かくて強力なアルゴリズムを採用しており、はるかに高い重複排除率を達成することで、ストレージと帯域幅をさらに節約します。レプリケーションを有効にすると、レプリケーションが重複排除とプロセッサおよびメモリを競合するため、バックアップはさらに遅くなります。さらに、暗号化も有効になっている場合、パフォーマンスはさらに低下します。2つ目の欠点は、ソフトウェアアドオンによってデータ取り込み速度は向上するものの、すべてのデータは依然として重複排除された形式で保存されるため、復元、VMの起動、またはオフサイトへのテープコピー要求のたびに、データを再構成する必要がある点です。このプロセスは、VMの起動では数時間、オフサイトへのテープコピーでは数日かかる場合があります。つまり、取り込み速度を向上させるためにメディアサーバーやデータベースサーバー上でソフトウェアを実行しても、すべてのデータが重複排除されているという事実は変わらず、復元要求の際には依然として同じ時間のかかる復元処理を経る必要があるのです。

ポストプロセス重複排除により、バックアップデータをディスクに直接書き込むことが可能となり、計算負荷の高い重複排除処理を回避することで、高速なデータ取り込みを実現します。さらに、最新のバックアップデータは重複排除前の完全な状態で保存されるため、迅速な復元、VMの起動、テープへのコピーが可能です。復元、VMの起動、テープへのコピーの95%以上が最新のバックアップデータから行われるため、時間のかかるデータの復元処理（リハイドレーション）は不要です。

このアプローチの欠点は、重複排除とレプリケーションを開始する前にバックアップが完了する必要があるため、災害復旧サイトでのRPO（復旧時点）が不十分になることです。

アダプティブ重複排除は、あらゆる面で最適なソリューションです。バックアップデータはディスクのランディングゾーンに直接送信されるため、バックアップ実行中の重複排除に伴う処理負荷を回避でき、ポストプロセス並みの高速性を実現し、インライン重複排除よりも3倍高速です。最新のバックアップは、高速な復元、VMの起動、およびテープへのコピーのために、重複排除されていない完全な形式でディスクキャッシュのランディングゾーンに保存されます。復元、VMの起動、テープへのコピーの95%以上が最新のバックアップから行われるため、時間のかかるデータの再構築は必要ありません。

しかし、バックアップを遅延させ、重複排除済みのデータのみを保存するインライン重複排除や、すべてのバックアップが完了するまで重複排除が行われないポストプロセス重複排除とは対照的に、ディスクキャッシュ・ランディングゾーンを備えたアダプティブ重複排除は、データがディスクにコミットされる際に、バックアップの受信と並行して重複排除とレプリケーションを開始します。これにより、バックアップにシステムリソースを最大限に割り当て、バックアップウィンドウを最小限に短縮します。

アダプティブ重複排除の特長：

1. 高速なダイレクト・トゥ・ディスクによるバックアップ性能により、最速のデータ取り込みと最短のバックアップウィンドウを実現

2. ディスクキャッシュ・ランディングゾーンに保存された最新のバックアップからの高速な復元、VMの起動、およびテープへのコピー

3. バックアップと並行して行われる重複排除とレプリケーションにより、災害復旧サイトでの強力なRPO（復旧時点）を実現

4. ランディングゾーン内の重複排除されていないデータの背後に配置された、すべての重複排除済みデータのリポジトリにより、長期保存のためのコスト効率の高いストレージを実現。

Dell EMC Data Domainを使用する利点

●重複排除により、長期保存に必要なディスク量が削減されるため、バックアップアプリケーションのディスクへの重複排除（つまり低コストのプライマリストレージディスク）と比較してコスト削減が可能

●重複排除により、オフサイトにレプリケートされるデータ量が削減され、WAN 帯域幅が節約される

Dell EMC Data Domainの短所

●インライン重複排除はバックアップを遅くする

●各リクエストごとにデータを再保存するため、リストアが大幅に遅くなる

●VMの起動には最大1時間、ファイルのリストアには最大20倍かかる

●パフォーマンスのスケーラビリティがないため（つまり、ディスクシェルフを追加するだけ）、データの増加に伴ってバックアップウィンドウが大きくなる

●フォークリフト・アップグレード（オーバーホール）を余儀なくされる – コントローラが限界に達した場合、システムを前進させ成長させるために多大なコストがかかる

●強制的な生産終了（EOL)ポリシーによる強制的な陳腐化、サポートの中止、またはサポート料金の大幅な増加

●ランサムウェアのリカバリに対応するために、デルから別途高価なソリューションを購入する必要がある。

●ランサムウェア・ソリューションはネットワーク上にあり（ネットワークに面している）、レプリケーション時にポートが開放されるため、ランサムウェア攻撃を受けやすい

●100TBを超えるとExaGridより高価 – Data Domainが適切なサイズであれば、2-3倍の価格に

● DELLは次回購入時に値上げすることが多い

Dell EMC Data Domainに対するExaGridの利点

●ExaGrid はディスクキャッシュの Landing Zone に直接書き込み（インライン重複排除なし）、Data Domain のインライン重複排除よりも 3 倍高速なディスク速度で書き込みを行う。

●ランディングゾーンのデータが重複排除されないため、リストアが20倍高速化。

●アプライアンスを追加することですべてのリソースをデータの増加に対応させるスケールアウトアーキテクチャにより、データが増加してもバックアップウィンドウの長さは一定に保たれる。

●ExaGridアーキテクチャ異なるサイズや世代のアプライアンスを混在が可能

●スケールアウトアーキテクチャにより、フォークリフト・アップグレードや製品の陳腐化がない

●リテンション・タイムロックによるシンプルなランサムウェアリカバリ、遅延削除とイミュータブルなデータオブジェクトによる非ネットワーク向けティア（ティアード・エアギャップ）を組込済

●ExaGridは100TB以上ならDataDomainよりさらに割安

段階型バックアップ・ストレージ：ExaGrid

ランディングゾーン
●最速バックアップ – インライン重複排除のボトルネックを回避
●最も高速なリストア – 重複排除されたデータのリハイドレーションが不要

リポジトリ層
●低コストの長期重複排除保持ストレージ
●業界をリードする 20:1 データ重複排除
– グローバル重複排除
●適応型重複排除
– バックアップウィンドウ中に重複排除と複製を実行
– 強力なオフサイトRTOとRPO
●ランサムウェアリカバリのための保持タイムロック
– ネットワークに面していない階層（階層化されたエアギャップ）
– 遅延削除
– 不変オブジェクト

スケールアウトアーキテクチャ
●1つのシステムで2.7PBのフルバックアップを毎時最大488TBでスケーリング
●バックアップデータが増大してもバックアップウィンドウは固定長
●スケールアップアーキテクチャのフォークリフトによるアップグレードを排除
●アプライアンスの組み合わせ – 年代やサイズを問わない
– 製品の陳腐化がない（メンテナンスとサポートのライフサイクル終了なし）
●7つの異なる容量のアプライアンスモデル
– データの成長に合わせて拡張可能

ディザスタリカバリサイトオプション
●DR用にオフサイトにレプリケート可能
●DRサイトの容量はプライマリの半分 – 非対称型
– 少ないアプライアンス
– 低コスト
●サイトAからB、BからAへのクロスレプリケーション
●ハブとスポークのトポロジーで最大16サイト
●マルチホップ – サイトAからBへ、サイトAからBへ、サイトAからCへ
●パブリッククラウドDRサイト – Amazon AWS & Azure

インストールが容易なアプライアンス・モデル
●リモート・インストールで数時間

冗長性
ホットスペアによるRAID6ディスク保護
– ホットスワップ対応
– 2台同時のドライブ故障にも対応
●冗長電源
– ホットスワップ対応
– どちらかの電源が故障してもシステムは稼動

統合されたシステム管理と包括的なセキュリティ
●システム内およびサイト間のすべてのアプライアンスに単一のユーザー・インターフェイスを提供
管理インターフェイスとバックアップターゲットのセキュリティのためのActive Directory
エンタープライズ管理アプリケーションとの統合のためのSNMPインターフェース
●ロールベースのアクセスコントロール
●ランサムウェアリカバリーのための保持タイムロック
– ネットワーク非接続層（階層型エアギャップ）
– 遅延削除
– 不変の重複排除オブジェクト
●二要素認証
●データ暗号化
●WAN経由でのレプリケーション時のデータ暗号化
●セキュリティチェックリストによりベストプラクティスの適用が容易
●データはチェックサムされ、データの完全性を保証する
●外部エンタープライズ管理アプリケーションへのシステムロギング
●内部自己記述データベース

バックアップ・アプリケーション・サポート
●25以上のバックアップアプリケーションとユーティリティ
– 異種バックアップアプリケーション環境をサポート
●Veeam
– SOBR – ジョブ管理の自動化
– Data Mover
– バックアップ・パフォーマンスの向上
– セキュリティの向上
– 合成フル・パフォーマンスの向上
– Veeam の重複排除を有効にし、ExaGrid でさらに重複排除が可能
●Oracle RMAN チャネルバックアップサポート

ExaGridのショート・プレゼン資料

■ データ重複排除：

– ExaGridの革新的なデータ重複排除のアプローチは、受信したすべてのバックアップにゾーンレベルのデータ重複排除を使用することで、保存するデータ量を最小限に抑えることができます。

– ExaGridのゾーンレベル技術は、フルコピーを保存する代わりに、バックアップからバックアップへ粒度の細かいレベルで変更されたデータのみを保存します。ExaGridはゾーンスタンプと類似性検出を使用します。

– この独自のアプローチにより、必要なディスク容量を平均20:1、データの種類によっては10:1から最大50:1まで削減することができます。

– ExaGridは、Veeamのようなバックアップアプリケーションが重複排除をオンにしたまま、さらにExaGridがデータを重複排除し、ストレージ効率を向上させることができる唯一のベンダーです。

■ データバックアップのパフォーマンス：

– ExaGrid システムはバックアップと並行して、idl システムサイクルを使用して重複排除を実行します。

– 適応型重複排除(Adaptive Deduplication) と呼ばれるこのアプローチは、重複排除をバックアップパスから除外することで、バックアップの高速化とバックアップウィンドウの短縮を実現します。

– ExaGridはスケールアウトシステムの全ターゲット、全アプライアンスでグローバルにデータ重複排除をサポートします。

– ExaGridは適応型重複排除を採用し、インライン重複排除のパフォーマンス・ペナルティを回避します。

■ データリストアパフォーマンス：

– データリストアのパフォーマンス：最新のバックアップを重複排除された完全な状態で保持するため、高速なリストア、数秒から数分でのインスタントVMリカバリ、オフサイトテープコピーが可能です。

– リストアの90%以上、インスタントVMリカバリおよびテープコピーの100%は最新のバックアップから実行されます。このアプローチにより、重要なリストア中にデータを「水分補給」することで発生するオーバーヘッドを回避できます。

– ExaGridシステムからのリストア、リカバリ、コピーにかかる時間は、重複排除されたデータのみを保存するソリューションよりも桁違の高速が可能です。