Gluesync 2.3.1:書き込みポリシー、安全なスナップショットの再開、およびGreenplum、Vertica、SAP ASE用エージェント

Gluesync 2.3.1:変更された列のみを書き込み、スナップショットを安全に再開し、新しいGreenplum、Verticaソース、およびSAP ASEログリーダーエージェントとのレプリケーションに対応しました。

Gluesync 2.3.1 が リリースされました。各エンティティが書き込みポリシーを選択するようになったため、CDC 更新では変更された列のみが書き込まれます。新しい開始ダイアログでは、「開始」ボタンを押す前に、各エンティティがどこから再開されるかが表示されます。カタログに 3 つの新しいエージェントが追加されました。Greenplum ターゲット、Vertica ソース、および SAP ASE (Sybase) ログリーダー です。

2.3.0 では AI を活用して独自のキーを管理し、書き込みパスを制御できるようになりましたが、その 2 週間後にリリースされた 2.3.1 も同様の方向性を継承しています。無駄な書き込みの削減、中断した箇所からの再開が可能なスナップショット、そしてパイプラインの両端で対応するデータベースの拡充などが図られています。

書き込みポリシー:実際に変更された列のみ

各エンティティは独自の書き込みポリシーを選択するため、ターゲットにはトランザクションが行った作業が正確に反映されます。

  • 「変更された列のみ」:トランザクションで変更された列のみを書き込みます
  • 「変更のない行をスキップ」:キー以外の列に変更がない更新は破棄されます
  • 「ソース値の欠落」:ソースに値が存在しない場合(SQLのNULLやドキュメントフィールドの欠落など)、NULLを書き込むか、その列を省略するか、ターゲットにデフォルト値を適用させます

ドキュメントストア、キーバリュー、またはワイドカラムのターゲットで更新対象の行が見つからない場合、Gluesyncは変更されていないフィールドも含めて行を作成するため、ドキュメントは完全な状態で書き込まれます。BigQuery、Cosmos DB、Microsoft Fabric Open Mirroringなど、常に行全体を書き込むターゲットや、一括書き込みを行うエンティティは、保存時にポリシーを拒否するため、選択した設定が常に適用されます。

中断した箇所から再開し、クリックする前に確認

新しい開始ダイアログでは、各エンティティの実行を開始する前に、どこから再開されるかが表示されます。このダイアログから、スナップショットやCDCのオプションを選択したり、スナップショットの速度を設定したり、デスクトップやスマートフォン上で複数のエンティティを一度に変更したりできます。

中断されたスナップショットは、キー順に読み込まれた場合のみ継続され、すべての行がターゲットに到達します。読み取り順序によって継続が安全でないと判断された場合、スナップショットは最初からやり直され、Gluesyncがその理由を通知します。Core Hubでは、パイプライン内の各エンティティの再開位置が報告されるようになり、継続されたスナップショットは最初の開始時刻を維持します。スナップショットタスクおよびエンティティの再生/一時停止パネルを参照してください。

3つの新しいエージェント:Greenplum、Vertica、SAP ASE

Greenplumターゲット

Greenplumターゲットエージェントは、Greenplum Database 6および7にスナップショットとCDCを書き込みます。そのバルクパスは、コーディネーター上のCOPY、または各セグメントが並列で読み込む組み込みのgpfdistサーバーを通じて読み込まれます。このエージェントが作成するテーブルには、分散ポリシーが適用され、オプションで圧縮機能を備えた追記最適化ストレージが設定されます。

Vertica ソース

Vertica ソースは、エポックを比較することで変更をキャプチャします。スナップショットは、固定された 1 つのエポック内のすべてのテーブルを AT EPOCH で並列ハッシュバケットから読み込み、CDC もその同じエポックから開始されるため、スナップショットから CDC への引き継ぎは正確に行われます。このエージェントは、トリガー、シャドウテーブル、独自のオブジェクトを一切作成せず、SELECT ステートメントのみを実行します。この同じエージェントは、ターゲットとしてもすでに Vertica への書き込みを行っています。

SAP ASE (Sybase) ログリーダー

Sybase ASE ログリーダー(エージェントタグ sybase-logreader)は、サーバー独自のレプリケーション・エージェント(RepAgent)スレッドを通じて、ASE トランザクション・ログから CDC を読み取ります。ASEホストには何もインストールされず、トリガーやシャドウテーブルも作成されません。更新および削除の「ビフォア・イメージ」を配信し、切り捨てをキャプチャし、書き込みアプリケーションのトランザクション内に負荷を追加することはありません。トリガーエージェント(sybase)は、SAP Replication Serverによってすでにレプリケーションされているデータベースに対して引き続き利用可能です。

SQL Server へのスナップショットの高速化

SQL Server へのスナップショットページの転送は、ページごとに 1 回ずつコピーする方式から、ページをまたいで開かれたままの 1 つのバルクコピーを通じてストリーミングされるようになりました。幅の広いテーブルや高遅延のリンクで特にその恩恵を受けられます。MS SQL Server CDC および変更追跡エージェントの両方がこれをターゲットとして利用できるようになり、新しい directCopyChunkSizeMb、directCopyChunkSeconds、および directCopyChunkIdleSeconds設定が追加されました。

ポケットの中のQuery Studio

Gluesync Mobile上のQuery Studioは、カードとボトムシートを軸に、スマートフォン向けに再構築されました:

  • ・SQLのシンタックスハイライト、クイックアクションチップ、最近の接続情報を記憶する接続ピッカーを備えたクエリエディタ
  • ・各行に詳細シートが付いたモバイルテーブル形式の結果表示
  • ・ワンタップでアクセスできるクエリ履歴と保存済みクエリ、そして小さな画面向けに最適化されたAIヘルパー

2.3.1 のその他の変更点

  • メトリクス:「転送データ総量」は実際のペイロードをカウントし、ソースおよびターゲットごとに新しい「スナップショット転送データ量」メトリクスが報告されます。エンティティの詳細には、そのすべてのターゲット間で転送されたデータが表示されます
  • 耐障害性のあるロード処理:フラッシュが失敗した場合、一括スナップショットロードは最後のチェックポイントから再開されます。CDC はページが完全に読み込まれた直後に再度ポーリングを行い、高負荷下でエンティティを停止すると、実行中の操作がキャンセルされます
  • MCP:既存のエンティティに対する create_entity および draft_entity は、保存済みのソース設定を維持し、polling_interval_ms が指定されている場合にのみポーリング間隔を変更します
  • セキュリティ:OIDC グループによるサインインを拒否するため、拒否されたグループに所属するユーザーは、他のグループでアクセス権が許可されていてもアクセスできません
  • UI:「設定」→「ユーザーとアクセスグループ」にユーザー、グループ、およびアクセス設定が、「設定」→「サポート」にリモートサポートカードが追加され、トップバーからアクセスできる更新エラーの表示がより明確になりました
  • エージェント:Cassandra、ScyllaDB、Google Pub/Sub、Azure Cosmos DB、Apache Kafka、Aerospike、Couchbase でのペイロードサイズの書き込みチャンク;Informix での CDC 読み取りの高速化;CockroachDB および YugabyteDB での型付き配列カラム;PostgreSQL および YugabyteDB での日付および timetz の修正

コメントを残す

メールアドレスが公開されることはありません。 ※ が付いている欄は必須項目です

このサイトはスパムを低減するために Akismet を使っています。コメントデータの処理方法の詳細はこちらをご覧ください。