Gluesync 2.2 のアップデート:パイプラインのメンテナンスとParquetの最適化

Gluesync 2.2のアップデートでは、データベース管理者がアクティブなパイプラインをより細かく制御できるようにすること、ビッグデータワークロードのリソース消費を最適化すること、そしてコントロールプレーンのユーザーエクスペリエンスをさらに向上させることに重点を置いています。

ここでは、最新のGluesync 2.2リリースで導入された主な機能と強化点をご紹介します。

運用制御の強化:メンテナンスモードとパイプラインリセット

エンタープライズデータパイプラインの管理には、特にインフラの更新時において柔軟性が求められます。リリース 2.2.1.0 では、パイプラインメンテナンスモードを導入しました。

この機能により、管理者は定期メンテナンス、ソースデータベースの更新、またはトラブルシューティングのために、データ同期を一時的に停止することができます。重要な点として、一時的に切断されたデータベースに関連する絶え間ない警告通知や既知のエラーを抑制しつつ、接続設定や履歴データを失うことなく運用できます。

さらに、設定タブ内のDanger zoneからアクセス可能なパイプラインリセット機能を導入しました。これにより、チームはチェックポイントデータを即座にクリアし、同期を最初から再起動できます。データを完全に再処理する必要がある場合や、複雑な同期の異常を修正する際に、非常に有用なツールとなります。

データレイク向けのよりスマートなParquetファイル処理

AWS S3、Azure Data Lake StorageGoogle Cloud Storageなどのクラウドストレージ先へ大規模なデータセットを転送する企業にとって、メモリ効率は極めて重要です。

バージョン2.2.0.2のアップデートでは、MOLO17 ParquetKtライブラリに大幅な機能強化を実施しました。Gluesyncは、Parquetファイル処理のための動的メモリ管理機能を新たに搭載しました。システムはメモリ使用量を継続的に監視し、RAMが不足している場合に処理をディスクへインテリジェントにオフロードします。これにより、堅牢な安定性が確保され、大量のデータ取り込み中にメモリ不足による障害が発生するのを防ぎます。

Core Hubの安定性とUXの最適化

Gluesync Control Planeを継続的に改良し、日々の運用をよりスムーズかつ安全にしています。最近のアップデートでは、利便性とインフラストラクチャの面でいくつかの改善が施されました。

エージェント展開の効率化

新しいエージェントを展開する際のクリック数を減らすようUIを最適化し、オンボーディング体験を向上させるために初期のスプラッシュ画面も再設計しました。

TLS管理の強化

アップロードおよび管理フェーズにおけるTLS証明書のサポートを改善し、安全なデータベース通信の設定をより容易にしました。

ローカルキャッシュの最適化

ローカルキャッシュを利用するエージェント向けに、ローテーションおよびエヴィクションのメカニズムを改善し、Windowsユーザーにとってパフォーマンスと安定性が著しく向上しました。

ネットワークの信頼性

最近のカーネル更新を実行している特定のLinuxディストリビューションでUDPブロードキャストの氾濫を引き起こしていたエッジケースの問題(GSSD-641)を解決し、クリーンで安定したネットワーク運用を確保しました。

エージェントの継続的な改良

異種環境全体での信頼性を確保するという当社の取り組みの一環として、これらのリリースには、広範なコネクタエコシステム全体にわたる対象を絞った修正とパフォーマンスの向上が含まれています。主な更新内容は以下の通りです:アップグレードの準備はできていますか?

Oracle: LogMinerおよびTriggersエージェントの両方;

Microsoft SQL Server: 変更データキャプチャ(CDC)および変更追跡(CT)エージェントの両方;

IBM i Series: ジャーナルベースのCDCに対する継続的な機能強化;

その他の主要なターゲットおよびソース: PostgreSQL、YugabyteDB、Snowflake、MariaDB、MySQL、およびCockroachDB

これらの更新により、Gluesync 2.2は、リアルタイムデータ統合プラットフォームにおいて、これまでで最も耐障害性とスケーラビリティに優れたバージョンとしてさらに強化されました。

関連したトピックス

コメントを残す

メールアドレスが公開されることはありません。 が付いている欄は必須項目です

このサイトはスパムを低減するために Akismet を使っています。コメントデータの処理方法の詳細はこちらをご覧ください