Amazon RedShiftは、大規模なクラウド分析やビジネスインテリジェンスを実現するため、多くの企業で広く採用されています。クラウドデータウェアハウスの価値を最大限に引き出すためには、レガシーデータベースや運用データベースから、膨大な量のトランザクションデータを最小限の遅延で取り込む機能が必要です。
MOLO17は、対応するクラウド先ポートフォリオを拡大し、Gluesync向けのAmazon RedShiftターゲットエージェントの提供を開始したことを発表します。この新しいコネクタにより、企業はリアルタイムデータをストリーミングし、AWS 分析環境へ直接高速な一括ロードを実行できるようになります。
AWS S3 による高スループットの取り込み
最適なスループットを確保するため、Gluesync RedShift エージェントは AWS S3 を活用した高性能な一括ロードアーキテクチャを採用しています。
スナップショットおよび CDC によるバッチ取り込みの際、エージェントはデータを CSV ファイルとして S3 ステージングバケットにアップロードします。その後、RedShiftのネイティブCOPYコマンドをトリガーし、ターゲットテーブルへの並列取り込みを直接実行します。このステージングテーブルワークフローにより、大規模なデータセットを扱う場合でも、最大限の効率と速度が保証されます。
RedShiftエージェントの主な機能
Amazon RedShiftターゲットコネクタは、エンタープライズグレードのクラウド統合向けに構築されており、以下の機能を備えています：
●幅広い互換性：Amazon RedShiftプロビジョンドクラスター、Amazon RedShift Serverless、およびAmazon RedShift Spectrumを完全にサポートします。
●S3 最適化された一括ロード：CSV アップロードの必須ステージング領域として AWS S3 を使用し、その後ネイティブの COPY INTO コマンドを実行してデータを迅速に取り込みます。
●データベース・プーリング：高度な接続プーリングをサポートし、複数の統合パイプラインにわたるリソースの効率的な利用を実現します。
●自動 TRUNCATE サポート：Gluesync の「スナップショット前の TRUNCATE」機能と完全に互換性があり、ネイティブの RedShift SQL コマンドを利用して初期ロード前にテーブルを準備します。
●セキュアなJDBC接続：公式のRedShift JDBCドライバーを介して接続し、AWSエコシステム内での安全かつ信頼性の高いデータ転送を保証します。
クラウド分析を加速へ
Amazon RedShiftをターゲットコネクタとして使用することで、組織はミラーリングサイクル中にCDCの変更をバッチ処理し、大規模なデータセットに対して最適なスループットを提供できます。GluesyncのCDC機能とRedShiftの分析能力を組み合わせることで、企業は真のリアルタイムなオペレーショナルインテリジェンスを実現できます。
関連したトピックス
- Gluesync用SAP HANAエージェント：SAP環境向けリアルタイムCDC
- Gluesyncのレプリケーションソース（CDC付）およびレプリケーションターゲットとしてのDynamoDBのサポート
- ビッグデータ分析のためのデータウェアハウスAmazon Redshiftの特長と利点
- Gluesync 2.2.6：SAP HANAをソース、Amazon Redshiftをターゲットとした書き込みパフォーマンスを最適化
- Gluesync for Google BigQuery: Google BigQueryとのシームレスなデータ同期を実現する最速のソリューション
- [Gluesync 2.1.1] Allowed Operation機能によるTruncate操作のサポート対応追加について
- Amazon Redshiftに対してOracle、AS/400、SQL Server、MySQLなどからデータをリアルタイムにレプリケーション[DBMoto]
- Gluesync for MySQL 8+：リアルタイム同期のための高性能な変更データキャプチャ(CDC)の実装
- Gluesync 2.0： 新しい統合とパフォーマンス向上へ
- PostgreSQLに対してバルクインサートが可能に【DBMoto Ver8.5新機能①】
RSSフィードを取得する
