Syniti Data Replication 新機能ブログ③ Hadoop HDFSへのレプリケーション対応強化

投稿日: 2019年12月23日 作成者: climb
このエントリーをはてなブックマークに追加
LINEで送る

Syniti Data Replication 9.6(旧DBMoto)では、Hadoop HDFSへのレプリケーションが強化されました。
元々DBMoto 9.0にてHadoop HDFSへのレプリケーションは対応しておりましたが、
全件レコード転送のリフレッシュモードしか対応しておらず、差分レコード連携は未対応となっておりました。

Syniti 9.6では差分レコード連携が追加されたため、最新の更新データをHadoopへ取り込み、
分析に繋げることができるようになりました。

●SynitiへのHadoop HDFS登録

まず、ターゲット接続にHadoop HDFSを追加します。

Hadoop HDFSのIPアドレスやユーザ名とパスワード、どのHDFSフォルダへレプリケーションを行いたいのか、またHadoopコマンドを実行する実行ファイルパスを指定します。

テストを実行すると、接続が正しく行われていることが確認できます。

●レプリケーションの実行

レプリケーションジョブ作成にも、特別必要な操作はなく、RDBMSのレプリケーションジョブと同じように作成可能です。
実際にレプリケーションジョブを実行すると、以下のHDFS Webコンソールからもデータが確認できます。

.refとついたファイルが初期リフレッシュで作成された全件レコードが格納されたものであり、.mirが差分レコード連携で生成されたファイルです。

このように、Synitiを使用することで、Hadoop HDFSへのリアルタイムデータ連携が可能になります。

関連したトピックス

コメントを残す

メールアドレスが公開されることはありません。

このサイトはスパムを低減するために Akismet を使っています。コメントデータの処理方法の詳細はこちらをご覧ください。