弊社取扱いのRDBデータレプリケーションンツールDBMotoでは、レプリケーション中にデータベースとのネットワークなどで問題で切断が発生した場合でも、次のインターバル間隔で再度接続をやり直してレプリケーションを継続しようとします。

その場合の挙動は以下の通りです。

• リフレッシュ：最初からやり直し
• ミラーリング・シンクロナイゼーション：最後に処理したトランザクションIDから再開

ミラーリングやシンクロナイゼーションでは途中からの再開となりますが、リフレッシュの場合最初からのやり直しとなってしまいます。

しかし、WAN越しでネットワーク回線の安定性に欠ける場合、もしレコード件数が多いテーブルのリフレッシュに失敗したとき、また最初からやり直すことで時間をロスしてしまう可能性があります。

それが予期される場合にあらかじめ設定することでリフレッシュの挙動を「最後に処理したレコードから再開」にすることができる機能があります。
それは「リフレッシュリカバリ」という機能です。

この「リフレッシュリカバリ」を使えば、リフレッシュ途中でエラーが発生しても、最後に処理したレコードからの再開で時間のロスを防ぐことができます。
※この機能の利用にはソース側テーブルに主キーがある必要があります。

設定箇所ですが、レプリケーションのプロパティを開き、左メニューの「優先」を選択すると、「リフレッシュオプション」内に「リフレッシュリカバリ」というメニューがあります。
これをデフォルトのFalseからTrueに変更すると機能が有効になります。

この機能を有効にすることで、リフレッシュ時のパフォーマンスが若干低下することがありますが、実際にその影響が感じられることはあまりありません。

レコード数が多いテーブルのレプリケーションをお考えの方は是非この機能の活用をご検討ください。

DBMotoは異種データベースのレプリケーションツールですが、テキストデータとの連携も行えます。連携の方式としては以下のようになっています。

1. リフレッシュのソースとしてCSVのデータを使用
2. ミラーリングのターゲットとしてファイルを使用

リフレッシュのソースにのみですがCSV等のテキストファイルを指定することが可能です。
以下のような手順でデータソースとして追加できます。

1. Microsoft Access Database EngineをDBMotoマシンにインストールします。

http://www.microsoft.com/en-us/download/details.aspx?displaylang=en&id=13255

2. 接続の追加ウィザードを起動し、CSV Filesを選択
3. Driverに1．でインストールしたドライバが表示されるためそれを選択



4. Connecting Stringsのボタンをクリックし、Use Current Directoryのチェックを外します。

※デフォルトではDBMotoインストールフォルダが参照されます。

5. Select Directoryから対象ファイルの存在するフォルダを指定します。
6. また、Optionsからテキストデータの形式を設定することも可能です。



7. 指定したディレクトリに存在するリフレッシュ対象のテキストファイルを選択します。

これにより、追加したファイルをリフレッシュのソースとして利用可能です。
※文字コードはANSIまたはOEMである必要があります。
※対象ファイルはWindowsのパス上で参照可能である必要があります。

ミラーリングのターゲットとしてファイルを指定し、ソーステーブルの変更をファイルで残しておくことができます。

1. 接続の追加ウィザードを起動し、Filesを選択
2. dirpathに出力先のフォルダを指定、必要に応じて出力形式を指定



3. ウィザードをそのまま進め、完了します。

これにより、設定した接続先をミラーリングのターゲットとして使用できます。そのままですとテーブルが存在しないため、DBMotoのターゲットテーブル作成機能でターゲットを作成し、ミラーリングを設定します。
ターゲットテーブルが設定されると、テーブルの構成情報を保存するschemainfo.xmlが作成され、リフレッシュが実行されると.refファイル、ミラーリングが実施されると.mirファイルが作成され、ミラーリングの内容をテキストデータで保存することができます。

弊社のRDBデータレプリケーションソフト、DBMotoでは異種DB間でレコードデータを連携できます。
そして連携に際して要望が多い事柄に関しては、設定のオンオフだけで実施可能となる機能として標準搭載されています。

DBMotoの機能として「非クリティカル使用」というものがあります。これは英文の「Use non critical」というものを訳したものです。
どちらにしても名前を聞いてすぐにピンとくる機能ではありません。
いったいどういった機能でしょうか。このブログ記事にて紹介いたします。

続きを読む →

DBMotoでは、通常レプリケーション対象とするテーブルの選択には、「テーブル選択」から表示されるテーブル一覧よりチェックを入れて選択します。
この一覧表示は逐一データベースにクエリで問い合わせを行っています。

しかし、テーブルやスキーマの数が多い場合、レプリケーション対象とならないテーブルまで表示されるため、選択が極めて煩雑な作業となることがあります。
さらに一部のデータベースでは、テーブルの数が多いと、そのテーブル一覧の表示に時間がかかってしまい、タイムアウトしてしまうケースがあります。

こういった場合、予めレプリケーション対象のテーブルやその構造がわかっているのであれば、そのテーブル情報を記載したCSVファイルを作成し読み込ませれば、クエリを使う代わりにそのファイルからテーブルの選択が可能です。

まずは、CSVファイルの記法を解説します。
CSVファイルの構造は、左からカタログ、スキーマ、テーブル、主キーとなります。。
カタログはOracleなどの一部のデータベースで必要になることがあります。該当していなければ以下の例の通り空欄にします。
主キーは１つだけの場合も複数の場合も[]で囲って配列の形式で入力します。存在しない場合、以下の例の通り省略してください。

"","CLIMB","ADDRESS"
"","CLIMB","ADDRESS1",["STREET","STATE","ZIP"]
"","CLIMB","ADDRESS2",["APT"]


ここからは読み込ませる方法を解説します。例として以下のようなCSVを用意します。

まずは通常通り「テーブル選択」を開きます。枠の右上付近にボタンがあるのでクリックすると、「ファイルからインポート」というメニューがあるのでこれを選択します。

読み込んだあと、トグルボタンを展開していくと、下の通り、読み込ませたテーブルのみが一覧表示されます。ここからテーブルを選択してください。

この機能を利用するに当たっての注意点は以下になります。

• スキーマ名やテーブル名やフィールド名の大文字小文字は問いませんが、データベースによっては判定が厳密であることがありますので、大文字小文字まで正確な入力を推奨いたします。
• CSVファイルの文字コードは必ずUTF8にしてください。ShiftJISは日本語のテーブル名・フィールド名の場合、文字化けします。
• テーブルの構造がもしスキーマの構造に従っていない場合（例えばMicrosoft Accessではカタログとスキーマ情報とともにテーブルがファイルに含まれています。）、そのテーブルは無視されます。
• データベース上にテーブルが存在しない場合、エラーが発生し操作は取り消されます。
  
• キーリストにあるいずれかの主キーフィールドがテーブル構造上に存在しない場合、エラーが発生し操作は取り消されます。
  （※主キーではないフィールドが主キーとして指定されていた場合、そのフィールドは仮想PKとして登録されます。）
  

2019年5月29日 追記

レプリケーション一括作成機能を使用して、複数テーブルのレプリケーションをまとめて作成したい場合、上記の手段でレプリケーション対象となるテーブルのみをDBMotoに登録したとしても、デフォルトの設定ではレプリケーション一括作成のウィザードで全てのテーブルが見えてしまい、結局テーブルの選択が煩雑になってしまいます。

そのため、レプリケーション一括作成を行う前に、DB接続設定で切断モードをTrueに設定します。これにより、DBMotoに登録されたテーブルのみを簡単にレプリケーション一括作成が可能です。

マルチテナント用Oracle 12cをDBMotoで使用する場合は、PDBとCDBユーザそれぞれに必要な権限が異なります。詳細は下記の通りです。
PDBユーザ名を「dbmotoP」、CDBユーザを「c##dbmotoC」とした場合の例となります。
※2019/06/10 一部修正しました。

マルチテナントではないPDBなしのOracle 12cに必要な権限は下記をご参照ください。
DBMotoレプリケーションに必要なOracleユーザ権限

●ミラーリング複製元ソース用

◇PDBユーザ
// ユーザ作成
create user dbmotoP identified by dbmotoP;

// DB接続オープン
grant create session to dbmotoP;

// 参照権限
grant select any table to dbmotoP;

// サプリメンタルロギング設定時の必要権限
grant alter database to dbmotoP;
grant execute on sys.dbms_logmnr_d to dbmotoP;
grant select on sys.v_$parameter to dbmotoP;
grant select on sys.v_$log to dbmotoP;
grant select on sys.v_$logfile to dbmotoP;
grant select on sys.V_$logmnr_contents to dbmotoP;
grant select on sys.V_$thread to dbmotoP;
grant select on sys.V_$archive_dest to dbmotoP;
grant select on sys.v_$archived_log to dbmotoP;
grant select any transaction to dbmotoP;
grant select on cdb_pdbs to dbmotoP;
grant logmining to dbmotoP;
grant select on sys.v_$database to dbmotoP;
grant select on sys.v_$containers to dbmotoP;
grant select on DBA_LOG_GROUPS to dbmotoP;
grant select on DBA_LOG_GROUP_COLUMNS to dbmotoP;
grant EXECUTE_CATALOG_ROLE to dbmotoP;

// シンクロナイゼーション使用時
grant select on sys.aud$ to dbmotoP;

◇CDBユーザ
※ユーザ作成、権限付与はCDBで実施する必要があります。

// ユーザ作成
create user c##dbmotoC identified by dbmotoC;

// DB接続オープン
grant create session to c##dbmotoC container=ALL;;

// Redoログ参照権限
grant alter database to c##dbmotoC container=ALL;
grant execute on sys.dbms_logmnr_d to c##dbmotoC container=ALL;
grant select on sys.v_$parameter to c##dbmotoC container=ALL;
grant select on sys.v_$log to c##dbmotoC container=ALL;
grant select on sys.v_$logfile to c##dbmotoC container=ALL;
grant select on sys.V_$logmnr_contents to c##dbmotoC container=ALL;
grant select on sys.V_$thread to c##dbmotoC container=ALL;
grant select on sys.V_$archive_dest to c##dbmotoC container=ALL;
grant select on sys.v_$archived_log to c##dbmotoC container=ALL;
grant select any transaction to c##dbmotoC container=ALL;
grant select on cdb_pdbs to c##dbmotoC container=ALL;
grant logmining to c##dbmotoC container=ALL;
grant select on sys.v_$database to c##dbmotoC container=ALL;
grant select on sys.v_$containers to c##dbmotoC container=ALL;
grant select on DBA_LOG_GROUPS to c##dbmotoC container=ALL;
grant select on DBA_LOG_GROUP_COLUMNS to c##dbmotoC container=ALL;
grant EXECUTE_CATALOG_ROLE to c##dbmotoC container=ALL;
alter user c##dbmotoC set container_data=ALL container=current;

// シンクロナイゼーション使用時
grant select on sys.aud$ to c##dbmotoC;

●ミラーリング複製先ターゲット用

※CDBユーザは必要ありません。

◇PDBユーザ
// ユーザ作成
>create user dbmoto identified by dbmoto;

// DB接続オープン
>grant create session to dbmoto;

// 参照・編集権限
>grant select any table to dbmoto;
>grant insert any table to dbmoto;
>grant update any table to dbmoto;
>grant delete any table to dbmoto;

// TRUNCATE権限
>grant drop any table to dbmoto;
>grant alter any table to dbmoto;

// ターゲットテーブル作成ウィザード使用時のみ必要
>grant create any table to dbmoto;
>grant unlimited tablespace to dbmoto;

●DBMotoでの設定箇所について

まず通常のユーザ設定画面ではPDBユーザを指定します。接続先データソースもPDB用を入力します。

にトランザクション設定画面にてサプリメンタルロギングを設定する際はまず確認ボタンを押下し、次にログ設定の横のボタンを押下します。

ここではCDBユーザを指定します。サーバもCDB用を入力します。

最後にサプリメンタルロギングにチェックを入れ、インストールボタンを押下することでサプリメンタルロギングが有効となります。