2020年6月3日のリリース内容は以下の通りです。

製品 trocco®️
バージョン v20200603
タイプ メジャーリリース
日付 2020/06/03
お客様への影響 なし

新機能

 転送元MySQLで発生したUPDATE/DELETE/ALTERコマンドをBigQueryに自動反映可能に(Beta版CDC機能)

Embulk転送の場合、UPDATE/DELETEやALTERコマンドが発生するテーブルは「全件転送」を行う必要があり、容量が大きなテーブルの転送が非効率・高負荷という弱点がありました。

今回新たに「CDC(Change Data Capture = 変更データキャプチャ)転送」が追加されたことにより、初回のみ全件転送、それ以後は差分転送で対応出来るようになります。そのため容量が大きなテーブルでも効率的に、比較的低い負荷で変更追従することが出来るようになります。

  • 転送元MySQL側で発生したUPDATE/DELETE/ALTERコマンドを、BigQuery側に自動で反映
  • 内部的にはMySQLのbinlogを読み取り、変更をキャプチャし、BigQuery側に反映
  • 常に最新のMySQL側と同じスキーマ・データのテーブルを同期したいマスターデータなどでご利用下さい
  • 対象はMySQL→BigQueryのみ、Beta版としての提供

より詳しい内容はドキュメントページをご参照下さい。

※Betaへの参加にはお申し込みが必要となります（2020年6月3日現在。追加料金等は無し、転送量は通常通り発生）。お気兼ねなくサポートメンバーまでご連絡下さい。

トップページで無料枠利用状況および転送量推移の可視化に対応

TOPページに以下の情報が表示されるようになりました。

  • 無料枠の利用状況（容量・使用率）の表示
  • アカウント全体の日時転送量推移の表示
  • 転送量が多い転送設定のランキング表示

YDN・YSSのAPI正式版対応

YDNおよびYSSの転送時に利用されるAPIを、正式版（v1）にバージョンアップいたしました。互換性が保たれているため基本的には既存の設定そのままで利用可能です。追加されたフィールドやAPI側のバージョンアップ詳細についてはYahoo!広告API公式ページをご参照下さい。

転送元LINE広告の改善

以下の改善を行っています。

  • 広告IDにカスタム変数を設定可能に
  • API経由でのジョブトリガー時に、カスタム変数の上書きが可能に

転送元Marketoの改善

targetにカスタムオブジェクトを追加いたしました。

転送先S3の改善

API経由でのジョブトリガー時に、カスタム変数の上書きが可能になりました。

Slack通知の改善

通知内容が見やすくなりました。

  • サイズ表示をMB/GB等で短縮表示可能に
  • レコード数をカンマ区切りで表示可能に
  • 実行完了日時を追加

その他、多数のパッチ・バグフィックスを含んでいます。今回のリリース内容は以上です。
Happy Data Engineering!