データ転送機能のアップデート

1. 転送元CloudWatch Logsに正式対応

転送元にAWSのCloudWatch Logsを指定して、データ転送が行えるようになりました。
AWSで稼働中のアプリケーション・インフラのログをDWHに転送する用途などでご利用下さい。

2. 転送元Google Ads(新API対応)

転送元に、Google広告新APIに対応した「Google Ads」を追加致しました。新しくGoogle広告からのデータ転送を作成されるお客様はこちらをご利用下さい。
なお、既存の転送元Google広告は「Google AdWords」に改名し、こちらは廃止予定です。Google Adsへの移行をお願い致します。

3. 転送元PostgreSQLの改善
  • Inteval型のデータに対応

  • SSH踏み台経由の接続に対応

  • SSH踏み台経由接続時に、SSL(CA証明書指定)で接続エラーになる問題の対応

4. 転送元HTTPの改善
  • POSTメソッドに対応

  • パラメータに対してカスタム変数が使用可能に

データマート機能のアップデート

1. データマート 詳細画面のYAML表示

先日転送設定のYAML表示機能のリリースを発表しましたが、データマートにも同等の機能がリリースされました。
設定を履歴管理する等でご利用いただけます。なお、近日中に設定YAMLをGitHubに連携する機能のリリースを予定しております。

2. 各種オプション追加・修正パッチ
  • 出力先テーブルが存在する場合のみ「転送前に実行するクエリ」を実行するようにする
  • BigQueryデータマートにタイムアウトオプション追加
  • データマートの自動再実行 & 同時実行防止オプション追加

ワークフロー機能のアップデート

1. 別ワークフローをキックするタスクの実装

ワークフローのタスクに、「ワークフロー」が追加されました。ワークフローの中に別のワークフローを入れ子にし、トリガーすることが出来るようになります。

UI/UXのアップデート

1. MySQLの接続情報作成時に、「接続確認」が可能に

MySQLの接続設定を作る際、入力内容が正しいか確認できる「接続確認」機能が追加されました。
今後別のデータソースにも対応していく予定です。

2. カスタム変数のタイムスタンプフォーマットを選択可能に

タイムスタンプ型のカスタム変数作成時に、フォーマットを「%Y-%m-%d」のような文字列を入力する必要がありましたが、よく入力されるフォーマットについてはプルダウン形式で選択出来るようになりました。

3. 転送元・転送先選択モーダルで文字列検索できるように

新規転送設定作成時に、転送元・転送先を選ぶ際、文字列検索で表示項目を絞り込むことが出来るようになりました。
例えば「Amazon」と打つと、下記のようにAmazon系のデータソースのみ絞り込んでくれます。

今回のリリース内容としては以上となります。


Happy Data Engineering!

投稿者

hirokazu.kobayashi
2020年10月13日

データ分析基盤を作るなら、trocco®

パワフルなデータ統合機能だけでなく、データの管理やワークフローの管理を、手軽に実現するには「trocco®(トロッコ)」が最適です。自前構築に比べて最大90%の工数カットが可能です。

troccoについて詳しく知る