2020年7月17日のリリース内容は以下の通りです。

製品 TROCCO®️
バージョン v20200717
タイプ メジャーリリース
日付 2020/07/17
お客様への影響 なし

新機能

1. BigQueryのデータチェック対応

BigQuery内のテーブルに対し、データが正しい形式で存在しているかチェックする機能が追加されました。
任意のSQLを実行し、結果に対してエラー条件を設定することができます。例えば毎日1000件以上のレコードが追記されるテーブルがあった場合、昨日追加されたレコード件数をチェックし、1000件未満だった場合にSlack/メールアラートを飛ばす、というようなことが実現できるようになります。
本機能はワークフロー内のタスクとして選択頂くことで、どなたでもすぐにご利用可能です。

2. 転送中にSkipされた行数でアラートが可能に

TROCCO®︎では、データ転送されたレコード数に応じてアラートを飛ばす機能があります。
今回その拡充版として、「Skipされたレコード数」に応じてアラートを設定する機能を追加致しました。
対象はCSV系のファイルのみとなっていますが、不正文字列やカラムの過不足でSkipされたレコード数を検知することが出来るようになります。

3. BigQueryのカラム(列)にdescriptionのメタデータを転送可能に

BigQueryテーブルには、列ごとに説明文やコメントを付与することが出来る「description」というフィールドがあります。
このリリースでは、TROCCO上で説明文を定義しておけば、BigQueryのテーブルに説明文を同期できるようになりました。メタデータの管理用途等でお使い下さい。

4. その他

下記機能改善をリリースしている他、多数の修正パッチをリリースしています。

  • ワークフローでTROCCO転送タスクを追加する際、複数の設定をまとめて選択可能に
  • 転送先MySQL – SSH鍵が無いときのエラーを解消
  • 転送元Marketo – の安定性向上、 APIリクエスト上限設定が可能に
  • 転送元S3/SFTP で zip展開後のファイル指定が出来るように
  • S3 Parquetバージョンアップ対応

今回のリリース内容は以上です。
Happy Data Engineering!