2020年07月17日 trocco®️リリースノート – BigQueryデータチェック、アラート機能拡充など

BigQuery内のテーブルに対し、データが正しい形式で存在しているかチェックする機能が追加されました。
任意のSQLを実行し、結果に対してエラー条件を設定することができます。例えば毎日1000件以上のレコードが追記されるテーブルがあった場合、昨日追加されたレコード件数をチェックし、1000件未満だった場合にSlack/メールアラートを飛ばす、というようなことが実現できるようになります。
本機能はワークフロー内のタスクとして選択頂くことで、どなたでもすぐにご利用可能です。

trocco®︎では、データ転送されたレコード数に応じてアラートを飛ばす機能があります。
今回その拡充版として、「Skipされたレコード数」に応じてアラートを設定する機能を追加致しました。
対象はCSV系のファイルのみとなっていますが、不正文字列やカラムの過不足でSkipされたレコード数を検知することが出来るようになります。

BigQueryテーブルには、列ごとに説明文やコメントを付与することが出来る「description」というフィールドがあります。
このリリースでは、trocco上で説明文を定義しておけば、BigQueryのテーブルに説明文を同期できるようになりました。メタデータの管理用途等でお使い下さい。

下記機能改善をリリースしている他、多数の修正パッチをリリースしています。

• ワークフローでtrocco転送タスクを追加する際、複数の設定をまとめて選択可能に
• 転送先MySQL – SSH鍵が無いときのエラーを解消
• 転送元Marketo – の安定性向上、 APIリクエスト上限設定が可能に
• 転送元S3/SFTP で zip展開後のファイル指定が出来るように
• S3 Parquetバージョンアップ対応