対応データソースに関するアップデート
転送元Pardotに正式対応
転送元にPardotを指定して、データ転送が行えるようになりました。
- Pardotビジター、プロスペクトのマスタ情報
- ビジター行動履歴
- リストメール配信の統計情報
を抽出できます。顧客分析やCRMとの連携などにご活用ください。
転送元ファイル系の場合にLTSV形式のファイルをサポート
これまでは CSV（TSV）、JSON Lines、JSON Path形式のファイル取り込みをサポートしていましたが、今回新しくLTSV形式（Labeled Tab-separated Values）のファイルを取り込んで転送できるようになりました。
ファイル系の転送元（S3、GCS、AzureBlobStorage、ローカルファイル）などにおいて、ご利用いただけます（STEP1の入力ファイル形式で「LTSV」を選択してください）。
※LTSV…主にアクセスログなどで利用されるファイル形式
転送元Hubspotにおいて、各オブジェクト間の紐付け関連情報（アソシエーション）の取得が可能に
companyとticketなど、各オブジェクト間の関連情報を転送できるようになりました。
これにより、「ticketなどのオブジェクトがどのcompanyやdealと紐付いているのか」などがわかるようになり、より柔軟な分析が行えるようになります。
利用の際には、転送元HubspotのSTEP1の取得対象から「アソシエーション」を選択し、任意のオブジェクトの組み合わせと各カラム名を設定して転送を行ってください。
転送元Marketoのアクティビティ取得について、検索条件にアクティビティタイプIDを複数設定可能に
アクティビティデータのデータ転送量削減のため必要となるアクティビティタイプを選択した上で転送が可能になりました。
Facebook接続情報の認証方式として、アクセストークン入力方式をサポート
これまではOAuth認証のみをサポートしていましたが、アクセストークンを直接入力することでFacebookとの連携を行えるようになりました。
OAuth認証の場合は個人のアカウントに紐付けて認証を行う必要がありましたが、アクセストークンを用いることで個人に紐付かない形での認証も可能になります。
詳しくはFacebook接続情報のドキュメントをご覧ください。
転送先Google Spreadsheetsにセルの書式設定オプションを追加
転送先Google Spreadsheetsにセルの書式設定オプションを追加しました。既存の転送設定には USER_ENTERED(セルの書式設定を適用する) が設定されています。
RAW(セルの書式設定を適用しない) を設定していただくと、入力値をそのままGoogle Spreadsheetsに出力することが可能になります。
ワークフロー機能のアップデート
BigQueryのクエリ実行結果に基づくループ実行機能を追加
ワークフローのループ実行におけるカスタム変数の展開値を、BigQueryのクエリ結果に基づいて設定できるようになりました。展開したい値をBigQueryのテーブルに格納しておくことで、展開値が実行のたびに変動するようなワークフローを定義できるようになります。
APIでのワークフロー実行に対応
APIでワークフローの実行、及びジョブ状況の確認が行えるようになりました。Airflowなどの外部データパイプラインからtroccoワークフローを実行するなどの用途でご利用いただけます。
詳しくはドキュメントをご覧ください。
UI/UXのアップデート
S3・GCSの接続情報フォームでの接続確認をサポート
S3接続情報作成時に、入力内容の項目に関する接続確認を行うことが出来るようになりました。
この機能により、保存前にクレデンシャル等が正しいかを事前に確認することが出来ます。
転送先BigQueryのテスト実行機能で、転送先一時BigQueryテーブルの手動削除をサポート
テスト実行の状態確認モーダルにおいて、転送先一時BigQueryテーブルを任意のタイミングで削除できるようになりました。一時テーブルを手動で削除しない場合、これまで通り適用時に自動で削除されます。
オンプレエージェントのアップデート
troccoエージェントの転送先BigQueryについて転送モードに「replace」を追加する
エージェント機能での転送先BigQueryでのデータ取り込み方式(write disposition)が指定できるようになりました。
元々は 追記(write_append)のみだったものに、洗い替え(write_truncate)、空のときのみロード(write_empty)を追加しています。オンプレエージェント機能はオプション機能になりますので、お試しになりたい方は担当営業にご連絡くださいませ。
troccoエージェントは最新バージョンのイメージ(ver 1.0.3)をインストールし再起動してください。
その他のアップデート
転送元RDBMSバージョン対応表を公開
ヘルプドキュメントにて、troccoがサポートしている転送元RDBMSのバージョン対応表を公開いたしました。以下のリンクからご覧ください。
今回のリリース内容は以上です。
Happy Data Engineering!