trocco®を利用してTwitter広告のレポートをGoogle BigQueryへ同期、Looker Studioで可視化する

概要

Twitter広告はTwitterのタイムライン上に自社の広告を出稿できるサービスです。Twitterはユーザーの選好を分析し、そのユーザーに最適なツイートを表示するアルゴリズムがあり、Twitter広告にもそれが生かされています。

Twitter広告も他の広告サービスと同様にインプレッション数やクリック数といった各種データを分析し、よりユーザーからのクリック、コンバージョンにつなげるにはどうしたらいいかを分析して改善していく必要があります。
このような広告サービスにはデータを分析するためにそのデータの可視化、エクスポートを行うレポート機能がある程度標準の機能として備わっていますが、何千、何万という単位のデータをリアルタイムで分析したい場合や、Twitter広告以外の広告サービスのデータと絡めた高度な分析を行いたい場合は別途DWH（データウェアハウス）へデータを統合、Looker・TableauといったBIツールでデータの可視化・分析を行うという流れが有効ではないでしょうか。そしてこのようなデータ統合に役立つのがETLツールと呼ばれるサービスです。

今回はtrocco®（トロッコ）という分析基盤向けデータ統合サービスを使い、Twitter広告のデータをGoogle BigQueryというDWHへ統合し、Looker Studio（旧：Googleデータポータル）というBIツールを用いてデータの可視化を行います。
なお今回データの転送手段として使用するtrocco®は、Twitter広告の他にも、様々な広告・CRM・DBなどのデータソースに対応しています。

ゴール

このようなTwitter広告のレポートデータから

このようなグラフを作り上げます。またグラフの作成後はtrcco®の機能を利用して自動でデータが更新されるように設定します。

こんな人におすすめ

Twitter広告のレポートデータを分析基盤・DWHに取り込みたい方
分析基盤・DWHにTwitter広告のレポートデータを毎回CSVエクスポートし取り込んでおり、時間の浪費に悩んでいる方
様々なデータ取得の作業に疲れている方

1. DWHと同期する手段の選定

1-1. DHWの選定

まずはデータをどこに集約するか、DHW（データウェアハウス）を選定します。

Google BigQuery
Amazon Redshift
Snowflake
MySQL
PostgreSQL など

trocco®はいずれのサービスにも対応していますが、今回はGoogle BigQueryを利用することにします。

1-2. Twitter広告のレポートデータをBigQueryに転送する4つの方法

BigQueryにデータを集約することが決まったので、次は転送するための手段を検討していきます。

1. Twitter広告のレポートデータをCSV形式でエクスポートし、手動でBigQueryにアップロードする。
2. Twitter広告とGoogle BigQueryの各APIを、プログラムを書いて連携する。
3. Embulkを利用し、自分で環境を構築する
4. trocco®を利用し、画面上で設定する。

1 は単発のデータ分析ならともかく、絶えず更新される広告データを手動で更新し続けるのはとてもコストの掛かる運用となってしまいます。
2 はTwitter広告、Google BigQueryのAPIについてのキャッチアップ工数、自前で分析基盤を構築、その後は保守運用とエラー対応などやはり手間がかかります。3 も2 と同様にEmbulkを扱うにはある程度専門知識が必要になります。また自前で環境構築・運用を行う手間が発生し、加えてエラーの内容が少し専門的です。

そこで今回はEmbulkの課題も解決してくれて、プログラムを書かずに画面上の設定で作業が完結する、4 のtrocco®というSaaSを利用します。