TROCCO®を利用してYahoo!広告のデータをSnowflakeへ統合し、Lookerで可視化する

概要

Yahoo!広告はGoogle広告と同様ユーザーからの検索に対して広告を表示できるサービスです。Yahoo!は30代以降のビジネスパーソンからの支持がいまなお根強いサービスです。したがってYahoo!広告も10代〜20代の若年層向けのtoC広告ではなくtoB向けの広告に向いています。

このような広告サービスの最適化にはYahoo!広告のデータを分析することが重要です。またYahoo!広告だけでなくGoogle広告やTwitter広告といった他の広告サービスのデータと組み合わせた分析や、データの可視化に特化したBIツールでのデータ分析はさらに有効ですが、このようなデータ分析は少なからずデータエンジニアリングの知識を必要とするデータ分析基盤の構築が必須です。

そこで今回は、TROCCO®というデータ分析基盤構築支援サービスを使ってYahoo!広告のデータをSnowflakeというDWH（データウェアハウス）へ統合（ETL）し、LookerというBIツールでデータの可視化を行います。

ゴール

Yahoo!広告のデータをこのようにSnowflakeへ統合し

Lookerで可視化します。またグラフの作成後は自動でデータの転送からグラフまでを最新値に更新します。

こんな人におすすめ

Yahoo!広告のレポートをcsvファイルにエクスポートして分析基盤に取り込む作業に疲れた方
Yahoo!広告を利用中で、データ分析基盤やDWHへのデータ統合・ETLを考えている方
Yahoo!広告のほか、複数の広告サービスのデータを横断的に分析したい方
LookerやSnowflakeでYahoo!広告のデータを分析したい方

1. TROCCO®でYahoo!広告 → Snowflakeの転送自動化

1-0. 事前準備

データの転送のためにはTROCCO®のアカウント・Yahoo!アカウントが必要です。
またTROCCO®は無料トライアルを実施しているので、事前に申し込み・登録しておきましょう。
https://trocco.io/lp/index.html
（申し込みの際に、こちらの記事を見たという旨を記載して頂ければご案内がスムーズに行えます）

1-1. 転送元・転送先を決定

TROCCO®にアクセスして、ダッシュボードから「転送設定を作成」のボタンを押します。

転送元に「YSS」を指定し、転送先に「Snowflake」を選択して「この内容で作成」ボタンを押します。

転送設定画面になるので、必要な情報を入力していきます。

1-2. Yahoo!広告との連携設定

TROCCO®には社内のユーザー間でチームを作成し、チームで転送設定を共有するチーム機能があります。チームの他メンバーにも転送設定の内容がわかるよう転送設定の名前と設定の目的や内容のメモを入力しておきます。

次に「転送元の設定」内の「接続情報を追加」ボタンを押します。

別のタブで接続情報の新規作成画面が開きますので、「Yahooアカウント認証」をクリックします。

「Yahoo! JAPANビジネスIDでログイン」の画面に進むのでログインし、画面の指示に従い接続情報を登録すると、アクセストークンを発行することができます。

再度転送設定画面に戻り、接続情報の「再読込」ボタンを押すと、先ほど作成した接続情報が選択できるようになります。

これでYahoo!広告との連携は完了です。

1-3. Yahoo!広告からのデータ抽出設定

次にどのようなデータを取得するかを設定していきます。

アカウントID
- スポンサードサーチのアカウント管理画面から取得対象のアカウントIDを登録してください。
レポートタイプ
- レポートタイプを選択して下さい。各レポートごとに取得できる項目が異なります。
- レポートタイプはACCOUNT, CAMPAIGN, ADGROUP, AD, KEYWORDSの中から選択できます。
データ取得期間
- 絞り込み範囲の開始日、終了日を入力してください。
カラム
- データを取得するにあたって必要となるカラムを追加してください。

1-4. 転送先Snowflakeの設定

転送元と同様に設定していきます。Snowflakeの接続情報を作成していきます。
転送先となるSnowflakeの接続先ホスト、ユーザー名、及びパスワードが必要になります。

先ほど作成した接続情報を選択し、転送先とするウェアハウス、データベース名、スキーマ名を設定します。
転送モードに関してはreplaceを選択します。各転送モードの詳細はこちらの「転送モードについて」をご確認ください。

これで入力は完了です。「保存して自動データ設定・プレビューへ」をクリックし、確認作業に進みましょう。

1-5. データのプレビュー

Yahoo!広告からどのようにデータが取得されるかプレビューが作成されます。取得したいデータがプレビューに表示されていなければ再度転送設定画面に戻り、設定をやり直します。

転送したいデータが取れているので、このまま「スケジュール・通知設定」に進みます。

1-6. スケジュール・通知設定

「スケジュール・トリガー設定」タブを開きます。

「スケジュールを追加」ボタンを押すと、以下の画像のようなモーダルが出てきます。ここで実行スケジュールを設定することで、転送を定期的に実行し、自動化することが出来ます。

1-7. データ転送ジョブの実行

設定は以上です。最後に手動で転送ジョブを実行し、Snowflakeにデータを転送します。
手動で実行する場合はジョブ詳細画面の「実行」ボタンを押します。

これで転送は完了です。

2. Snowflakeの設定

Snowflake側で特に操作は必要ありませんが、念の為Snowlfakeのコンソール画面からプレビューを確認してみるとたしかにデータが転送されていることが確認できます。

転送されていることが確認できました。

3. Lookerで可視化

それでは、これらのデータをLookerで可視化していきます。
まずはSnowflakeとLookerの接続設定を行います。
管理タブを開いて「データベース」の「接続」を開きます。

接続しているデータベース一覧が表示されています。ここで「Add Connection」→「Database Connection」から接続するデータベース情報を入力します。

Snowflakeのデータベースに接続できたら、次はデータを可視化するために必要なLookMLプロジェクトを作成していきます。開発タブを開いて「LookMLプロジェクトの管理」に移動します。

「New LookML Project」からLookMLプロジェクトを作成します。

「Create Project」を押したら、エディタでmodelとviewを定義します。後々必要になるので、modelの中ではexploreを設定しておきましょう。 (書き方が分からない場合はLookerの公式ドキュメントを参照してください)

これで下準備が整いました。トップページに戻って「New」からDashboardを作成します。

白紙のダッシュボードが作成されるので「yss_ダッシュボード」と名前をつけます。
そして「Dashborardの編集」→「タイルの追加」を選択し、先ほどのmodel内で定義したExploreを選択します。

ディメンションとメジャーを設定し、Tileに表示したいデータをプロットします。例えば、キーワードのクリック率を分析したいときはディメンションに「キーワード」とメジャーに「クリック数」を選択します。

そのほかに必要なタイルを作成し、ダッシュボードにまとめていきます。

これで完成です。

まとめ

いかがでしたでしょうか。TROCCO®を使うとYahoo!広告の管理画面を触ることなく、簡単にデータを取得し、DWH（今回はSnowflake）へ統合、連携したLookerでデータの可視化を行うことが出来ました。

TROCCO®は、ETL/データ転送・データマート生成・ジョブ管理・データガバナンスなどのデータエンジニアリング領域をカバーした、分析基盤構築・運用の支援SaaSです。TROCCO®について詳しく知りたいという方は、以下より資料をご請求ください。

hirokazu.kobayashi

慶應義塾大学卒業後、2014年より株式会社リブセンスへ入社。データエンジニアとして同社分析基盤立ち上げをリードする。2017年より現職primeNumberに入社。自社プロダクト「systemN」におけるSpark/Redshift活用等のデータエンジニアリング業務を行うかたわら、データ統合業務における工数削減が課題だと感じ、データ統合を自動化するサービス「TROCCO®」を立ち上げる。