HubSpotとは

HubSpotはアメリカのHubSpot社が提供するマーケティングツールで、インバウンドマーケティングの考えに則ったマーケティング支援を行います。このようなマーケティングツールでは集めたデータからグラフや表といったデータの性質を視覚的にわかりやすくするためのツールを作成し、マーケティング戦略の立案に活用するということもあるでしょう。

ですがHubSpot標準のレポート機能だけでは不十分だったり、他のマーケティングツールや広告サービスのデータと組み合わせた横断的なデータ分析を行う際には、HubSpotのデータをDWH(データウェアハウス)へ統合し、連携したBIツール上で可視化を行うというデータ分析基盤の構築必要になります。

概要

今回はtrocco®というデータ分析基盤構築サービスを利用してHubSpotのデータをGoogle BigQueryというDWHへ統合し、Looker Studio(旧:Googleデータポータル))を用いてデータの可視化を行います。

HubSpotのデータをGoogle BigQueryへ統合

ゴール

HubSpotから取得したデータを↓画像のようにグラフをまとめます。また作成後はtrocco®の機能により自動で最新値に更新することも可能です

作成結果例2.png

こんな人におすすめ

  • HubSpotを利用しており、分析基盤やデータウェアハウスへのデータ統合を考えている方
  • 様々なCRMサイトの情報をまとめてひとつのサービスで管理したい
  • 管理画面からデータ取得を行う作業に疲れている方

1. DWHと、データを転送する手段の決定

1-1. DWHの選定

まずはデータをどこに集約するか、DWH(データウェアハウス)を選定します。

  • Google BigQuery
  • Amazon Redshift
  • MySQLやPostgreSQL

trocco®はいずれのサービスにも対応していますが、今回はGoogle BigQueryを利用することにします。

1-2. HubSpotのデータをGoogle BigQueryに転送する4つの方法

Google BigQueryにデータを集約することが決まったので、続いてはデータを転送するための手段を検討します。
1. HubSpotのデータを管理画面からエクスポートして、手動でGoogle BigQueryにアップロードする
2. HubSpotとGoogle BigQueryの各APIを利用したAPI連携を自分で実装する
3. Embulkを利用し、自分で環境構築する
4. trocco®️を利用して画面上の設定のみでデータの転送基盤を構築する
1 は単発の実行であれば問題はありませんが、日々更新され続けるデータを分析の度にその都度取り込むということを考えれば効率の良い運用を見込めそうにありません。
2 はまずはじめにAPIについての知識をキャッチアップし、APIを利用したプログラムを書く+環境構築の時間、それに加え運用中に発生したエラーへの対処といったコストが発生します。
32 と同様にEmbulkを扱うにはデータエンジニアリングの専門的な知識が必要になり、自分で環境構築・運用を行う手間も発生します。加えてAPI連携のエラーと比べ発生するエラーの内容が少し専門的なため、対処が困難になるケースが考えられます。
そこで今回はEmbulkの課題も解決し、複雑なプログラムを書かずに画面上の設定のみで作業が完結する、4 のtrocco®️を利用します。

2. trocco®️でHubSpot → Google BigQueryの転送自動化

2-0. 事前準備

データの転送のためにはtrocco®️のアカウント・HubSpotのアカウント、Google BigQueryとGoogleデータポータルを使用するGoogleアカウントが必要です。
無料トライアルを実施しているので、事前に申し込み・登録しておきましょう。
https://trocco.io/lp/index.html
(申し込みの際に、こちらの記事を見たという旨を記載して頂ければスムーズにご案内できます。)

2-1. 転送元・転送先を決定

trocco®️にアクセスして、ダッシュボードから「転送設定を作成」のボタンを押します。

qiita_20200827_2.png

転送元に「HubSpot」、転送先に「Google BigQuery」を選択して「この内容で作成」ボタンを押します。

転送設定選択画面.png

設定画面になるので、必要な情報を入力していきます。

2-2. HubSpotとの連携設定

trocco®には社内のユーザー間でチームを作成し、チームで転送設定を共有するチーム機能があります。チームの他メンバーにも転送設定の内容が分かるように名前とメモを入力します。

名前とメモ.png

次にHubSpotとの連携に関する設定をするために「転送元の設定」内の「接続情報を追加」ボタンを押します。

接続情報を追加.png

別のタブで接続情報の新規作成画面が開きますので、必要事項を記入して保存ボタンを押します。

接続設定作成.png

再度転送設定画面に戻り、接続情報の「再読込」ボタンを押すと、先ほど作成した接続情報が選択できるようになります。

接続情報を選択.png

これでHubSpotとの連携は完了です。

2-3. HubSpotからのデータ抽出設定

続いてどのようなデータを取得するかを設定していきます。
取得対象としては、以下のものが設定できます。

image.png

今回は以下の設定でデータを取得します。

image.png

2-4. 転送先Google BigQueryの設定

転送元と同じ要領で設定していきます。
「接続情報を追加」ボタンからGoogle BigQueryの接続設定を行います。Googleアカウントとの認証(OAuth)も可能ですがそれを利用しない場合はJSONキーを利用した認証を行います。

image.png

JSONキーの取得方法についてはこちらのドキュメントを参照してください。
「接続情報を追加」ボタンからGoogle BigQueryの接続設定を行い、データベース・テーブル・データセットのロケーションを指定します。

image.png

最後に、接続確認が問題なく通るか確認します。

image.png

これで入力は完了です。「次のSTEPへ」をクリックして次に進みましょう。

2-5. データのプレビュー

転送設定に従ってHubSpotから転送するデータのプレビューが作成されます。

image.png

問題が無ければ確認画面に移り、「保存して適用」を押しましょう。

image.png

2-6. スケジュール・通知設定

「スケジュール・トリガー設定」タブを開き、スケジュールを追加します。

image.png

以下のように実行スケジュールを設定することで、転送を定期的に実行し自動化することが出来ます。

image.png

また必須の設定ではないですが、ジョブの実行ステータスに応じてEmailやSlackに通知を行うことが出来ます。

image.png

2-7. データ転送ジョブの実行

設定は以上です。最後に、手動で転送ジョブを実行してGoogle BigQueryにデータを送ります。
手動で実行する場合はジョブ詳細画面の「実行」ボタンを押します。

image.png

これで転送は完了です。

3. Google BigQueryの設定

Google BigQuery側で特に操作は必要ありません。念の為Google BigQueryのコンソール画面から確認してみるとたしかにデータが転送されていることが確認できます。

image.png

転送が成功しているため、今すぐに分析・可視化を行うことが出来ます。

4. Looker Studio(旧:Googleデータポータル)で可視化

Google BigQueryの画面から、「エクスポート > データポータル」を選択します。

qiita_20200827_13.png

すると、以下のようなLooker Studioの画面に遷移します。
今回は各アカウント毎の売上高をグラフにした例を示します。データは私が用意したサンプルを利用します。

hubspotデータグラフ.png

以下のようなグラフが出来上がります。

hubspotデータグラフ-3.png

この画面はデータポータルの「エクスプローラ」という機能になります。

qiita_20200827_16.png

データポータルのトップ画面から、「レポート」を作成し、 同様にして他のグラフも作成すると、サービス用ダッシュボードが出来上がります。

作成結果例2.png

まとめ

いかがでしたでしょうか。trocco®️を使うとHubSpotの管理画面を触ることなく、簡単にデータを取得し、DWH(Google BigQuery)に統合、連携するLooker Studioでデータの可視化を行えました。

実際にtrocco®を試してみたい場合は、無料トライアルを実施しているので、この機会にぜひ一度お試しください。(申し込みの際にこちらの記事を見たという旨を記載して頂ければその後のご案内がスムーズに行なえます。)

データ分析基盤構築サービスtrocco
hirokazu.kobayashi

慶應義塾大学卒業後、2014年より株式会社リブセンスへ入社。データエンジニアとして同社分析基盤立ち上げをリードする。2017年より現職primeNumberに入社。自社プロダクト「systemN」におけるSpark/Redshift活用等のデータエンジニアリング業務を行うかたわら、データ統合業務における工数削減が課題だと感じ、データ統合を自動化するサービス「trocco®」を立ち上げる。