概要
kintone(キントーン)でアプリを作成し、顧客や案件の管理などに役立てている企業では、kintone上のデータを可視化し、分析したいと考えている方が多いのではないでしょうか。
しかしデータ分析には、データ分析基盤へのデータ統合という手間のかかる作業が待っています。
大量のデータをリアルタイムで分析したい場合や、kintone上のデータと、kintone以外のデータを突合させた高度な分析を行いたい場合には、別途DWH（データウェアハウス）へデータを統合し、Looker・TableauといったBIツールを用いてデータの可視化を行い・分析を行うという流れが有効です。
そしてこのようなデータ統合の作業に役立つのがETLツールと呼ばれるサービスです。
※ETLについてはこちらをご覧ください。
なお、ETLツールという名称は
E：Extract(抽出)
T：Transform(変換)
L：Load(格納)）
の頭文字に由来しています。
今回はtrocco®（トロッコ）というデータ分析基盤構築サービスを使い、kintoneのデータをGoogle BigQueryへ統合、同じくGoogleが提供するLooker StudioというBIツールを用いてデータの可視化を行います。
なお今回データの転送手段として使用するtrocco®は、kintoneの他、様々な広告・CRM・DBなどのデータソースに対応しています。
ゴール
今回はサンプルの顧客データをGoogle BigQueryへ転送し、そのデータをこのようなグラフに可視化することを目標にします。
また、今回はデータベースに関する専門的な知識がない方でもデータ分析が行えるようkintoneのアプリ開発と同様にほぼノーコードで分析基盤を構築し、またデータおよびグラフの更新も自動化します。
こんな人におすすめ
- kintoneのデータをもとに高度な分析を行いたい
- kintoneに登録したデータの件数が多すぎて、標準のレポート機能では分析ができない
- 複数アプリのデータを統合する方法がわからない
- kintoneのデータが自動的に可視化される環境を構築したい
1. trocco®での設定
1-0. 事前準備
まず事前準備として今回のデータ転送に使用するtrocco®のアカウントが必要になります。
trocco®は現在無料のトライアルを実施しているため、事前に申し込みをしてアカウントを作成しておきましょう。
https://trocco.io/lp/index.html
（申し込みの際にこちらの記事を見たという旨を記載していただければその後のご案内がスムーズに行えます）
またデータ元となるkintoneのアカウントや、データの転送先となるGoogle BigQueryとLooker Studioを利用するGoogleアカウントなども前もってご用意ください。
1-1. 転送元・転送先の決定
trocco®にアクセスして、ダッシュボードから「転送設定を作成」ボタンを押します。
転送元と転送先となるツールを選択する画面になります。
今回は転送元に「kintone」、転送先には「Google BigQuery」をそれぞれ選択し、「この内容で作成」ボタンを押します。
2-1. kintoneからの転送設定
まずは右上の「接続情報を追加」ボタンを押します。
別のタブでkintoneへの接続情報を入力する画面が開きます。kintoneアカウントのユーザーIDやパスワード、trocco®がkintoneにアクセスするために必要情報を入力します。
転送設定画面に戻り、「接続情報を読み込む」ボタンを押すと右の▽マークから入力した接続情報を読み込めます。
※トップページの「接続情報」タブから事前に接続設定を済ませておくことも可能です。
接続情報が読み込めたらオブジェクトを選択します。このように接続したkintoneアカウントで取得可能なオブジェクトが一覧で表示されるためその中から選択するだけで済みます。
接続情報がきちんと設定されていれば kintoneアプリの一覧も読み込むことが可能です。読み込んだアプリの一覧からデータを取得したいアプリを選択し、フィールド設定を行います。
2-2. Google BigQueryへの転送設定
転送元のkintoneと同じく接続情報の設定をしていきます。Google BigQueryについても「接続情報を追加」ボタンから別のタブで接続情報の設定画面を開きます。Google BigQueryを利用するGoogleアカウントの認証を行います。
※トップページの「接続情報」タブから事前に接続設定を済ませておくことも可能です。
kintoneの設定と同様に接続情報を読み込み、データセット、テーブルの名前をそれぞれ入力します。
（事前にGoogle BigQuery側で作成しておきましょう）
入力が済んだらページ最後の「次のSTEPへ」ボタンを押します。
2-3. データのプレビュー・詳細設定
設定にしたがって転送のレビューが作成されます。
プレビュー画面では転送元からどのようにデータが取得されるのかが確認できます。
取得したいデータがプレビュー画面に表示されなければ再度転送元と転送先の設定に戻り、設定を修正します。
データ自体は特に問題なく取得できているようですが、Google BigQueryはカラム名に日本語を使用できないため、プレビュー画面下部の「詳細設定」からデータの加工設定を行い、転送時にカラム名を変更するよう設定します。
変更をプレビューに反映させると、たしかにプレビューのカラム名が変更されています。これで問題ないので「確認画面へ」を押します。
2-4. 確認・適用
転送設定の内容が確認できます。過去に作成した転送設定の内容を編集した際にはこの画面でその差分がハイライト表示され、確認をすることが可能です。
今回は設定の新規作成なので、特に確認することはありません。右下の「保存して適用」ボタンを押します。
trocco®には転送設定の変更履歴をビジュアライズし、任意の地点の設定に復元できるロールバック機能があります。
trocco®を共有して使用し、チームでデータ分析にあたる場合などは、転送設定の変更についてこの画面で簡単なメモを残しておきましょう。
2-5. スケジュール設定
「スケジュール・トリガー設定」タブを開きます。
「スケジュールを追加」ボタンを押すと、設定のモーダルが出てきます。
以下のように実行スケジュールを設定することで、転送を自動化することができます。
（今回は毎日０時に転送を行うよう設定しました。）
2-6. 通知設定
「通知設定」のタブに移動し、「通知設定を追加」ボタンを押します。
下のような設定のモーダルが出てきます。通知のタイミングや条件は希望に応じて設定できる他、通知先はメール通知とSlack通知が選択できるため、社内での情報共有もスムーズに行うことができます。
2-7. データ転送ジョブの実行
設定は以上で終わりです。データの転送は以後自動的に行われますが、今回はこのまま右上の「実行」ボタンから手動で転送を実行します。
転送の実行に際し、その目的などをメモとして残しておくことができます。特に書くことがなければ再び「実行」ボタンを押します。
ジョブが実行されます。
しばらく待つとジョブが終了します。
3. Google BigQueryの設定
Google BigQuery側での操作は必要はありませんが、コンソール画面からプレビューで転送結果を確認すると、たしかにデータが転送されていることが確認できます。
4. Looker Studioでの可視化
最後にLooker Studioを用いてデータの可視化を行います。まずはトップ画面の「新規」から新しいレポートを作成します。
データ元となるサービスを選択します。今回はGoogle BigQueryを選択します。
データの転送先となるプロジェクト、データセット、テーブルを選択してデータをデータポータルに読み込ませると、レポートの編集画面に移動します。
レポートの編集画面では画面右側に表示されるそれぞれのフィールドをディメンション・指標に追加してグラフを作っていきます。
画面右上の「グラフ」には主なグラフがいくつか用意されています。適当なものを選択することで簡単にグラフを作成できます。
同様にもうひとつグラフを作成し、ダッシュボードに配置します。見た目のテーマや、レポートの自動更新設定を行って完成です。
まとめ
ほぼ画面上の設定のみでkintoneのデータをGoogle BigQueryへ統合し、Looker Studioを用いてデータの可視化を行いました。
trocco®の「スケジュール・トリガー機能」の設定を行ったため、以降kintoneに新しく追加されたデータは定期的にGoogle BigQueryへ転送されます。
Googleデータポータルのレポートも自動更新機能によって常に最新の状態が維持されます。
今回はごく簡単なサンプルのデータを用いた転送を行いましたが、trocco®を利用し、大量のデータをGoogle BigQueryへと統合することでデータを安価にかつ高速で処理するが可能です。
データの連携・整備・運用を効率的に進めていきたいとお考えの方や、プロダクトにご興味のある方はぜひ資料をご請求ください。
