概要

kintone(キントーン)でアプリを作成し、顧客や案件の管理などに役立てている企業では、kintone上のデータを可視化し、分析したいと考えている方が多いのではないでしょうか。
しかしデータ分析には、データ分析基盤へのデータ統合という手間のかかる作業が待っています。

大量のデータをリアルタイムで分析したい場合や、kintone上のデータと、kintone以外のデータを突合させた高度な分析を行いたい場合には、別途DWH(データウェアハウス)へデータを統合し、Looker・TableauといったBIツールを用いてデータの可視化を行い・分析を行うという流れが有効です。
そしてこのようなデータ統合の作業に役立つのがETLツールと呼ばれるサービスです。
ETLについてはこちらをご覧ください。

なお、ETLツールという名称は
E:Extract(抽出)
T:Transform(変換)
L:Load(格納))

の頭文字に由来しています。

今回はtrocco®(トロッコ)というデータ分析基盤構築サービスを使い、kintoneのデータをGoogle BigQueryへ統合、同じくGoogleが提供するLooker StudioというBIツールを用いてデータの可視化を行います。
なお今回データの転送手段として使用するtrocco®は、kintoneの他、様々な広告・CRM・DBなどのデータソースに対応しています。

kintoneのデータをGoogle BigQueryへ転送

ゴール

今回はサンプルの顧客データをGoogle BigQueryへ転送し、そのデータをこのようなグラフに可視化することを目標にします。
また、今回はデータベースに関する専門的な知識がない方でもデータ分析が行えるようkintoneのアプリ開発と同様にほぼノーコードで分析基盤を構築し、またデータおよびグラフの更新も自動化します。

qiita用テストレポート 2022-03-28 11-53-22.png

こんな人におすすめ

  • kintoneのデータをもとに高度な分析を行いたい
  • kintoneに登録したデータの件数が多すぎて、標準のレポート機能では分析ができない
  • 複数アプリのデータを統合する方法がわからない
  • kintoneのデータが自動的に可視化される環境を構築したい

1. trocco®での設定

1-0. 事前準備

まず事前準備として今回のデータ転送に使用するtrocco®のアカウントが必要になります。
trocco®は現在無料のトライアルを実施しているため、事前に申し込みをしてアカウントを作成しておきましょう。
https://trocco.io/lp/index.html
(申し込みの際にこちらの記事を見たという旨を記載していただければその後のご案内がスムーズに行えます)
またデータ元となるkintoneのアカウントや、データの転送先となるGoogle BigQueryとLooker Studioを利用するGoogleアカウントなども前もってご用意ください。

1-1. 転送元・転送先の決定

trocco®にアクセスして、ダッシュボードから「転送設定を作成」ボタンを押します。

trocco | 「日本発」の分析基盤向けデータ統合自動化サービス 2022-03-28 14-26-43.png

転送元と転送先となるツールを選択する画面になります。
今回は転送元に「kintone」、転送先には「Google BigQuery」をそれぞれ選択し、「この内容で作成」ボタンを押します。

転送設定の新規作成 | trocco 2022-03-28 14-29-37.png

2-1. kintoneからの転送設定

まずは右上の「接続情報を追加」ボタンを押します。

転送設定の新規作成 | trocco 2022-03-28 16-40-08.png

別のタブでkintoneへの接続情報を入力する画面が開きます。kintoneアカウントのユーザーIDやパスワード、trocco®がkintoneにアクセスするために必要情報を入力します。
転送設定画面に戻り、「接続情報を読み込む」ボタンを押すと右の▽マークから入力した接続情報を読み込めます。
※トップページの「接続情報」タブから事前に接続設定を済ませておくことも可能です。
接続情報が読み込めたらオブジェクトを選択します。このように接続したkintoneアカウントで取得可能なオブジェクトが一覧で表示されるためその中から選択するだけで済みます。

転送設定の新規作成 | trocco 2022-03-28 16-41-58.png

接続情報がきちんと設定されていれば kintoneアプリの一覧も読み込むことが可能です。読み込んだアプリの一覧からデータを取得したいアプリを選択し、フィールド設定を行います。

転送設定編集 | trocco 2022-03-25 18-26-39.png

2-2. Google BigQueryへの転送設定

転送元のkintoneと同じく接続情報の設定をしていきます。Google BigQueryについても「接続情報を追加」ボタンから別のタブで接続情報の設定画面を開きます。Google BigQueryを利用するGoogleアカウントの認証を行います。
※トップページの「接続情報」タブから事前に接続設定を済ませておくことも可能です。

転送設定の新規作成 | trocco 2022-03-28 16-47-15.png

kintoneの設定と同様に接続情報を読み込み、データセット、テーブルの名前をそれぞれ入力します。
(事前にGoogle BigQuery側で作成しておきましょう)

スクリーンショット 2022-02-21 18.22.50.png

入力が済んだらページ最後の「次のSTEPへ」ボタンを押します。

転送設定の新規作成 | trocco 2022-03-28 15-48-36.png

2-3. データのプレビュー・詳細設定

設定にしたがって転送のレビューが作成されます。

データプレビュー・詳細設定 | trocco 2022-03-25 18-30-48.png

プレビュー画面では転送元からどのようにデータが取得されるのかが確認できます。
取得したいデータがプレビュー画面に表示されなければ再度転送元と転送先の設定に戻り、設定を修正します。
データ自体は特に問題なく取得できているようですが、Google BigQueryはカラム名に日本語を使用できないため、プレビュー画面下部の「詳細設定」からデータの加工設定を行い、転送時にカラム名を変更するよう設定します。

データプレビュー・詳細設定 | trocco 2022-03-25 18-44-44.png

変更をプレビューに反映させると、たしかにプレビューのカラム名が変更されています。これで問題ないので「確認画面へ」を押します。

データプレビュー・詳細設定 | trocco 2022-03-25 18-45-46.png

2-4. 確認・適用

転送設定の内容が確認できます。過去に作成した転送設定の内容を編集した際にはこの画面でその差分がハイライト表示され、確認をすることが可能です。
今回は設定の新規作成なので、特に確認することはありません。右下の「保存して適用」ボタンを押します。
trocco®には転送設定の変更履歴をビジュアライズし、任意の地点の設定に復元できるロールバック機能があります。
trocco®を共有して使用し、チームでデータ分析にあたる場合などは、転送設定の変更についてこの画面で簡単なメモを残しておきましょう。

スクリーンショット 2022-03-07 13.56.40.png

2-5. スケジュール設定

「スケジュール・トリガー設定」タブを開きます。
「スケジュールを追加」ボタンを押すと、設定のモーダルが出てきます。

転送設定詳細 (Qiitaテスト) - スケジュール・トリガー設定 | trocco 2022-03-25 18-47-23.png

以下のように実行スケジュールを設定することで、転送を自動化することができます。
(今回は毎日0時に転送を行うよう設定しました。)

転送設定詳細 (Qiitaテスト) - スケジュール・トリガー設定 | trocco 2022-03-25 18-48-19.png
転送設定詳細 (Qiitaテスト) - スケジュール・トリガー設定 | trocco 2022-03-25 18-49-10.png

2-6. 通知設定

「通知設定」のタブに移動し、「通知設定を追加」ボタンを押します。

転送設定詳細 (Qiitaテスト) - 通知設定 | trocco 2022-03-25 18-49-51.png

下のような設定のモーダルが出てきます。通知のタイミングや条件は希望に応じて設定できる他、通知先はメール通知とSlack通知が選択できるため、社内での情報共有もスムーズに行うことができます。

転送設定詳細 (Qiitaテスト) - 通知設定 | trocco 2022-03-25 18-50-41.png

2-7. データ転送ジョブの実行

設定は以上で終わりです。データの転送は以後自動的に行われますが、今回はこのまま右上の「実行」ボタンから手動で転送を実行します。

転送設定詳細 (Qiitaテスト) | trocco 2022-03-25 18-46-39.png

転送の実行に際し、その目的などをメモとして残しておくことができます。特に書くことがなければ再び「実行」ボタンを押します。

新規転送ジョブの実行 | trocco 2022-03-25 18-51-51.png

ジョブが実行されます。

転送ジョブ詳細 | trocco 2022-03-25 18-52-23.png

しばらく待つとジョブが終了します。

転送ジョブ詳細 | trocco 2022-03-25 18-54-21.png

3. Google BigQueryの設定

Google BigQuery側での操作は必要はありませんが、コンソール画面からプレビューで転送結果を確認すると、たしかにデータが転送されていることが確認できます。

SQL ワークスペース – BigQuery – trocco-ambassador-s… – Google Cloud Platform 2022-03-28 10-58-05.png

4. Looker Studioでの可視化

最後にLooker Studioを用いてデータの可視化を行います。まずはトップ画面の「新規」から新しいレポートを作成します。

23.png

データ元となるサービスを選択します。今回はGoogle BigQueryを選択します。

24.png

データの転送先となるプロジェクト、データセット、テーブルを選択してデータをデータポータルに読み込ませると、レポートの編集画面に移動します。
レポートの編集画面では画面右側に表示されるそれぞれのフィールドをディメンション・指標に追加してグラフを作っていきます。

qiita用テストレポート 2022-03-28 11-05-10.png
qiita用テストレポート 2022-03-28 11-44-02.png

画面右上の「グラフ」には主なグラフがいくつか用意されています。適当なものを選択することで簡単にグラフを作成できます。

qiita用テストレポート 2022-03-28 11-44-28.png

同様にもうひとつグラフを作成し、ダッシュボードに配置します。見た目のテーマや、レポートの自動更新設定を行って完成です。

qiita用テストレポート 2022-03-28 11-53-22.png

まとめ

ほぼ画面上の設定のみでkintoneのデータをGoogle BigQueryへ統合し、Looker Studioを用いてデータの可視化を行いました。
trocco®の「スケジュール・トリガー機能」の設定を行ったため、以降kintoneに新しく追加されたデータは定期的にGoogle BigQueryへ転送されます。
Googleデータポータルのレポートも自動更新機能によって常に最新の状態が維持されます。
今回はごく簡単なサンプルのデータを用いた転送を行いましたが、trocco®を利用し、大量のデータをGoogle BigQueryへと統合することでデータを安価にかつ高速で処理するが可能です。

実際にtrocco®でデータ統合を体験してみたい方は、クレジットカード不要のフリープランや無料の資料請求を実施しているので、この機会にぜひ一度お試しください。

hirokazu.kobayashi

慶應義塾大学卒業後、2014年より株式会社リブセンスへ入社。データエンジニアとして同社分析基盤立ち上げをリードする。2017年より現職primeNumberに入社。自社プロダクト「systemN」におけるSpark/Redshift活用等のデータエンジニアリング業務を行うかたわら、データ統合業務における工数削減が課題だと感じ、データ統合を自動化するサービス「trocco®」を立ち上げる。