概要

kintone(キントーン)で自社の事業に合わせたアプリを作成し、顧客や案件の管理などに役立てている企業も多いでしょう。kintoneはノンプログラミングでアプリが作れる点が魅力的ですが、いくつもの自社アプリに散らばるデータをDWH(データウェアハウス)をへ統合し、高度な分析を行うにはプログラミングとデータベースについての知識が必要となることがほとんどです。またデータベースを常に更新し続けるのはコストがかかります。
そこで今回は、trocco®(トロッコ)というデータ分析基盤構築サービスを使い、kintoneのデータを抽出、DWH(今回はGoogle BigQueryを利用)への統合とTableauというBIツールを用いたデータの可視化を行います。
なおtrocco®は、kintoneの他にも、様々な広告・CRM・DBなどのデータソースにも対応しています。

kintoneのデータをGoogle BigQueryへ転送

はじめに

今回はこのようなkintoneのデータを

Kintoneデータ元画面.png

以下のように簡単なグラフにします。グラフの作成後はtrocco®の機能を利用して自動でデータが更新されるように設定します。

スクリーンショット 2022-02-24 9.59.34.png

こんな人におすすめ

  • アプリだけでなくデータ分析もノーコードで実現させたい
  • kintoneのデータをGoogle BigQueryへ自動的に統合させたい
  • kintoneに集めた営業・顧客データを自動的に分析できるようにしたい

1. trocco®︎でkintone → Google BigQueryの転送自動化

1-0. 事前準備

データの転送のためにはkintoneのアカウントはもちろん、trocco®のアカウント、Google BigQueryを利用するGoogleアカウントが必要です。(Google BigQueryはデータセット、テーブルの作成も済ませておきましょう。)
trocco®は無料トライアルも実施しています。事前に申し込み・登録を済ませておきましょう。
https://trocco.io/lp/index.html
(申し込みの際にこちらの記事を見たという旨を記載して頂ければスムーズにご案内できます)

1-1. 転送元・転送先を決定

trocco®にアクセスします。ダッシュボードから「転送設定を作成」のボタンを押しましょう。

転送設定新規作成.jpg

trocco®では多くのサービスをデータ元としてサポートしています。今回は転送元に「kintone」を選択します

Kintone選択.png

転送先には「Google BigQuery」を選択し、転送設定を作成します。

BigQuery選択.png
この内容で作成.png

続いて設定画面になるので、必要な情報を入力していきます。

1-2. kintoneとの連携設定

trocco®には社内のユーザー間でチームを作成し、チームで転送設定を共有するチーム機能があります。チームの他メンバーにも転送設定の内容がわかるよう転送設定の名前とメモを入力します。

概要設定.png

「kintone接続情報」内の「接続情報を追加」ボタンを押します。

Kintone接続情報.png

別のタブでkintoneの接続情報の新規作成画面が開きます。

kintoneとの接続にはユーザーネームやパスワード、サブドメイン名といった情報が必要になります。
問題がなければ保存して設定画面に戻ります。

Kintone接続情報作成.png

設定画面に戻り、接続情報の「接続情報を読み込む」ボタンを押すと、先ほど作成した接続情報が選択できるようになります。

スクリーンショット 2022-02-21 17.19.28.png

1-3. kintoneからのデータ抽出設定

kintoneとの接続ができたらどのようなデータを取得するかを設定していきます。
今回はあるアプリからクリック数のデータを取得しますので、必要なカラムの設定を行っていきます。

スクリーンショット 2022-02-21 17.25.28.png

1-4. 転送先Google BigQueryの設定

転送元のkintoneと同様に「接続情報を追加」のボタンから接続情報の設定をしていきます。

スクリーンショット 2022-02-21 17.45.32.png

別のタブで設定画面が開きます。Google BigQueryに関してはGoogleアカウントとの連携が必要となるほか、事前に転送先となるデータセットとテーブルを作成しておく必要があります。

スクリーンショット 2022-02-21 17.47.59.png

Google BigQueryを利用するアカウント名や、プロジェクトIDなど接続に必要な情報を入力したら、保存して設定画面に戻ります。

スクリーンショット 2022-02-21 17.52.28.png

設定画面に戻り、「接続情報を読み込む」ボタンを押すと、先ほど作成した接続情報が選択できるようになります。

スクリーンショット 2022-02-21 18.09.11.png

転送先となるデータセット、テーブルを設定します
接続情報が正しく設定されていれば、データセット名、テーブル名はtrocco®︎の方で読み込んで一覧で表示してくれます。

スクリーンショット 2022-02-21 18.29.30.png

その他必要な設定を行い、「次のSTEPへ」を押します。
trocco®︎ではいくつかの転送モードを選択することが可能です。必ずしも毎回の転送で全てのデータを転送する必要はなく、また万が一転送に失敗してしまった際も不要なデータがテーブルに残らないように設定することができます。詳しくはこちらのヘルプページをご覧ください。

スクリーンショット 2022-02-24 0.46.47.png

なお、今回は転送設定を作成しながら接続情報の作成も行いましたが、ダッシュボードの「接続情報」から事前に設定を済ませておくことも可能です。

スクリーンショット 2022-02-24 10.10.34.png

1-5. データのプレビュー

設定に従って転送のプレビューが作成されます。

スクリーンショット 2022-02-24 1.10.png

しばらく待つとプレビューが作成されました。

スクリーンショット 2022-02-24 1.27.26.png

プレビューが作成されましたが、Google BigQueryではカラム名に日本語は使用できません。このまま転送を行うと失敗してしまう可能性があるのでプレビュー下部の詳細設定からカラム名の修正を行います。

スクリーンショット 2022-02-24 1.29.51.png

設定を変更し、再度プレビューを作成します。カラム名も変更され、問題なさそうなので次の確認画面へ進みます。

スクリーンショット 2022-02-24 1.34.33.png

1-6.確認画面

確認画面では設定内容が確認できます。
また既存の設定を編集した場合はこの画面で編集した内容が差分としてハイライト表示されます。
ページ下部の「保存して適用」を押しましょう。

スクリーンショット 2022-02-24 1.37.58.png

trocco®︎は設定の変更を履歴として保存することで必要に応じて過去の設定を復元する機能があります。今回は新規の設定なので初版とでもしておきます。

スクリーンショット 2022-02-24 1.41.55.png

2-1.転送設定の詳細確認

転送設定の詳細設定の画面に移動します。
「転送設定概要」タブでは大まかな内容が確認できます。

スクリーンショット 2022-02-24 1.49.52.png

「スケジュール・トリガー設定」タブから「スケジュールを追加」を押します。

スクリーンショット 2022-02-24 1.55.51.png

スケジュール設定のモーダルが出ます。ここで設定を行うことで定期的に転送が実行されるようになります。今回は毎週月曜日の0時に転送を行うよう設定をします。

スクリーンショット 2022-02-24 1.57.27.png
スクリーンショット 2022-02-24 1.57.43.png

2-2. データ転送ジョブの実行

設定はこれで終わりです。先程転送スケジュールを設定しましたが、今回は手動で転送を行ってみましょう。右上の「実行」を押します。

スクリーンショット 2022-02-24 2.04.15.png

実行メモの作成や、設定した場合はカスタム変数の展開方法を設定できます。特になにもないのでそのまま「実行」を押します。

スクリーンショット 2022-02-24 2.06.24.png
スクリーンショット 2022-02-24 2.09.16.png

転送が成功したようです。

スクリーンショット 2022-02-24 2.14.01.png

2. Google BigQueryの設定

Google BigQuery側で特に操作することはありませんが、コンソール画面からプレビューを確認するとたしかにデータが転送されています。

スクリーンショット 2022-02-24 2.19.34.png

3. Tableauの設定

Tableauのコンソール画面から新規のワークブックを作成します。

スクリーンショット 2022-02-24 9.42.29.png

コネクタの一覧からGoogle BigQueryを選択します。Googleアカウントの認証を求められるので、先程転送先に使用したGoogle BigQueryを利用するアカウントで認証を行います。

スクリーンショット 2022-02-24 9.45.34.png

転送先のテーブルを選択するとデータが読み込めているのが確認できます。

スクリーンショット 2022-02-24 9.49.00.png

分析に必要なフィールドを選択、配置することで自動的にグラフが作成されます。

スクリーンショット 2022-02-24 9.54.28.png

他にもいくつか作成し、ダッシュボードに配置して完成です。

スクリーンショット 2022-02-24 9.59.34.png

まとめ

kintoneのデータをノンコード、ノンプログラミングで可視化してみました。今回は簡単なテストデータを使用しましたが、trocco®︎を利用することでkintoneアプリで集積した大量の顧客データ、案件データも自動でDWHへ格納、BIツールで可視化という流れを作ることが可能です。

trocco®は、ETL/データ転送・データマート生成・ジョブ管理・データガバナンスなどのデータエンジニアリング領域をカバーした、分析基盤構築・運用の支援SaaSです。trocco®について詳しく知りたいという方は、以下より資料をご請求ください。

hirokazu.kobayashi

慶應義塾大学卒業後、2014年より株式会社リブセンスへ入社。データエンジニアとして同社分析基盤立ち上げをリードする。2017年より現職primeNumberに入社。自社プロダクト「systemN」におけるSpark/Redshift活用等のデータエンジニアリング業務を行うかたわら、データ統合業務における工数削減が課題だと感じ、データ統合を自動化するサービス「trocco®」を立ち上げる。