社内に点在するデータを集約し統合する際に、情報元となるデータソースの種類が多くなると、各データソースに応じてプログラミングをする必要があります。
それによって専門的な知識を要するほか、膨大な開発工数がかかり、大きな障壁となります。
その障壁を取り払うための有効な手段として注目されたのがETLツールです。 ETLツールを利用することで開発時の障壁を取り払うことができ、開発工数の削減にも大きく寄与しました。
しかし近ごろリバースETL（Reverse ETL）が台頭しており、一般的なETLを活用するよりも恩恵を受けられるケースがあります。
本記事では、リバースETLの必要性やユースケースの具体例、リバースETL機能を兼ね備えたツールを紹介します。
リバース ETLとは
リバースETLとは、ETLのデータ処理プロセスの順番を逆転させたものです。
ETLでターゲットであったDWH（データウェアハウス）やデータレイクはデータソースとして扱われ、ETLでデータソースであったSalesforceなどのCRMツールはターゲットとして扱われます。
一般的にデータを分析する際は、CRMツール→DWH→BIツールの流れで行われますが、都度BIツールを確認するのは手間がかかります。
その点リーバスETLであれば、現場のユーザーとして日常的に触れるCRMツールでそのまま分析結果を確認できます。生産性の向上が期待できるうえに、新たなビジネスチャンスの発見にもつなげられます。
そのようなニーズから、データをDWH上へETLし、分析した結果をCRMツール上の項目としてリバースETLする使い方が生まれました。
全体像とフロー
リバースETLの大まかなフローは、
- Extract：DWHやデータレイクからデータを抽出する
- Transform：プログラムなどにより、データを必要に応じて変換する
- Load：サードパーティのSaaSアプリケーションやプラットフォームに格納する
リバースETLのパイプラインでは、従来のETLのプロセスとは異なり、分析目的のワークロードは実行されません。
その代わりに、DWHやデータレイクは、すべてのデータが1か所でのみ作成、あるいは編集されるような「信頼できる唯一の情報源（Single Source of Truth; SSOT）」として機能します。
ソースであるDWHやデータレイクから抽出した情報を、dbtによりターゲットとなる場所のデータモデルに合わせて変換します。また、与えられたターゲットスキーマに合わせて変換し、データレイクに保存されている非構造化データを扱うこともできます。
必要性
リバースETLが登場する以前、サードパーティアプリケーション内でデータセットに直接アクセスするためには、多少の手間を必要としました。具体的には、「DWH技術と業務システム（Salesforce、HubSpot、Marketoなど）の間に、独自のAPIコネクタを作成する」という工程を要します。
しかし、APIコネクタを自前で構築するにはいくつかの課題があります。
- APIコネクタを一から自前で作成しようとすると、スキルを持った方でも一週間前後かかってしまう
- APIエンドポイントはリアルタイムのデータ転送に対応できない
- 基盤となる技術が変更された場合に備え、これらのコネクタを長期にわたって維持するのは膨大な労力を必要とする
このような課題を解決するのがリバースETLです。データを扱う業界のなかで関心が次第に高まりました。
リバースETLの導入により、データスタックのコンポーネント間をすぐに接続できます。APIコネクタの構築の手間を省くという課題の解決にも成功しました。
現在では、「DWH上へETLしたデータを加工し、リバースETLする」ニーズも増えています。現場のセールスメンバーは複雑なデータ加工に苦労せず、データエンジニアも使い慣れたDWH上で加工を行えるメリットがあります。
リバースETLのユースケースと具体例
ここからはリバースETLのユースケースを具体例を交えてご紹介します。
リバースETLのユースケースは主に以下の3つです。
- データ分析の工数削減・自動化
- 自社ビジネスにおける新規課題の発見やサービス品質の向上
- CRMツールと直接連携し購買意欲の高い顧客の発見
データ分析の工数削減・自動化
まず、単一の統一されたリバースETLのプラットフォームは、個別にメンテナンスが必要な複数のAPIコネクタよりも、管理と監視がはるかに容易になります。
またエンタープライズ企業ではとくに、「膨大な数の手動によるデータリクエストをどのように自動化するか」という問題が常にあります。
たとえば以下は現場のチームからのデータリクエストの例です。
- マーケティング：リターゲティングのために新規ユーザーのリストを Google 広告に同期したい
- CS（カスタマーサクセス）：プロダクトである特定機能を有効化した顧客リストにSlackでガイダンスを送信したい
- セールス：セミナー参加者のリストをリードとして Salesforce にインポートしたい
従来は、これらのリクエスト一つひとつにデータチームは対処しなければなりませんでした。
しかしリバースETLを使用すると、データチームやビジネス側の負担を大幅に減らすことができます。
DWHのデータを抽出して、外部ツールに同期するためのSQL を１度用意するだけで、継続的に同一の施策を自動化できるようになるのです。
自社ビジネスにおける新規課題の発見やサービス品質の向上
リバースETL は、
- 顧客パーソナライズに必要な分析結果の提供手段として適している
- 異種のデータソースへのアクセスが可能
などの特徴を生かし、新規課題の発見やサービス品質の向上にも期待できます。
DWHからPostgresなどの運用データベースにデータを同期することで、パーソナライズされたエクスペリエンスを構築するためのデータインフラストラクチャとしても活用ができます。
例：eコマースにおける顧客体験の向上
eコマースで、DWHにあるスコアデータを抽出して定期的にバッチで連携・反映する形だと、ECオンライン上の行動よりもワンテンポ遅れた施策となってしまいます。
またリバースETLを使用すると、リアルタイムにDWHのスコアを本番データベースに同期できます。
パーソナライズされた体験でeコマースアプリ内の顧客にサービスを提供できます。その結果より迅速でより適切な施策となり、顧客の満足度も高いものとなるでしょう。
CRMツールと直接連携し購買意欲の高い顧客の発見
リバースETLを活用し、DWHにある顧客データをSalesforceなどのCRMシステムに転送できます。
たとえば、セールスチームとデータエンジニアチーム間でリバースETLし、顧客を生涯価値別に分類します。その分類のなかからもっとも購買意欲の高い顧客を発見し、その顧客に対して積極的なアプローチを行います。
その結果、注力すべき個々の顧客を迅速かつ容易に特定することができます。顧客全体へアプローチをかけるよりも効果的なセールスが可能です。
リバースETLの機能が付いているおすすめのツール・サービス3選
リバースETLの概念は何十年も前から注目されており、いくつかの先行ベンダーが存在しています。
ここ数年でも新たなリバースETLツールが誕生しています。SaaSでのリバースETL機能が付いたETLツールがよい例でしょう。
本章では、リバースETLの機能が搭載されているおすすめのETLツール・サービスをご紹介します。実際にリバースELTを試してみたい方は、以下のサービスで体験してはいかがでしょうか。
- trocco®
- Census
- Hightouch
trocco®
株式会社primeNumberが提供するtrocco®は、ETLが可能な扱いやすいETLツールです。
ノーコードでも、通常のETLと同様の操作感でリバースETLが実現できます。
メタデータを活用したデータマネジメントにも力を入れており、データリネージ機能も利用できます。データがどのようなETL、リバースETLを経ているか視覚的に感じやすい点が特徴です。
またtrocco®は、データエンジニアだけでなく非エンジニア人材のデータ活用を志向しています。
ワークフローによるジョブ管理やデータマート作成など、非データエンジニア向けの機能を実装しています。現場のデータユーザーのデータ化を促進する効果が期待できるでしょう。
クレジットカード登録不要のフリープランを提供しているため、リバースETLがどのようなものか試してみたい方にもおすすめのツールです。少しでも気になる方は、ぜひ製品資料をご覧ください。
Census
株式会社LinkedInが提供するCensusは、DWHのデータを各種サービスに連携する機能を持つ、まさにリバースETLを行うためのSaaSです。ほとんどコーディング作業をしなくてもジョブの連携設定ができます。
そのほかの特徴として、ドライラン機能やノーコードのセグメンテーションビルダー機能などが搭載されています。またEUホスティングが可能であることも特徴のひとつです。
連携する項目・カラム数に応じた課金体系となっており、50項目まで無料で、以降$800〜/月となっています。
連携元は約20弱で、主要な Cloud Data Warehouse、Data Lakeを網羅しています。 連携先は約100弱で、主要なアプリは網羅していますが国内アプリはありません。
Hightouch
株式会社メソドロジックが提供するHightouchは、リバースETLツールのひとつです。
「125を超える種類のツールをデータの連携先に設定できる」「HightouchのUI上での連携設定やデータ送信の実行が可能」などの強みを持ちます。
連携先コネクタ数に応じた課金体系で、一部、Slack、SpreadSheet、Teams等のツールは無料、$350〜/月となっています。
連携元は約25強で、主要な Cloud Data Warehouse、Data Lakeを網羅しています。 連携先は約150弱で、主要なアプリは網羅しています。国内アプリはありません。
リバースETLを活用してデータ分析を効率化しよう
通常のETLにくわえ、リバースETLを取り入れるとデータ分析・活用の成果を社内のデータユーザーに還元しやすくなります。
DWH、BIツールを活かした高度なデータ分析の結果（顧客のスコアリングなど）をデータ元のサービスに戻すことで、いくつものサービスを経由しなくともデータ分析の恩恵を受けられるようになるのです。
また、あるサービス上のデータを一気に編集したいケースでも、リバースETLを活用できます。
たとえば、Salesforce上の顧客データをエンジニアが直接編集するのではなく、DWH上へETLしたデータを加工し、リバースETLするなどです。現場のセールスメンバーは複雑なデータ加工に苦心する必要はなく、データエンジニアも使い慣れたDWH上で加工を行うため、双方にメリットが期待できます。
リバースETLによって、データを媒介に中央DWHとデータ元となる各サービスが有機的につながりあうデータ基盤こそが、リバースETLの活用によってもたらされる未来といえるのではないでしょうか。
まとめ
本記事では、最近より大きな関心が寄せられるようになったリバースETLの概要やユースケースの具体例、またリバースETLの機能を持ったツールをご紹介しました。
リバースETLは活用の幅が広く、今後のデータ活用において需要が増えていく有効的な手法です。
ぜひ通常のETLにくわえ、リバースETLも取り入れ自社のデータ分析基盤に生かしてみてはいかがでしょうか。
trocco®は、ETL/データ転送・データマート生成・ジョブ管理・データガバナンスなどのデータエンジニアリング領域をカバーした、分析基盤構築・運用の支援SaaSです。trocco®について詳しく知りたいという方は、以下より資料をご覧ください。
