自社のデータ活用にはデータ分析基盤の構築が欠かせません。
- 安価で導入可能かつ高いスケーラビリティをもつクラウド型のDWH（データウェアハウス）
- ほぼノーコードでのETLを可能としたETLツール
- 直感的な操作により、非エンジニアでも扱いやすいBIツール
などのツールの普及により、データ分析基盤の構築は従来のフルスクラッチ構築と比べ格段に簡単に行えるようになりました。
一方、データ分析基盤には日々変化するデータに対する社内のニーズや、増加するデータ量といった変化に柔軟に対応できる体制が求められつつあります。
それを踏まえ、柔軟性・適応性に長けたソフトウェア開発の手法である「アジャイル」をデータ分析基盤の運用・改善へ取り入れる試みが本記事で紹介する「アジャイルデータ分析基盤」です。
アジャイルデータ分析基盤とは
アジャイルデータ分析基盤は、データ分析基盤をアジャイル的な手法に基づいて改善する体制や仕組みです。
従来はデータ分析基盤を運用するのが物理的なサーバー上に限られていたため、データベースのスキーマ、取り扱うデータ量を始めに決めておく、いわばウォーターフォール式の基盤づくりが一般的でしたが、クラウド型のDWHサービスが普及し、データ分析基盤もデータ量に応じた拡張がしやすくなりました。
技術の発展を受け、、DWHがもつ高いスケーラビリティを活かしつつ、変化する社内のデータユーザーのニーズにも対応するための運用手法が模索されています。アジャイルデータ分析基盤はそのなかでも注目されている手法の一つです。
アジャイルデータ分析基盤のしくみ
アジャイルデータ分析基盤は、小規模な改善のサイクルをスピーディーに回し、漸進的に最適な運用へ近づけていきます。
ユーザーからのデータに対するニーズの変化は早く、分析基盤に求められる要件も短期間で変化するため、あえて改善を前提とした体制を作り、自社のデータ分析基盤に変化への対応力を持たせることができる点がアジャイルデータ分析基盤の最大のメリットです。
アジャイルデータ分析基盤の導入
アジャイルデータ分析基盤の導入はソフトウェア開発におけるアジャイルの導入がベースになります。
まだ基盤を導入していない状況では、具体的に以下のステップで導入していくのが良いでしょう。
データ分析基盤の活用イメージの検討
アジャイル的に細かい改善を繰り返すとはいえ、ベースとなる分析基盤を見切り発車でリリースしてしまうと後の改善で不都合が生じることになります。
まずはデータ分析基盤を使って「どのようなデータを分析したいか」、「どんなダッシュボードを作りたいか」など思いつく要件をリストアップして、80点のデータ分析基盤構築を目指します。
アジャイルデータ分析基盤のメリット
- データ量の変化
- 利用サービスの増加、顧客数の増加など
- データの質の変化
- 表データだけでなく、動画・画像データ、音声データ、メタデータなど
- ユーザーニーズの変化
- あのデータも分析したい、これとあれを組み合わせた分析もしたいなど
データ分析基盤は上記の不確定要素を含んだ運用が前提になります。設計段階で最適解を出すことが困難なシステムであり、最適へ近づくにはリリース後も改善が必要不可欠なのです。
小規模な改修を繰り返して最適解に迫るアジャイルの手法とデータ分析基盤の運用と相性が良いのはこのためです。ここから以下の3つの大きなメリットが得られます。
実用的な分析基盤の実現
データ分析基盤は、初期の設計段階での運用想定と実際の現場でのニーズに乖離があることが珍しくありません。
たとえば、あらゆるデータを取得できるように手当り次第テーブルを実装したが、実際に現場のユーザーが使うデータはごく一部で無駄なデータが溢れかえってしまうなどが考えられます。
一方アジャイルの考えに則り、ユーザーのニーズを聞き取りながら必要に応じて改修を進めることで、現場のニーズとのマッチした実用的なデータ分析基盤が実装できます。
データエンジニア主導の改修もユーザーのニーズとの乖離に気づけば早くに軌道修正できます。無駄な機能を実装しないため、運用やメンテナンスのコストも無駄を防止できます。
不確実性への対応
データ分析基盤は運用していく中で様々な不確実性に直面します。
基盤に組み込むサービスが新たに増える、処理するデータ量が増えたためデータベース全体の見直しが必要になる、などにより、設計段階では想定しきれない改修が必要になるケースは多いです。
これらの不確実性に対しては、初めから過剰なバッファ（余裕）を持たせた分析基盤を設計するより、突発的な改修も想定した柔軟性のある体制を整えることが有効になります。
アジャイルデータ分析基盤を導入することで、想定外の不確実性にもスピーディーに対応しやすくなります。
ツールのスケーラビリティを活かしやすい
アジャイルデータ分析基盤には「小さく導入して大きく拡張させやすい」というメリットがあります。
分析基盤に使用するクラウド型のDWHやETLツールは、小規模のデータ分析基盤からでも導入しやすい点が特徴です。同時に、取り扱うデータ量が増加しても分析基盤も拡張が容易で、従量課金制のためコスト面も無駄なく拡張させられます。
ミニマムにデータ分析基盤をリリースし、取り扱うデータ量の増加に伴ってアジャイルに分析基盤を拡張させることで、ツールのスケーラビリティを活かしつつ無駄なくスムーズに分析基盤を拡張させることができます。
アジャイルデータ分析基盤のデメリット
アジャイル的な手法はメリットの裏返しとなるデメリットもまた存在します。
アジャイルデータ分析基盤の導入にあたっては、そのメリットだけでなくデメリットも認識し、対策を検討しておくことが必要です。
継続的な運用が必要
ソフトウェア開発にないデメリットとして、アジャイルデータ分析基盤はリリース後も継続的な改善・改修が必要になります。
リリース直後は不具合や不便な点も多く抱えてしまいがちで、長期間に渡ってデータエンジニアチームが分析基盤のメンテナンスやカスタマイズに当たる必要があります。分析基盤が大きくなるとデータエンジニアチームの負担も大きくなりがちです。
データエンジニアを採用し続けることが困難であれば、データメッシュなどデータエンジニアチームのスケーラビリティを意識したデータアーキテクチャを採用するのが有効です。
データメッシュについては以下の記事でもくわしく解説しています。
対応しきれないニーズ
アジャイルデータ分析基盤はユーザーからのニーズに柔軟に対応することを重視します。あれもこれもとすべての要望に応えることはあまり現実的ではありません。
基本的なデータ分析は非エンジニア人材でもできるよう運用体制・ツールを検討するとともに、どんな要望までなら応えられるかきちんと線引きをしておきましょう。
まとめ
クラウド型のDWHのスケーラビリティを活かしつつ、変化するデータ環境に対応するための「アジャイルデータ分析基盤」の手法を紹介しました。
IT技術の発展により可能になったモダンなデータ分析基盤を取り入れてみたい方は導入を検討してはいかがでしょうか。
ただしせっかくのアジャイルも、データエンジニアが日々の基盤運用で手一杯では柔軟な改修は困難です。
そこで弊社提供のデータ分析基盤構築サービスtrocco®は単なるETL/ELT機能にくわえ、
- コードベースの設定管理
- GitHubと連携したPull Requestレビュー
- 変更履歴の管理とロールバック
- 本番適用前のテスト実行
などDevOps関連機能も提供し、データ分析基盤の運用を強力にサポートします。
trocco®では、クレジットカード不要のフリープランをご案内しています。ご興味がある方はぜひこの機会に一度お試しください。
