「データエンジニアのキャリアを考える」Data Engineering Study #19 イベントレポート

第18回では「データ指向アプリケーションデザイン」と題して、『データ指向アプリケーションデザイン』の著者である斉藤太郎氏に本書の内容をご説明いただきました。その後、田籠聡氏にも加わっていただき、本書の理解を深めるトークセッションを行いました。

今回の勉強会では、データエンジニアを職業とする方がどのようなキャリアを歩んでいくのかについて扱っていきます。データエンジニアは実際にどのくらい稼げるのか、将来どのように世界を広げていくのかなど、気になっている方も多いかと思います。

今回はそういった疑問を解消し、データエンジニアとしての今後のキャリアにも役立てられる内容となっております。

過去のイベントレポートはこちら

第19回は「データエンジニアのキャリアを考える」と題して、3名の方々から、どのようなキャリアを歩んできたのか、データエンジニアはこれからどう自分の世界を広げていくべきなのか、についてお話していただきます。

1つ目の講演では、アメリカでデータエンジニアの仕事をされている方をお呼びし、

なぜエンジニアになったか
タイプ別のアメリカのデータエンジニアの年収
これからデータエンジニアになるための最初の一歩
データエンジニアと掛け合わせたキャリアとしておすすめの道

についてお話していただきます。

2,3つ目の講演では、dely株式会社のデータエンジニアのharry氏と株式会社NTTデータのシニアデータアーキテクトの渋谷亮太氏をお呼びし、データエンジニアのキャリアや今後の未来予想図についてご説明していただきます。

当日の発表内容はこちらです。

Data Engineering Study #19「データエンジニアのキャリアを考える」 – YouTube

基調講演「アメリカのデータエンジニアのキャリア」

Ben Rogojan（SeattleDataGuy）氏

データエンジニア / データサイエンスコンサルタント

Facebookを含む、様々な業界や企業でデータエンジニアとして働き、その幅広い経験を生かし、企業のデータインフラの開発、改善、移行を支援。シンプルで保守性の高いエンドツーエンドのデータソリューションの開発支援をメインで取り組む。また、データエンジニアリングに関する人気YouTubeチャンネルやブログを運営。

Twitterのアカウントはこちら

YouTubeのアカウントはこちら

はじめにBen Rogojan氏がデータエンジニアになるまでにどのような経験をされてきたのかについてお話ししていただきました。

Seattle Data Guyが歩んできたデータエンジニアまでの道のり

Ben Rogojan氏：「私はこれまでにさまざまなツールを扱ってきましたが、最初に触ったのはSQL ServerやPower Shellです。また、SnowflakeやDatabricks、Oracleもそれなりに使いました。

私のキャリアパスは、データエンジニアになるステップとして一般的だと思います。

データエンジニアになるにはいくつかのルートがありますが、アナリスト側から始めるケースがよくあります。アナリストがはじめに任される仕事は、技術的にそれほど難しくなく、習得しやすい傾向があるためです。

2012年〜2014年頃にハーバード・ビジネス・レビューで、「データサイエンスが21世紀で最も魅力的なキャリアだ」という記事が出たため、私も最初はデータサイエンティストを希望していました。

しかし、私も「ハードルは低いが、奥が深い」という理由で、データエンジニアに向けてアナリスト側からスタートしました。

その後は結局、もっとインフラを構築したいと思うようになりデータエンジニアの世界に入ります。分析的な仕事から、よりエンジニアリング的な仕事を求めるようになり、徐々にシフトしていきました。

データサイエンスとエンジニアリング、あるいはデータ分析とデータエンジニアリングの間でこのようなシフトをする人たちがたくさんいます。

その理由は様々ですが、理由の一つとして、最初は「データサイエンスは好きだし、かっこいいし、テレビなどで見るようなモデルや統計的なものを作ってみたい」と考えデータサイエンスの業界に入った人も、やがて自分の中で、インフラのような長く使われる構造を作りたいと思うようになることがあると思います。終わりのない不透明なプロセスにはあまり興味がないのでしょう。

最近でも、データサイエンス職で採用された人が、データエンジニアリングの仕事をするように押し付けられるのをよく見かけます。そのため、自然とデータエンジニアのポジションに流れてくるのです。

私もその流れで選んだようなものですが、ただ私は解析をするよりもコーディングが好きでしたので、データエンジニアの仕事が好きでした。データサイエンティストとして行うプログラミングもありますが、少なくとも私の経験では、それほど重いものではありません。」

データエンジニアの年収

Ben Rogojan氏：「よく聞かれるのが、給料が高いかどうかです。

データエンジニアの給料はそれぞれの状況に分けて考えることが重要だと思います。

これはPragmatic Engineer（Gergely Orosz）が説明している同じ役割に対しての給料を三種類に分けるアプローチに基づくものです。

なぜこの話をするかというと、同じ仕事でも、ある会社では8〜10万ドルで、別の会社では20万ドルの給料を得られることがあるからです。

まずひとつ目に、一般的な地元企業の場合は給料はあまりよくないかもしれません。競合が少なかったり、データをビジネスの重要なファクターとしてとらえていなかったりするため、特にチャレンジがないからです。

反対に、データ活用を推進しているといっても、データを本当にビジネスの大切な要因としてとらえているかは給料から見えます。

次に、「地元企業だが、あらゆる企業と競争している」企業についてです。

このような企業はもともと資金が豊富であるか、あるいは技術をもう少し重視している傾向があります。そのような企業は、ビジネスが潤っているために多くの資金を持っており、より良い人材を確保するため、少し高い報酬を払えるということが考えられます。

そして競争があるため、給料はさらに少し高くなります。

最後に、非常に広い地域ですべての会社と競合するような企業についてです。

たとえば、FAANG（Facebook、Apple、Amazon、Netflix、Google）などは高い報酬を払う傾向があります。このような企業は、地元企業などと競うのではなく、もっと広い地域での競争になるからです。

Pragmatic EngineerのGergelyが示す例は、ヨーロッパのようなケースです。

ヨーロッパにはさまざまな国が近くにあり、給料も違い、おそらく英語も大体の人が話せます。つまり、EUのほかの国に移って、より多くのお金を稼ぐことができるような環境で、より広範な企業と競っているため、より厳しいレベルの競争になっています。

さらに、本社やオフィスが少し安い地域にあったとしても、他社より多く支払わなければなりません。

これらを踏まえて、実際の給料はどのようなものでしょうか。

ジュニアポジションだと1080万〜1350万円の範囲でしょう。

もう少し経験のある中レベルだと、1350万〜1750万円の範囲でしょう。

FAANGに勤めている場合、FAANGの中でもそれぞれ給料は違いますが、2020万〜2690万だと思います。Netflixで働くなら、5390万円以上の給料も不可能ではないでしょう。

そして上級者になると、一般的な企業であれば2020万〜2420万円ほどです。FAANGに勤めていれば、おそらく年収2690万〜5390万となるでしょう。

これは会社によって大きく異なります。これらを大きく下回る給料の会社もありますし、FAANGでなくても上回る給料の会社もあります。どの程度データを活用したいか、どの程度データを重視しているかが、給料に表れるのです。」

つづいて、データエンジニアになりたいと考えている人が、どのようなことから始めたらよいのかについてお話していただきました。

データエンジニアになるための最初の一歩

Ben Rogojan氏：「データエンジニアに必要なさまざまなスキルという観点からガイドをまとめました。

PythonやScala Javaなどの何らかのプログラミングスキルは必ず必要であるため、その辺から学ぶと良いでしょう。Javaを学んだ場合、Pythonに切り替えるのは簡単になると思いますし、その逆もまたしかりです。

また、SQLも確実に必要になります。たとえ、Sparkなどのジョブは別の言語で書いたほうが良いことをわかっていても、SQLはどこかで必要になってきます。

クラウド上にあるかどうかにかかわらず、Linux環境での操作方法を理解するためのスキルも必要になります。多くのものがLinuxの特定バージョンで動作する傾向があるためです。

EC2インスタンスまたはFacebookをトラバースすると、独自の開発サーバーをセットアップする必要があります。コマンドラインを使いこなすといったような、少なくとも基本的な能力を備えている必要があります。

基本的なスキルを身につけたあとは、クラウド開発、データウェアハウス、ETL、データパイプラインなど、より多くのスキルを重ねていけるでしょう。

もしやりたければ、Azure Dataエンジニアがいるように、特定の種類やクラウドプロバイダーに特化していくこともできます。」

データエンジニアの世界に飛び込む方法

Ben Rogojan氏：「多くの人はアナリスト側から始めることが多いですが、中にはソフトウェアエンジニアリング側から始める人もいます。

その後、データアナリストであればSQLを非常に多用したり、Pythonで自動化しようとしたりしてスキルを重ねていきます。面接を受けられるようになるまで、1〜2年かかるかもしれませんが、とにかくそれらのスキルに慣れていくことが大切です。

望むのであれば、社内で横のつながりを持ち、「データエンジニアの仕事をしたいので、データエンジニアリングが含まれるプロジェクトに参加させてください」とチャレンジすることも可能です。

また、履歴書にデータエンジニアリングのスキルを明記することで、データエンジニアリング職で別の会社に転職することも可能です。もっとも簡単なのは、別の会社への転職ではなく社内での異動だと思いますが、その会社がデータエンジニアリングをどれだけ必要としているかにもよります。

ソフトエンジニアになること自体は難しいと思いますが、ソフトエンジニアからの転職はもう少し簡単だと思います。ソフトウェアエンジニアとしての知識があれば、多くのデータスキルを身につける必要はないからです。

つまり、ソフトウェアのスキルとデータ分析のスキルという2つの側面があり、最終的には収束することになるのです。もちろん違いはありますが、データとの付き合い方の感覚は、データ分析側で身についていくようなものです。

データの仕組みやセットの仕組みに慣れることは、面白いスキルです。データをどのように結合するか、異なる集団をどのように見るか、どのように分析するかということなのです。これはデータエンジニアリングの面でも大いに役立つと思います。

データエンジニアリングにはソフトウェアエンジニアやデータ分析、ETL開発といった幅広いスキルが必要なため、多くの人は、ソフトエンジニアかデータアナリストからデータエンジニアリングに移行するようです。」

データエンジニアのキャリアの伸ばし方

Ben Rogojan氏：「データエンジニアとしてキャリアを伸ばそうとする場合、キャリアの初期は技術的なことにフォーカスするのが基本であるため、技術力的によりよくしようとすること自体が面白いです。

もちろんビジネス面にも力を入れるべきですが、優れた技術者であること、コードを書くこと、テストを書くこと、これらが基本なのです。しかし、中堅以上のレベルや上級者まで成長するためには、技術的な能力だけでなく、プロジェクトを推進する能力など、ビジネスにおける自分の価値を高めるソフトスキルに着手する必要があります。

たとえば、ユニークな能力やコミュニケーション力や、自分の考えをわかりやすく伝えるスキルのような、技術的なものではないもののことです。

もちろん、Udemyのコースやチュートリアルをすべて受講し、あらゆる新しい技術や大規模な言語モデルを学ぶこともよいでしょう。しかし、それをどうビジネスに応用して役立てるかがわからないと、結局は限界があります。

中には経験があるだけでも問題なく働ける会社もあると思いますが、多くの場合、特にテック系のような会社は、ただ技術力があればよいわけではないケースがほとんどです。それらの会社は、あなたのスキルセットとして、ヒューマンスキルも求めます。

Linkedlnなどでソフトスキルについて語る人をよく見かけるのは、技術的なスキルだけでは限界があり、壁にぶつかってしまうことに気づくからです。「どのように価値を提供するか」を示す方法を見いだせられれば、自分を売り込むべきタイミングで「私が行ったこのプロジェクトはこんなに素晴らしいものだったんですよ」とアピールできます。

もしそのような瞬間を活かせなかったら、自分のキャリアに限界をかけることとなります。他の人も同じことをするからです。あなたがビジネスを推進しているところをアピールし、あなたが何をしていて、なぜそれが重要なのかを理解してもらうことが重要です。

早い段階で技術的なスキルの習得に集中し、しっかりと身につけたら、そのピラミッドのような土台を広く強くしてください。そうすることで、そのあと何となくすぐに上に行けるようになります。

また、データウェアハウスやETLなど、データエンジニアとして知っておくべきトピックの調査に多くの時間を割いてください。常に調べ続ける必要がないよう、そこにしっかりとした土台を作り、積み上げていくことが大切です。」

さいごに、データエンジニアリングは永遠に存在し続けるのかという疑問についてお答えいただきました。

Ben Rogojan氏：「私が受けた興味深い質問の一つに、「データエンジニアリングは永遠に存在し続けるのか」というものがありました。

その仕事が長く続くかどうかは、もちろん心配になります。しかし、もしあなたがこの仕事に興味を持つのであれば、自分の理想の仕事を見つけることに集中するのは避けた方がよいです。

データエンジニアリングが自分に合うかは、やっていくうちにわかるでしょう。1社か2社で仕事をしてみて、これは自分には向かないと思うかもしれません。SQLを書くのが好きになるかもしれないし、さまざまなツールやソリューションに携わったりするのが好きになるかもしれません。

しかし、完璧な仕事を見つけるという考えや、有能なデータエンジニアになるために、特定のツールセットに取り組まなければならないという考えには、とらわれすぎない方がよいと思います。

私なら、基礎を固めることと、そのスキルが好きかどうかを見極めることに重点を置くと思います。もしデータエンジニアリングが合わなかったとしても、データの世界にはほかに自分の持っているスキルを生かせる仕事がたくさんあります。

最終的に、MLOpsのエンジニアになるのも一つの選択肢でしょう。MLOpsエンジニアはデータエンジニアとは異なるツールやデータパイプラインを扱います。しかし、それらは似ているので、機械学習などのスキルセットを追加すればキャリア移行も可能です。

あるいは、もう少し統計的な背景を加えるなら、データサイエンスの世界に行くことも可能です。また、ソフトウェアに詳しい人であれば、ソフトウェアやデータ系の職種、あるいはデータインフラエンジニア、DevOpsなどデータエンジニアをサポートするためのソリューション構築に関わる職種に進むことも可能です。

キャリア構築にはさまざまなルートがあります。そのため、大切なのは「チャンスをつかむこと」だと思います。

データエンジニアリングは、とてもやりがいのある仕事だと思っています。もちろん、思うように進まず不満を覚える日もありますが、それこそがエンジニアのやりがいだと思います。最終的にそれらのフラストレーションを解決し、答えを見いだせたとき、「いい仕事をしている」と思えるのでしょう。そしてそれが私の日々の原動力になっています。」

講演1「クラシルのデータ活用の現在とプロダクトファーストから考えるデータエンジニアのキャリア」

張替裕矢（harry）氏

dely株式会社 / データエンジニア

筑波大学大学院修了後、2011年よりマーケティングリサーチ企業に新卒入社。小売データの分析基盤構築等に従事。2021年8月よりdely株式会社にデータエンジニアとして入社し、クラシルのデータ基盤の新規構築を担当。現在はパーソナライズ関連のチームにてデータエンジニア/PjMを務める。

Twitterのアカウントはこちら

はじめに、クラシルにおけるデータ活用の現状についてお話していただきました。

クラシルのデータ基盤の概略図

出典：Data Engineering Study #19「データエンジニアのキャリアを考える」 – YouTube

harry氏：「私がちょうど入社してからこれまで、クラシルがどういったデータ活用をしてきたかをお話しします。

まず、データ基盤がどのような形で運用、構築されているかが上の図で示されています。

現在はSnowflake上にデータウェアハウスがあり、そこにAWS環境上から日々データを流し込んでいます。レコメンデーションのようなところがあるため、ある程度リアルタイム性があるデータを、データウェアハウスの力のあるところに持ってこられるようなデータパイプラインを考案しました。

直近ではSnowflakeに、昨年11月にSnowpark for Pythonが登場し、Pythonのコーディングをして分析するといったさまざまな機能を追加しました。そこで我々も、レコメンデーションを目的として、Snowpark for Pythonを使っていろいろなことをやり始めています。」

クラシルのデータ活用の現在

harry氏：「私が入社してから何に携わったかというと、まずデータ基盤をSnowflakeで刷新しました。その後、パイプラインを作り、リアルタイムに近づけました。

また、Snowpark for Pythonをデータ基盤上に作ってMLのパイプラインのようなものを作りました。そして、データの利活用を推進していくことを、クラシルにおけるデータ活用の現在として対応しています。

まず、ユーザーの価値があり、それに対してどのようなことが必要かをどんどん分解していき、最初にやるべきことはデータ基盤だと我々は認識しました。」

データエンジニアはプロダクトチームの一員として目標を追っていた

harry氏：「レコメンデーションをするうえでは、データエンジニアはデータ分析チームがあればそこでさまざまな要望を受けて活動できます。

しかし、クラシルだとそれらをユーザーの価値に届けることがメインミッションになっていたため、データエンジニアがプロダクトの機能開発をするチームのところに直接行き、一緒にプロダクトを開発することをしていました。

最近では、データチームができたため、より多くのチームが利活用できるように、支援を行い始めています。」

つづいて、「プロダクトファーストにデータエンジニアリングをする」とはどういうことなのかについて、お話ししていただきました。

harry氏がdelyに転職する際に考えたこととは？

harry氏：「私はdelyに転職する際、「好きなtoCのサービスに関われたらいいな」「チームワークして自分の成長と会社の成長が一致できたらいいな」と考えていました。また、データを扱うのが好きだったため、「データエンジニアの延長線にその仕事があればいいな」と考えていました。」

データエンジニアの意味は非常に広義

harry氏：「以上の理由により、転職活動の際はデータエンジニアについて調べていました。ところが、実際に調べてみるとデータエンジニアの意味が非常に広義であったため、募集の内容が会社によってさまざまであることが発覚しました。

たとえば、ある会社ではインフラよりのデータ基盤エンジニアとしてデータエンジニアを募集していたり、オンプレミスのデータ基盤を運用しているところでデータエンジニアを募集していたりします。

また、分析やMLの延長線上、あるいはその前処理の部分でデータエンジニアを募集している会社もあれば、SIや業務システム用のデータエンジニア、クラウドのデータプラットフォームをマイグレーションするプロジェクトを手伝ってもらうデータエンジニアの募集などもあります。」

この経験からharry氏が考えたこととは？

harry氏：「データエンジニアは、各社のフェーズや命題によって求められるスキルが異なるため、多様性のある職種だなとわかりました。

だからこそ、自分にできることや会社が求めていることだけでフィットし始めようとすると、課題に対しての命題に自分のスキルやキャリアがとらわれてしまうのではないかと考えたのです。

（会社のニーズと自分にできることを一致させることに）バリューがあるのは間違いないですが、その都度それ以外で必要なことはデータエンジニアとしてやれる状況を作らないと、自分の価値を見いだせなくなるのではないかとも思いました。

たとえば、「データエンジニアになりたい」という意志だけで、会社の命題に答え続けているだけだと、キャリアとしての難易度が高くなるのではないかと思います。」

クラシルのデータエンジニアリングの変遷

harry氏：「クラシルはやりたいことが明確だったため、何が私にできるかを伝えやすかったです。

たとえば、データ基盤の性能向上を考えている際、私が唯一のデータエンジニアだったため、Snowflakeを使うと一番簡単にできるのではないかと提案して導入しました。また、リアルタイム性を求めるならば、Snowflakeの機能を使いつつ、データを収集するところでdbtやTROCCO®などのマネジメントのサービスの利用がよいことを提案し、導入しました。

レコメンデーションの文脈になったときには、私がチームの一員になってデータエンジニアリングをしたり、MLの部分に手を伸ばしたりしました。さらに、その時はクラシルの組織自体が拡大している時期だったため、スクラムフレームワークの導入旗振りをしたり、ワークショップをしたり、データエンジニアリングに関わらない仕事も必要だと考え、対応しました。

最近では、分析基盤としての利活用を進めるために、（データの）品質の整備やデータの利活用を進めることに力を入れ始めています。」

クラシルのデータエンジニアを経験して考えたこと

harry氏：「データチームがそもそもあってワークするよりは、プロダクトのチームの一員としてデータエンジニアリングできたのはラッキーだったなと思います。

本来データチームは基盤であるため、プロダクトと距離があったり、サイクルの真逆にいたりすることもあるのですが、密接に関われたのはデータエンジニアリングをしていくうえでよい経験でした。これは事業会社ならではなのかなと思います。

データエンジニアリングは、目的ではなく手段であることもよく感じました。求められているからやるのではなく、「自分だったらこれを使ってこうします」といったことを伝えるのがユーザーにとって必要なのかなと考えています。

とはいえ、ビジネスとデータ基盤はかなり近い存在であると思います。たとえば、成果物の良し悪しを図る意味でデータ基盤は必要ですし、それだけでなく、データ基盤でデータを見てビジネス上の意思決定をするためにも重要です。さまざまな利活用が事業会社の中でできたのは、面白い経験だと思いました。」

このような経験を踏まえ、これからの展望についてお話ししていただきました。

モダンデータスタックの影響

harry氏：「クラシルでは私一人でデータエンジニアを始めたため、モダンデータスタックの恩恵を受けることがよくありました。

今までのデータエンジニアは、クラウドのデータウェアハウスの性能によっては、チューニングやセキュリティ、ワークロードに対してどう答えるかなども考える必要がありました。しかし、モダンデータスタックが使えるようになったことによって本来の価値や使命に集中しやすくなったのです。

データエンジニアが専門的にするだけではなく、ほかの人にも一緒にデータ基盤を育ててもらうことも可能になりましたし、それらの敷居を下げることでデータエンジニアそのものの敷居を下げることが可能になりました。それによって、ようやく本来の価値に向き合える機会が最近増えてきたのです。」

データエンジニアに求められるもの

harry氏：「僕の場合は、クラウドデータウェアハウスが好きで、その周辺領域の深堀りもしていたため、そういったスキルを深く持っていると、そこに対してのバリューは出しやすいなと感じました。

本来の価値に向けてという意味では、データエンジニアリングだけではなく、MLやデータサイエンス、インフラなどの周辺領域の知識もキャッチアップして自分のスキルを身につけていくと、よりデータエンジニアとしての価値を出しやすくなると思います。

モダンデータスタックや先ほどのSeattleDataGuy氏のような優秀な方のお話、国内外の事例などさまざまなデータエンジニアに関する情報を常にキャッチアップするのもよいでしょう。

データをどうにか使って何かを成し遂げる意思を持つことで、データエンジニアのキャリアとして深みが出て、面白いことができると個人的には考えています。」

講演2「SIerで模索する、広くて深いデータエンジニアのキャリア」

渋谷亮太氏

株式会社NTTデータ Snowflakeビジネス推進室シニアデータアーキテクト

2011年に新卒でNTTデータに入社。以来、データ基盤の構築・運用から、データマネジメントやデータモデリングのコンサルティングまで、一貫して「データ」のスペシャリストとして多くのプロジェクトに従事。現在はSnowflake Data Superheroとして、様々なお客様に向けSnowflakeを中心としたデータ活用を推進。

はじめに、渋谷氏の会社と仕事内容を簡単に紹介していただきました。

渋谷亮太氏：「私の勤めているNTTデータでは、ITに関わるさまざまなことを実施している会社です。ただどちらかというと、お客様を直接支援する立場でのポジションが多く、よく国内では一般的にSIer（System Integrator）と言われると思います。

NTTデータは、現在グローバル展開を急激に推し進めている会社で、実は従業員数も売上高も圧倒的に海外の方が多くなっています。海外だからといって（国内と）異なるビジネスをしているわけではなく、メインの仕事はやはりSIerです。

よくガラパゴス（孤立しており、独自に発達していく）と言われますが、実は海外でもSIerとはあまり言いません。SIという言葉自体は一般的で、そういったポジションで我々は海外で活動しています。」

渋谷亮太氏：「Snowflakeビジネス推進室で、Snowflakeを使ったシステム構築やデータ活用を、全面的にご支援させていただいています。Snowflakeの日本法人立ち上げ期から、日本への導入や普及を推進しており、今ではNTTデータが関わる多くのSnowflakeの関連プロジェクトを全方位的にサポートしています。

会社としても、APJ（Asia Pacific/Japan）を本拠とするGlobal System Integratorとして、2年連続でSnowflakeからパートナーアワードを受賞し、世界的に認められているビジネスができています。」

データエンジニアのキャリアを考えていくうえで、まずはデータエンジニアの持っている技術についてご紹介していただきました。

データエンジニアの技術要素を分解してみる

渋谷亮太氏：「自分のことをデータエンジニアだと思いながら仕事をしている反面、「本当にデータエンジニアなんだろうか」といった思いが頭の片隅にあるのが正直なところです。

私なりにデータエンジニアがどのような技術を持っているかを、上記の三角形の図のように分解しました。この図への異論は大いにあると思いますが、一つのフレームワークとして考えてみました。

データ整備は、狭義のデータエンジニアリングです。SQLやPython、ETLツールなどでデータを変換し、データモデリングをして、データ整備後に提供していくプロセスは、もちろんデータエンジニアリングです。

一方で、左下のデータ基盤のような面も当然あると思います。まさに前回のData Engineering Study #18でご紹介されていた『データ志向アプリケーションデザイン』のような本を、しっかりと理解して自分のものにすることは非常に重要です。これはこれでデータエンジニアの仕事といえるでしょう。

また一方で、データマネジメントの観点も重要で、Invokeを読んだことのないデータエンジニアが評価されない風潮もあるのではないかと思っています。

この三角形が別に全然とがっていてもよいと思うし、すごくきれいな三角形でもよいと思いますが、この面積が広ければ広いほどよいデータエンジニアといえるのではないかと考えています。」

つづいて、前章の三角形の図の考え方に則り、渋谷氏の１０年間のキャリアを振り返っていただきました。

新人・若手時代

渋谷亮太氏：「新卒で配属されたのは、金融モデルチームというデータモデリング専門のチームでした。最初のうちは、社内の購買データのデータクレンジングやモデリングなどをしました。

若手時代にとくに自分を鍛えてくれたと思っているのは、データ分析に近いところというよりは、基幹系システムでのデータモデリングやDBAとしての活動でした。

当時、IBMのDB2という非常に硬いdbmsをいかに高速にoltpを回していくかという中で、数々の難課題と戦い、向かったり負けたりしてきました。この頃は、oltpkよりではあったのですが、DB屋として鍛えられましたし、SQLもかなり書いて読みました。そのため今になって思うと、この三角形の中のデータ整備のところは、SQLの力やデータ基盤のデータベースに関する知識はかなりこの頃蓄えたと思っています。」

大人の思春期時代

渋谷亮太氏：「その後の大人の思春期時代は、モデラーチームに戻ったらデータマネジメントチームに名前が変わっており、データマネジメントコンサルをやることになりました。

そのころ、私はアナリスト出身ではないシステム屋だったため、Invokeを読んでもピンとこなかったため、「全く自分の肌に合わない」「データマネジメントをやりたくない」と感じました。むしろ私は、「SQLをより極めたい」「データベースを極めたい」といった意志があったため、当時の上司に基盤的なことをやらせてほしいと頼みました。

その異動先は、かなり大規模なデータ活用のシステム開発に参画することになりました。ところが、これはこれで下に行き過ぎてしまい、SQLを読み書きする機会が全然なくなってしまいました。

基盤としての構成を組んだり、ログを書いたり、アラートを出したりといった、かなり下の方の仕事がメインになりました。そのため、SQLに期待していたのにもかかわらず、自分は結局何をやっているんだろうかと考えていた時代でした。」

データ分析基盤時代

渋谷亮太氏：「データベースをやりたかったのですが、Hadoopをかなり使うことになり、上司や社内でお世話になって人づてに、Hadoopの案件を探しました。その後、AWS上にハード基盤を立てるプロジェクトに参画しました。

当時はHadoopしか見えていなかったのですが、実はその隣にTableauやMLの実行環境を立てる、データ分析基盤と呼ばれるようなものでした。そのプロジェクトに入ってみると、たとえば権限管理やデータマネジメントを考え始めました。ほかにも、メタデータを考え始めたり、実際のデータ分析のためにデータパイプラインを作っていかなければならなかったりしました。

基盤屋として入ったはずが、むしろそこから上がってきてデータマネジメントやデータ整備の仕事を自分でやるようになりました。その後、データ分析者と割と近い関係で、スモールスタートでデータ分析の基盤を作って提供し、それを成長させられました。

元々はデータマネジメントを全く理解できていませんでしたが、データ分析をどうしやすくするかという視点で考え始められたことで、データマネジメントやデータエンジニアリングを理解し始めた時代でした。」

データスーパーヒーローへ

渋谷亮太氏：「当時、分散基盤やデータマネジメント、データガバナンスにすごく課題感を持っていた時にSnowflakeに出会い、非常に注目していました。その後、部署内で勉強会をしたりお客さんに提案したりしているうちに、ビジネス化していく動きになり、今のSnowflake推進室設立に至りました。

ここ何年かは基盤的な観点とかデータマネジメント観点でのご支援もしつつ、Snowflakeを中心としたデータ基盤のサポートをしています。新入社員時代に自分を最初に鍛えてくれたデータモデリングやSQLが顧客価値に直結するし、自分の得意分野だということに気づきました。

最近では仕事の楽しさに気づき、自分のことをデータエンジニアだと名乗っています。もちろん、これからもこの三角形をより広げていかなければならないと思っていますが、ある程度の力があるということで、データスーパーヒーローとしてさまざまなご支援をさせていただいている状況です。」

つづいて、SIerの現状や今後について詳しくお話していただきました。

渋谷亮太氏：「実際SIerは「ガラパゴスで日本だけの何かしき風習だ」のように悪く言われがちだと思っており、非常にそれも理解できます。しかし、そこの良い悪いを議論するとキリがないため、良くも悪くもということだけ言います。

2023年DX白書でも出てきているのですが、日本とアメリカで大きく異なります。日本ではIT企業側に圧倒的にエンジニアがいるため、良くも悪くも現実として、エンタープライズの現場で相手を回してるのはSIerだと思っています。これはデータエンジニアであっても同じ状況だと、感覚的に思っています。

また良くも悪くも、SIer側のエンジニアは事業・プロダクションを持っていないため、「自分の技術力=価値」の世界とも言えるわけです。そのため、データエンジニアに限らずエンジニアの成長機会という意味では、SIerも悪くないと思っています。」

さいごに、渋谷氏のこれからの野望についてお話していただきました。

渋谷亮太氏：「これからの展望は、データエンジニアの三要素である、先ほどの三角形をこれからもさらに大きくしたいと思っています。また、なぜ私は現在アメリカにいるかというと、まず先ほどのSeattleDataGuyさんの「エンジニアリング（を職業とする人）は最大で（年収）5000万円」といった話もあったように、本場はアメリカだと考えています。

また、NTTはグローバルに力を入れており、特にアメリカでのNTTデータにおいてもSnowflakeは重要な位置付けです。去年のSnowflake SummitでNTTデータからブースを出したのですが、日本のNTTデータはあくまでもサポートの立場で、メインはアメリカのNTTデータが出店しています。「Data is in our DNA」と謳い、NTTデータとして大々的にSnowflakeのスポンサーをしているような、重要な状況になっています。

そんな中で私は個人として、Snowflakeからグローバルでデータスーパーヒーローとして認定されており、会社としても個人としても、アメリカに注力していくことが大きなチャンスだと捉えています。

データエンジニアとして、三要素は当然今後も伸ばしていくのですが、さらにこのキャリアを立体的にしていくチャンスが今来てると感じ、しばらくアメリカで活動することを決意しました。」

まとめ

渋谷亮太氏：「まとめになりますが、SIerでのデータエンジニアのキャリアで今までの10年間見たときに、正直今の自分の仕事がデータエンジニアリングなのは結果論だと改めて思います。その時その時で、「こういうこともっとやりたい」や「こういうことが面白そうだからやりたい」、「ここを伸ばしたい」といったことを、ただやり続けてきました。

ただ、所々会社が「てこ」のような働きをし、ダイナミックな動きやシフトチェンジ、大きなことができるようなタイミングが来ます。ここが実際に仕事をしていくと、非常に面白いところだと思います。

そして、いずれ点と点が繋がっていく感覚でいます。スティーブジョブズも言っていましたが、やはり点と点のつながりは後で振り返って、はじめて気づくものなのかなと思っています。そのため、自分の信じる点を描いていくことがキャリアにおいて、重要だと思っています。」

過去のData Engineering Studyのアーカイブ動画

Data Engineering Studyは月に1回程度のペースで、データエンジニア・データアナリストを中心としたデータに関わるすべての人に向けた勉強会を実施しております。

当日ライブ配信では、リアルタイムでいただいた質疑応答をしながらワイワイ楽しんでデータについて学んでおります。

過去のアーカイブもYouTube上にございますので、ぜひご覧ください。

https://www.youtube.com/@dataengineeringstudy6866/featured

TROCCO®は、ETL/データ転送・データマート生成・ジョブ管理・データガバナンスなどのデータエンジニアリング領域をカバーした、分析基盤構築・運用の支援SaaSです。データの連携・整備・運用を効率的に進めていきたいとお考えの方や、プロダクトにご興味のある方はぜひ資料をご請求ください。

TROCCO® ライター

TROCCO®ブログの記事ライターデータマネジメント関連、TROCCO®の活用記事などを広めていきます！