第5回勉強会では、最近日本でも有名になってきたDWH(データウェアハウス)の「Snowflake」について学んでいきます。

第1回勉強会では主にBigQueryとRedshiftの事例から学びましたが、それらとどのように使い分けるか、Snowflakeのアーキテクチャはどうなっているのか、などをテーマに学んでいきます。

基調講演ではSnowflake内のエンジニアの方をお呼びし、技術的な特徴・アーキテクチャについてご講演頂きます。また事例講演では、実際に本番運用されている企業のエンジニアの方をお呼びし、生の事例や他DWHとの使い分けなどをお話しいただきます。

当日の発表内容は上記YouTubeでご確認頂けます。

基調講演「Snowflake のアーキテクチャがどう「筋がいい」のかを解説する

Yoshi Matsuzaki氏
Yoshi Matsuzaki氏Snowflake Principal Cloud Support Engineer
Snowflake が時代に合わせてデータウェアハウスからデータプラットフォーム、そしてデータクラウドへと変化していく中で、プロダクトの変化に影響を与えられる「筋のいい」アーキテクチャとは何か、そしてアーキテクチャの筋のよさはプロダクトにとってどう重要なのかを、Snowflake のアーキテクチャの具体例からたどって解説します。


Snowflakeの中のエンジニアのMatsuzaki氏に、Snowflakeの技術的な特徴やアーキテクチャの詳細をお話しいただきました。

▼登壇資料はこちら
https://speakerdeck.com/indigo13love/data-engineering-study-number-5

Snowflakeを触って試せるハンズオン開催中

Snowflakeとtrocco(トロッコ)を触って試せるオンラインハンズオンを開催しております。
DWHやETLツールを触ったことのない方も、専任講師と一緒に構築作業を進めることで、データ分析基盤の構築を体験できます。
お申し込みは無料ですので、是非ご参加下さい。

ハンズオン詳細・申込みはこちら

事例講演1「DWH御三家の各特徴と選び方について〜SnowflakeとBigQueryとRedshiftと〜

玉井 励氏
玉井 励氏クラスメソッド株式会社 データアナリティクス事業本部
国内においてSnowflakeの名は着実に広まってきています。導入を検討されている方もいるかと思います。 しかし、「本当にSnowflakeでいいのか」「他のDWHの方がいいのではないか」と悩んでいる方も多いのではないでしょうか。 そこで今回、Snowflakeを含めた3つの主要なDWHについて、それぞれの特徴やユースケースをご紹介します。 これらが、皆さんのDWH選定の一助になれば幸いです。

 

1つ目の事例講演では、Snowflake/BigQuery/RedshiftのDWH御三家を題材に取り上げ、様々な観点で比較を行っていきました。クラスメソッド様はDWH御三家の構築支援をたくさん行われているためノウハウがまとまっています。その知見を活用し、第3者的なお立場からフェアに比較(使い分け)を行って頂き、初学者の方も参考になるお話になっています。

▼登壇資料はこちら
https://speakerdeck.com/cmtamai/dwhyu-san-jia-falsege-te-zheng-toxuan-bifang-snowflaketobigquerytoredshiftto

Snowflakeを触って試せるハンズオン開催中

Snowflakeとtrocco(トロッコ)を触って試せるオンラインハンズオンを開催しております。
DWHやETLツールを触ったことのない方も、専任講師と一緒に構築作業を進めることで、データ分析基盤の構築を体験できます。
お申し込みは無料ですので、是非ご参加下さい。

ハンズオン詳細・申込みはこちら

事例紹介2「デイリーレコード数2億超え!大規模ゲームサービスにSnowflakeを導入したお話」

伊藤 寛起氏
伊藤 寛起氏株式会社Colorful Palette エンジニアリングマネージャー
安部 永氏
安部 永氏株式会社Colorful Palette 2020年新卒サーバサイドエンジニア

弊社ではDWHとしてSnowflakeを採用し本番運用しています.
本発表では,採用にあたって決め手になったポイントや導入に際して行ったこと,
実際のユースケースなど,導入検討から運用までの事例を実例を交えながらご紹介します.
また,DWH初心者な私たちが導入や運用でつまずいたポイントや,逆に良いと感じている点についてもご紹介します.
Snowflake導入検討中の方々の参考にしていただければ幸いです.

 

2つ目の事例講演では、オンラインゲーム開発のデータ分析基盤においてSnowflakeを導入した事例についてお話をして頂きました。

技術選定やPoC、またアーキテクチャを作っていく流れをお話しいただき、初学者の方は学びになるのではないかと思います。

▼登壇資料はこちら

Snowflakeを触って試せるハンズオン開催中

Snowflakeとtrocco(トロッコ)を触って試せるオンラインハンズオンを開催しております。
DWHやETLツールを触ったことのない方も、専任講師と一緒に構築作業を進めることで、データ分析基盤の構築を体験できます。
お申し込みは無料ですので、是非ご参加下さい。

ハンズオン詳細・申込みはこちら

<次回のData Engineering Studyのお知らせ>

次回のData Engineering Study(第6回)は、第6弾は、「改めて学ぶ、BigQuery徹底入門」というタイトルでBigQueryの特集回となっています。

BigQueryが生まれた背景等の概論と、論文を引用したDeep Diveの2部構成で、初学者~中級者まで幅広く学びのある回となっております。
開催日は2021/02/03(水)を予定しています。下記のURLから、ぜひご予約ください!

https://forkwell.connpass.com/event/197949/

▼アーカイブ動画
https://www.youtube.com/watch?v=IC44rPbYA4s&ab_channel=DataEngineeringStudy

投稿者

hirokazu.kobayashi
2020年12月7日

trocco(トロッコ)を試してみる

trocco(トロッコ)のETL & ワークフロー機能を無料でお試しいただけます。
今なら14日間の無料トライアルを実施中ですので、下記よりお申し込み下さい!

トライアルお申込みはこちら