Data Engineering Newsとは?

こんにちは、小林寛和(@hiro-koba)と申します。私はデータエンジニアのための勉強会「Data Engineering Study」の共同主催者をやったり、ETL & ワークフローサービス「trocco(トロッコ)」を運営する株式会社primeNumberで取締役CPOを務めているデータエンジニアです。

データエンジニアの皆さんが普段利用されているDWH/ETL/BIツールに関する最新アップデートや、界隈の最新トピックをまとめて配信しております。
お忙しい方や、サクッと最新情報をキャッチアップしたい方向けに、主要なニュースをピックアップして独自にまとめています。

毎月更新でニュースをお届けしておりますので、ニュースの新着メール通知をご希望の方は以下フォームよりご登録下さい。
https://forms.gle/ZHUrxtfRZzPXxWZP6

目次

Google BigQueryのニュースまとめ

BigQuery Migration Serviceのプレビューリリース

BigQuery Migration Serviceがプレビューリリースされました。データ移行のツールとしてBigQuery Data Transfer Serviceがありますが、BigQuery Migration Serviceでは移行だけでなく、前後の計画や移行したデータの検証を包括的にサポートしてくれるようです。なお料金は無料です。
2021年10月現在はTeradataからの以降のみサポートされいます。

より詳しく知りたい方は以下の参考リンクも御覧ください。

 

BigQuery Omniのリリース

BigQuery OmniがGAリリースされました。BigQuery Omni では、クラウドをまたいだデータ分析が可能で、マルチクラウドによって発生するデータサイロの解消のために役立つソリューションです。
AWS の S3 データや、Azure の Azure Blob Storage データに安全に接続し、BigQuery のUIでクエリして分析することができるようです。

より詳しく知りたい方は以下の参考リンクも御覧ください。

 

Amazon Redshiftのニュースまとめ

Redshift 向け AWS Data Exchange を発表 (プレビュー)

AWS Data Exchange とはクラウド内のサードパーティデータを簡単に検索、活用できるサービスです。APIを利用してS3にデータを取り込むことで、自社のファーストパーティーのデータとサードパーティデータを組み合わせて様々な分析や機械学習に利用できます。

今回のリリースでS3だけでなく、Redshiftのデータウェアハウスで数分でクエリを実行できるようにすることができるようになりました。サードパーティデータを提供するプロバイダーのデータウェアハウスに直接クエリを実行しているため、提供されている最新のデータを使用していることを確認できます。

より詳しく知りたい方は以下の参考リンクも御覧ください。

Snowflakeのニュースまとめ

Google Cloud Private Service Connect が一般提供開始

Microsoft Azure の東京リージョン対応が提供開始

Lookerのニュースまとめ

「URL Links in Boards」機能の追加

Googleデータポータルのニュースまとめ

バブルマップでBigQuery GEOGRAPHYデータが利用可能に

bubble-map

BigQueryの位置情報を使ってバブルマップを作成する際、従来は緯度・経度をカンマ区切りで渡す必要がありました。

今回のアップデートで、[地理空間フィールド]に直接GEOGRAPHYデータを指定できるようになりました。

埋め込みレポートにGoogleマップを指定可能に

データポータルのレポートにGoogleマップを埋め込めるようになりました。

Googleマップは1ヶ月あたり30,000回まで無料で読み込むことができます。

参考: Google公式リリースノート

ETLツール「trocco(トロッコ)」のニュースまとめ

対応データソース拡充

  • 転送元Hubspotの取得対象データ追加

  • 転送元Snowflakeに対応

データリネージ機能で転送方式によるハイライトが可能に

昨月リリースしたデータリネージ機能により、データ基盤上で発生した障害の影響範囲をより特定しやすくなりました

今回のアップデートにより、データリネージ上の転送経路にて、「洗い替え(上書き)」「追記」「マージ」の中のどの方式で転送しているかをハイライトできるようになりました。

「洗い替えならばカジュアルに再実行すればよいが、追記方式ならデータの状態を確認すべき」といった状況判断にご利用いただけます。

新着ニュースのメール通知

毎月更新でニュースをお届けしておりますので、ニュースのメール通知をご希望の方は以下フォームよりご登録下さい。
https://forms.gle/ZHUrxtfRZzPXxWZP6
(「こんなニュースを知りたい!」というようなご意見・ご要望も著者Twitterアカウントまでお気軽にDM下さい!)