こんにちは、小林寛和(@hiro-koba)と申します。私はデータエンジニアのための勉強会「Data Engineering Study」の共同主催者をやったり、ETL & ワークフローサービス「trocco®︎（トロッコ）」を運営する株式会社primeNumberの取締役CPOを務めているデータエンジニアです。
データエンジニアの皆さんが普段利用されているDWH/ETL/BIツールに関する最新アップデートや、界隈の最新トピックをまとめて配信しております。
お忙しい方や、サクッと最新情報をキャッチアップしたい方向けに、主要なニュースをピックアップして独自にまとめています。
毎月更新でニュースをお届けしていますので、ニュースの新着メール通知をご希望の方はこちらのフォームよりご登録ください。
Google BigQueryのニュースまとめ
BigQuery Migration Serviceのプレビューリリース
BigQuery Migration Serviceがプレビューリリースされました。データ移行のツールとしてBigQuery Data Transfer Serviceがありますが、BigQuery Migration Serviceでは移行だけでなく、前後の計画や移行したデータの検証を包括的にサポートしてくれるようです。なお料金は無料です。
2021年10月現在はTeradataからの以降のみサポートされいます。
より詳しく知りたい方は、以下の参考リンクもご覧ください。
BigQuery Omniのリリース
BigQuery OmniがGAリリースされました。BigQuery Omni では、クラウドをまたいだデータ分析が可能で、マルチクラウドによって発生するデータサイロの解消のために役立つソリューションです。
AWS の S3 データや、Azure の Azure Blob Storage データに安全に接続し、BigQuery のUIでクエリして分析することができるようです。
より詳しく知りたい方は、以下の参考リンクもご覧ください。
Amazon Redshiftのニュースまとめ
Redshift 向け AWS Data Exchange を発表 (プレビュー)
AWS Data Exchange とはクラウド内のサードパーティデータを簡単に検索、活用できるサービスです。APIを利用してS3にデータを取り込むことで、自社のファーストパーティーのデータとサードパーティデータを組み合わせて様々な分析や機械学習に利用できます。
今回のリリースでS3だけでなく、Redshiftのデータウェアハウスで数分でクエリを実行できるようにすることができるようになりました。サードパーティデータを提供するプロバイダーのデータウェアハウスに直接クエリを実行しているため、提供されている最新のデータを使用していることを確認できます。
より詳しく知りたい方は、以下の参考リンクもご覧ください。
- Amazon Redshift 向け AWS Data Exchange を発表 (プレビュー)
- AWS Data Exchange – クラウド内サードパーティーのデータへのアクセス – アマゾン ウェブ サービス
Snowflakeのニュースまとめ
Google Cloud Private Service Connect が一般提供開始
Google Cloud Private Service Connect を利用したプライベート接続がサポートされました。
これにより、GCP VPCからSnowflakeに対してよりセキュアに接続することが出来ます。詳細はヘルプドキュメントをご確認ください。
https://docs.snowflake.com/ja/user-guide/private-service-connect-google.html
Microsoft Azure の東京リージョン対応が提供開始
Azureの東京リージョンにて、Snowflakeを利用できるようになりました。
Lookerのニュースまとめ
「URL Links in Boards」機能の追加
Looksやダッシュボードと一緒に、ボード上に任意のURLへのリンクを追加できる機能がリリースされました。デフォルトでは有効化されていないので、「管理 > Labs」メニューから設定を有効にする必要があります。
Googleデータポータルのニュースまとめ
バブルマップでBigQuery GEOGRAPHYデータが利用可能に
BigQueryの位置情報を使ってバブルマップを作成する際、従来は緯度・経度をカンマ区切りで渡す必要がありました。今回のアップデートで、[地理空間フィールド]に直接GEOGRAPHYデータを指定できるようになりました。
埋め込みレポートにGoogleマップを指定可能に
データポータルのレポートにGoogleマップを埋め込めるようになりました。Googleマップは1ヶ月あたり30,000回まで無料で読み込むことができます。
以上、Data Engineering News 2021年10月アップデートまとめでした。
毎月更新でニュースをお届けしておりますので、ニュースの新着メール通知をご希望の方はこちらのフォームよりご登録ください。
こんなニュースを知りたい！というようなご意見・ご要望も著者Twitterアカウントまでお気軽にDM下さい！
