Data Engineering News 2021年6月アップデートまとめ

BEGIN
  BEGIN TRANSACTION;
  INSERT INTO mydataset.NewArrivals
    VALUES ('top load washer', 100, 'warehouse #1');
  -- Trigger an error.
  SELECT 1/0;
  COMMIT TRANSACTION;
EXCEPTION WHEN ERROR THEN
  -- Roll back the transaction inside the exception handler.
  SELECT @@error.message;
  ROLLBACK TRANSACTION;
END;

より詳しく知りたい方は以下の参考リンクもご覧ください。

権限操作命令(data control language, DCL)のサポート

SQLによる権限の付与・除外の操作としておなじみのGRANT、REVOKEはGAリリース、OBJECT_PRIVILEGESはプレビュー版としてリリースされました。

GRANT

ユーザにBigQueryのリソースへの権限を付与します。SQL記述例は以下のとおりです。

GRANT `roles/bigquery.dataViewer` ON SCHEMA `mycompany`.revenue
TO "user:tom@example.com", "user:sara@example.com"

REVOKE

ユーザにBigQueryのリソースへの権限を除外します。SQL記述例は以下のとおりです。

REVOKE `roles/bigquery.admin` ON SCHEMA myProject
FROM "group:example-team@example.com", "serviceAccount:user@test-project.iam.gserviceaccount.com"

INFORMATION_SCHEMA.OBJECT_PRIVILEGES ビュー

メタ管理ビューのひとつ。各行にリソースとその操作権限情報を含む結果を返します。

より詳しく知りたい方は以下の参考リンクも御覧ください。

データ型に対する型変換関数のGA版リリース

以下のデータ型変換用の関数がGA版としてリリースされました。

PARSE_BIGNUMERIC / PARSE_NUMERIC	STRING型からBIGNUMERIC/NUMERIC型に変換します。
CAST	STRING, DATE, DATETIME, TIME, TIMESTAMP, NUMERIC,BYTES型の変換をサポートしました。
INT64型のエイリアス(INT, SMALLINT, INTEGER, BIGINT, TINYINT, BYTEINT)	他のRDBMSの場合桁数による違いがありますが、BigQueryでは全てINT64型のエイリアスとして定期されたとのことです。
ST_GEOGFROM	STRING または BYTES の値の式を GEOGRAPHY の値に変換します。

より詳しく知りたい方は以下の参考リンクもご覧ください。

ALTER COLUMN SET OPTIONS ステートメントのGA版リリース

ALTER COLUMN SET OPTIONS がGA版でリリースされました。
カラムの説明（description）を書き込むことができます。

ALTER TABLE mydataset.mytable
ALTER COLUMN price
SET OPTIONS (
  description="Price per unit"
)

より詳しく知りたい方は以下の参考リンクもご覧ください。

Table-valued Functions (TVF, テーブル値関数)がプレビュー版でリリース

Table-valued Functions (TVF, テーブル値関数)がプレビュー版でリリースされました。
TVFはユーザ定義関数の一つで、テーブル結果を返す関数になります。
振る舞いはテーブルビューと似ていますが、パラメータを持つことが特徴です。

定義例

CREATE OR REPLACE TABLE FUNCTION mydataset.names_by_year(y INT64)
AS
  SELECT year, name, SUM(number) AS total
  FROM `bigquery-public-data.usa_names.usa_1910_current`
  WHERE year = y
  GROUP BY year, name

利用例

SELECT * FROM mydataset.names_by_year(1950)
  ORDER BY total DESC
  LIMIT 5

より詳しく知りたい方は以下の参考リンクもご覧ください。

Googleトレンド(US)のデータセットがプレビュー版で公開

USのGoogleトレンドのデータセットがBigQueryのpublic datasetとして公開されました。
内容は過去５年間のUSでのデイリー上位25位のワード、25個の急上昇ワードが含まれているとのことです。

より詳しく知りたい方は以下の参考リンクもご覧ください。

テーブルスナップショットがプレビュー版でリリース

テーブルのスナップショットの作成がリリースされました。

元テーブルに存在する同じデータや作成後に追加されたデータについては課金されず、変更・削除されたデータについてのみ課金される仕組みとのことです。

ほとんどのユースケースに置いてテーブルコピーをして保持するよりもコストが抑えられそうです。

主な制約としては以下があります。

元テーブルと同一リージョンにのみ配置可能
変更操作はできない
クエリ実行回数上限など

より詳しく知りたい方は以下の参考リンクもご覧ください。

行レベルのアクセス制御がGA版でリリース

これまでデータアクセスの制限として、プロジェクト、データセット、テーブル、そしてカラム単位でのアクセス制限がサポートされていましたが、今回のリリースから行レベルセキュリティを使用することで、設定したユーザー条件に基づいて行単位でのアクセス制御ができるようになりました。

データのアクセス制御を行う手段として、他に

承認済みビュー
テーブルを分割

などの方法がありますが、今回リリースされた行レベルアクセスセキュリティとの比較しているものが公式ドキュメントに記載されています。

ポイントとしては

承認済みビュー・行レベルアクセスの場合はクエリエラーメッセージなどから、保護された行の情報を特定されてしまう可能性がある
不正な操作をモニタリングできるように監査ロギングをセットで利用することを推奨している
クエリの課金バイト数は行レベルセキュリティのフィルタでなく、通常のWHERE句と同じ方法で計算される
行レベルアクセスを設定したテーブルに対し、レガシーSQLクエリはエラーになる

などがありました。

より詳しく知りたい方は以下の参考リンクもご覧ください。

データ型の制約を指定するパラメータのサポート

以下のデータ型で、長さや桁数をに制限をつけられるようになりました。

STRING(L): Lは整数値で、文字列の最大文字数を指定します。指定値を超える値を割り当てようとした場合には OUT_OF_RANGE エラーを返します。
BYTES(L): Lは整数値で、最大バイト数を指定します。指定値を超える値を割り当てようとした場合には OUT_OF_RANGE エラーを返します。
NUMERIC(P) / NUMERIC(P, S): 最大精度がP、最大スケールSを整数値で指定します。最大スケール範囲: 0 ≤ S ≤ 9 最大精度範囲: max(1, S) ≤ P ≤ S + 29
BIGNUMERIC(P) / BIGNUMERIC(P, S): 最大精度がP、最大スケールSを整数値で指定します。最大スケール範囲: 0 ≤ S ≤ 38 最大精度範囲: max(1, S) ≤ P ≤ S + 38

より詳しく知りたい方は以下の参考リンクもご覧ください。

Amazon Redshiftのニュースまとめ

Amazon Redshift が列レベルの上書きで大文字と小文字を区別しない照合順序をサポート

並べ替え・グループ化・LIKE検索・正規表現検索など比較ベースのオペレーションで、大文字小文字の区別をしない設定が可能になりました。なお、データとしては大文字小文字が区別されて保持されています。

参考1: AWS公式アナウンス

Snowflakeのニュースまとめ

Snowparkをプレビュー提供開始

好きな言語でETL／ELT、データプレパレーション、フィーチャーエンジニアリングなどのワークロードを実装し、Snowflake上で実行できるようになりました。

現時点では、言語としてはScalaのみの対応で、AWS上でホストされているSnowflakeアカウントでのみ利用可能とのことです。

参考: Snowflake公式リリースノート

Java UDFsをプレビュー提供開始

Javaでユーザー定義関数を記述し、それらを組み込み関数のように呼び出すことができるようになりました。関数はインラインもしくはjarファイルで指定可能のようです。

こちらも現時点ではプレビュー版で、AWS上でホストされているSnowflakeアカウントでのみ利用可能とのことです。

参考: Snowflake公式リリースノート

地理空間データのサポート

GEOGRAPHY データ型が追加されました。

緯度/経度地、WKT、WKBなどのデータの場合、GEOGRAPHY型に保存するとクエリパフォーマンスの向上が期待できます。

また、GEOGRAPHY データ型を操作する地理空間関数が用意されています。

参考: Snowflake公式ドキュメント

Snowflake SQL API

Snowflakeのデータを参照、更新するためのREST APIが、プレビュー版として提供開始されました。

現時点で以下の操作が可能とのことです。

SQLステートメントの実行
SQLステートメントの実行状況確認
SQLステートメントのキャンセル

参考: Snowflake公式リリースノート

クラウドストレージ内のファイルセットから列定義の検出

クラウドストレージ内の半構造化データファイルから、列定義の自動検出機能が提供開始されました。

この機能により標準ランディングテーブルや外部テーブルの作成が容易に行えるようになります。

参考: Snowflake公式リリースノート

Snowflake Data Marketplace の一般提供開始

プロバイダーとしてデータを公開したり、コンシューマーとしてデータの購入が可能になりました。

参考: Snowflake公式リリースノート

Lookerのニュースまとめ

マテリアライズドビューのサポート

永続的派生テーブル(PDT)を作成する際、マテリアライズドビューを利用できるようになりました。

従来からサポートしているPDTとはテーブルの更新方法が異なります。
PDTがLookerで永続化を管理するのに対し、マテリアライズドビューはデータベースがテーブルを更新します。

なお、マテリアライズドビューは現在、BigQueryとRedshiftで利用可能とのことです。

参考: Looker公式リリースノート

Looker Expressionでcase / whenが使用可能に

表計算時などにcase/whenが使用できるようになりました。

例えばこれまでif文でネストさせる必要があった箇所で、より簡単に表現が可能になります。

参考: Looker公式ドキュメント

Lookerのラーニングプラットフォームがオープン

ビジネスユーザー、LookML開発者、Looker管理者のそれぞれのロールに合わせたレッスンが公開されました（3つの中から自分のロールを選択してレッスンを受ける形になります）。

なお、日本語へのローカライズは未対応です。

参考: Looker公式リリースノート

Googleデータポータルのニュースまとめ

Googleアドマネージャーで取得可能なフィールドが追加

以下のフィールドを取得することが出来るようになりました。

Line item ID
Order ID
Creative ID
Ad unit ID (top level)
Placement ID
Country ID
City ID
Master and Companion creative ID
App ID

参考: Google公式リリースノート

値の書式を保持したままのデータエクスポートが可能に

CSV、エクセル、SpreadSheetへのエクスポートの際に、数値や日付の書式を維持したままデータをエクスポートすることが可能になりました。

エクスポート時に「値の書式に合わせる」を選択することで有効になります。

参考: Google公式リリースノート

ETLツール「trocco(トロッコ)」のニュースまとめ

設定変更の履歴管理・ロールバック機能をリリース

転送設定の変更履歴をビジュアライズし、任意の地点にロールバック出来る機能がリリースされました。

詳しくはこちらのリリースノートをご参照下さい。

122349184-f3ee9a80-cf86-11eb-8047-6ee1e1c63931

SSOログインに対応

SAML認証によるSingle Sign On (SSO) に対応しました。
OneLoginやOktaといったSAML2.0に対応した各種サービスがご利用いただけます。

124239502-baa45600-db54-11eb-9dff-ca7931fc8f8e

ワークフロータスクのエラーハンドリング機能の追加

これまではタスクが成功した場合にしか後続タスクが実行することができませんでした。
タスクエラー時も後続タスクを続行を有効にすることで、タスクがエラーの場合でも次のタスクが実行できるようになります。

123387611-f0849000-d5d2-11eb-9a55-c1608412b7ef

以上、Data Engineering News 2021年6月アップデートまとめでした。

毎月更新でニュースをお届けしておりますので、ニュースの新着メール通知をご希望の方はこちらのフォーム（https://forms.gle/ZHUrxtfRZzPXxWZP6）よりご登録ください。

こんなニュースを知りたい！というようなご意見・ご要望も著者Twitterアカウントまでお気軽にDM下さい！

hirokazu.kobayashi

慶應義塾大学卒業後、2014年より株式会社リブセンスへ入社。データエンジニアとして同社分析基盤立ち上げをリードする。2017年より現職primeNumberに入社。自社プロダクト「systemN」におけるSpark/Redshift活用等のデータエンジニアリング業務を行うかたわら、データ統合業務における工数削減が課題だと感じ、データ統合を自動化するサービス「trocco®」を立ち上げる。

Data Engineering News 2021年6月アップデートまとめ

Google BigQueryのニュースまとめ

トランザクション(Multi-statement transactions)のサポート

権限操作命令(data control language, DCL)のサポート

データ型に対する型変換関数のGA版リリース

ALTER COLUMN SET OPTIONS ステートメントのGA版リリース

Table-valued Functions (TVF, テーブル値関数)がプレビュー版でリリース

Googleトレンド(US)のデータセットがプレビュー版で公開

テーブルスナップショットがプレビュー版でリリース

行レベルのアクセス制御がGA版でリリース

データ型の制約を指定するパラメータのサポート

Amazon Redshiftのニュースまとめ

Amazon Redshift が列レベルの上書きで大文字と小文字を区別しない照合順序をサポート

Snowflakeのニュースまとめ

Snowparkをプレビュー提供開始

Java UDFsをプレビュー提供開始

地理空間データのサポート

Snowflake SQL API

クラウドストレージ内のファイルセットから列定義の検出

Snowflake Data Marketplace の一般提供開始

Lookerのニュースまとめ

マテリアライズドビューのサポート

Looker Expressionでcase / whenが使用可能に

Lookerのラーニングプラットフォームがオープン

Googleデータポータルのニュースまとめ

Googleアドマネージャーで取得可能なフィールドが追加

値の書式を保持したままのデータエクスポートが可能に

ETLツール「trocco(トロッコ)」のニュースまとめ

設定変更の履歴管理・ロールバック機能をリリース

SSOログインに対応

ワークフロータスクのエラーハンドリング機能の追加

hirokazu.kobayashi

データクレンジングとは？エクセルのやり方や手順、ルールをわかりやすく解説

リバースETL（Reverse ETL）とは？必要性やユースケースの具体例、ツールを解説

誰でもわかるデータアーキテクチャの教科書｜設計に必要な要素や構築の手順を解説

「Redshift最新アップデートと活用事例」Data Engineering Study #7イベントレポート

trocco®の設定だけでGoogle BigQuery上にデータマートを作ってみる