Variantで半構造化データをより高速かつ効率的に取り込み — 一般提供を開始

長年、JSON、XML、CSVなどの半構造化データの取り込みは、難しいトレードオフを伴うものでした。データチームは、高速なクエリのためにデータをスキーマ化するETLパイプラインを構築して柔軟性を犠牲にするか、あるいは柔軟性を維持するためにデータを文字列として保存し、クエリパフォーマンスの低下という代償を払うかのどちらかを選択せざるを得ませんでした。このトレードオフを解決するため、私たちはDeltaおよびSparkコミュニティと協力してVariantデータ型を導入し、それをParquetおよびIcebergコミュニティに提供してレイクハウスを統合し、半構造化データの単一のオープン標準としました。

このたび、DatabricksにおいてVariantが一般提供（GA）されたことを発表でき、嬉しく思います。今回のリリースには、同じく一般提供となるVariant Shredding（シュレッディング）が含まれています。これは、Predictive Optimization（予測最適化）を使用してVariantデータのクエリパフォーマンスを自動的に向上させるパフォーマンス最適化機能です。Variantを使用することで、チームはダウンストリームのクエリパフォーマンスを損なうことなく、半構造化データを柔軟に取り込むことができます。

大規模環境における柔軟な取り込み

5,000以上のチームがDatabricksを使用してVariantを書き込んでいます。これらのチームは、KinesisやEvent Hubなどのストリーミングソースからのイベント、APIからのJSONペイロード、PostgreSQLやMongoDBなどのデータベースからのスキーマレスデータの取り込みに、Variantを最もよく使用しています。

Variantは、取り込み元でのスキーマ変更に対応する際に特に威力を発揮します。例えば、アップストリームのアプリケーションがAPIのデータ型を変更した場合、ダウンストリームのチームは関連するパイプラインの更新、既存データのバックフィル、切り替え作業への対応に追われることになります。さらに悪いことに、ほとんどの企業ではデータプラットフォームチームとアプリケーションチームが分かれているため、こうしたスキーマ変更を予測することが困難です。Variantを使用すれば、ユーザーはすべての半構造化データをテーブルに柔軟に取り込むことができます。

Variantは、半構造化データを扱う際の初期コストを排除します。データをスキーマ化するためのパイプライン構築には時間がかかり、データエンジニアはその時間投資の妥当性を説明する必要があります。Variantはこのパラダイムを覆します。チームはまずデータを簡単に格納し、その後でビジネスの他の部分への有用性を検討することができます。

Predictive Optimizationによる、より高速でスマートなクエリ

Databricksのユーザーは、160 TB以上のVariantデータに対して、毎月5億回以上のVariantクエリを実行しています。Databricksでは、Variantの読み取りを、管理テーブル上のスキーマ化されたデータの読み取りと同じくらい高速に行うことができます。Shreddingを使用すると、Variantは一般的なフィールドを、基盤となるParquetファイルの列として保存します。Predictive Optimizationは、ユーザー独自のワークロードとクエリパターンを学習し、機械学習を使用して最も重要なシュレッドされたフィールドを特定し、それらの統計情報を収集してファイルスキップを向上させます。その結果、Databricksはクエリに必要なファイルと列のみをスキャンするため、不要な処理を回避し、パフォーマンスを向上させます。

VariantのShreddingは、シュレッドされていないVariantと比較して約4倍高速な読み取りを実現し、JSONを文字列として保存する場合と比較して30倍高速な読み取りを実現します。

Variantにより、Databricksは大規模環境において超高速なパフォーマンスを実現します。

DatabricksでのVariantの使用

Databricksを使用すると、データスタック全体でVariantを使用できます。

一般的に、ユーザーは次の2つのツールを使用して、半構造化データをVariantとして取り込んでいます。

1. Auto Loader：オブジェクトストレージから半構造化ファイルを段階的に処理するソース

2. Zerobus：メッセージバスを使用せずにテーブルに直接書き込む、完全マネージド型のインジェストサービス

どちらの取り込みアプローチでも、データはDeltaまたはIcebergのいずれかに書き込まれるため、あらゆるクライアントがレイクハウス内のデータと相互運用できます。セットアップを簡素化するために、Lakeflow PipelinesエディターでGenie Codeを使用すると、自然言語を使用してAuto Loader取り込みパイプラインを簡単に生成できます。

その後、チームはレイクハウスでVariantデータを直接利用できます。取り込みプロセス中にデータがインテリジェントにシュレッドされるため、ダッシュボードやレポートは、構造化データと同等の速度でデータを直接クエリできます。

近い将来、VariantフィールドによるLiquid Clustering、拡張されたSQL関数、さらなる機能統合など、Variantのサポートをさらに拡大する予定です。

今すぐVariantを始めましょう

Variantを使用すれば、半構造化データを扱う際に柔軟性とパフォーマンスのどちらかを選択する必要はもうありません。Databricksは、ワークロードとクエリパターンを追跡するPredictive Optimizationを使用して、製品全体で最高のパフォーマンスを発揮するようにVariantデータを自動的に書き込みます。

Variantは簡単に使い始めることができます。こちらからお試しください。

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事