AtScaleとDatabricksによるセマンティックレイクハウスの構築

 

DatabricksのソリューションアーキテクトであるKyle Hale氏が数ヶ月前にブログで「セマンティックレイクハウス」という言葉を造りました。これは、BIスタックを簡素化し、レイクハウスのパワーを活用する可能性についての良い概要です。AtScaleとDatabricksが共同のお客様をサポートするためにますます協力するにつれて、DatabricksでAtScaleのセマンティックレイヤープラットフォームを活用してセマンティックレイクハウスを迅速に作成する可能性が形になってきました。セマンティックレイクハウスは、物理テーブル上に抽象化レイヤーを提供し、さまざまな主題分野ごとにデータを定義および整理し、エンティティ、属性、および結合を定義することによって、ビジネスユーザーフレンドリーなデータ消費ビューを提供します。これらすべてにより、ビジネスアナリストやエンドユーザーによるデータ消費が簡素化されます。

ほとんどの企業は依然としてデータ民主化に苦労しています

意思決定者にデータを利用可能にすることは、ほとんどの組織が今日直面している課題です。組織が大きくなるほど、分析の消費と準備に単一の標準を課すことはより困難になります。企業の半数以上が3つ以上のBIツールを使用していると報告しており、3分の1以上が4つ以上のツールを使用しています。BIユーザーに加えて、データサイエンティストは独自の好みの範囲を持っており、アプリケーション開発者も同様です。

これらのツールは異なる方法で機能し、異なるクエリ言語を使用します。複数のビジネスユニットが、サイロ化された異なるデータコピーや、Tableau Hyper Extracts、Power BI Premium Imports、またはExcelユーザー向けのMicrosoft SQL Server Analysis Services (SSAS) のような従来のOLAPキュービングソリューションに頼って意思決定を行う場合、矛盾した分析結果がほぼ保証されます。

さまざまなデータマートやデータウェアハウスにデータを保持し、さまざまなデータベースに抽出し、レポートツールに外部キャッシュされたデータは、企業にとって単一の真実のバージョンを提供せず、データ移動、ETL、セキュリティ、および複雑さを増加させます。これはデータガバナンスの悪夢となり、組織はBIレイヤーのさまざまなデータサイロからの潜在的に古いデータでビジネスを実行しており、Databricks Lakehouseのフルパワーを活用できていないことを意味します。

普遍的なセマンティックレイヤーの必要性

AtScaleのセマンティックレイヤーは、すべての分析消費ツールとDatabricks Lakehouseの間に配置されます。セマンティックレイヤーは、データの物理的な形式と場所を抽象化することにより、Delta Lakeに保存されているデータを分析準備完了にし、ビジネスユーザーの選択したツールで簡単に消費できるようにします。消費ツールは、次のいずれかのプロトコルを介してAtScaleに接続できます。

• SQLの場合、AtScaleエンジンはHive SQLウェアハウスとして表示されます。
• MDXまたはDAXの場合、AtScaleはSQL Server Analysis Services (SSAS) キューブとして表示されます。
• RESTまたはPythonアプリケーションの場合、AtScaleはWebサービスとして表示されます。

ローカルでデータを処理する代わりに、AtScaleはインバウンドクエリを最適化されたSQLとしてDatabricksにプッシュします。これは、ユーザーのクエリが、コンピューティング、スケーリング、およびパフォーマンスのためにDatabricks SQLを使用してDelta Lakeに対して直接実行されることを意味します。

ユニバーサルセマンティックレイヤーを使用する追加の利点は、AtScaleの自律パフォーマンス最適化テクノロジーがユーザーのクエリパターンを特定し、データエンジニアリングチームが行うように、アグリゲートの作成とメンテナンスを自動的にオーケストレーションすることです。アグリゲートはAtscaleによって自動作成および管理されるため、開発時間と労力を費やす必要がなくなりました。これらのアグリゲートはDelta Lakeに物理的なDeltaテーブルとして作成され、「ダイヤモンドレイヤー」と考えることができます。これらのアグリゲートはAtScaleによって完全に管理され、Databricks LakehouseでのBIレポートのスケーリングとパフォーマンスを向上させながら、分析データパイプラインと関連するデータエンジニアリングを劇的に簡素化します。

ツールに依存しないセマンティックレイクハウスの作成

Databricks Lakehouse Platformのビジョンは、すべてのデータ、分析、およびAIワークロードをサポートする単一の統合プラットフォームです。Kyle氏の「セマンティックレイクハウス」の説明は、簡素化されたBIスタックの良いモデルです。

AtScaleは、ツールに依存しないセマンティックレイヤーを通じてBIワークロードとAI/MLユースケースをサポートすることにより、セマンティックレイクハウスのこのアイデアを拡張します。AtScaleとDatabricksの組み合わせは、セマンティックレイクハウスアーキテクチャが、Tableau、Power BI、Excel、またはLookerのいずれであっても、任意のプレゼンテーションレイヤーに拡張されることを意味します。それらはすべて、AtScaleの同じセマンティックレイヤーを使用できます。

レイクハウスの登場により、組織はもはやBIチームとAI/MLチームが孤立して作業することはありません。AtScaleのユニバーサルセマンティックレイヤーは、ExcelのビジネスユーザーであってもNotebookを使用するデータサイエンティストであっても、Databricks Lakehouse Platformのフルパワーを活用しながら、エンタープライズデータへの一貫したアクセスを組織が取得するのに役立ちます。

追加リソース

DatabricksのリードプロダクトスペシャリストであるFranco Patano氏とのパネルディスカッションをご覧ください。詳細については、これらのツールがアジャイルでスケーラブルな分析プラットフォームの作成にどのように役立つかをご確認ください。

AtScaleまたはレガシーEDW、BI、およびレポートスタックをDatabricksとAtScaleにモダナイズおよび移行する方法についてご質問がある場合は、kieran.odriscoll@atscale.comまたはDatabricksに連絡してください。

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事