Databricks向けセマンティックデータレイヤーを強化する知識グラフの活用

ナレッジグラフはユビキタスな存在になっていますが、私たちはそれに気づいていないだけです。Googleで検索したり、知っている人、フォローしている企業、好きなコンテンツのソーシャルメディアアカウントのフィードを見たりするときに、毎日それを体験しています。同様に、エンタープライズナレッジグラフは、組織のコンテンツ、データ、情報資産を構造化するための基盤を提供します。チャットボットからレコメンデーションエンジン、BIやアナリティクスの強化まで、あらゆるデータ駆動型アプリケーションに、回答、レコメンデーション、インサイトとして知識を抽出し、関連付け、提供します。

このブログでは、DatabricksとStardogがどのようにデータとインサイトの民主化におけるラストマイルの課題を解決するかを学びます。Databricksは、マルチクラウドプラットフォーム上でデータ、アナリティクス、人工知能（AI）ワークロード向けのレイクハウスプラットフォームを提供します。Stardogは、人、場所、物、そしてそれらの関係を記述するために、単に「ビッグ」なだけでなく「ワイド」なデータに対して複雑な関係をモデル化できるナレッジグラフプラットフォームを提供します。Databricks Lakehouse Platformは、Stardogのナレッジグラフ対応セマンティックレイヤーと組み合わせることで、組織にエンタープライズデータファブリックアーキテクチャの基盤を提供し、部門横断的、企業横断的、組織横断的なチームがドメインサイロを越えて複雑なクエリを問い、回答することを可能にします。

データファブリックアーキテクチャの必要性の高まり

データ管理分野における急速なイノベーションと破壊は、企業内外で利用可能なデータから組織が価値を引き出すのに役立っています。物理的およびデジタル的な境界を越えて事業を展開する組織は、顧客が望む方法でサービスを提供する新たな機会を見出しています。

これらの組織は、データサプライチェーン全体で関連するすべてのデータを接続し、ユースケースのコンテキストで完全かつ正確な全体像を作成しています。組織の境界を越えてデータを運用および共有し、データを調和させ、データ共有を可能にしようとするほとんどの業界は、金融サービスにおけるFIBOからサイバーセキュリティドメインにおけるD3FENDまで、規定されたオントロジーの形でオープンスタンダードを採用しています。これらのビジネスオントロジー（またはセマンティックモデル）は、データがどのように構造化され保存されているか、つまり「文字列」ではなく、意味が付与されたデータ、つまり「物事」について私たちがどのように考えているかを反映しており、データ共有と再利用を可能にします。

セマンティックレイヤーの概念は新しいものではありません。30年以上にわたり存在し、企業が専用のダッシュボードを構築するのを支援するBIベンダーによってしばしば推進されてきました。しかし、このレイヤーがプロプライエタリなBIシステムの一部として組み込まれている性質上、広範な採用は妨げられてきました。このレイヤーは、データが現実世界でどのように関連しているか（多対多）ではなく、構造化クエリ言語のためにデータを最適化するようにモデル化する物理的なリレーショナルデータベースシステムと同じ制限に苦しみ、しばしば硬直的で複雑すぎます。ストレージ層と消費層の間で動作するナレッジグラフ駆動のセマンティックデータレイヤーは、すべてのデータを接続し、ビジネスユースケースのコンテキストで価値を市民データサイエンティストやアナリストに提供する接着剤と乗数を提供します。これにより、少数の専門家以外はデータ中心のアーキテクチャに参加し、協力することができません。

保険に関するユースケースを可能にする

StardogとDatabricksがどのように連携するかを示すために、複数の保険会社を抱える組織の現実世界の例を見てみましょう。ほとんどの大企業と同様に、多くの保険会社は、重要な意思決定者による意思決定のための社内外のデータが広範に利用できないなど、データに関する同様の課題に苦しんでいます。引受リスク評価から保険契約管理、クレーム管理、代理店に至るまで、誰もが適切なデータとインサイトを活用して重要な意思決定を行うことに苦労しています。彼らは皆、データをFAIR（Findable、Accessible、Interoperable、Reusable）にするために、最新のデータおよび分析アーキテクチャの要素をもたらすエンタープライズワイドなデータファブリックを必要としています。ほとんどの企業は、すべてのデータソースをデータレイクに取り込むことから旅を始めます。Databricksのレイクハウスアプローチは、すべての分析データを保存し、企業内の誰でもすべてのデータにアクセスできるようにするための優れた基盤を企業に提供します。このデータ層では、すべてのクレンジング、変換、曖昧さの解消が行われます。その旅の次のステップはデータハーモニゼーションであり、その意味に基づいてデータを接続し、より豊かなコンテキストを提供します。ナレッジグラフによって提供されるセマンティックレイヤーは、データ分析と処理に焦点を移し、引受人、リスクアナリスト、代理店、顧客サービスチームにクロスドメインのインサイトの接続されたファブリックを提供し、リスクを管理し、卓越した顧客体験を提供します。

簡素化されたセマンティックモデルを出発点として、これがどのように機能するかを検討します。

ドメイン固有のエンティティとクロスドメインの関係を簡単にモデル化

ホワイトボードのような体験を通じてセマンティックデータモデルを視覚的に作成することは、セマンティックデータレイヤーを作成する最初のステップです。Stardog Designerプロジェクト内で、ビジネス上の質問に答える上で重要な特定のクラス（またはエンティティ）を作成するには、クリックするだけです。クラスが作成されたら、この新しいエンティティを記述するために必要なすべての属性とデータ型を追加できます。クラス（またはエンティティ）をリンクするのは簡単です。エンティティを選択した状態で、リンクを追加するためにクリックし、新しい関係のポイントをドラッグして、別のエンティティにスナップするまで移動します。この新しい関係にビジネス上の意味を記述する名前を付けます（例：「顧客」が「車両」を「所有」する）。

新しいクラスを追加し、既存のクラスにリンクして関係を作成する

Databricks Lakehouse Platformからのメタデータをマッピング

データのないモデルとは何でしょうか？Stardogユーザーは、構造化データ、半構造化データ、非構造化データなど、さまざまなデータソースに接続できます。これは、データを持続化または仮想化するか、あるいはその両方を適切なタイミングと場所で組み合わせることで実現します。Designerでは、Delta Lakeのような既存のソースからデータを簡単に接続し、ユーザー指定のテーブルからメタデータを接続できます。これにより、データをナレッジグラフに移動またはコピーすることなく、仮想化レイヤーを通じてそのデータに初期アクセスできるようになります。仮想化レイヤーは、StardogからのオープンスタンダードベースのSPARQLクエリを、Databricks SQLで最適化されたプッシュダウンSQLクエリに自動的に変換します。

新しいデータソースをプロジェクトリソースとして追加

クリックして新しいプロジェクトリソースを追加し、Databricksなどの利用可能な接続のいずれかを選択します。この接続は、Databricksが最近リリースした新しいSQLエンドポイントを活用します。データのスコープを定義し、追加のプロパティを指定します。プレビューペインを使用して、プロジェクトに追加する前にデータをすばやく確認します。

さまざまな場所からの追加データを組み込む

Designerを使用すると、CSVなどの他のデータソースやファイルからデータを簡単に組み込むことができます。これにより、アドホックなデータ分析を行いたいチームは、Deltaからのデータとこの新しい情報を組み合わせることができます。リソースとして追加したら、リンクを追加し、クラスにドラッグアンドドロップするだけでデータをマッピングできます。マッピングに意味のある名前を付け、主識別子、ラベル、およびエンティティの属性に一致するその他のデータ列のデータ列を指定します。

プロジェクトリソースのデータをクラスにマッピング

作業を公開する

Designer内で、このプロジェクトのモデルとデータをStardogサーバーに直接公開し、Stardog Explorerで使用できます。また、Designerでは、ナレッジグラフの出力をさまざまな方法で公開および利用できます。モデルとマッピングを含むファイルの圧縮フォルダに直接公開し、バージョン管理システムに保存することも可能です。

Stardogデータベースに直接公開する

データがStardogに公開されると、データアナリストはTableauのような一般的なBIツールを使用して、StardogのBI/SQLエンドポイントを介して接続し、セマンティックレイヤーを通じてレポートやダッシュボードにデータを引き出すことができます。SQL互換ツール内の自動生成されたスキーマにより、ユーザーはKnowledge Graphに対してSQLクエリを記述できます。SQLレイヤーを介して送信されるクエリは、自動的にKnowledge Graphのクエリ言語であるSPARQLに変換され、仮想レイヤーを介して自動生成されたソース最適化クエリを使用して、ソース（この場合はDatabricks SQLエンドポイントを介したDatabricks）での計算のためにプッシュダウンされます。同じ情報は、StardogのPython APIであるpystardogを使用して、Databricksユーザーのノートブックでも利用できます。StardogのGraphQL APIを使用して、仮想グラフをアプリケーション内に直接埋め込んで使用することもできます。レイクハウス上のセマンティックレイヤーは、あらゆる種類のユーザーとその好みのツールに単一の環境を提供し、一貫したデータセットによって運用をサポートします。

生産性の向上と新たなインサイトの獲得

Knowledge Graphでデータを整理することで、データチームはアドホックなデータ分析をサポートするために外部ソースからデータを整理する時間を減らし、生産性を向上させます。Databricks外のデータは、Stardogの仮想化レイヤーを通じてフェデレートされ、Databricks内のデータに接続できます。さらに、統計的推論や論理的推論などの手法を使用して、エンティティ間の新しい関係を明示的にナレッジグラフにモデル化することなく推論できます。DatabricksとStardogはシームレスに連携するため、この組み合わせは複雑なクロスドメインクエリと分析を簡素化する真のエンドツーエンドエクスペリエンスを提供します。さらに、セマンティックレイヤーはエンタープライズデータファブリック基盤の一部として、生きた、共有可能で使いやすいレイヤーとなり、新しいデータ駆動型イニシアチブをサポートする全社的な知識を提供します。

DatabricksとStardogを始める

このブログでは、StardogがDatabricks Lakehouse Platform上にナレッジグラフを活用したセマンティックデータレイヤーをどのように実現するかについて、概要を説明しました。詳細については、ディープダイブデモをご覧ください。Stardogは、ナレッジワーカーに接続されたデータ資産のユニバース全体にわたる重要なジャストインタイムのインサイトを提供し、分析を強化し、データレイク投資の価値を加速させます。DatabricksとStardogを一緒に使用することで、データおよび分析チームは、組織の増大するニーズに合わせて進化するデータファブリックを迅速に確立できます。

DatabricksとStardogを始めるには、以下の無料トライアルをリクエストしてください：
https://www.databricks.com/try-databricks
https://cloud.stardog.com/get-started
https://www.stardog.com/learn-stardog/

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事