メインコンテンツへジャンプ

Databricks Unity CatalogとTredence UnityGO!でデータ共有からビジネス価値をさらに向上させましょう!

TredenceのUnityGO!でDatabricks Unityカタログへのアップグレードが60%高速化
Share this post

Databricks データインテリジェンスプラットフォーム

企業のリーダーは、ビジネスチームが洞察力を高め、より良い意思決定を行い、イノベーションを加速するために活用できる高品質なデータの集中ソースを作成するために、Databricks Data Intelligence Platformを活用しています。最近の調査では、最高データ責任者(CDO)は、明確で効果的なデータガバナンスの確立(51%)、データ品質の向上(48%)、高度なアナリティクス機能の構築と維持(42%)、ビジネスインテリジェンス機能の構築と維持(36%)、データ収益化機能の開発(21%)、データ、アナリティクス、人工知能(AI)倫理の向上(21%)を望んでいると回答しています。データ変革が最重要課題であることは明らかです。

歴史的に、データ、IT、セキュリティの各チームは、データの統一と民主化に関連する以下の課題に取り組んできました:

  • データの保護と管理: 企業チームは、大規模な言語モデルやドメイン固有のモデルの導入を急いでおり、これらのモデルは広範なクリーンデータを必要とするため、データガバナンスとセキュリティに関する新たな問題を引き起こしています。
  • データリスクの軽減: データ量とビジネス要件が増大するにつれ、チームはデータセットを複製し、ユースケースやプラットフォーム間で再利用することが多くなります。また、ユーザーが複数のユースケースにデータを供給するデータパイプラインを破損することもあります。このような標準外のプロセスは、データの複雑性、コスト、およびビジネスの非効率性を増大させます。
  • データアクセスプロセスの拡張と高速化:  実験用に異なるデータプラットフォームやデータソースを使用することは持続可能ではありません。しかし、多くのビジネスチームは、他の目的のために専門的なプラットフォームを維持したいと考えています。また、ビジネスチームはこれまで、データ共有ツールのセットアップやデータのプロビジョニング、あるいは調査用に選択したデータセットのセルフプロビジョニングをITサポートに依頼してきました。このような長くて明確でないプロセスでは、チームは遅れや制限のあるデータで意思決定を行い、一刻を争うビジネスチャンスを逃す可能性がありました。

管理・共有されたデータ機能の提供

Databricks Data Intelligence Platformには、レイクハウスアーキテクチャ上のデータとAIのための業界初の統合ガバナンスソリューションであるUnity Catalogが含まれています。Databricksにネイティブに組み込まれたUnity Catalogは、以下を提供します:

  • データとAIを一元的に可視化:あらゆるクラウド上の構造化データ、非構造化データ、MLモデル、ノートブック、ダッシュボード、任意のファイルを発見、分類できます。また、MySQL、PostgreSQL、Amazon Redshift、Snowflake、Azure SQL、Azure Synapse、GoogleのBigQueryなど、さまざまなプラットフォームのデータを1か所に集約し、マッピング、クエリできます。これにより、自然言語を使用してデータやAIからセキュアに検索、理解、洞察を抽出し、生産性を向上させます。
  • データとAIに対する単一の権限モデル:データとAI資産に対するアクセスポリシーを定義し、これらのポリシーをあらゆるクラウドまたはデータプラットフォーム上で一貫して適用および監査するための統一インターフェースにより、アクセス管理を簡素化します。これにより、オープンなインターフェイスを使用して他のコンピューティング・プラットフォームからデータに安全にアクセスできるようになり、一貫したアクセス許可を一元管理できます。また、シームレスに拡張できるローコード属性ベースのアクセスポリシーによって効率的にアクセスを管理しながら、行や列をきめ細かく制御してセキュリティを強化できます。
  • AIを活用したモニタリングと可観測性:AIのパワーを活用してモニタリングを自動化し、エラーを診断し、データとMLモデルの品質を維持します。個人を特定できる情報データを自動的に検出し、モデルのドリフトを追跡し、データおよびAIパイプライン内の問題を効果的に解決して、正確性と整合性を維持するプロアクティブなアラートのメリットを享受できます。また、Unity Catalogでは、自動化された列レベルのデータリネージにより、デバッグ、根本原因分析、影響評価を合理化できます。さらに、課金、監査、リネージなどのためのビルトインシステムテーブルを活用した運用インテリジェンスにより、データとAIに対する包括的なレイクハウスの観測性を得ることができます。
  • オープンなデータ共有: Unity Catalogにネイティブに統合されたオープンソースのDelta Sharingにより、クラウド、地域、プラットフォーム間でデータとAIアセットを簡単に共有できます。独自のフォーマットや複雑なETLプロセス、コストのかかるデータの複製に依存することなく、新しい収益源を確保し、ビジネス価値を高めるために、誰でも、どこでも、安全にコラボレーションできます。

UnityGOを用いてビジネス価値を生み出すまでの時間を短縮!

Tredenceは、Databricks Data Intelligence Platform上のUnity Catalogへのエンタープライズデータの実装を60%簡素化し、スピードアップする新しいUnity Catalog Brickbuilder Accelerator、UnityGO! UnityGO!は、Databricks Data Intelligence Platform上のUnity Catalogへの企業データの実装を60%簡素化し、スピードアップします。

UnityGO!は、テーブルやビューなどのメタデータ、ノートブック形式のコード、ACLのUnity Catalogへの変換を自動化し、手作業に比べて移行を大幅に簡素化、高速化します。UnityGO!:

 

Tredenceは、Databricks Data Intelligence Platform上のUnity Catalogへのエンタープライズデータの実装を60%簡素化し、スピードアップする新しいUnity Catalog Brickbuilder Accelerator、UnityGO! UnityGO!は、Databricks Data Intelligence Platform上のUnity Catalogへの企業データの実装を60%簡素化し、スピードアップします。

UnityGO!は、テーブルやビューなどのメタデータ、ノートブック形式のコード、ACLのUnity Catalogへの変換を自動化し、手作業に比べて移行を大幅に簡素化、高速化します。UnityGO!

  1. データを変換して Unity Catalog 対応のデータインテリジェンスプラットフォームに移行する前に、テスト用のワークスペース環境を提供することで、モデル/ノートブックの展開が最適化されないリスクを低減します。
  2. プロジェクトの初期段階でワークスペース移行の複雑性を評価することで、移行リソースとプロジェクト計画を最適化します。
  3. マウントポイントやノートブックの変換、オブジェクトのカタログへの移動、ワークフローの合理化などの自動化を強化することで、Databricks Unity カタログを改善します。
  4. 分析アプリケーションとAI/機械学習アプリケーションの変換を自動化し、Unity Catalog対応のデータインテリジェンスプラットフォームで実行できるようにすることで、技術リソースの要件を軽減します。

ビジネス価値を生み出すまでの時間を短縮

Unity Catalog と UnityGO! を使用することで、チームは価値創造までの時間とスケールを短縮できます。

Databricks データインテリジェンスプラットフォームのオープンソースアーキテクチャと UnityGO のわかりやすいプロセスにより、チームは構造化データと非構造化データを統合して、データ駆動型の意思決定を強化することができます。

UnityGO! は、Unity カタログ用に設計されたコードを活用して、重要なワークフローの作成を自動化します。後付けスクリプトをデプロイする前にサンドボックスでテストし、移行失敗のリスクを排除します。さらに、企業固有のパターンやアプリケーションにUnityGO!を設定して、独自の要件を満たすこともできます。

Unity CatalogとUnityGO!が実現する新機能により、企業チームはデータを安全に共有し、ファーストパーティデータの洞察、セグメンテーション、パーソナライゼーション戦略を改善することができます。また、匿名化されたデータをパートナーに販売し、2027年末までに73億ドルに成長すると予測されるデータ収益化市場のシェアを獲得することもできます。

UCアクセラレーター設計

UnityGO!は、4つのステップであらゆるプラットフォームやソースからデータを移行します。

  1. カタログのセットアップ:チームはUnity Catalogメタストアにカタログとスキームを作成し、データが格納される場所を指すオブジェクトを作成します。次に、開発チーム、品質保証チーム、生産チーム用のカタログをカタログ名に作成します。
  2. UnityGO! Tredenceのマイグレーション・アクセラレータを有効にするには、マイグレーションを可能にするためにアプリケーション・ワークスペースからメタデータを収集するマイグレーション・キットを格納するソリューション・ワークスペースが必要です。インフラストラクチャには、Unityカタログへの移行を簡素化するユーザーインターフェイス(UI)を提供するWebアプリケーション(WebアプリケーションとPostgresデータベースを実行するクラウドベースのサービス)をプロビジョニングする必要があります。
  3. メタデータの収集と構成: チームはUnityカタログに移行する必要があるワークスペースを選択し、メタデータの収集を自動化してワークスペースの複雑さを評価し、UnityGO UIインターフェイスでマウントポイント、スキーマ、管理テーブル、ノートブックフォルダ、ユーザーグループの設定を可能にします。
  4. コードベースの改修と移行: 次に、UnityGO! ソリューションは、サンドボックスの Unity カタログ対応ワークスペースにスクリプトを後付けし、DDL スクリプト、ノートブック、ACL スクリプト、Databricks ワークフローの作成を自動化します。チームはサンドボックス環境でスクリプトを実行し、既存のアプリケーションに影響を与えることなく、オブジェクトをUnity Catalogに移行してテストできます。次に、既存のアプリケーションのワークスペースを Unity Catalog 用に有効化し、サンドボックス環境から既存の開発ワークスペースにコードを移行します。その後、チームは、既存の継続的インテグレーションおよびデリバリー(CI/CD)プロセスを通じて、コードをテストし、品質ワークスペースおよび本番ワークスペースに移行できます。

UnityGO!を使用するチーム:

  • プロセスの自動化: 高度に自動化されたプロセスにより、チームは時間を節約し、ビジネスの中断を減らし、影響を加速します。
  • Unity カタログ用に設計されたコードを活用: UnityGO! はパターンを識別してコードを変換し、ワークフローの作成を自動化します。
  • リスクを低減します: Unity Catalogの後付けスクリプトは、自動化される前にサンドボックスでテストされます。その結果、移行の失敗が軽減されます。
  • パターンのカスタマイズ: チームは、企業固有のパターンやアプリケーション用にUnityGO!を構成し、既存のパターンをUnity Catalog上で実行できるように後付けできます。

Databricks Brickbuilder アクセラレータについて

Databricks Brickbuilders Accelerators は、コンサルティングパートナーの専門知識と Databricks データインテリジェンスプラットフォームを組み合わせることで、特定の手法や Databricks 機能を迅速に実装します。Brickbuilder アクセラレータを利用することで、チームは以下を得ることができます:

  • 信頼できるパートナーへのアクセス: DatabricksがTredenceと協業しているのは、Tredenceの広範な業界ドメイン固有の知識と、企業のジェネレーティブAIおよびデータインテリジェンスプラットフォーム戦略の構築と実行における経験があるからです。Brickbuilderアクセラレータは、チームが重要なアナリティクスの課題を解決し、コストを削減し、摩擦を最小限に抑えて生産性を向上できるよう支援します。Tredenceはすでに、小売、製造、通信、ヘルスケア分野向けのBrickbuilderソリューションの大規模なポートフォリオを有しています。
  • 信頼できるフレームワークを使用する能力: Tredenceには、Databricks Data Intelligence PlatformとUnity Catalogのトレーニングを受け、認定された350人以上のデータエンジニアとサイエンティストがいます。この専門家チームがUnityGO!を提供し、企業チームの最大のデータ、アナリティクス、AIニーズに対応するために必要な経験を提供します。
  • 価値実現までの時間を短縮するツール: Tredenceのサービスと自動化されたフレームワークをDatabricks Data Intelligence PlatformとUnity Catalogと組み合わせることで、チームは信頼できるデータのシングルソースを迅速に獲得し、セキュアな共有とコラボレーションを実現し、イノベーションを迅速に実現できます。

 

さらに詳しく!

UnityGo!の詳細については、12月12日に開催されるWebセミナー「統合データとAIガバナンスでデータ共有を加速する」にお申し込みください。

Tredenceのディレクター兼シニアAzure Databricks ・クラウドアーキテクトであるMaulik Dixit氏と、Databricksのデータガバナンス担当グローバルリーダーであるZeashan Pappa氏を迎えたこのWebセミナーでは、データ共有のハードルを乗り越え、ビジネス価値を加速させながら、安全なガバナンスとリネージを維持する方法について概説します。

Databricks 無料トライアル

関連記事

Databricks Expands Brickbuilder Program to Include Lakehouse Accelerators

Today, we’re excited to announce Brickbuilder Accelerators, an expansion to the Brickbuilder Program that pairs the expertise of system integrator and consulting partners...

LakehouseIQのご紹介: あなたのビジネスを独自に理解するAIエンジン

翻訳:Junichi Maruyama. - Original Blog Link 本日、LakehouseIQを発表いたします。LakehouseIQは、お客様のビジネスとデータのユニークなニュアンスを学習し、様々なユースケースで自然言語によるアクセスを可能にするナレッジエンジンです。LakehouseIQは、組織内のどの従業員でも自然言語でデータを検索、理解、照会することができます。LakehouseIQは、お客様のデータ、使用パターン、組織図に関する情報をもとに、専門用語や独自のデータ環境を理解し、素朴なLarge Language Models (LLM)よりもはるかに優れた回答を提供します。 ラージ・ランゲージ・モデルはもちろん、データに言語インターフェースをもたらすと約束されており、どのデータ会社もAIアシスタントを追加しているが、現実には、これらのソリューションの多くは企業データでは不十分である。どの企業も独自のデータセット、専門用語、ビジネス上の質問に答えるために必要な内部知識を持っており、質問に

Data and AI Summit 2023におけるUnityカタログの最新情報

翻訳:Junichi Maruyama. - Original Blog Link データ管理に不可欠な、説明責任、コンプライアンス、品質、透明性といったガバナンスの基本原則は、今やAIにとっても同様に不可欠なものとなっています。Databricksは Unity Catalog で、クラウドとデータプラットフォームにわたるデータとAIガバナンスのための業界唯一の統合ソリューションをリリースすることで、先駆的なアプローチを取りました。 組織はUnity Catalogを使用することで、あらゆるデータプラットフォームやクラウドでファイル、テーブル、MLモデル、ノートブック、ダッシュボードを安全に発見、アクセス、監視、コラボレーションすることができます。 私たちは、 Lakehouse Federation 、 Governance for AI 、AIを活用したガバナンス( Lakehouse Monitoring、Lakehouse Observability...
プラットフォームブログ一覧へ