企業のリーダーは、ビジネスチームが洞察力を高め、より良い意思決定を行い、イノベーションを加速するために活用できる高品質なデータの集中ソースを作成するために、Databricks Data Intelligence Platformを活用しています。最近の調査では、最高データ責任者（CDO）は、明確で効果的なデータガバナンスの確立（51%）、データ品質の向上（48%）、高度なアナリティクス機能の構築と維持（42%）、ビジネスインテリジェンス機能の構築と維持（36%）、データ収益化機能の開発（21%）、データ、アナリティクス、人工知能（AI）倫理の向上（21%）を望んでいると回答しています。データ変革が最重要課題であることは明らかです。
歴史的に、データ、IT、セキュリティの各チームは、データの統一と民主化に関連する以下の課題に取り組んできました：
- データの保護と管理： 企業チームは、大規模な言語モデルやドメイン固有のモデルの導入を急いでおり、これらのモデルは広範なクリーンデータを必要とするため、データガバナンスとセキュリティに関する新たな問題を引き起こしています。
- データリスクの軽減： データ量とビジネス要件が増大するにつれ、チームはデータセットを複製し、ユースケースやプラットフォーム間で再利用することが多くなります。また、ユーザーが複数のユースケースにデータを供給するデータパイプラインを破損することもあります。このような標準外のプロセスは、データの複雑性、コスト、およびビジネスの非効率性を増大させます。
- データアクセスプロセスの拡張と高速化： 実験用に異なるデータプラットフォームやデータソースを使用することは持続可能ではありません。しかし、多くのビジネスチームは、他の目的のために専門的なプラットフォームを維持したいと考えています。また、ビジネスチームはこれまで、データ共有ツールのセットアップやデータのプロビジョニング、あるいは調査用に選択したデータセットのセルフプロビジョニングをITサポートに依頼してきました。このような長くて明確でないプロセスでは、チームは遅れや制限のあるデータで意思決定を行い、一刻を争うビジネスチャンスを逃す可能性がありました。
管理・共有されたデータ機能の提供
Databricks Data Intelligence Platformには、レイクハウスアーキテクチャ上のデータとAIのための業界初の統合ガバナンスソリューションであるUnity Catalogが含まれています。Databricksにネイティブに組み込まれたUnity Catalogは、以下を提供します：
- データとAIを一元的に可視化：あらゆるクラウド上の構造化データ、非構造化データ、MLモデル、ノートブック、ダッシュボード、任意のファイルを発見、分類できます。また、MySQL、PostgreSQL、Amazon Redshift、Snowflake、Azure SQL、Azure Synapse、GoogleのBigQueryなど、さまざまなプラットフォームのデータを1か所に集約し、マッピング、クエリできます。これにより、自然言語を使用してデータやAIからセキュアに検索、理解、洞察を抽出し、生産性を向上させます。
- データとAIに対する単一の権限モデル：データとAI資産に対するアクセスポリシーを定義し、これらのポリシーをあらゆるクラウドまたはデータプラットフォーム上で一貫して適用および監査するための統一インターフェースにより、アクセス管理を簡素化します。これにより、オープンなインターフェイスを使用して他のコンピューティング・プラットフォームからデータに安全にアクセスできるようになり、一貫したアクセス許可を一元管理できます。また、シームレスに拡張できるローコード属性ベースのアクセスポリシーによって効率的にアクセスを管理しながら、行や列をきめ細かく制御してセキュリティを強化できます。
- AIを活用したモニタリングと可観測性：AIのパワーを活用してモニタリングを自動化し、エラーを診断し、データとMLモデルの品質を維持します。個人を特定できる情報データを自動的に検出し、モデルのドリフトを追跡し、データおよびAIパイプライン内の問題を効果的に解決して、正確性と整合性を維持するプロアクティブなアラートのメリットを享受できます。また、Unity Catalogでは、自動化された列レベルのデータリネージにより、デバッグ、根本原因分析、影響評価を合理化できます。さらに、課金、監査、リネージなどのためのビルトインシステムテーブルを活用した運用インテリジェンスにより、データとAIに対する包括的なレイクハウスの観測性を得ることができます。
- オープンなデータ共有： Unity Catalogにネイティブに統合されたオープンソースのDelta Sharingにより、クラウド、地域、プラットフォーム間でデータとAIアセットを簡単に共有できます。独自のフォーマットや複雑なETLプロセス、コストのかかるデータの複製に依存することなく、新しい収益源を確保し、ビジネス価値を高めるために、誰でも、どこでも、安全にコラボレーションできます。
UnityGOを用いてビジネス価値を生み出すまでの時間を短縮！
Tredenceは、Databricks Data Intelligence Platform上のUnity Catalogへのエンタープライズデータの実装を60%簡素化し、スピードアップする新しいUnity Catalog Brickbuilder Accelerator、UnityGO! UnityGO!は、Databricks Data Intelligence Platform上のUnity Catalogへの企業データの実装を60%簡素化し、スピードアップします。
UnityGO!は、テーブルやビューなどのメタデータ、ノートブック形式のコード、ACLのUnity Catalogへの変換を自動化し、手作業に比べて移行を大幅に簡素化、高速化します。UnityGO!:
Tredenceは、Databricks Data Intelligence Platform上のUnity Catalogへのエンタープライズデータの実装を60%簡素化し、スピードアップする新しいUnity Catalog Brickbuilder Accelerator、UnityGO! UnityGO!は、Databricks Data Intelligence Platform上のUnity Catalogへの企業データの実装を60%簡素化し、スピードアップします。
UnityGO!は、テーブルやビューなどのメタデータ、ノートブック形式のコード、ACLのUnity Catalogへの変換を自動化し、手作業に比べて移行を大幅に簡素化、高速化します。UnityGO!
- データを変換して Unity Catalog 対応のデータインテリジェンスプラットフォームに移行する前に、テスト用のワークスペース環境を提供することで、モデル/ノートブックの展開が最適化されないリスクを低減します。
- プロジェクトの初期段階でワークスペース移行の複雑性を評価することで、移行リソースとプロジェクト計画を最適化します。
- マウントポイントやノートブックの変換、オブジェクトのカタログへの移動、ワークフローの合理化などの自動化を強化することで、Databricks Unity カタログを改善します。
- 分析アプリケーションとAI/機械学習アプリケーションの変換を自動化し、Unity Catalog対応のデータインテリジェンスプラットフォームで実行できるようにすることで、技術リソースの要件を軽減します。
ビジネス価値を生み出すまでの時間を短縮
Unity Catalog と UnityGO! を使用することで、チームは価値創造までの時間とスケールを短縮できます。
Databricks データインテリジェンスプラットフォームのオープンソースアーキテクチャと UnityGO のわかりやすいプロセスにより、チームは構造化データと非構造化データを統合して、データ駆動型の意思決定を強化することができます。
UnityGO! は、Unity カタログ用に設計されたコードを活用して、重要なワークフローの作成を自動化します。後付けスクリプトをデプロイする前にサンドボックスでテストし、移行失敗のリスクを排除します。さらに、企業固有のパターンやアプリケーションにUnityGO!を設定して、独自の要件を満たすこともできます。
Unity CatalogとUnityGO!が実現する新機能により、企業チームはデータを安全に共有し、ファーストパーティデータの洞察、セグメンテーション、パーソナライゼーション戦略を改善することができます。また、匿名化されたデータをパートナーに販売し、2027年末までに73億ドルに成長すると予測されるデータ収益化市場のシェアを獲得することもできます。
UnityGO!は、4つのステップであらゆるプラットフォームやソースからデータを移行します。
- カタログのセットアップ：チームはUnity Catalogメタストアにカタログとスキームを作成し、データが格納される場所を指すオブジェクトを作成します。次に、開発チーム、品質保証チーム、生産チーム用のカタログをカタログ名に作成します。
- UnityGO! Tredenceのマイグレーション・アクセラレータを有効にするには、マイグレーションを可能にするためにアプリケーション・ワークスペースからメタデータを収集するマイグレーション・キットを格納するソリューション・ワークスペースが必要です。インフラストラクチャには、Unityカタログへの移行を簡素化するユーザーインターフェイス（UI）を提供するWebアプリケーション（WebアプリケーションとPostgresデータベースを実行するクラウドベースのサービス）をプロビジョニングする必要があります。
- メタデータの収集と構成： チームはUnityカタログに移行する必要があるワークスペースを選択し、メタデータの収集を自動化してワークスペースの複雑さを評価し、UnityGO UIインターフェイスでマウントポイント、スキーマ、管理テーブル、ノートブックフォルダ、ユーザーグループの設定を可能にします。
- コードベースの改修と移行： 次に、UnityGO! ソリューションは、サンドボックスの Unity カタログ対応ワークスペースにスクリプトを後付けし、DDL スクリプト、ノートブック、ACL スクリプト、Databricks ワークフローの作成を自動化します。チームはサンドボックス環境でスクリプトを実行し、既存のアプリケーションに影響を与えることなく、オブジェクトをUnity Catalogに移行してテストできます。次に、既存のアプリケーションのワークスペースを Unity Catalog 用に有効化し、サンドボックス環境から既存の開発ワークスペースにコードを移行します。その後、チームは、既存の継続的インテグレーションおよびデリバリー（CI/CD）プロセスを通じて、コードをテストし、品質ワークスペースおよび本番ワークスペースに移行できます。
UnityGO!を使用するチーム:
- プロセスの自動化： 高度に自動化されたプロセスにより、チームは時間を節約し、ビジネスの中断を減らし、影響を加速します。
- Unity カタログ用に設計されたコードを活用： UnityGO! はパターンを識別してコードを変換し、ワークフローの作成を自動化します。
- リスクを低減します： Unity Catalogの後付けスクリプトは、自動化される前にサンドボックスでテストされます。その結果、移行の失敗が軽減されます。
- パターンのカスタマイズ： チームは、企業固有のパターンやアプリケーション用にUnityGO!を構成し、既存のパターンをUnity Catalog上で実行できるように後付けできます。
Databricks Brickbuilder アクセラレータについて
Databricks Brickbuilders Accelerators は、コンサルティングパートナーの専門知識と Databricks データインテリジェンスプラットフォームを組み合わせることで、特定の手法や Databricks 機能を迅速に実装します。Brickbuilder アクセラレータを利用することで、チームは以下を得ることができます：
- 信頼できるパートナーへのアクセス： DatabricksがTredenceと協業しているのは、Tredenceの広範な業界ドメイン固有の知識と、企業のジェネレーティブAIおよびデータインテリジェンスプラットフォーム戦略の構築と実行における経験があるからです。Brickbuilderアクセラレータは、チームが重要なアナリティクスの課題を解決し、コストを削減し、摩擦を最小限に抑えて生産性を向上できるよう支援します。Tredenceはすでに、小売、製造、通信、ヘルスケア分野向けのBrickbuilderソリューションの大規模なポートフォリオを有しています。
- 信頼できるフレームワークを使用する能力： Tredenceには、Databricks Data Intelligence PlatformとUnity Catalogのトレーニングを受け、認定された350人以上のデータエンジニアとサイエンティストがいます。この専門家チームがUnityGO！を提供し、企業チームの最大のデータ、アナリティクス、AIニーズに対応するために必要な経験を提供します。
- 価値実現までの時間を短縮するツール： Tredenceのサービスと自動化されたフレームワークをDatabricks Data Intelligence PlatformとUnity Catalogと組み合わせることで、チームは信頼できるデータのシングルソースを迅速に獲得し、セキュアな共有とコラボレーションを実現し、イノベーションを迅速に実現できます。
さらに詳しく！
UnityGo！の詳細については、12月12日に開催されるWebセミナー「統合データとAIガバナンスでデータ共有を加速する」にお申し込みください。
Tredenceのディレクター兼シニアAzure Databricks ・クラウドアーキテクトであるMaulik Dixit氏と、Databricksのデータガバナンス担当グローバルリーダーであるZeashan Pappa氏を迎えたこのWebセミナーでは、データ共有のハードルを乗り越え、ビジネス価値を加速させながら、安全なガバナンスとリネージを維持する方法について概説します。