メインコンテンツへジャンプ
ログイン
      • Databricks を知る
        • エグゼクティブ向け
          • スタートアップ向け
            • レイクハウスアーキテクチャ
              • Mosaic Research
              • 導入事例
                • 注目の導入事例
                  • 導入事例一覧へ
                  • パートナー
                    • クラウドプロバイダ
                      Databricks on AWS、Azure、GCP
                      • コンサルティング・SI
                        Databricks の構築・デプロイ、Databricks への移行のエキスパート
                        • 技術パートナー
                          既存のツールをレイクハウスに接続
                          • C&SI パートナー
                            レイクハウスの構築・デプロイメント、レイクハウスへの移行
                            • データパートナー
                              データコンシューマーのエコシステムにアクセス
                              • パートナーソリューション
                                業界・移行のニーズに応じたカスタムソリューション
                                • Databricks で構築
                                  ビジネスの創造・マーケティング・成長
                                • Databricks プラットフォーム
                                  • プラットフォームの概要
                                    データ・分析・AI のための統合プラットフォーム
                                    • データ管理
                                      データの信頼性・セキュリティ・パフォーマンス
                                      • 共有
                                        オープン、セキュア、ゼロコピーでのデータ共有
                                        • データウェアハウジング
                                          バッチ、ストリーミングデータのための ETL とオーケストレーション
                                          • ガバナンス
                                            データ・分析・AI のための統合ガバナンス
                                            • リアルタイム分析
                                              リアルタイム分析、AI、アプリケーションをシンプルに
                                              • 人工知能(AI)
                                                ML と生成 AI アプリケーションの構築とデプロイメント
                                                • データエンジニアリング
                                                  バッチ、ストリーミングデータのための ETL とオーケストレーション
                                                  • BI
                                                    実世界データのインテリジェント分析
                                                    • データサイエンス
                                                      データサイエンスの大規模な連携
                                                    • 統合とデータ
                                                      • マーケットプレイス
                                                        データ、分析、AI のためのオープンマーケットプレイス
                                                        • IDE 統合
                                                          お気に入りの IDE(統合開発環境)でレイクハウスを構築
                                                          • パートナーコネクト
                                                            Databricks エコシステムの検索と統合
                                                          • ご利用料金
                                                            • Databricks のご利用料金
                                                              料金設定、DBU、その他
                                                              • コスト計算ツール
                                                                クラウド利用でのコンピュートコストの試算
                                                              • オープンソース
                                                                • オープンソーステクノロジー
                                                                  プラットフォームを支えるイノベーションをもっと詳しく
                                                                • 業界向け Databricks
                                                                  • 通信
                                                                    • メディア・エンターテイメント
                                                                      • 金融サービス
                                                                        • 官公庁・公共機関
                                                                          • 医療・ライフサイエンス
                                                                            • リテール・消費財
                                                                              • 製造
                                                                                • 全て見る
                                                                                • クロスインダストリーソリューション
                                                                                  • サイバーセキュリティ
                                                                                    • マーケティング
                                                                                    • 移行・デプロイメント
                                                                                      • データの移行
                                                                                        • プロフェッショナルサービス
                                                                                        • ソリューションアクセラレータ
                                                                                          • ソリューションアクセラレータ一覧
                                                                                            成果を加速
                                                                                          • トレーニング・認定試験
                                                                                            • 学習の概要
                                                                                              トレーニング、認定、イベントなどのハブ
                                                                                              • トレーニング概要
                                                                                                ニーズに合わせたカリキュラムを探す
                                                                                                • Databricks アカデミー
                                                                                                  Databricks ラーニングプラットフォームにサインインする
                                                                                                  • 認定
                                                                                                    スキル・認定で差別化を図る
                                                                                                    • 大学との連携
                                                                                                      Databricks を教材として活用
                                                                                                    • イベント
                                                                                                      • DATA+AI サミット
                                                                                                        • Data+AI ワールドツアー
                                                                                                          • Data Intelligence Days
                                                                                                            • イベントカレンダー
                                                                                                            • ブログ・ポッドキャスト
                                                                                                              • Databricks ブログ
                                                                                                                最新情報、製品発表、その他の情報
                                                                                                                • Databricks Mosaic AIリサーチブログ
                                                                                                                  AI世代に関する最新リサーチ
                                                                                                                  • Data Brew ポッドキャスト
                                                                                                                    ご相談・お問い合わせ
                                                                                                                    • ポッドキャスト:Data+AI のチャンピオン
                                                                                                                      イノベーションを支えるデータリーダーのインサイト
                                                                                                                    • お役立ちリソース
                                                                                                                      • カスタマーサポート
                                                                                                                        • ドキュメント
                                                                                                                          • コミュニティ
                                                                                                                          • もっと詳しく
                                                                                                                            • リソースセンター
                                                                                                                              • デモセンター
                                                                                                                              • 企業概要
                                                                                                                                • Databricks について
                                                                                                                                  • 経営陣
                                                                                                                                    • Databricks Ventures
                                                                                                                                      • ご相談・お問い合わせ
                                                                                                                                      • 採用情報
                                                                                                                                        • 採用情報概要
                                                                                                                                          • 求人情報
                                                                                                                                          • プレス・ニュース記事
                                                                                                                                            • ニュースルーム
                                                                                                                                              • 受賞歴と業界評価
                                                                                                                                              • セキュリティと信頼
                                                                                                                                                • セキュリティと信頼
                                                                                                                                            • 是非ご検討ください!
                                                                                                                                            • デモを見る
                                                                                                                                            • ログイン
                                                                                                                                            • Databricks 無料トライアル
                                                                                                                                            1. ブログ
                                                                                                                                            2. /
                                                                                                                                              お知らせ
                                                                                                                                            3. /
                                                                                                                                              記事

                                                                                                                                            Lakehouse Federationの一般提供を開始

                                                                                                                                            データの場所を問わず、発見・クエリ・ガバナンスを一元化

                                                                                                                                            Lakehouse Federation

                                                                                                                                            Published: August 1, 2024

                                                                                                                                            お知らせ1分未満

                                                                                                                                            アンドリュー・リー、Ivan Mitic、ミラン・ステファノヴィッチ、Can Efeoglu、サチン・タクール、Amy Jiang、Alex Lee による投稿

                                                                                                                                            この投稿を共有する

                                                                                                                                            最新の投稿を通知します

                                                                                                                                            本日、Unity CatalogのLakehouse FederationがAWS、Azure、GCPで一般提供 (GA) されたことをお知らせします。Lakehouse Federationを使用すると、すべてのデータを一か所で発見、クエリ、管理することができます。このGAリリースにより、連携ワークロードに対する安定性、セキュリティ、エンタープライズ対応が強化されます。

                                                                                                                                            このブログ投稿では、Lakehouse FederationのGA機能について説明し、世界をリードする企業でのアジャイルな分析をどのように支えているかを探求し、次に何が来るのかを議論します。

                                                                                                                                            Lakehouse Federation入門

                                                                                                                                            世界中の組織は、規模や業界に関係なく、データとAIを活用して革新を推進しています。しかし、歴史的、組織的、技術的な理由から、データはしばしば複数の運用および分析システムに分散して残っています。この断片化はいくつかの課題を引き起こします:

                                                                                                                                            1. すべてのデータを発見し、アクセスするのが難しい
                                                                                                                                            2. エンジニアリングのボトルネックによる実行の遅延
                                                                                                                                            3. サイロ化されたシステム全体でのコンプライアンスの弱さ

                                                                                                                                            Lakehouse Federationはこれらの重要な問題点を解決し、組織が分散したデータシステムを彼らのレイクハウスの拡張として公開、クエリ、管理することを簡単にします。これらの新しい機能により、次のことが可能になります:

                                                                                                                                            1. データエステートの統一ビューを構築:構造化データと非構造化データをすべて 1 か所で自動的に分類および検出し、組織内のすべてのユーザーが、データがどこに保存されているかに関係なく、利用可能なすべてのデータに安全にアクセスして探索できるようにします。
                                                                                                                                            2. 単一のエンジンで全てのデータを効率的にクエリして結合:単一のエンジンで、最も完全なデータ (取り込み不要) に対して、すべてのデータ、分析、AI ユースケースにわたるアドホック分析とプロトタイピングを高速化します。ソース全体にわたる高度なクエリ プランニングとキャッシュにより、単一のクエリで複数のプラットフォームのデータにアクセスして結合する場合でも、最適なクエリ パフォーマンスが保証されます。
                                                                                                                                            3. データソース全体でデータを保護:一つの権限モデルを使用してアクセスルールを設定し、データソース全体でデータを保護します。行や列のレベルのセキュリティ、タグベースのポリシー、一元化された監査を一貫して適用し、データの使用状況を追跡し、組み込みのデータ系統と監査可能性でコンプライアンス要件を満たします。

                                                                                                                                            5,000以上のDatabricksの顧客がLakehouse Federationを活用してデータエステートを統一し、一貫したデータの発見とガバナンスを確保しています。

                                                                                                                                            レイクハウス連携

                                                                                                                                            「Lakehouse Federationを使用することで、私たちはUnity Catalogの下で複数のデータウェアハウスとデータベース全体のデータ資産を統合することができました。これにより、データの発見とアクセス管理が簡単になり、データの取り込みやアドホッククエリなど、さまざまなユースケースが可能になり、分析がこれまで以上に簡単になりました」 
                                                                                                                                            — テキサス・レンジャーズの研究部門助監督、Alexander Booth 氏

                                                                                                                                            一般提供

                                                                                                                                            MySQL、PostgreSQL、Amazon Redshift、Snowflake、Azure SQL Database、SQL Server、Azure Synapseコネクタの一般提供を発表できることを嬉しく思います。

                                                                                                                                            このリリースは、いくつかの領域で重要なマイルストーンを示しています:

                                                                                                                                            1. パフォーマンスの向上:このリリースにより、SQL Server、Postgres、MySQL、Snowflake、Redshift、およびSynapse接続にプッシュダウン(つまり、基礎となるデータベースに委任)できる式と演算子の範囲を大幅に拡大しました。これにより、ユーザーがクエリを変更することなく、クエリのレイテンシが短縮され、マテリアライズド ビュー (MV) の作成が高速化されます。
                                                                                                                                            2. 強化された安定性と観測性:ユーザーワークロードに影響を与えることなく、障害シナリオを処理できるように、連携とプッシュダウンフレームワークを更新しました。また、フェデレーション特有のメタデータと統計をサポートするために、クエリプロファイルを改良しました。これにより、管理者は監視と監査をより良い方法で行うことができます。
                                                                                                                                            3. 新しいセキュリティオプション:AzureエコシステムソースとSnowflakeから始めて、パスワードレス認証オプション、Azure SQL用のAzure AD/Entra IDサポート、Snowflake用のOAuthサポートを追加しています。今後数ヶ月間で、AWS/Googleエコシステムにも同様の機能を追加していきます。
                                                                                                                                            「Lakehouse Federationは、一元的なガバナンスでデータランドスケープを統合し、大幅な運用効率を向上させるのに役立ちました。データの洞察と品質がシームレスに統合され、私たちはクライアントに最高の洞察を提供し、広告投資からの価値を最大化することに集中できるようになりました」
                                                                                                                                            — Bob Wuisman 氏、Ebiquity plcのグローバルプロダクションヘッド

                                                                                                                                            次のステップ

                                                                                                                                            カタログ連携

                                                                                                                                            Hive Federation
                                                                                                                                            Catalog federation enables Unity Catalog features like column masks, AI comment and lineage on Hive metastore and Glue tables

                                                                                                                                            Lakehouse Federationを使用して、Hive Metastore(HMS)およびAWS Glueからデータを発見、管理、アクセスします。カタログ連携を使用すると、Unity Catalogに外部(または内部のDatabricks)HMSを外部カタログとして簡単にマウントできます。

                                                                                                                                            Databricks HMS(内部)のユーザーにとって、これはUnity Catalogを始めて、Unity Catalogが提供する統一されたガバナンス機能を利用する簡単で直接的な方法です。

                                                                                                                                            外部HMSとAWS Glueのユーザーにとって、Unity Catalogからワークフローを変更せずに外部メタストアデータにアクセスするための密接に統合された方法を提供します。

                                                                                                                                            カタログ連携は現在プライベートプレビュー中です。

                                                                                                                                            新しいコネクタ

                                                                                                                                            Lakehouse Federationのサポート対象データソースのリストを拡大することは、お客様がデータエステートを統一するための私たちのミッションで最優先事項のままです。私たちは、Google BigQuery、すべての主要なクラウドプロバイダーにわたるデータウェアハウス連携のサポートの完了、およびSalesforce Data Cloudコネクタがパブリックプレビューになったことを発表することを嬉しく思います。

                                                                                                                                            Lakehouse Federation接続
                                                                                                                                            New Salesforce Data Cloud, Google Bigquery and Hive Metastore connectors

                                                                                                                                            OracleとTeradataのコネクタは間もなくプレビューで利用可能になります。

                                                                                                                                            高スループットデータウェアハウス接続

                                                                                                                                            データウェアハウスに対するクエリ体験を高速化するために、大きなテーブルを保持する傾向があるデータウェアハウスに対して、高スループットのデータ転送を自動的に行う機能を追加しています。

                                                                                                                                            今後は、Amazon Redshift&Snowflakeコネクターから始めて、データウェアハウスからのテーブルを素早くクエリー&マテリアライズできるようになります。裏側では、Lakehouse Federationは、より高速/バルクなAPI(例えば、オブジェクトストレージまたはステージングロケーションへの並行オフロード)およびこれらの結果を並行して取得します(ドライバーのボトルネックなし)。全てはユーザーの介入なしで実行できます。

                                                                                                                                            Lakehouse Federationの共有

                                                                                                                                            Lakehouse Federationの共有

                                                                                                                                            最後に、Lakehouse Federationのデータ共有が大幅に簡単になる予定です。今後のDelta Sharingの統合により、顧客は受信者がDatabricksや基礎となるデータシステムにアクセスする必要なく、連携テーブルを外部に共有することができます。これにより、異なるシステム間で冗長なコピーが不要になり、データ共有が効率化されます。

                                                                                                                                            無料トライアル

                                                                                                                                            • ドキュメンテーション(AWS, Azure, GCP)を読んで、Lakehouse Federationを始めてください。
                                                                                                                                            • こちらをご覧ください:Data and AI Summit 2024のLakehouse Federationセッション Lakehouse Federationについて深く掘り下げます
                                                                                                                                            • 視聴 Databricksの共同創設者であり最高技術責任者のMatei Zaharia,がData+AI Summit 2023で基調講演を行い、Unity Catalogの最新の発表について詳しく説明します!

                                                                                                                                            最新の投稿を通知します

                                                                                                                                            関連記事

                                                                                                                                            この投稿を共有する

                                                                                                                                            Databricksの投稿を見逃さないようにしましょう

                                                                                                                                            興味のあるカテゴリを購読して、最新の投稿を受信トレイに届けましょう

                                                                                                                                            Sign up

                                                                                                                                            次は何ですか?

                                                                                                                                            Introducing Collations to Databricks

                                                                                                                                            製品

                                                                                                                                            January 10, 2025/2分で読めます

                                                                                                                                            Databricksにコレーション機能が登場!

                                                                                                                                            DeepSeek R1 on Databricks

                                                                                                                                            お知らせ

                                                                                                                                            January 31, 2025/1分未満

                                                                                                                                            DeepSeek R1 on Databricks

                                                                                                                                            databricks logo
                                                                                                                                            Databricks を選ぶ理由
                                                                                                                                            Databricks を選ぶ理由
                                                                                                                                            • エグゼクティブ向け
                                                                                                                                            • スタートアップ向け
                                                                                                                                            • レイクハウスアーキテクチャ
                                                                                                                                            • Mosaic Research
                                                                                                                                            導入事例
                                                                                                                                            • 全て見る
                                                                                                                                            • 注目の導入事例
                                                                                                                                            パートナー
                                                                                                                                            • クラウドプロバイダ
                                                                                                                                            • 技術パートナー
                                                                                                                                            • データパートナー
                                                                                                                                            • Databricks で構築
                                                                                                                                            • コンサルティング・SI
                                                                                                                                            • C&SI パートナー
                                                                                                                                            • パートナーソリューション
                                                                                                                                            Databricks を選ぶ理由
                                                                                                                                            • エグゼクティブ向け
                                                                                                                                            • スタートアップ向け
                                                                                                                                            • レイクハウスアーキテクチャ
                                                                                                                                            • Mosaic Research
                                                                                                                                            導入事例
                                                                                                                                            • 全て見る
                                                                                                                                            • 注目の導入事例
                                                                                                                                            パートナー
                                                                                                                                            • クラウドプロバイダ
                                                                                                                                            • 技術パートナー
                                                                                                                                            • データパートナー
                                                                                                                                            • Databricks で構築
                                                                                                                                            • コンサルティング・SI
                                                                                                                                            • C&SI パートナー
                                                                                                                                            • パートナーソリューション
                                                                                                                                            製品
                                                                                                                                            レイクハウスプラットフォーム
                                                                                                                                            • プラットフォーム
                                                                                                                                            • 共有
                                                                                                                                            • データガバナンス
                                                                                                                                            • 人工知能(AI)
                                                                                                                                            • DBRX
                                                                                                                                            • データ管理
                                                                                                                                            • データウェアハウス
                                                                                                                                            • データストリーミング
                                                                                                                                            • データエンジニアリング
                                                                                                                                            • データサイエンス
                                                                                                                                            ご利用料金
                                                                                                                                            • 料金設定の概要
                                                                                                                                            • 料金計算ツール
                                                                                                                                            オープンソース
                                                                                                                                            統合とデータ
                                                                                                                                            • マーケットプレイス
                                                                                                                                            • IDE 統合
                                                                                                                                            • パートナーコネクト
                                                                                                                                            レイクハウスプラットフォーム
                                                                                                                                            • プラットフォーム
                                                                                                                                            • 共有
                                                                                                                                            • データガバナンス
                                                                                                                                            • 人工知能(AI)
                                                                                                                                            • DBRX
                                                                                                                                            • データ管理
                                                                                                                                            • データウェアハウス
                                                                                                                                            • データストリーミング
                                                                                                                                            • データエンジニアリング
                                                                                                                                            • データサイエンス
                                                                                                                                            ご利用料金
                                                                                                                                            • 料金設定の概要
                                                                                                                                            • 料金計算ツール
                                                                                                                                            統合とデータ
                                                                                                                                            • マーケットプレイス
                                                                                                                                            • IDE 統合
                                                                                                                                            • パートナーコネクト
                                                                                                                                            ソリューション
                                                                                                                                            業種別
                                                                                                                                            • 通信
                                                                                                                                            • 金融サービス
                                                                                                                                            • 医療・ライフサイエンス
                                                                                                                                            • 製造
                                                                                                                                            • メディア・エンタメ
                                                                                                                                            • 官公庁・公共機関
                                                                                                                                            • リテール・消費財
                                                                                                                                            • 全て表示
                                                                                                                                            クロスインダストリーソリューション
                                                                                                                                            • サイバーセキュリティ
                                                                                                                                            • マーケティング
                                                                                                                                            データの移行
                                                                                                                                            プロフェッショナルサービス
                                                                                                                                            ソリューションアクセラレータ
                                                                                                                                            業種別
                                                                                                                                            • 通信
                                                                                                                                            • 金融サービス
                                                                                                                                            • 医療・ライフサイエンス
                                                                                                                                            • 製造
                                                                                                                                            • メディア・エンタメ
                                                                                                                                            • 官公庁・公共機関
                                                                                                                                            • リテール・消費財
                                                                                                                                            • 全て表示
                                                                                                                                            クロスインダストリーソリューション
                                                                                                                                            • サイバーセキュリティ
                                                                                                                                            • マーケティング
                                                                                                                                            リソース
                                                                                                                                            ドキュメント
                                                                                                                                            カスタマーサポート
                                                                                                                                            コミュニティ
                                                                                                                                            トレーニング・認定試験
                                                                                                                                            • トレーニング概要
                                                                                                                                            • トレーニング
                                                                                                                                            • 認定
                                                                                                                                            • 大学との連携
                                                                                                                                            • Databricks アカデミー
                                                                                                                                            イベント
                                                                                                                                            • DATA+AI サミット
                                                                                                                                            • Data+AI ワールドツアー
                                                                                                                                            • Data Intelligence Days
                                                                                                                                            • イベントカレンダー
                                                                                                                                            ブログ・ポッドキャスト
                                                                                                                                            • Databricks ブログ
                                                                                                                                            • Databricks Mosaic AIリサーチブログ
                                                                                                                                            • Data Brew ポッドキャスト
                                                                                                                                            • Data+AI のチャンピオンシリーズ
                                                                                                                                            トレーニング・認定試験
                                                                                                                                            • トレーニング概要
                                                                                                                                            • トレーニング
                                                                                                                                            • 認定
                                                                                                                                            • 大学との連携
                                                                                                                                            • Databricks アカデミー
                                                                                                                                            イベント
                                                                                                                                            • DATA+AI サミット
                                                                                                                                            • Data+AI ワールドツアー
                                                                                                                                            • Data Intelligence Days
                                                                                                                                            • イベントカレンダー
                                                                                                                                            ブログ・ポッドキャスト
                                                                                                                                            • Databricks ブログ
                                                                                                                                            • Databricks Mosaic AIリサーチブログ
                                                                                                                                            • Data Brew ポッドキャスト
                                                                                                                                            • Data+AI のチャンピオンシリーズ
                                                                                                                                            企業情報
                                                                                                                                            企業概要
                                                                                                                                            • Databricks について
                                                                                                                                            • 経営陣
                                                                                                                                            • Databricks Ventures
                                                                                                                                            • ご相談・お問い合わせ
                                                                                                                                            採用情報
                                                                                                                                            • 採用情報概要
                                                                                                                                            • 求人情報
                                                                                                                                            プレス・ニュース記事
                                                                                                                                            • ニュースルーム
                                                                                                                                            • 受賞歴と業界評価
                                                                                                                                            セキュリティと信頼
                                                                                                                                            企業概要
                                                                                                                                            • Databricks について
                                                                                                                                            • 経営陣
                                                                                                                                            • Databricks Ventures
                                                                                                                                            • ご相談・お問い合わせ
                                                                                                                                            採用情報
                                                                                                                                            • 採用情報概要
                                                                                                                                            • 求人情報
                                                                                                                                            プレス・ニュース記事
                                                                                                                                            • ニュースルーム
                                                                                                                                            • 受賞歴と業界評価
                                                                                                                                            databricks logo

                                                                                                                                            Databricks Inc.
                                                                                                                                            160 Spear Street, 15th Floor
                                                                                                                                            San Francisco, CA 94105
                                                                                                                                            1-866-330-0121

                                                                                                                                            採用情報

                                                                                                                                            © Databricks 2025. All rights reserved. Apache, Apache Spark, Spark and the Spark logo are trademarks of the Apache Software Foundation.

                                                                                                                                            • プライバシー通知
                                                                                                                                            • |利用規約
                                                                                                                                            • |現代奴隷法に関する声明
                                                                                                                                            • |カリフォルニア州のプライバシー権利
                                                                                                                                            • |プライバシー設定