メインコンテンツへジャンプ
ログイン
      • Databricks を知る
        • エグゼクティブ向け
          • スタートアップ向け
            • レイクハウスアーキテクチャ
              • Mosaic Research
              • 導入事例
                • 注目の導入事例
                  • 導入事例一覧へ
                  • パートナー
                    • クラウドプロバイダ
                      Databricks on AWS、Azure、GCP
                      • コンサルティング・SI
                        Databricks の構築・デプロイ、Databricks への移行のエキスパート
                        • 技術パートナー
                          既存のツールをレイクハウスに接続
                          • C&SI パートナー
                            レイクハウスの構築・デプロイメント、レイクハウスへの移行
                            • データパートナー
                              データコンシューマーのエコシステムにアクセス
                              • パートナーソリューション
                                業界・移行のニーズに応じたカスタムソリューション
                                • Databricks で構築
                                  ビジネスの創造・マーケティング・成長
                                • Databricks プラットフォーム
                                  • プラットフォームの概要
                                    データ・分析・AI のための統合プラットフォーム
                                    • データ管理
                                      データの信頼性・セキュリティ・パフォーマンス
                                      • 共有
                                        オープン、セキュア、ゼロコピーでのデータ共有
                                        • データウェアハウジング
                                          バッチ、ストリーミングデータのための ETL とオーケストレーション
                                          • ガバナンス
                                            データ・分析・AI のための統合ガバナンス
                                            • リアルタイム分析
                                              リアルタイム分析、AI、アプリケーションをシンプルに
                                              • 人工知能(AI)
                                                ML と生成 AI アプリケーションの構築とデプロイメント
                                                • データエンジニアリング
                                                  バッチ、ストリーミングデータのための ETL とオーケストレーション
                                                  • BI
                                                    実世界データのインテリジェント分析
                                                    • データサイエンス
                                                      データサイエンスの大規模な連携
                                                    • 統合とデータ
                                                      • マーケットプレイス
                                                        データ、分析、AI のためのオープンマーケットプレイス
                                                        • IDE 統合
                                                          お気に入りの IDE(統合開発環境)でレイクハウスを構築
                                                          • パートナーコネクト
                                                            Databricks エコシステムの検索と統合
                                                          • ご利用料金
                                                            • Databricks のご利用料金
                                                              料金設定、DBU、その他
                                                              • コスト計算ツール
                                                                クラウド利用でのコンピュートコストの試算
                                                              • オープンソース
                                                                • オープンソーステクノロジー
                                                                  プラットフォームを支えるイノベーションをもっと詳しく
                                                                • 業界向け Databricks
                                                                  • 通信
                                                                    • メディア・エンターテイメント
                                                                      • 金融サービス
                                                                        • 官公庁・公共機関
                                                                          • 医療・ライフサイエンス
                                                                            • リテール・消費財
                                                                              • 製造
                                                                                • 全て見る
                                                                                • クロスインダストリーソリューション
                                                                                  • サイバーセキュリティ
                                                                                    • マーケティング
                                                                                    • 移行・デプロイメント
                                                                                      • データの移行
                                                                                        • プロフェッショナルサービス
                                                                                        • ソリューションアクセラレータ
                                                                                          • ソリューションアクセラレータ一覧
                                                                                            成果を加速
                                                                                          • トレーニング・認定試験
                                                                                            • 学習の概要
                                                                                              トレーニング、認定、イベントなどのハブ
                                                                                              • トレーニング概要
                                                                                                ニーズに合わせたカリキュラムを探す
                                                                                                • Databricks アカデミー
                                                                                                  Databricks ラーニングプラットフォームにサインインする
                                                                                                  • 認定
                                                                                                    スキル・認定で差別化を図る
                                                                                                    • 大学との連携
                                                                                                      Databricks を教材として活用
                                                                                                    • イベント
                                                                                                      • DATA+AI サミット
                                                                                                        • Data+AI ワールドツアー
                                                                                                          • Data Intelligence Days
                                                                                                            • イベントカレンダー
                                                                                                            • ブログ・ポッドキャスト
                                                                                                              • Databricks ブログ
                                                                                                                最新情報、製品発表、その他の情報
                                                                                                                • Databricks Mosaic AIリサーチブログ
                                                                                                                  AI世代に関する最新リサーチ
                                                                                                                  • Data Brew ポッドキャスト
                                                                                                                    ご相談・お問い合わせ
                                                                                                                    • ポッドキャスト:Data+AI のチャンピオン
                                                                                                                      イノベーションを支えるデータリーダーのインサイト
                                                                                                                    • お役立ちリソース
                                                                                                                      • カスタマーサポート
                                                                                                                        • ドキュメント
                                                                                                                          • コミュニティ
                                                                                                                          • もっと詳しく
                                                                                                                            • リソースセンター
                                                                                                                              • デモセンター
                                                                                                                              • 企業概要
                                                                                                                                • Databricks について
                                                                                                                                  • 経営陣
                                                                                                                                    • Databricks Ventures
                                                                                                                                      • ご相談・お問い合わせ
                                                                                                                                      • 採用情報
                                                                                                                                        • 採用情報概要
                                                                                                                                          • 求人情報
                                                                                                                                          • プレス・ニュース記事
                                                                                                                                            • ニュースルーム
                                                                                                                                              • 受賞歴と業界評価
                                                                                                                                              • セキュリティと信頼
                                                                                                                                                • セキュリティと信頼
                                                                                                                                            • 是非ご検討ください!
                                                                                                                                            • デモを見る
                                                                                                                                            • ログイン
                                                                                                                                            • Databricks 無料トライアル
                                                                                                                                            1. ブログ
                                                                                                                                            2. /
                                                                                                                                              お知らせ
                                                                                                                                            3. /
                                                                                                                                              記事

                                                                                                                                            リキッドクラスタリングの一般提供開始のお知らせ

                                                                                                                                            データに合わせて拡張できる、すぐに使用できる自己調整型データレイアウト

                                                                                                                                            Announcing General Availability of Liquid Clustering

                                                                                                                                            Published: May 22, 2024

                                                                                                                                            お知らせ1分未満

                                                                                                                                            シンディ・ジャン、テリー・キム による投稿

                                                                                                                                            この投稿を共有する

                                                                                                                                            最新の投稿を通知します

                                                                                                                                            Databricks データインテリジェンスプラットフォームで Delta Lake リキッドクラスタリングが一般提供されることをお知らせします。リキッドクラスタリングは、テーブル パーティショニングと ZORDER に代わる革新的なデータ管理手法であり、データ レイアウトを微調整することなく、最適なクエリ パフォーマンスを実現できます。

                                                                                                                                             

                                                                                                                                            リキッドクラスタリングは、データ レイアウト関連の決定を大幅に簡素化し、データを書き換えずにクラスタリング キーを再定義する柔軟性を提供します。これにより、時間の経過とともに分析ニーズに合わせてデータ レイアウトを進化させることができます。これは、 Delta のパーティション分割では決して実現できないことです。

                                                                                                                                             

                                                                                                                                            昨年の Data and AI Summit でリキッドクラスタリングのパブリック プレビューが公開されて以来、リキッドクラスタリングによるクエリ パフォーマンスの向上の恩恵を受けた何百人ものお客様と協力してきました。その間、1000人以上のアクティブな顧客がおり、リキッドクラスタリングが適用されたテーブルに 100ペタバイト以上の書き込み、20 エクサバイト近い読み取りが行われました。お客様は、リキッドクラスタリングによって従来の方法に比べて読み取りパフォーマンスが 2 ~ 12 倍向上したことを実感しています。

                                                                                                                                            従来のアプローチ:管理が困難で、柔軟性が低く、すべてに適用可能な戦略がない

                                                                                                                                            従来、お客様は、読み取りクエリを高速化し、並列の書き込みを有効にするために、Hive スタイルのパーティショニングとZORDERの組み合わせを採用していました。これにはいくつかの問題があります。

                                                                                                                                            課題1:最適なパフォーマンスを得るための適切なパーティション分割戦略を見つけることが難しい

                                                                                                                                            パーティション分割列の選択は複雑なプロセスです。 また、パーティション列の選択が適切でない場合、ファイル サイズが大きすぎたり小さすぎたりするため、読み取り速度が遅くなり、クエリのパフォーマンスが低下します。 これに対処するために、多くの顧客は、生成された列を使用して高カーディナリティ列でパーティション分割するなど、さらに複雑な回避策に頼っています。

                                                                                                                                            課題2:ZORDER ジョブはコストがかかり、書き込み時間が長くなる

                                                                                                                                            ZORDER では、パーティション分割のみの場合よりも読み取りが高速になりますが、増分ではなく、書き込み時に実行できないため、書き込みの増幅が大幅に発生します。 その結果、クラスタリングジョブの実行時間が長くなり、コンピュートコストも高くなります。 さらに悪いことに、ZORDER はデータセット全体にわたってデータをグローバルに最適化しないため、最適なクエリ パフォーマンスが得られません。

                                                                                                                                            課題3:パーティション分割戦略は、テーブルへの同時書き込みの必要性によって制限される

                                                                                                                                            競合を防ぐために、パーティションは、必ずしもパーティション分割を必要としない列を中心に構成されます。 これにより、継続的なメンテナンスが行われ、ビジネスの変化に伴うクエリ パターンの進化に合わせてデータの書き換えでパーティションが調整されます。 さらに、同じパーティション内での同時書き込みは不可能です。

                                                                                                                                            リキッドクラスタリングのご紹介 – クエリパフォーマンスを最大 12 倍向上させる、すぐに使える自己チューニング機能

                                                                                                                                            リキッドクラスタリングは、適切なデータ レイアウトを見つけ出してこれらすべての課題を解決する画期的な手法であり、手動で調整されたパーティション テーブルへの書き込みと読み取りのパフォーマンスが向上します。Liquid はDelta Lakeで利用でき、DBR 15.2 から Databricks でも一般利用できるようになりました。Databricks 内では、 Databricks データインテリジェンスプラットフォームの一部として、DatabricksIQ が AI を使用してリキッドクラスタリングを強化し、同時実行性とパフォーマンスをさらに向上させます。

                                                                                                                                            リキッドクラスタリングの使い方は簡単です。クラスター化する列を次のように定義するだけです。

                                                                                                                                            利点1:Liquid リキッドクラスタリングはシンプル - 最小限のデータレイアウト決定で最適なクラスタリング パフォーマンスを実現

                                                                                                                                             

                                                                                                                                            Hiveパーティショニングとは異なり、リキッドクラスタリングのパーティショニング キーは、カーディナリティ、キーの順序、ファイル サイズ、潜在的なデータ スキュー、およびアクセス パターンが将来どのように変化するかを考慮する必要はなく、クエリ アクセス パターンのみに基づいて選択できます。上記の例では、高カーディナリティ列のタイムスタンプをパーティショニング キーとして使用しています。リキッドクラスタリングは自己調整機能があり、スキュー耐性があり、一貫したファイル サイズを生成し、パーティショニングの過剰と不足を回避します。

                                                                                                                                            Databricks の革新的なリキッドクラスタリングを使用することで、従来の ZORDER 方式と比較してクエリ パフォーマンスが大幅に向上しました。さらに、リキッドクラスタリングが適用されたテーブルにより、パーティション分割のボトルネックが解消され、スキャンが改善され、データの偏りが軽減され、データ処理が効率化されました。 -- YipitData ETLエンジニアリング ディレクター、Edward Goo 氏

                                                                                                                                            利点2:リキッドクラスター化されたテーブルへの書き込みが高速 - 最適化されたデータ レイアウトによりコストが削減される

                                                                                                                                            リキッドクラスタリングは、書き込み増幅率が低いコスト効率の高い増分クラスタリングを提供します。業界標準のデータウェアハウジング パラメータからデータを段階的に取り込み、クラスター化した社内ベンチマークでは、 リキッドクラスタリングはパーティショニング + Zorder よりも 7 倍高速な書き込み時間を実現することがわかりました。

                                                                                                                                             

                                                                                                                                             

                                                                                                                                            さらに、 DatabricksIQを使用すると、取り込み中の新しいデータに対して書き込み時にリキッドクラスタリング (クラスタリングオンライト) を適用できます。クラスタリングオンライトは、追加の構成なしで自動的に起動します。パーティショニングと同様に、Liquid リキッドクラスタリングは書き込み時にデータがすぐに適切にクラスター化されることを保証し、顧客がすぐに使用できるパフォーマンスの高いデータ レイアウトを作成します。

                                                                                                                                            メリット3:同時実行の保証 – DatabricksIQ がリキッドクラスタリングによるレコードレベルの同時実行サポートを提供 

                                                                                                                                            Databricks は、行レベルの同時実行性を提供する唯一のレイクハウスです。 顧客は、同時実行性のためにパーティション分割に依存したり、リキッドクラスター化テーブルでの競合を回避するようにワークロードを設計したりする必要がなくなりました。

                                                                                                                                             

                                                                                                                                            これらすべての利点により、顧客はパフォーマンスを絞り出すためだけにデータ レイアウトを微調整する必要がなくなりました。大手製造企業では、リキッドクラスタリングによってポイント クエリが 12 倍高速化され、時系列データ内の ID を検索するユースケースが加速しました。

                                                                                                                                             

                                                                                                                                             

                                                                                                                                            Delta Lake リキッドクラスタリングにより、時系列クエリが最大 10 倍改善され、レイクハウスへの実装が驚くほど簡単になりました。これにより、カーディナリティやファイル サイズを気にせずに列をクラスター化できるようになり、読み取る必要のあるデータの量が大幅に削減されます。これは、 DeltaパーティショニングとZ-Orderファインチューニングを使用して常に自分で管理しなければならなかったことです。   -- Shell 社 チーフデジタルテクノロジーアドバイザー Bryce Bartmann 氏

                                                                                                                                             

                                                                                                                                            さらに、多くの顧客が、この機能のシンプルさ、柔軟性、すぐに使えるパフォーマンスを高く評価しています。

                                                                                                                                            リキッドクラスタリングにより、研究者が複雑なデータセットから特定の傾向やイベントを調査する能力が大幅に向上しました。この機能が成長し、 Deltaエコシステムの主要機能として採用されるのを楽しみにしています。   -- Cisco、ビッグデータ担当リーダー、Robert Batts 氏

                                                                                                                                            無料トライアル

                                                                                                                                            Delta テーブルでリキッドクラスタリングを数秒で有効にできます。リキッドクラスタリングは DBR 15.2 で GA 化されました。 (ドキュメント: AWS | Azure | GCP )。 Databricks以外でリキッドクラスタリングを使用する場合は、 delta.ioのドキュメントを参照してください。

                                                                                                                                             

                                                                                                                                            最新の投稿を通知します

                                                                                                                                            関連記事

                                                                                                                                            この投稿を共有する

                                                                                                                                            Databricksの投稿を見逃さないようにしましょう

                                                                                                                                            興味のあるカテゴリを購読して、最新の投稿を受信トレイに届けましょう

                                                                                                                                            Sign up

                                                                                                                                            次は何ですか?

                                                                                                                                            Introducing Collations to Databricks

                                                                                                                                            製品

                                                                                                                                            January 10, 2025/2分で読めます

                                                                                                                                            Databricksにコレーション機能が登場!

                                                                                                                                            DeepSeek R1 on Databricks

                                                                                                                                            お知らせ

                                                                                                                                            January 31, 2025/1分未満

                                                                                                                                            DeepSeek R1 on Databricks

                                                                                                                                            databricks logo
                                                                                                                                            Databricks を選ぶ理由
                                                                                                                                            Databricks を選ぶ理由
                                                                                                                                            • エグゼクティブ向け
                                                                                                                                            • スタートアップ向け
                                                                                                                                            • レイクハウスアーキテクチャ
                                                                                                                                            • Mosaic Research
                                                                                                                                            導入事例
                                                                                                                                            • 全て見る
                                                                                                                                            • 注目の導入事例
                                                                                                                                            パートナー
                                                                                                                                            • クラウドプロバイダ
                                                                                                                                            • 技術パートナー
                                                                                                                                            • データパートナー
                                                                                                                                            • Databricks で構築
                                                                                                                                            • コンサルティング・SI
                                                                                                                                            • C&SI パートナー
                                                                                                                                            • パートナーソリューション
                                                                                                                                            Databricks を選ぶ理由
                                                                                                                                            • エグゼクティブ向け
                                                                                                                                            • スタートアップ向け
                                                                                                                                            • レイクハウスアーキテクチャ
                                                                                                                                            • Mosaic Research
                                                                                                                                            導入事例
                                                                                                                                            • 全て見る
                                                                                                                                            • 注目の導入事例
                                                                                                                                            パートナー
                                                                                                                                            • クラウドプロバイダ
                                                                                                                                            • 技術パートナー
                                                                                                                                            • データパートナー
                                                                                                                                            • Databricks で構築
                                                                                                                                            • コンサルティング・SI
                                                                                                                                            • C&SI パートナー
                                                                                                                                            • パートナーソリューション
                                                                                                                                            製品
                                                                                                                                            レイクハウスプラットフォーム
                                                                                                                                            • プラットフォーム
                                                                                                                                            • 共有
                                                                                                                                            • データガバナンス
                                                                                                                                            • 人工知能(AI)
                                                                                                                                            • DBRX
                                                                                                                                            • データ管理
                                                                                                                                            • データウェアハウス
                                                                                                                                            • データストリーミング
                                                                                                                                            • データエンジニアリング
                                                                                                                                            • データサイエンス
                                                                                                                                            ご利用料金
                                                                                                                                            • 料金設定の概要
                                                                                                                                            • 料金計算ツール
                                                                                                                                            オープンソース
                                                                                                                                            統合とデータ
                                                                                                                                            • マーケットプレイス
                                                                                                                                            • IDE 統合
                                                                                                                                            • パートナーコネクト
                                                                                                                                            レイクハウスプラットフォーム
                                                                                                                                            • プラットフォーム
                                                                                                                                            • 共有
                                                                                                                                            • データガバナンス
                                                                                                                                            • 人工知能(AI)
                                                                                                                                            • DBRX
                                                                                                                                            • データ管理
                                                                                                                                            • データウェアハウス
                                                                                                                                            • データストリーミング
                                                                                                                                            • データエンジニアリング
                                                                                                                                            • データサイエンス
                                                                                                                                            ご利用料金
                                                                                                                                            • 料金設定の概要
                                                                                                                                            • 料金計算ツール
                                                                                                                                            統合とデータ
                                                                                                                                            • マーケットプレイス
                                                                                                                                            • IDE 統合
                                                                                                                                            • パートナーコネクト
                                                                                                                                            ソリューション
                                                                                                                                            業種別
                                                                                                                                            • 通信
                                                                                                                                            • 金融サービス
                                                                                                                                            • 医療・ライフサイエンス
                                                                                                                                            • 製造
                                                                                                                                            • メディア・エンタメ
                                                                                                                                            • 官公庁・公共機関
                                                                                                                                            • リテール・消費財
                                                                                                                                            • 全て表示
                                                                                                                                            クロスインダストリーソリューション
                                                                                                                                            • サイバーセキュリティ
                                                                                                                                            • マーケティング
                                                                                                                                            データの移行
                                                                                                                                            プロフェッショナルサービス
                                                                                                                                            ソリューションアクセラレータ
                                                                                                                                            業種別
                                                                                                                                            • 通信
                                                                                                                                            • 金融サービス
                                                                                                                                            • 医療・ライフサイエンス
                                                                                                                                            • 製造
                                                                                                                                            • メディア・エンタメ
                                                                                                                                            • 官公庁・公共機関
                                                                                                                                            • リテール・消費財
                                                                                                                                            • 全て表示
                                                                                                                                            クロスインダストリーソリューション
                                                                                                                                            • サイバーセキュリティ
                                                                                                                                            • マーケティング
                                                                                                                                            リソース
                                                                                                                                            ドキュメント
                                                                                                                                            カスタマーサポート
                                                                                                                                            コミュニティ
                                                                                                                                            トレーニング・認定試験
                                                                                                                                            • トレーニング概要
                                                                                                                                            • トレーニング
                                                                                                                                            • 認定
                                                                                                                                            • 大学との連携
                                                                                                                                            • Databricks アカデミー
                                                                                                                                            イベント
                                                                                                                                            • DATA+AI サミット
                                                                                                                                            • Data+AI ワールドツアー
                                                                                                                                            • Data Intelligence Days
                                                                                                                                            • イベントカレンダー
                                                                                                                                            ブログ・ポッドキャスト
                                                                                                                                            • Databricks ブログ
                                                                                                                                            • Databricks Mosaic AIリサーチブログ
                                                                                                                                            • Data Brew ポッドキャスト
                                                                                                                                            • Data+AI のチャンピオンシリーズ
                                                                                                                                            トレーニング・認定試験
                                                                                                                                            • トレーニング概要
                                                                                                                                            • トレーニング
                                                                                                                                            • 認定
                                                                                                                                            • 大学との連携
                                                                                                                                            • Databricks アカデミー
                                                                                                                                            イベント
                                                                                                                                            • DATA+AI サミット
                                                                                                                                            • Data+AI ワールドツアー
                                                                                                                                            • Data Intelligence Days
                                                                                                                                            • イベントカレンダー
                                                                                                                                            ブログ・ポッドキャスト
                                                                                                                                            • Databricks ブログ
                                                                                                                                            • Databricks Mosaic AIリサーチブログ
                                                                                                                                            • Data Brew ポッドキャスト
                                                                                                                                            • Data+AI のチャンピオンシリーズ
                                                                                                                                            企業情報
                                                                                                                                            企業概要
                                                                                                                                            • Databricks について
                                                                                                                                            • 経営陣
                                                                                                                                            • Databricks Ventures
                                                                                                                                            • ご相談・お問い合わせ
                                                                                                                                            採用情報
                                                                                                                                            • 採用情報概要
                                                                                                                                            • 求人情報
                                                                                                                                            プレス・ニュース記事
                                                                                                                                            • ニュースルーム
                                                                                                                                            • 受賞歴と業界評価
                                                                                                                                            セキュリティと信頼
                                                                                                                                            企業概要
                                                                                                                                            • Databricks について
                                                                                                                                            • 経営陣
                                                                                                                                            • Databricks Ventures
                                                                                                                                            • ご相談・お問い合わせ
                                                                                                                                            採用情報
                                                                                                                                            • 採用情報概要
                                                                                                                                            • 求人情報
                                                                                                                                            プレス・ニュース記事
                                                                                                                                            • ニュースルーム
                                                                                                                                            • 受賞歴と業界評価
                                                                                                                                            databricks logo

                                                                                                                                            Databricks Inc.
                                                                                                                                            160 Spear Street, 15th Floor
                                                                                                                                            San Francisco, CA 94105
                                                                                                                                            1-866-330-0121

                                                                                                                                            採用情報

                                                                                                                                            © Databricks 2025. All rights reserved. Apache, Apache Spark, Spark and the Spark logo are trademarks of the Apache Software Foundation.

                                                                                                                                            • プライバシー通知
                                                                                                                                            • |利用規約
                                                                                                                                            • |現代奴隷法に関する声明
                                                                                                                                            • |カリフォルニア州のプライバシー権利
                                                                                                                                            • |プライバシー設定