データエンジニアリングの進化：サーバーレスコンピューティングがノートブック、Lakeflowジョブ、およびSparkの宣言型パイプラインをどのように変革しているか

データエンジニアリングは転換期を迎えています。企業がビジネス上の意思決定を AI や機械学習にますます依存するようになるにつれて、コンピューティングインフラストラクチャの管理の複雑さが重大なボトルネックとなっています。Databricks のサーバーレスコンピューティングの進化により、チームは Databricks Runtime (DBR) バージョンのアップグレード、クラスター設定の管理、インフラストラクチャの問題のトラブルシューティングなどのルーチンタスクにかかる時間を最大 20% 節約できます。本日、Databricks サーバーレスコンピューティングの最近の機能リリースと、Notebooks、Lakeflow Jobs、および Spark Declarative Pipelines (SDP、旧称 DLT) に比類のないシンプルさ、パフォーマンス、および信頼性を提供することで、パラダイムをどのように根本的に変革したかをご紹介します。たとえば、サーバーレスコンピューティングは、パフォーマンス最適化ワークロードと比較して、Standard パフォーマンスで 70% のコスト削減、Spark 以外のワークロードで 50% 以上のコスト削減を実現します。さらに、パフォーマンス最適化ワークロードは数秒で起動し、通常は2 倍の速さで実行されます。バージョンレスでは、昨年、99.998% という驚異的な成功率で、45 億件以上のワークロードにわたって 25 件の DBR アップグレードを実行しました。

インフラストラクチャ管理の課題は現実のもの

すべてのデータエンジニアリングプラットフォームは、従来の Apache Spark クラスターを維持するために、次のような幅広い運用責任を処理する必要があります。

• ネットワークは、VPC、ゲートウェイ、IP アドレス範囲、およびプライベートエンドポイントを使用して設定する必要があります。
• セキュリティとコンプライアンスでは、脆弱性管理、暗号化、およびデータ流出に対する保護に細心の注意を払う必要があります。
• インスタンスのサイジング、使用率、インスタンスプール、Delta Lake の最適化など、効率に関する考慮事項は、堅牢なデータ環境を運用するために不可欠です。
• 最新のパフォーマンス改善を含む最新のランタイムを維持することも、プラットフォーム運用におけるもう 1 つの重要な側面です。年間 2 回の長期サポート DBR リリースにより、チームが安定性、パフォーマンス、およびワークロードとの互換性を確保するために、アップグレードを慎重に評価するのが一般的です。

サーバーレスコンピューティングは、異なる運用モデルを提供します。ネットワークと IP 範囲、セキュリティ強化、ライフサイクル管理、ランタイムアップグレードなどの基本的なタスクはすべて、自動的に処理され、継続的に最適化されます。これにより、チームは最新の最適化をより早く採用し、インフラストラクチャの管理ではなく、データ製品の構築とビジネス価値の提供により多くの時間を費やすことができます。

サーバーレスコンピューティング: シンプル、高性能、メンテナンスフリー

Databricks サーバーレスコンピューティングは、Databricks によって管理されるハンズオフで自動最適化されたコンピューティングであり、次の 3 つのコア原則を通じてこれらの課題に対処します。

• シンプル: ワークロードを高速 (パフォーマンス最適化モード) で実行するか、コスト効率よく (標準モード) で実行するかを選択するだけです。Databricks は、選択された目標を達成するために、常に自動的に微調整を行います。ノブ、インスタンスタイプ、またはスケールファクターの選択は必要ありません。
• 高性能: Databricks の最適化されたインフラストラクチャと新しいオートスケーラーに支えられたサーバーレスコンピューティングは、数秒で起動し、キャッシュから依存ライブラリを数秒でロードし、通常は従来のクラスターの 2 倍の速さで実行されます。
• メンテナンスフリー: Databricks サーバーレスは、コンピューティングを水平方向および垂直方向に自動的にスケーリングして、メモリ不足の問題を防ぎ、クラウドの停止から保護し、利用可能なインスタンスタイプにフェイルオーバーするため、高度なフォールトトレランスが得られます。また、バージョンレスであり、完全に下位互換性を維持しながら、最新のパフォーマンス改善に自動的にアップグレードします。

サーバーレスはシンプル

すぐに使えるパフォーマンスと効率

Notebooks、Spark Declarative Pipelines、および Lakeflow Jobs 用のサーバーレスコンピューティングを使用すると、Databricks はワークロードに適したインフラストラクチャを自動的に選択し、過去のワークロード情報に基づいて継続的に最適化します。したがって、ユーザーは特定のインスタンスタイプ、オートスケーラー設定、または Photon などの最適化を選択する必要がなくなりました。当社の AI は、どのインフラストラクチャと設定がワークロードに最も役立つかを自動的に検出し、それらを自動的に有効にします。たとえば、Photon は、特定のワークロードが Photon アクセラレーションの恩恵を受ける場合にのみ使用されます。

Apache Spark を必要としないワークロードの場合、当社の自動インフラストラクチャ選択により、Apache Spark が不要な場合は、より小さな VM がその場でプロビジョニングされます。このアプローチにより、実際に必要なリソースのみを使用することで、従来のクラスターと比較して 50% 以上のコスト削減と 33% 以上の高速起動を実現できます。

Lakeflow Jobs および Spark Declarative Pipelines のパフォーマンスモードの導入は、Databricks が何を最適化すべきかをユーザーが表現できるため、コンピューティングの最適化における大きな進歩を表しています。パフォーマンス最適化モードは数秒で起動し、通常は従来のクラスターの2 倍の速さで実行されます。このモードでは、マシンのウォームプールとアグレッシブなリソーススケーリングを利用して処理時間を最小限に抑え、インタラクティブで時間的制約のあるワークロードに最適です。

7 月から一般提供されている標準モードは、異なるアプローチを採用しています。純粋な速度ではなくコスト効率を最適化することで、競争力のあるパフォーマンスを維持しながら、パフォーマンス最適化モードと比較して最大 70% のコスト削減を実現します。このモードは、4 ～ 6 分の起動レイテンシが大幅なコスト削減と引き換えに許容できるバッチワークロード、スケジュールされたジョブ、およびパイプラインに最適です。

パフォーマンスモードを使用すると、ユーザーはインフラストラクチャを管理するのではなく、ユースケースに固有のデータインサイトとビジネスニーズに集中できます。このシンプルさにより、ユーザーはデータからインサイトを生成するためにより多くの時間を費やすことができます。インタラクティブな Notebooks のサーバーレスは常に数秒で起動し、ユーザーの時間を最大限に活用するために高速に実行されることに注意してください。

サーバーレスコンピューティングを使用すると、パフォーマンスまたは効率のために、トグルを切り替えるのと同じくらい簡単に調整できます。「パフォーマンス最適化」が有効になっている場合、ワークロードはより速く起動して実行されます。無効になっている場合、ワークロードは「標準」モードで実行され、効率が最適化されます。

包括的なコスト管理とガバナンス

分散型データエンジニアリングチーム全体のコンピューティングコストを管理するには、従来、ばらばらのデータソースと請求コンポーネントをまとめる必要がありました。これは、総所有コストを曖昧にする時間のかかるプロセスです。サーバーレスコンピューティングは、すべてのコストコンポーネントを単一の理解しやすいビューに統合することにより、この複雑さを統一された請求を通じて明確さに変えます。管理者は、システムテーブル上に構築された事前構築済みの予算ダッシュボードとカスタマイズ可能なクエリを通じて即座に可視性を獲得し、さまざまなサービスプロバイダー間での手動による調整作業の必要性を排除します。

内部チャージバックを必要とする組織の場合、サーバーレス使用ポリシーにより、チームまたはプロジェクトごとにコストを自動的に集計するタグの適用が可能になり、ビジネスユニット全体で正確な属性とアカウンタビリティが保証されます。このプラットフォームは、偶発的な支出に対する複数の保護レイヤーも提供します。インテリジェントなタイムアウトにより、暴走クエリが予算を使い果たすのを防ぎ、きめ細かい使用ポリシーにより、管理者は誰がサーバーレスコンピューティングにアクセスできるか、およびどのレートでリソースを消費できるかを正確に制御できるため、イノベーションと財政責任のバランスを取る包括的なガバナンスフレームワークが作成されます。

サーバーレス: パフォーマンスのために設計

環境キャッシュにより、依存関係のインストールのオーバーヘッドが不要になります

従来のコンピューティングセットアップでは、特にチームが多様なライブラリのニーズを持っている場合、各実行に適した環境を準備するためにインストール手順に依存することがよくあります。サーバーレスコンピューティングは、インテリジェントな環境キャッシュを使用することでこれを変更します。ユーザーは環境を一度定義すると、Databricks は必要なライブラリを自動的に分析、ダウンロード、インストールし、スナップショットを作成してキャッシュします。将来の実行では、環境をキャッシュから数秒でロードします。ダウンロードやインストールは不要です。これは、小規模なワークロードに特に役立ち、平均して2 倍高速です。新しいデフォルトのベース環境により、管理者はさまざまなチーム向けに事前構成された環境を一元的に管理し、アナリスト、データサイエンティスト、および ML エンジニアのワークフローを簡素化できます。

起動は私たちにとって優先事項であり、サーバーレス Notebooks と Workflows は大きな違いをもたらしました。Notebooks のサーバーレスコンピューティングにより、ワンクリックで簡単になります。— Airbus 社のデータエンジニア、Chiranjeevi Katta 氏

サーバーレス Spark Declarative Pipelines は、コストを損なうことなく実行時間を半分に短縮し、エンジニアリング効率を向上させ、複雑なデータ操作を合理化し、チームが本番環境と開発環境の両方でインフラストラクチャではなくイノベーションに集中できるようにします。— Qorvo 社のシニアデータ & AI エンジニア、Cory Perkins 氏

実際、Databricks 上のすべてのワークロードで、サーバーレスコンピューティングは同等の従来のクラスターワークロードよりも平均して20% コスト効率が高いことがわかります。また、お客様は従来のクラスターの起動に対してクラウドプロバイダーに料金を支払いますが、Databricks は起動に対して料金を請求しません。

Databricks のサーバーレスコンピューティングの実行速度と効率における利点を示すパフォーマンスとコストの比較。ベンチマークは、Lakeflow Jobs を使用して 1TB を Bronze にロードし、マージベースのアップサートを行い、データを Silver および Gold テーブルに絞り込み、重複排除します。

Databricks パイプラインを「サーバーレス」コンピューティングに移行した後、HP はクラウドで32% 以上の節約を実現し、ジョブの結合されたランタイムを36% 削減しました。「サーバーレス」によって提供される簡単なインフラストラクチャ管理により、この決定は明白で戦略的な選択となりました。— HP マーケティングのデータ戦略 & エンジニアリング責任者、Luis Alonso 氏

Google Cloud 上のサーバーレス Spark Declarative Pipelines は、Uplight でのアプローチを再定義し、コストを抑えながら ETL ワークロードを 2 倍以上の速さで実行できるようになりました。サーバーレスコンピューティングの使いやすさ、自動最適化、および効率により、スケーリングがより管理しやすくなり、お客様に価値を提供することを優先できます。— Uplight 社のデータサイエンス & エンジニアリングディレクター、Micaela Christopher 氏

これまで、生データからシルバーレイヤーに移行するには約 16 分かかりましたが、サーバーレスに切り替えた後は、わずか約 7 分です。— Jet Linx Aviation 社の IT 運用ディレクター、Aaron Jepsen 氏

[The] 起動時間の大幅な改善は、DataOps の構成とメンテナンスの削減と組み合わされ、生産性と効率を大幅に向上させます。— AnyClip 社のデータ責任者、Gal Doron 氏

サーバーレスはメンテナンスフリー

自動インフラストラクチャ選択: 手動クラスター管理の排除

従来のクラスター管理アプローチでは、ユーザーは可能な構成の組み合わせの 1 つを選択し、メモリ不足エラーやパフォーマンスのボトルネックの防止など、時間の経過とともに変化するデータとビジネス要件に合わせて構成を調整する上で、最大限の自由度が得られます。サーバーレスコンピューティングは、AI インフラストラクチャ選択を通じてゲームを根本的に変えます。システムはワークロードパターンとリソース使用率を継続的に監視し、メモリ制約が検出された場合は自動的により大きなインスタンスにスケールアップし、クラウドプロバイダーの停止時には互換性のあるインスタンスタイプにシームレスにフェイルオーバーします。包括的なワークロード履歴とリアルタイムのパフォーマンスデータを活用することで、サーバーレスコンピューティングは人間の介入なしに最適なインフラストラクチャの決定を行い、従来のコンピューティング環境と比較して停止が 89% 減少します。この自動化されたアプローチは、ユーザーをクラウドプロバイダーの制限から保護するだけでなく、一般的なインフラストラクチャの問題の自動修復も可能にし、サーバーレスコンピューティングを Databricks の最も安定した信頼性の高いコンピューティング製品にします。

サーバーレス [...] を使用すると、レイテンシが 3 ～ 5 倍向上しました。これまで 10 分かかっていたものが、わずか 2 ～ 3 分で済むようになりました。— シンシナティレッズ社のデータエンジニアリングマネージャー、Bryce Dugar 氏

サーバーレスオプションの利用可能性により、エンジニアリングのオーバーヘッドメンテナンスとコスト最適化が軽減されます。この動きは、Databricks 内のすべてのパイプラインをサーバーレス環境に移行するという全体的な戦略とシームレスに連携しています。— Compass 社のシニアデータエンジニアリングマネージャー、Bala Moorthy 氏

自動パフォーマンスとセキュリティの改善のためのバージョンレスアップグレード

おそらく、サーバーレスコンピューティングの最も変革的な機能は、手動ランタイム (DBR) アップグレードの必要性を排除するバージョンレスアーキテクチャです。最新のランタイムに対応することで、パフォーマンスが大幅に向上します。サーバーレスコンピューティングは、破壊的な変更なしにシームレスな DBR スワップを可能にする革新的なアーキテクチャを通じて、このプロセスを根本的に再構築します。過去 1 年間だけで、Databricks は 45 億件以上のワークロードにわたって 25 件の DBR アップグレードを自動的に実行し、99.998% という驚異的な成功率を達成しました。問題が検出された場合でも、ワークロードは自動的に以前の安定バージョンにロールバックされ、バックグラウンドで問題が解決されるため、中断のない運用が保証されます。結果はそれ自体を物語っています。自動インフラストラクチャ選択の改善とバージョンレスアップグレードの組み合わせにより、ユーザーがワークロードに触れることなく、1 年足らずで 80% 以上の価格パフォーマンスの向上につながりました。このバージョンレスアプローチは、サーバーレスコンピューティングが継続的に改善され、最新の Apache Spark の最適化、セキュリティパッチ、およびパフォーマンスの強化を自動的に提供することを意味し、データエンジニアリングチームはインフラストラクチャのアップグレードの管理ではなく、ビジネス価値の構築に完全に集中できます。

その他のサーバーレス機能

サーバーレスコンピューティングは、現在、次のような包括的な一連の高度な機能を提供しています。

• ワークスペースベースの環境により、管理者は高速起動のために自動キャッシュを使用してユーザー環境を一元的に管理できます。
• Scala ジョブのサポートにより、fat JAR デプロイ機能を備えたローカル IDE 開発が可能になります。
• A10 および H100 を含む GPU サポートと SparkML のサポートにより、サーバーレスが機械学習および GenAI ワークロードに開放されます。
• 中断と再開により、現在のコンピューティング状態をスナップショットして、作業を失うことなく、クラスターの料金を支払うことなく、後で作業を再開できるため、開発とデバッグがはるかに簡単になります。
• 強化されたコスト管理機能には、レート制限 (近日公開予定)、警告付きの予測クエリ期間、および詳細なコスト分析のための拡張システムテーブルが含まれます。

これらの追加により、サーバーレスコンピューティングはデータエンジニアリング向けの最も有能でインテリジェントなコンピューティングプラットフォームとしての地位を強化します。そして、私たちはまだ始まったばかりです。

今すぐサーバーレスジャーニーを始めましょう

証拠は説得力があります。サーバーレスコンピューティングは、データインフラストラクチャの決定的な進化を表しており、前例のないシンプルさ、信頼性、およびパフォーマンスの最適化を提供します。標準モードが一般提供され、最大 70% のコスト削減を提供しているため、複雑なクラスター管理からインテリジェントな自動化されたコンピューティングに移行するのに最適な時期です。パフォーマンス最適化モードの超高速実行が必要な場合でも、標準モードのコスト効率が必要な場合でも、サーバーレスコンピューティングはインフラストラクチャの複雑さを排除しながら、自動 DBR アップグレードとパフォーマンスの強化を通じてワークロードを継続的に改善します。

• サーバーレス Databricks アカウントにサインアップする
• Notebooks、Lakeflow Jobs、および Spark Declarative Pipelines 向けのサーバーレスコンピューティング
• サーバーレスコンピューティングの実践者向けガイド
• SDP の概要
• SDP デモ

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事