Serverless JAR の開発とデプロイ

Serverless JAR と Databricks Connect for Scala

Serverless JAR を使用すると、チームは完全に管理された Serverless コンピューティング上で Scala および Java の Spark ジョブを構築および実行できます。チームは、クラスターを管理する運用上のオーバーヘッドなしに、自動アップグレードを備え、すでに信頼している言語で本番環境レベルの Spark パイプラインを構築し続けることができます。

• 高速起動: Serverless を使用すると、Scala および Java ジョブは数分ではなく数秒で起動します。エンジニアは、クラスターが起動するのを待つことなく、すぐにコードを実行してイテレーションできます。
• バージョンレスのアップグレード: Serverless は最新のサポート対象 Spark ランタイムで継続的に実行されるため、Databricks Runtime のアップグレードを計画または管理する必要がなくなります。
• 管理するインフラストラクチャはありません: クラスターのプロビジョニング、容量計画、ランタイム管理は不要です。Databricks はインフラストラクチャ、スケーリング、パフォーマンスの最適化を自動的に処理するため、開発者はコードの記述に集中できます。
• 使用した分だけお支払い: 常時稼働しているクラスターやアイドル状態の容量に料金を支払う代わりに、チームは実際に使用したコンピューティングに対してのみ請求されます。

Serverless JAR はどのように機能しますか?

Lakeflow Jobs を Serverless コンピューティングで実行できます。Serverless JAR は、Spark 4 (Scala 2.13) および Spark Connect 上に構築されており、Python と同じアーキテクチャを使用しています。ユーザーコードとエンジンの分離により、バージョンレスのアップグレードが可能になり、依存関係の競合が解消され、Lakeguard によるネイティブなきめ細かなアクセス制御が可能になります。

このアーキテクチャには、いくつかの重要な利点があります。

• バージョンレス実行: アプリケーションは特定の Databricks Runtime Version に依存しなくなります。Serverless は常に最新のサポート対象ランタイムで実行されるため、Databricks Runtime のアップグレードの計画、スケジュール、または管理の必要がなくなります。
• Lakeguard によるネイティブなきめ細かなアクセス制御: すべての実行がサーバー上で行われるため、Databricks は低コストで行レベルのフィルターと属性ベースのアクセス制御 (ABAC) を強制できます。
• スリムで独立した依存関係セット: Serverless 環境は Spark から分離して実行されるため、独立した削減された依存関係セットを提供でき、依存関係の競合も解消されます。

Databricks Connect と Databricks Asset Bundles を使用した開発

Databricks Connect を使用すると、IntelliJ や Cursor などの好みの IDE でコードをインタラクティブに記述およびデバッグでき、Serverless コンピューティングをほぼ瞬時に起動できる時間で使用できます。

これにより、IDE を離れることなく実際のデータや環境に対してテストできるため、開発サイクルがより迅速かつ信頼性の高いものになります。開発が完了したら、Databricks Asset Bundles を使用してジョブを本番環境に移行できます。

JAR を提供して Serverless にデプロイする方法

ステップ 1: Serverless 用に JAR をコンパイルする

• Spark 4 (Scala 2.13) および Spark Connect でコンパイルします
• 非 Spark 依存関係をすべて明示的にバンドルするか、追加の JAR として提供します

ステップ 2: Serverless ジョブを作成する

• JAR を Unity Catalog ボリュームまたは UC ワークスペースフォルダーにアップロードします。
• JAR タスクを使用して新しいジョブを作成し、コンピューティングとして Serverless を選択します。

Serverless JAR を使い始める

すぐに始めるには、Databricks Asset Bundle テンプレートを使用して Scala ジョブを開発およびデプロイするチュートリアルに従ってください。JAR を手動でコンパイルするチュートリアルについては、Serverless コンピューティングで Scala コードを実行するを参照してください。

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事